大數(shù)據(jù)帶來的行業(yè)應(yīng)用新浪潮
- 來源:中國(guó)信息化周報(bào) smarty:if $article.tag?>
- 關(guān)鍵字:大數(shù)據(jù),行業(yè)云 smarty:/if?>
- 發(fā)布時(shí)間:2014-08-23 13:40
云計(jì)算和大數(shù)據(jù)是密不可分的兩個(gè)詞,也是最近幾年的熱點(diǎn)詞匯。云計(jì)算和大數(shù)據(jù)是密不可分的,云計(jì)算是大數(shù)據(jù)的基礎(chǔ),大數(shù)據(jù)是云計(jì)算的目標(biāo),只有通過數(shù)據(jù)分析、挖掘提供服務(wù),云計(jì)算才能體現(xiàn)它的價(jià)值。
從行業(yè)云到行業(yè)大數(shù)據(jù)
從云計(jì)算的角度看,可以將云分成三類:公眾云、私人云和行業(yè)云。行業(yè)云的定義是行業(yè)內(nèi)起主導(dǎo)作用或者掌控關(guān)鍵資源的組織建立或者維護(hù)的,以公開或者半公開方式向行業(yè)內(nèi)部、相關(guān)組織或者公眾提供有償或無償服務(wù)的云計(jì)算系統(tǒng),它不同于公眾云(百度、Google這些云計(jì)算可稱作公眾云)。行業(yè)云最大不同就在于它核心的能力是在于本身所掌控的數(shù)據(jù)。從前幾年來看,公眾云的數(shù)據(jù)都是網(wǎng)絡(luò)上各種各樣的數(shù)據(jù),是在網(wǎng)絡(luò)上自然形成的,或者是近幾年每個(gè)消費(fèi)者個(gè)人在免費(fèi)使用行業(yè)云所提供的服務(wù)同時(shí),所貢獻(xiàn)了個(gè)人的一些數(shù)據(jù)。這些數(shù)據(jù)相對(duì)而言其私密性、保密性不是很強(qiáng),對(duì)于國(guó)家的運(yùn)行、經(jīng)濟(jì)的運(yùn)行沒有那么的關(guān)鍵。但是對(duì)于行業(yè)組織而言是非常有價(jià)值的。同樣,這種數(shù)據(jù)一般來講也是不可能隨便拿出去放到一個(gè)公眾云上讓大家隨意看到的,甚至包括我們的醫(yī)療數(shù)據(jù)、交通數(shù)據(jù)以及經(jīng)濟(jì)運(yùn)行數(shù)據(jù)等。當(dāng)然公眾云與行業(yè)云之間在基礎(chǔ)上是有很大的變化,公眾云有非常強(qiáng)大的技術(shù)能力,其核心競(jìng)爭(zhēng)力就在于技術(shù)能力;行業(yè)云則在于其數(shù)據(jù)是壟斷性的,或者通過一定的授權(quán)才能使用的,但是在技術(shù)能力上又需要第三方公司提供一些標(biāo)準(zhǔn)的支撐,因?yàn)楸旧聿豢赡茏屆總€(gè)行業(yè)、每個(gè)組織都自己開發(fā)這樣一套相應(yīng)的系統(tǒng)來支撐它的運(yùn)營(yíng),還是要靠第三方的公司或者企業(yè)來支撐運(yùn)營(yíng)。
隨著這幾年云計(jì)算的發(fā)展,數(shù)據(jù)的積累也越來越多,于是就提出大數(shù)據(jù)也應(yīng)當(dāng)分出行業(yè)大數(shù)據(jù)。同樣在很多其他行業(yè)里面也會(huì)有這樣的需求。我們?cè)谥鸩竭M(jìn)行業(yè)務(wù)整合、數(shù)據(jù)集中,在這些數(shù)據(jù)逐步集中起來時(shí),對(duì)于數(shù)據(jù)的挖掘和服務(wù)集中顯現(xiàn)出來,這種行業(yè)的需求便叫做行業(yè)大數(shù)據(jù)。
行業(yè)大數(shù)據(jù)的發(fā)展階段
根據(jù)行業(yè)大數(shù)據(jù)應(yīng)用的特點(diǎn),我們將行業(yè)大數(shù)據(jù)的應(yīng)用分為三個(gè)階段,每個(gè)階段都有不同的應(yīng)用特點(diǎn)。
首先是業(yè)務(wù)驅(qū)動(dòng)階段。在前期信息建設(shè)時(shí),所有的數(shù)據(jù)實(shí)際上都是被動(dòng)產(chǎn)生的,一般是圍繞著某一個(gè)任務(wù)、某一個(gè)業(yè)務(wù)去建立信息系統(tǒng),在信息系統(tǒng)運(yùn)行過程中會(huì)產(chǎn)生一些數(shù)據(jù)形成的結(jié)果,在這過程當(dāng)中更多的是關(guān)注最終的結(jié)果,對(duì)于過程數(shù)據(jù)關(guān)注非常的少,于是大量的過程數(shù)據(jù)都丟失了,因?yàn)槲覀冋J(rèn)為它是沒用的。
當(dāng)然,在這個(gè)階段,我們的存儲(chǔ)容量、存儲(chǔ)能力、存儲(chǔ)水平也不能把那么多數(shù)據(jù)都記錄下來。因此,信息孤島現(xiàn)象或數(shù)據(jù)孤島現(xiàn)象是非常普遍的。由于數(shù)據(jù)孤島的問題,實(shí)際也為我們接下來的數(shù)據(jù)融合埋下了不利因素,因?yàn)閿?shù)據(jù)格式不一樣,數(shù)據(jù)質(zhì)量會(huì)比較差。
第二個(gè)階段是數(shù)據(jù)融合階段。在這個(gè)階段,組織內(nèi)部或行業(yè)內(nèi)部開始進(jìn)行數(shù)據(jù)的整合、數(shù)據(jù)的共享,尤其是基于這些數(shù)據(jù)開始初步對(duì)數(shù)據(jù)進(jìn)行分析、挖掘而產(chǎn)生一些價(jià)值,例如一些BI系統(tǒng),即商業(yè)系統(tǒng),實(shí)際上這些商業(yè)系統(tǒng)本身并不是預(yù)測(cè),更多的是在歷史數(shù)據(jù)里找出一些規(guī)律,為決策提供一些依據(jù)而已。在這個(gè)階段由于要進(jìn)行綜合的挖掘,也會(huì)帶來相關(guān)的困惑,也帶來了相關(guān)技術(shù)發(fā)展上的問題,例如緩和存儲(chǔ)的問題以及如何解決共享和隱私的矛盾,由于是處在一個(gè)組織內(nèi)部,共享和隱私矛盾比較少,更重要的是要打破部門利益達(dá)成共享。
第三個(gè)階段是數(shù)據(jù)驅(qū)動(dòng)階段。這應(yīng)當(dāng)是大數(shù)據(jù)最終的階段,在這個(gè)階段大數(shù)據(jù)真正成為資產(chǎn)。通常信息系統(tǒng)建設(shè)應(yīng)當(dāng)以數(shù)據(jù)為核心來建設(shè)我們的系統(tǒng),而第一個(gè)階段我們是以任務(wù)為目標(biāo)建設(shè)系統(tǒng),數(shù)據(jù)是副產(chǎn)品。在最后的數(shù)據(jù)驅(qū)動(dòng)階段,我們是以數(shù)據(jù)為核心來構(gòu)建系統(tǒng)。系統(tǒng)的設(shè)計(jì)首先要進(jìn)行數(shù)據(jù)結(jié)構(gòu)的設(shè)計(jì),跨行業(yè)、跨領(lǐng)域的數(shù)據(jù)融合成為一種必然。同樣它要產(chǎn)生的結(jié)果中,我們主要是追求其預(yù)測(cè)性,這種預(yù)測(cè)也是要超出本組織、本行業(yè)的結(jié)果。天氣預(yù)報(bào)是一種預(yù)測(cè),這樣的數(shù)據(jù)分析充其量是在第二個(gè)階段———數(shù)據(jù)融合階段,如果我們能夠把天氣預(yù)報(bào)、農(nóng)業(yè)生產(chǎn)的數(shù)據(jù)、工業(yè)生產(chǎn)的數(shù)據(jù)等相關(guān)數(shù)據(jù)融合起來,進(jìn)一步根據(jù)天氣變化能夠預(yù)測(cè)糧食產(chǎn)量情況,根據(jù)天氣能夠預(yù)測(cè)旅游情況,那么這可能就到了數(shù)據(jù)驅(qū)動(dòng)階段,到了真正充分利用大數(shù)據(jù)的階段。
當(dāng)然到這個(gè)階段更多的不僅僅是技術(shù)問題,還涉及到政策、環(huán)境、一些法律法規(guī)的問題,再比如隱私保護(hù)的問題,在此階段可能有大量的數(shù)據(jù)交易產(chǎn)生,數(shù)據(jù)交易過程中如何保護(hù)其私密性、保密性,都要通過相關(guān)的法律建立才能做到。
行業(yè)大數(shù)據(jù)面臨的技術(shù)需求
在把大數(shù)據(jù)分為這三個(gè)階段之后,再看行業(yè)大數(shù)據(jù)會(huì)面臨什么樣的技術(shù)需求。
實(shí)際上,行業(yè)大數(shù)據(jù)與大數(shù)據(jù)所面臨的技術(shù)挑戰(zhàn)有非常多相通的地方。同樣也有它特殊的地方。圍繞大數(shù)據(jù),浪潮也做了很多實(shí)踐,可以總結(jié)為一個(gè)詞“一體化”。一是流程與技術(shù)的一體化。大數(shù)據(jù)的分析無論從采集、存儲(chǔ)、分析、可視化這些階段,都需要不同的技術(shù)、不同的產(chǎn)品,如果把這些交給用戶自己去做,是很復(fù)雜、很麻煩的事情,所以浪潮在這方面做了一體化的工作,把相關(guān)的技術(shù)與流程結(jié)合起來,提供一體化的方案。二是軟件與硬件一體化。針對(duì)不同大數(shù)據(jù)應(yīng)用提供專業(yè)計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)硬件,針對(duì)不同的應(yīng)用進(jìn)行軟件的調(diào)優(yōu),為用戶提供軟件和硬件的一體化。
三是平臺(tái)與應(yīng)用一體化。我們認(rèn)為現(xiàn)在這階段還是初級(jí)階段,很多技術(shù)還沒有形成最終哪一個(gè)是主流,能解決所有問題的,所以很多問題還面臨著大量技術(shù)挑戰(zhàn)。在這種情況下,我們看到,不同行業(yè)的問題有非常多相似性,因此面對(duì)不同行業(yè)提供不同的應(yīng)用平臺(tái)是非常有效的。比如圍繞金融、公安這兩個(gè)行業(yè),浪潮也研發(fā)出了金融大數(shù)據(jù)一體機(jī)、公安大數(shù)據(jù)一體機(jī)等等。當(dāng)然在大數(shù)據(jù)一體機(jī)里,我們把數(shù)據(jù)獲取、存儲(chǔ)、管理、分析以及可視化圍繞行業(yè)特點(diǎn)進(jìn)行專門的定制化,使整個(gè)系統(tǒng)性能有了很好提升。云計(jì)算、大數(shù)據(jù)給我們帶來了信息產(chǎn)業(yè)發(fā)展的機(jī)會(huì),技術(shù)、產(chǎn)業(yè)、商業(yè)模式實(shí)際上仍在探索和發(fā)展過程中,在此過程中相關(guān)企業(yè)應(yīng)積極配合大數(shù)據(jù)產(chǎn)業(yè)方面的發(fā)展,為大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展盡一份力。
