在數(shù)據(jù)獲取、存儲(chǔ)、計(jì)算、傳送、分配、挖掘、呈現(xiàn)、安全保障等處理過程中，社會(huì)、物理、網(wǎng)絡(luò)三個(gè)層面的數(shù)據(jù)設(shè)備必不可少。預(yù)計(jì)到2017年，全世界大數(shù)據(jù)設(shè)施產(chǎn)業(yè)市場(chǎng)規(guī)模將突破500億美元；中國(guó)大數(shù)據(jù)應(yīng)用市場(chǎng)規(guī)模也將在2016年突破100億元。大數(shù)據(jù)的經(jīng)濟(jì)價(jià)值不僅體現(xiàn)在設(shè)備產(chǎn)業(yè)上，各個(gè)行業(yè)數(shù)據(jù)的開放與挖掘?qū)⑨尫懦龈訌?qiáng)勁的經(jīng)濟(jì)增長(zhǎng)動(dòng)力。

　　大數(shù)據(jù)挖掘

　　大數(shù)據(jù)涉及到存儲(chǔ)、計(jì)算、發(fā)覺、安全這樣的過程，往往數(shù)據(jù)來自三個(gè)層面：網(wǎng)絡(luò)數(shù)據(jù)，網(wǎng)絡(luò)傳感器上面的數(shù)據(jù)，還有一些既不是網(wǎng)絡(luò)也不是傳感器，比如政府以及企業(yè)部門所收集的很多數(shù)據(jù)。

　　三源數(shù)據(jù)在數(shù)據(jù)庫(kù)里應(yīng)根據(jù)所需應(yīng)用進(jìn)行選擇有用的數(shù)據(jù)，在應(yīng)用的時(shí)候還需選用可用的數(shù)據(jù)，然后通過變換，把復(fù)雜度降下來，以便利用，再抽出所需的數(shù)據(jù)，最終融合得出關(guān)鍵的東西。數(shù)據(jù)挖掘涉及到這么一個(gè)過程。

　　實(shí)際上大數(shù)據(jù)的產(chǎn)業(yè)涉及到許多方面，首先是大數(shù)據(jù)平臺(tái)。涉及到大數(shù)據(jù)平臺(tái)，便需要寬帶的存儲(chǔ)設(shè)施，需要有云計(jì)算平臺(tái)。首先是光纖寬帶系統(tǒng)，如今光纖傳輸能力不斷增加，我們還希望光網(wǎng)絡(luò)能力提升，自動(dòng)交換光網(wǎng)絡(luò)便應(yīng)運(yùn)而生。

　　現(xiàn)在移動(dòng)通信也發(fā)展很快，去年年底4G牌照被批準(zhǔn)發(fā)放，現(xiàn)在LET在國(guó)內(nèi)多處布網(wǎng)和商用。而國(guó)際上已經(jīng)啟動(dòng)了第五代通信網(wǎng)絡(luò)應(yīng)用，光纖的發(fā)展為大數(shù)據(jù)提供了很好的平臺(tái)。

　　除了光纖和通信以外，計(jì)算機(jī)也是少不了的。50年代大型計(jì)算機(jī)，60年代小型計(jì)算機(jī)，80年代個(gè)人計(jì)算機(jī)，90年代筆記本電腦，現(xiàn)在手機(jī)就相當(dāng)于一個(gè)計(jì)算機(jī)。世界上第一臺(tái)計(jì)算機(jī)于1946年誕生，當(dāng)時(shí)占地面積170平方米，其能力相當(dāng)于會(huì)計(jì)手上拿的計(jì)算機(jī)；1975年美國(guó)國(guó)防部拿500萬美元買了一臺(tái)當(dāng)時(shí)最先進(jìn)的超級(jí)計(jì)算機(jī)，相當(dāng)于現(xiàn)在的iPhone54；1985年美國(guó)防部更新了超級(jí)計(jì)算機(jī)，相當(dāng)于iPad52；90年代買1G的閃存要1800美元，而現(xiàn)在只要0.25美分，所以隨著計(jì)算機(jī)能力提升，大數(shù)據(jù)處理能力也相應(yīng)提升。

　　另外大數(shù)據(jù)也離不開軟件，軟件發(fā)展從單機(jī)到網(wǎng)絡(luò)。軟件的代碼在早期阿波羅登月飛行器軟件時(shí)整個(gè)只有4000行代碼，現(xiàn)在波音飛機(jī)的軟件有2萬行，高鐵有上十億的行代碼，我們用的智能手機(jī)操作系統(tǒng)也是上百萬行的代碼。隨著軟件能力的提升，也方便了對(duì)大數(shù)據(jù)的挖掘。

　　當(dāng)然，除了軟件以外，云計(jì)算也是大數(shù)據(jù)里會(huì)用到很重要的一個(gè)基礎(chǔ)設(shè)施。事實(shí)上，我們需要使用的是云服務(wù)，云計(jì)算下面有基礎(chǔ)設(shè)施，稱為基礎(chǔ)設(shè)施之服務(wù)，提供服務(wù)器、存儲(chǔ)器和網(wǎng)絡(luò)。

　　現(xiàn)在每個(gè)單位都可能會(huì)有信息化系統(tǒng)，自建信息化系統(tǒng)很不劃算，利用率不高，因此委托第三方進(jìn)行信息化系統(tǒng)，這樣就構(gòu)成了云計(jì)算的基礎(chǔ)設(shè)施之服務(wù)。在云計(jì)算上面通常都會(huì)增加平臺(tái)之服務(wù)，里面提供很多工具，有利于用戶在里面利用這些工具開發(fā)所需軟件，盡管提供了這些工具，但是對(duì)于一些中小企業(yè)來講，它仍然沒有能力利用這些工具開發(fā)軟件，因此在云計(jì)算上面可以向更多公司提供可以租用的軟件，像客戶關(guān)系管理、HR人力資源管理等等，對(duì)于一些更大企業(yè)可以自身在云計(jì)算開發(fā)自己事務(wù)性企業(yè)管理上用的很多軟件。

　　大數(shù)據(jù)處理

　　有了前面說的寬帶化、軟件、計(jì)算機(jī)和云計(jì)算之后，是不是就一定能完全處理大數(shù)據(jù)呢？大數(shù)據(jù)比較難處理的是怎么實(shí)現(xiàn)語(yǔ)義的分析，我們從數(shù)據(jù)上可以收集很多數(shù)據(jù)，但是如何讓計(jì)算機(jī)來理解這些東西還是有一定困難的，比如一個(gè)公司可能做不到每個(gè)員工一臺(tái)計(jì)算機(jī)，而有個(gè)崗位員工覺得一臺(tái)單獨(dú)計(jì)算機(jī)對(duì)他來說很重要，他跟老板申請(qǐng)一臺(tái)獨(dú)立電腦，后臺(tái)網(wǎng)絡(luò)一掃描———“臺(tái)獨(dú)”。這說明它沒有語(yǔ)義理解，只是簡(jiǎn)單根據(jù)某個(gè)詞的組合，這實(shí)際上不是大數(shù)據(jù)所需要的，我們需要加上理解。

　　更重要的不僅僅是對(duì)文字，比較困難的是對(duì)圖象。當(dāng)然現(xiàn)在有一定的進(jìn)展，例如Google與斯坦福的合作，讓計(jì)算機(jī)去“看”貓，用很多張圖讓計(jì)算機(jī)“看”，計(jì)算機(jī)“看”了10天以后就發(fā)現(xiàn)很多圖片里面都有一只動(dòng)物，盡管樣子不一樣，但是基本是一個(gè)類型，所以計(jì)算機(jī)學(xué)會(huì)了這是貓，然后再把2萬張從來沒有看過照片給計(jì)算機(jī)“看”，它的識(shí)別率是15%。從應(yīng)用上來說這還是遠(yuǎn)遠(yuǎn)不夠的，但是這也表明訓(xùn)練計(jì)算機(jī)識(shí)別圖象仍然是有可能的，未來大數(shù)據(jù)分析就是要訓(xùn)練我們的計(jì)算能力能夠代替人去處理有需要理解的一些文字、照片、圖片、視頻。

　　此外，大數(shù)據(jù)還有虛擬化和可視化。收集的數(shù)據(jù)，只有通過可視化、虛擬化方式才能被大多數(shù)人理解。

　　大數(shù)據(jù)的產(chǎn)品包括了軟硬件服務(wù)，關(guān)系數(shù)據(jù)庫(kù)的軟件，以及一些數(shù)據(jù)集成、數(shù)據(jù)資料服務(wù)，還有大數(shù)據(jù)開發(fā)平臺(tái)，數(shù)據(jù)可視化平臺(tái)，應(yīng)用分析和應(yīng)用視頻服務(wù)以及一些視頻軟件和大數(shù)據(jù)專業(yè)咨詢培訓(xùn)服務(wù)。

　　那么，大數(shù)據(jù)的產(chǎn)業(yè)設(shè)施究竟有多大呢？按照相關(guān)咨詢公司估計(jì)，到2017年全世界大數(shù)據(jù)市場(chǎng)大概超過500億美元。到2016年，中國(guó)大數(shù)據(jù)應(yīng)用的市場(chǎng)大概是100多億，這里主要是應(yīng)用，還沒有完全包括所有的產(chǎn)品設(shè)施。

　　大數(shù)據(jù)產(chǎn)業(yè)

　　狹義的大數(shù)據(jù)產(chǎn)業(yè)主要與大數(shù)據(jù)分析和建立的設(shè)施有關(guān)，廣義的大數(shù)據(jù)產(chǎn)業(yè)更廣泛，包括大數(shù)據(jù)硬件，網(wǎng)絡(luò)設(shè)備、存儲(chǔ)器，關(guān)系數(shù)據(jù)庫(kù)、非關(guān)系數(shù)據(jù)庫(kù)一些分析軟件，還有跟大數(shù)據(jù)有關(guān)的服務(wù)，但是廣義大數(shù)據(jù)產(chǎn)業(yè)里還要再拓展兩層，首先是傳統(tǒng)的產(chǎn)業(yè)，利用了的大數(shù)據(jù)應(yīng)用而增值，可以用到工業(yè)、農(nóng)業(yè)、商貿(mào)、交通、建筑，以及教育、環(huán)保等等，此外大數(shù)據(jù)在制造業(yè)上，有豐田公司利用數(shù)據(jù)分析車的切線的例子。

　　大數(shù)據(jù)在風(fēng)電行業(yè)也有很好的應(yīng)用，通過風(fēng)電的檢測(cè)能很好地發(fā)現(xiàn)風(fēng)怎么樣，怎么樣很好的利用；在零售業(yè)大數(shù)據(jù)也有廣泛應(yīng)用，沃爾瑪通過大數(shù)據(jù)分析知道買A商品的用戶、買B商品的用戶有多少，憑這些大數(shù)據(jù)開發(fā)很好有助于零售業(yè)的開發(fā)。

　　大數(shù)據(jù)在醫(yī)療研發(fā)上一年可以減少200億美元的開支，在醫(yī)療商業(yè)模式上也會(huì)節(jié)省幾十億美元。總的來講有很大的成本節(jié)省。

　　麥肯錫公司總結(jié)，大數(shù)據(jù)可以給美國(guó)醫(yī)療保健每年提供3000億美元的價(jià)值，給歐洲公共管理提供2500億美元管理上的價(jià)值，給服務(wù)提供商帶來6000億美元年度盈余，零售商帶來60%的利潤(rùn)增加，給制造業(yè)帶來50%成本的下降。所以很多人都說，大數(shù)據(jù)是新財(cái)富，價(jià)值堪比石油。

　　那么，誰(shuí)將從大數(shù)據(jù)里面受益呢？第一便是制造業(yè)，因?yàn)槠髽I(yè)多；第二就是政府，我國(guó)大數(shù)據(jù)的一個(gè)特征就是希望是開放的，如果政府能夠適當(dāng)開放所掌控的數(shù)據(jù)，全世界都會(huì)從開放的數(shù)據(jù)當(dāng)中受益，麥肯錫公司認(rèn)為這大概會(huì)給全球經(jīng)濟(jì)每年帶來23000億到53000億美元的紅利。

　　現(xiàn)在信息技術(shù)應(yīng)用和發(fā)展進(jìn)入了大智物移云時(shí)代，大數(shù)據(jù)提升了決策智能化水平，大數(shù)據(jù)成為兩化融合抓手，大數(shù)據(jù)用于社會(huì)管理和民生服務(wù)將創(chuàng)造出顯著社會(huì)效應(yīng)。大數(shù)據(jù)將產(chǎn)生大產(chǎn)業(yè)，推動(dòng)工業(yè)化和信息化高度融合。大數(shù)據(jù)對(duì)中國(guó)既是機(jī)遇也是挑戰(zhàn)，需要重視和挖掘大數(shù)據(jù)的應(yīng)用。

　　中國(guó)工程院院士 鄔賀銓

關(guān)注讀覽天下微信， 100萬篇深度好文， 等你來看……