當前大數(shù)據(jù)技術還不成熟，面對海量、異構、動態(tài)變化的數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)處理和分析技術難以應對，現(xiàn)有的數(shù)據(jù)處理系統(tǒng)實現(xiàn)大數(shù)據(jù)應用的效率較低，成本和能耗較大，而且難以擴展，這些挑戰(zhàn)大多來自數(shù)據(jù)本身的復雜性、計算的復雜性和信息系統(tǒng)的復雜性。集成電路、計算機與通信技術的發(fā)展大大增強了人類研究和處理復雜問題的能力。大數(shù)據(jù)技術將復雜性科學的新思想發(fā)揚光大，使復雜性科學得以落地。復雜性科學是大數(shù)據(jù)技術的科學基礎，大數(shù)據(jù)方法可以看作復雜性科學的技術實現(xiàn)。發(fā)展大數(shù)據(jù)也不能一擁而上，求大求新，要結合實際情況，以需求為導向，合理推進才能釋放大數(shù)據(jù)的真正價值。

　　大數(shù)據(jù)不要一味追求“數(shù)據(jù)規(guī)模大”

　　大數(shù)據(jù)主要難點不是數(shù)據(jù)量大，而是數(shù)據(jù)類型多樣、要求及時回應和原始數(shù)據(jù)真假難辨?，F(xiàn)有數(shù)據(jù)庫軟件解決不了非結構化數(shù)據(jù)，要重視數(shù)據(jù)融合、數(shù)據(jù)格式的標準化和數(shù)據(jù)的互操作。采集的數(shù)據(jù)往往質量不高是大數(shù)據(jù)的特點之一，但盡可能提高原始數(shù)據(jù)的質量仍然值得重視。腦科學研究的最大問題就是采集的數(shù)據(jù)可信度差，基于可信度很差的數(shù)據(jù)難以分析出有價值的結果。

　　一味追求數(shù)據(jù)規(guī)模大不僅會造成浪費，而且效果未必很好。多個來源的小數(shù)據(jù)的集成融合可能挖掘出單一來源大數(shù)據(jù)得不到的大價值。實際發(fā)展中，應多在數(shù)據(jù)的融合技術上下功夫，重視數(shù)據(jù)的開放與共享。而且，所謂數(shù)據(jù)規(guī)模大與應用領域有密切關系，有些領域幾個PB的數(shù)據(jù)未必算大，有些領域可能幾十TB已經是很大的規(guī)模。

　　發(fā)展大數(shù)據(jù)不能無止境地追求“更大、更多、更快”，要走低成本、低能耗、惠及大眾、公正法治的良性發(fā)展道路，要像現(xiàn)在治理環(huán)境污染一樣，及早關注大數(shù)據(jù)可能帶來的“污染”和侵犯隱私等各種弊端。

　　不要“技術驅動”要“應用為先”

　　新的信息技術層出不窮，信息領域不斷冒出新概念、新名詞，估計繼“大數(shù)據(jù)”以后，“可穿戴設備”、“機器人”等新技術又會進入炒作高峰。我們習慣于跟隨國外的熱潮，往往不自覺地跟著技術潮流走，最容易走上“技術驅動”的道路。實際上發(fā)展信息技術的目的是為人服務，檢驗一切技術的唯一標準是應用。我國發(fā)展大數(shù)據(jù)產業(yè)一定要堅持“應用為先”的發(fā)展戰(zhàn)略，堅持應用牽引的技術路線。技術有限，應用無限。各地發(fā)展云計算和大數(shù)據(jù)，一定要通過政策和各種措施調動應用部門和創(chuàng)新企業(yè)的積極性，通過跨界的組合創(chuàng)新開拓新的應用，從應用中找出路。

　　不能拋棄“小數(shù)據(jù)”方法

　　流行的“大數(shù)據(jù)”定義是：無法通過目前主流軟件工具在合理時間內采集、存儲、處理的數(shù)據(jù)集。這是用不能勝任的技術定義問題，可能導致認識的誤區(qū)。按照這種定義，人們可能只會重視目前解決不了的問題，如同走路的人想踩著自己身前的影子。其實，目前各行各業(yè)碰到的數(shù)據(jù)處理多數(shù)還是“小數(shù)據(jù)”問題。我們應重視實際碰到的問題，不管是大數(shù)據(jù)還是小數(shù)據(jù)。

　　統(tǒng)計學家們花了200多年，總結出認知數(shù)據(jù)過程中的種種陷阱，這些陷阱不會隨著數(shù)據(jù)量的增大而自動填平。大數(shù)據(jù)中有大量的小數(shù)據(jù)問題，大數(shù)據(jù)采集同樣會犯小數(shù)據(jù)采集一樣的統(tǒng)計偏差。Google公司的流感預測這兩年失靈，就是由于搜索推薦等人為的干預造成統(tǒng)計誤差。

　　大數(shù)據(jù)界流行一種看法：大數(shù)據(jù)不需要分析因果關系、不需要采樣、不需要精確數(shù)據(jù)。這種觀念不能絕對化，實際工作中要邏輯演繹和歸納相結合、白盒與黑盒研究相結合、大數(shù)據(jù)方法與小數(shù)據(jù)方法相結合。

　　要高度關注構建大數(shù)據(jù)平臺的成本

　　目前全國各地都在建設大數(shù)據(jù)中心，呂梁山下都建立了容量達2PB以上的數(shù)據(jù)處理中心，許多城市公安部門要求存儲3個月以上的高清監(jiān)控錄像。這些系統(tǒng)的成本都非常高。但數(shù)據(jù)挖掘的價值是用成本換來的，不能不計成本，盲目建設大數(shù)據(jù)系統(tǒng)。什么數(shù)據(jù)需要保存，要以什么質量保存，要保存多少時間，都應當根據(jù)數(shù)據(jù)可能存在的價值和所需的成本來決定。大數(shù)據(jù)系統(tǒng)技術還在研究之中，美國的E級超級計算機系統(tǒng)要求能耗降低1000倍，計劃到2024年才能研制出來，用現(xiàn)在的技術構建的巨型系統(tǒng)能耗極高。

　　我們不要攀比大數(shù)據(jù)系統(tǒng)的規(guī)模，而是要比實際應用效果，比完成同樣的事消耗更少的資源和能量。先抓老百姓最需要的大數(shù)據(jù)應用，因地制宜發(fā)展大數(shù)據(jù)。發(fā)展大數(shù)據(jù)與實現(xiàn)信息化的策略一樣：目標要遠大、起步要精準、發(fā)展要快速。

　　相關鏈接

　　大數(shù)據(jù)時代的小數(shù)據(jù)

　　當今被稱為大數(shù)據(jù)時代，“數(shù)據(jù)為王”。手握大數(shù)據(jù)的阿里巴巴等大數(shù)據(jù)公司，成為地方政府競相戰(zhàn)略合作的目標；美國的非農指數(shù)、新房指數(shù)每一次出爐都吸引著全世界的目光，成為各國貨幣的價格高低、寬松程度，股市及大宗商品的價格走向等等的重要參考。

　　大數(shù)據(jù)是信息社會發(fā)展到一定階段的產物，人們對于海量數(shù)據(jù)的挖掘和運用，預示著很多領域顛覆性變革的到來。譬如，大數(shù)據(jù)的應用能夠幫助電子商務、物流配送等領域進行消費者行為的判斷，進而優(yōu)化產品的銷售模式等。但是，大數(shù)據(jù)具有三大特性：是全部數(shù)據(jù)，而不是隨機采樣；是大體方向，而不是精確制導；是相關關系，而不是因果關系。正因如此，面對同樣一組大數(shù)據(jù)，不同的學者、經濟學家、分析師可能做出完全不同的分析和判斷。

　　相比大數(shù)據(jù)的難收集、難把握，生活中的精準小數(shù)據(jù)其實隨手可得，而且很直觀，不會產生錯覺。茶果農記成本賬，政府貼錢采數(shù)據(jù)。也許正好說明精準小數(shù)據(jù)的珍貴。當前蘇州茶農果農的生產成本到底怎么樣，升了或降了多少，政府該采取哪些政策，不能靠估計，而要靠拿出精準的小數(shù)據(jù)做依據(jù)。因此，市物價部門花錢請茶農、果農記錄生產過程中的成本投入、產品銷售，開展農產品成本調查。此舉表面上看，技術含量不高，實質上這樣實地的采集，正好是現(xiàn)實社會最需要的，遠比某些借晃眼的大數(shù)據(jù)之后推斷出的結論要實在。身處大數(shù)據(jù)時代，要關注大數(shù)據(jù)，也要多關注身邊精準的小數(shù)據(jù)，好處不少。譬如，筆者作為股民判斷經濟形勢基本面，不會過分糾結于CPI、PMI、PPI，而是十分留意通往鄉(xiāng)鎮(zhèn)公路上的集裝箱車輛多不多，老家的出租房租掉沒有、租價是多少。因為前者不是自己能夠看透的，而后者則很直觀。

　　大數(shù)據(jù)時代，帶領我們走向一個新的世界。但是，對于商業(yè)決策者而言，大數(shù)據(jù)不是靈丹妙藥，能不能用好大數(shù)據(jù)，核心還在于使用者、使用環(huán)境和數(shù)據(jù)結構。大數(shù)據(jù)挖掘不是黑箱，它需要思想。需要回歸到人性，需要洞察，只有將大數(shù)據(jù)變成小數(shù)據(jù)，大數(shù)據(jù)的價值才真正地得以釋放。

　　中國工程院院士 李國杰

關注讀覽天下微信， 100萬篇深度好文， 等你來看……