數(shù)據(jù)淘金:從數(shù)據(jù)中挖掘有效信息
- 來源:中國信息化周報 smarty:if $article.tag?>
- 關鍵字: smarty:/if?>
- 發(fā)布時間:2018-05-29 14:58
如今是信息時代,得數(shù)據(jù)者得天下。然而,只是“有”數(shù)據(jù)還不夠,數(shù)據(jù)的“準確性”和數(shù)據(jù)的“分析”也是至關重要的。
“數(shù)據(jù)”和“信息”不是一碼事。“數(shù)據(jù)”說的是一堆未經(jīng)處理的原始測量結果,我們要分析它,取其精華去其糟粕,以用于獲得有用的信息。所以常說的“信息過載”其實不對,“數(shù)據(jù)”可能會過載,但“信息”越多越好。
過去十年間,我們的數(shù)據(jù)量實現(xiàn)了爆炸式增長。據(jù)報道,2005年全球數(shù)據(jù)總量達到1300億GB?,F(xiàn)在的公司經(jīng)常要處理數(shù)以PB計的數(shù)據(jù)。隨著數(shù)據(jù)源的飛速增長,數(shù)據(jù)的獲取速度也越來越快??萍歼M步如此迅速,轉眼已是滄海桑田。
隨著對人們活動和傳感器的測量,數(shù)據(jù)類型也在不斷增加。而我們要記住:數(shù)據(jù),只有經(jīng)過了分析,變成了信息才有用。
物聯(lián)網(wǎng)的優(yōu)勢在于它能實時獲取、組織數(shù)據(jù)。如果架構正確,物聯(lián)網(wǎng)可以把數(shù)據(jù)變成有用的信息,用來決定下一步怎么辦。
物聯(lián)網(wǎng)之前,分析傳感器各式各樣的海量數(shù)據(jù)非常困難。通過物聯(lián)網(wǎng)技術,可以把機器得到的數(shù)據(jù)放入數(shù)據(jù)池自動分析,以決定下一步需要對數(shù)據(jù)和程序做些什么。物聯(lián)網(wǎng)不僅收集、分析數(shù)據(jù),它還會自我提升。
在討論數(shù)據(jù)傳輸時常用兩個術語:“北向(northbound)”和“南向(southbound)”。“北向數(shù)據(jù)”是指從設備發(fā)出,通過網(wǎng)關,送至云端的數(shù)據(jù),一般是遙測數(shù)據(jù),也可能是命令和控制請求。“南向數(shù)據(jù)”則是從云發(fā)至網(wǎng)關,或者從云通過網(wǎng)關發(fā)至設備,一般是命令和控制信息(如軟件的更新、請求、更改配置參數(shù)等)。
以下是利用南、北行信道,從探測數(shù)據(jù)中找到有用信息的方法:
第一步:傳感器發(fā)出北向遙測數(shù)據(jù)。根據(jù)架構的不同,這些數(shù)據(jù)會被預處理,然后發(fā)送到位于傳感器附近的數(shù)據(jù)存儲器(比如一個網(wǎng)關)。
第二步:在網(wǎng)關這個臨時節(jié)點上對數(shù)據(jù)進行一定量的分析,可以在這里處理數(shù)據(jù)(例如匯總數(shù)據(jù),或者轉換數(shù)據(jù),為數(shù)據(jù)中心或云深入分析做好準備)。然后,把在網(wǎng)關上處理的信息和之前的精確結果比對,就是在歷史信息中進行相關性匹配。發(fā)現(xiàn)的模式可以作為我們行動的依據(jù)。
第三步:利用新的信息,就可以建立一個規(guī)則。
第四步:把制定好的規(guī)則付諸實踐。
開源軟件項目提供了標準化的工具包(例如Camel、Drools),可以用它處理、操作數(shù)據(jù)。
Apache Camel是一種基于Java規(guī)則的路由和中介引擎,具有可以處理數(shù)據(jù)的企業(yè)集成模式。它通過“開箱即用”(out-of-the-box)的信息中介、路由、數(shù)據(jù)轉換,可以聯(lián)網(wǎng)解決方案的開發(fā)。
把數(shù)據(jù)轉化為有用的信息是所有物聯(lián)網(wǎng)工作的核心,而通過開源軟件可以實現(xiàn)這一目標,這有助于加速將物聯(lián)網(wǎng)付諸實踐。
