伴隨知識社會的來臨，驅動當今企業(yè)組織變革的不僅是無所不在的網(wǎng)絡，還有無所不在的計算、無所不在的數(shù)據(jù)、無所不在的知識。企業(yè)在運營過程中的知識管理、數(shù)據(jù)管理愈發(fā)引人關注。本文聚焦于企業(yè)的數(shù)據(jù)管理領域，探討互聯(lián)網(wǎng)時代所帶來的嶄新工作方式。

　　挖掘數(shù)據(jù)背后的價值

　　“互聯(lián)網(wǎng)+”戰(zhàn)略是利用互聯(lián)網(wǎng)平臺和信息通信技術，把互聯(lián)網(wǎng)和各行各業(yè)結合起來，旨在新的領域創(chuàng)造一種新的生態(tài)。在今年兩會上，“互聯(lián)網(wǎng)+”成為一項國家戰(zhàn)略，預示著互聯(lián)網(wǎng)將在國家各個領域發(fā)揮更加舉足輕重的作用。

　　“互聯(lián)網(wǎng)+”時代的企業(yè)工作開展重在數(shù)據(jù)管理。而數(shù)據(jù)則從簡單的處理對象轉變?yōu)橐环N基礎性的資源，不同領域中各項業(yè)務的開展都離不開數(shù)據(jù)的支持。數(shù)據(jù)本身難以支撐業(yè)務，如何合理的分析和利用大數(shù)據(jù)，挖掘數(shù)據(jù)背后隱藏的模式和價值，對業(yè)務進行支持才是關鍵。

　　目前，各個行業(yè)在大數(shù)據(jù)的使用上已經(jīng)進行了不同程度的嘗試，例如銀行業(yè)使用客戶交易數(shù)據(jù)進行分析，挖掘客戶背景信息，建立用戶風險等級，輔助業(yè)內(nèi)人員進行個性化市場營銷和風險管理控制，制定市場競爭策略。

　　在資本市場中，通過收集、整理、挖掘和分析用戶在不同社交網(wǎng)絡中的數(shù)據(jù)，預測人們的情緒波動，借此關聯(lián)評估人們的投資行為，挖掘金融活動背后隱藏的金融風險；在互聯(lián)網(wǎng)金融業(yè)，通過對業(yè)內(nèi)復雜的數(shù)據(jù)進行分析挖掘，估測顧客對于特定金融產(chǎn)品的興趣，提供個性化金融服務支持，同時可以對互聯(lián)網(wǎng)金融活動進行監(jiān)督。

　　大數(shù)據(jù)由于其自身的特性，很難直接使用傳統(tǒng)關系數(shù)據(jù)庫系統(tǒng)進行存儲和管理，各個數(shù)據(jù)庫廠商需要在原有基礎上尋求突破，開發(fā)新的技術。為支撐不同業(yè)務場景下大數(shù)據(jù)的管理和應用，各行業(yè)進行了不同的嘗試。

　　傳統(tǒng)的行業(yè)開始嘗試在外圍系統(tǒng)上使用新型的大數(shù)據(jù)技術取代原有的關鍵數(shù)據(jù)庫技術，在保持性能穩(wěn)定性的同時進一步對傳統(tǒng)的核心業(yè)務進行換代升級。各個數(shù)據(jù)廠商開發(fā)的新型大數(shù)據(jù)平臺也不僅僅只是將海量的非結構化數(shù)據(jù)進行簡單的存儲，還需要對平臺內(nèi)的數(shù)據(jù)進行統(tǒng)一管理，制定規(guī)范化的格式和標準，以便業(yè)務人員進行分析處理。

　　大數(shù)據(jù)管理平臺制約因素

　　傳統(tǒng)的單節(jié)點集中式環(huán)境已經(jīng)難以滿足數(shù)據(jù)的存儲和計算開銷，通過增加或更換CPU、內(nèi)存、硬盤以縱向擴展系統(tǒng)的方式已經(jīng)遇到了瓶頸。分布式系統(tǒng)有著豐富的存儲空間資源和較強的并行計算能力，能夠利用廉價的服務器提供高可擴展、高穩(wěn)定性的存儲服務，可以通過橫向擴展即增加計算節(jié)點的方式提高系統(tǒng)能力。因此分布式系統(tǒng)平臺成為了存儲和管理大數(shù)據(jù)的主要工具。

　　但在使用分布式系統(tǒng)平臺管理大數(shù)據(jù)時，也面臨著許多瓶頸。首先，分布式數(shù)據(jù)平臺功能上存在一定的局限性，在關鍵業(yè)務中一時間難以全面替換原有的數(shù)據(jù)庫管理系統(tǒng)。其次，分布式數(shù)據(jù)平臺雖然能夠存儲海量的數(shù)據(jù)，但在部分核心操作的性能上難以滿足需求。造成這些困難的深層技術原因有如下幾個方面：

　　缺少統(tǒng)一數(shù)據(jù)模型

　　數(shù)據(jù)模型是數(shù)據(jù)管理的理論基礎，由數(shù)據(jù)結構、數(shù)據(jù)操作和數(shù)據(jù)約束三要素組成。關系型數(shù)據(jù)庫之所以取得如此巨大的成功，得益于E.F.Codd提出的關系數(shù)據(jù)模型。

　　關系型數(shù)據(jù)模型將數(shù)據(jù)保存到關系表中，能夠支持高效的查詢操作。但由于關系模型對數(shù)據(jù)模式要求嚴格，難以滿足非結構化數(shù)據(jù)管理的靈活性需求，很難有效地支持大數(shù)據(jù)平臺的需求。因此，需要從海量的數(shù)據(jù)規(guī)模，高度動態(tài)的數(shù)據(jù)特性，多樣的應用場景，統(tǒng)一的聯(lián)合訪問等需求方面深入考慮，設計高效而通用的數(shù)據(jù)模型。

　　事務處理無保障

　　傳統(tǒng)關系數(shù)據(jù)庫中的事務處理在大數(shù)據(jù)管理平臺中依然有著廣泛的應用需求。然而傳統(tǒng)事務的實現(xiàn)代價過高，事務特性過于嚴格，會大大降低分布式存儲的讀寫性能，難以滿足海量數(shù)據(jù)快速讀寫的特點，傳統(tǒng)事務的ACID與分布式數(shù)據(jù)庫的BASE之間性能和一致性的平衡較難保持。因此，新興的大數(shù)據(jù)管理平臺需要能夠兼顧數(shù)據(jù)存儲和處理性能的事務處理機制，并在高并發(fā)的分布式場景支持不同粒度平臺事務處理功能。

　　優(yōu)化機制發(fā)展不完善

　　僅依靠存儲數(shù)據(jù)難以為產(chǎn)業(yè)創(chuàng)造價值，只有對大數(shù)據(jù)進行分析、使用、挖掘內(nèi)部的數(shù)據(jù)模式，才能創(chuàng)造出新的價值，這就需要在數(shù)據(jù)分析處理中使用連接、聚集等操作對數(shù)據(jù)進行處理，便于研究人員分析。

　　然而，當前分布式平臺的主要優(yōu)點在于其容錯性和可擴展性，索引、緩存等性能優(yōu)化機制的發(fā)展并不完善，系統(tǒng)中分布式并行處理機制和網(wǎng)絡中通信傳輸代價是難以回避的問題。

　　同時，由于MapReduce等數(shù)據(jù)處理流程的限制，部分效率更高的算法難以在分布式平臺上實現(xiàn)，因此整體上查詢執(zhí)行性能方面難以匹配傳統(tǒng)關系型數(shù)據(jù)庫。其次，由于需要大量屬性描述數(shù)據(jù)對象的信息，缺失值占據(jù)了大多數(shù)的域，不但浪費了存儲空間，也給數(shù)據(jù)操作的語義帶來了復雜性。

　　機遇與挑戰(zhàn)并存

　　為了克服大數(shù)據(jù)平臺中存在的技術難題，未來大數(shù)據(jù)管理平臺的發(fā)展應該包括以下幾個方面：

　　數(shù)據(jù)庫廠商轉型

　　“互聯(lián)網(wǎng)+”的發(fā)展凸顯了大數(shù)據(jù)的重要性，傳統(tǒng)的數(shù)據(jù)庫廠商看到了大數(shù)據(jù)所蘊含的價值，力圖依托自身的深厚積累，設計與研發(fā)新型大數(shù)據(jù)管理平臺。

　　甲骨文公司在大數(shù)據(jù)收集環(huán)節(jié)提供了甲骨文數(shù)據(jù)庫和甲骨文NoSQL數(shù)據(jù)庫；在大數(shù)據(jù)分析環(huán)節(jié)提供了甲骨文Exadata數(shù)據(jù)庫云服務器、甲骨文 Exalytics商務智能云服務器、甲骨文數(shù)據(jù)倉庫和甲骨文高級分析等方案。同時甲骨文大數(shù)據(jù)機將甲骨文-Sun分布式計算平臺與Hadoop、Cloudera管理器控制臺、R分析軟件及甲骨文NoSQL數(shù)據(jù)庫結合，能夠有效處理非結構化海量數(shù)據(jù)。

　　IBM于2014年發(fā)布了第一個面向大數(shù)據(jù)設計的處理器POWER8，為新一代大數(shù)據(jù)分析平臺構建提供支持。同時IBM也將Hadoop作為一個很好的補充部分，將IBM的數(shù)據(jù)分析產(chǎn)品如SPSS高級分析，BI工具等與BigInsights Hadoop解決方案集成到一起提升產(chǎn)品性能。

　　EMC公司發(fā)布了Hadoop發(fā)行版Pivotal HD，其不僅僅能在Hadoop中運行SQL，還可以與EMC Greenplum大數(shù)據(jù)分析平臺進行整合，承擔大數(shù)據(jù)分析處理工作負載，提升系統(tǒng)的性能。

　　微軟公司發(fā)布了新一代并行數(shù)據(jù)倉庫一體機SQL SERVER Parallel Data Warehouse，提供了大數(shù)據(jù)并行處理能力，并具備靈活線性橫向擴展能力。同時微軟公司提供數(shù)據(jù)分析工具LINQ Pack、Project“Daytona”及Excel DataScope等用在Windows Azure上做大數(shù)據(jù)分析，支持各項業(yè)務的進行。

　　持續(xù)貢獻開源系統(tǒng)

　　雖然目前大數(shù)據(jù)混搭平臺的研究和發(fā)展還處于起步階段，但隨著各項開源數(shù)據(jù)庫和計算平臺不斷涌現(xiàn)和發(fā)展，加上云環(huán)境的易用性和低成本性，使得構建大數(shù)據(jù)管理平臺的門檻大為降低。

　　當前典型開源代表有Cassandra、Impala、MongoDB、CouchDB、GraphDB、Hadoop、Cascading等，能夠在不同的業(yè)務場景下對數(shù)據(jù)存儲與應用提供支持，滿足行業(yè)多方面的需求。新一代分布式計算框架Spark能夠在內(nèi)存中完成數(shù)據(jù)計算，其數(shù)據(jù)處理速度要高于MapReduce。雖然目前該系統(tǒng)發(fā)展還不夠完善，但其前景和價值值得期待。

　　目前市場上較受歡迎的是性價比高、易于修改且能夠不斷適應新需求的大數(shù)據(jù)平臺，數(shù)據(jù)庫廠商想要能夠保持自身在圈內(nèi)的話語權，進一步擴展市場份額，一項重要的戰(zhàn)略行為就是持續(xù)貢獻和控制推廣更多的開源項目，在不同技術社區(qū)之間有效地進行交流和信息資源共享，促進自身的大數(shù)據(jù)管理平臺系統(tǒng)在性能和功能上的改進，持續(xù)地滿足市場的需求。

　　混搭架構設計

　　隨著互聯(lián)網(wǎng)的繁榮發(fā)展和業(yè)務的多樣化，各領域所產(chǎn)生的數(shù)據(jù)量呈爆炸性增長，并且非結構化數(shù)據(jù)所占比重越來越多。大數(shù)據(jù)平臺的引入已勢在必行，但各行業(yè)內(nèi)實際應用中仍需原有的業(yè)務系統(tǒng)和主干信息系統(tǒng)支撐，難以立即對原有系統(tǒng)進行全面顛覆。

　　因此選擇原有的業(yè)務數(shù)據(jù)庫、主題數(shù)據(jù)庫、基礎數(shù)據(jù)庫、共享數(shù)據(jù)庫和數(shù)據(jù)倉庫與大數(shù)據(jù)平臺合理混搭的方式，明確不同組件之間關聯(lián)，構建底層平臺無關的數(shù)據(jù)訪問方式，設計跨數(shù)據(jù)平臺高效的數(shù)據(jù)互通機制，是大數(shù)據(jù)平臺研究與發(fā)展的重要方向。

　　混搭架構下的大數(shù)據(jù)平臺既借鑒了傳統(tǒng)關系型數(shù)據(jù)庫在傳統(tǒng)應用支持和在復雜查詢與分析方面的快速響應能力，同時也借鑒了新型大數(shù)據(jù)平臺的非結構化數(shù)據(jù)處理能力、存儲的低成本性以及高水平可擴展性，能夠在最大化保證現(xiàn)有用戶效益的同時提供可擴展空間，滿足未來更高的數(shù)據(jù)存儲需求，為新型大數(shù)據(jù)平臺在不同業(yè)務環(huán)境下的協(xié)同工作和統(tǒng)一數(shù)據(jù)分析提供有力的支撐。

　　結語

　　“互聯(lián)網(wǎng)+”時代企業(yè)重要的資源之一就是數(shù)據(jù)，一個企業(yè)所有數(shù)據(jù)的“數(shù)量和質(zhì)量”在一定程度上將決定企業(yè)價值，對數(shù)據(jù)高效的管理和使用將增強企業(yè)的競爭力。

　　如何依托已有信息技術的深厚積累，結合“互聯(lián)網(wǎng)+”時代特性，依托已有的技術和資金積累，結合開源社區(qū)力量，建立高效的新型大數(shù)據(jù)管理平臺，是各個IT巨頭把握新產(chǎn)業(yè)變革契機、助推各個行業(yè)發(fā)展的重要途徑。

　　各個企業(yè)如果能夠把握住“互聯(lián)網(wǎng)+”大數(shù)據(jù)發(fā)展的關鍵時點和機遇，善用大數(shù)據(jù)管理平臺，推動大數(shù)據(jù)分析在各個領域內(nèi)的應用，就能夠在一定程度上提高企業(yè)決策質(zhì)量，降低決策成本，引領整個市場的發(fā)展趨勢，開創(chuàng)出更有價值的未來。

　　文/王騰蛟 李湛

關注讀覽天下微信， 100萬篇深度好文， 等你來看……