云計算已經成為近些年我國科學技術領域高速發(fā)展的重要推動力來源，對于互聯(lián)網(wǎng)科技、云技術以及IT通信領域來說，通過眾多領域的不斷云化，已經讓很多應用開始變得更加靈活和高效。我們都知道，隨著當前每日數(shù)據(jù)量的遞增，用戶對于海量數(shù)據(jù)的服務能力已經開始變得十分關注。與此同時也有一些業(yè)內專家表示，網(wǎng)絡大數(shù)據(jù)帶給我們機遇的同時，也帶來了困擾。

　　網(wǎng)絡大數(shù)據(jù)應用廣泛，無論是經濟發(fā)展領域還是軍事、文化發(fā)展領域，網(wǎng)絡大數(shù)據(jù)都發(fā)揮著重要作用。加強網(wǎng)絡大數(shù)據(jù)研究對維護國家網(wǎng)絡空間數(shù)字主權，保證經濟、文化穩(wěn)定持續(xù)發(fā)展，提高國民經濟競爭力，實現(xiàn)科技突破等都有著至關重要的作用。無論是直接影響還是間接影響，加強網(wǎng)絡大數(shù)據(jù)研究都十分必要。

　　大數(shù)據(jù)研究

　　助力數(shù)字主權保護

　　隨著近些年我國逐漸步入信息化時代，我國綜合實力的競爭也正在大數(shù)據(jù)的推動下加快了腳步。作為一個發(fā)展大國重要的博弈空間，若我國網(wǎng)絡大數(shù)據(jù)應用落后，就會直接影響我國占領產業(yè)戰(zhàn)略制高點，出現(xiàn)網(wǎng)絡空間發(fā)展不足的情況，影響國家數(shù)據(jù)使用安全。

　　“人、機、物”三元世界的交互發(fā)展產生了大量的數(shù)據(jù)。為了充分實現(xiàn)對網(wǎng)絡大數(shù)據(jù)的感知和利用價值，國民經濟發(fā)展過程中必須有效地解決對大規(guī)模數(shù)據(jù)的測量和應用，以促進各行業(yè)數(shù)字化和信息化的發(fā)展，解決行業(yè)發(fā)展過程中出現(xiàn)的網(wǎng)絡大數(shù)據(jù)爆炸阻礙。因此加強網(wǎng)絡大數(shù)據(jù)研究，解決大數(shù)據(jù)基本共性問題十分重要。

　　信息時代背景下在科學技術上實現(xiàn)網(wǎng)絡大數(shù)據(jù)的技術研究突破，能促進數(shù)據(jù)服務以及數(shù)據(jù)材料等相關戰(zhàn)略性新興產業(yè)的興起與發(fā)展。實現(xiàn)網(wǎng)絡大數(shù)據(jù)的技術研究和科技突破，能使人們更清楚地認識數(shù)據(jù)交互連接的復雜問題，并準確地把握數(shù)據(jù)冗余與缺失等不確定性特性，能夠更好地實現(xiàn)對高速增長數(shù)據(jù)的駕馭。

　　網(wǎng)絡大數(shù)據(jù)如何感知

　　這是一個令業(yè)界十分關注的問題。按照網(wǎng)絡空間中數(shù)據(jù)的蘊藏深度，整個網(wǎng)絡空間可劃分為Surface Web和Deep Web（或稱作Hidden Web）。Surface Web是指Web中通過超鏈接可被傳統(tǒng)搜索引擎獲取到的靜態(tài)頁面，而Deep Web則由Web中可在線訪問的數(shù)據(jù)庫組成。Deep Web的數(shù)據(jù)隱藏在Web數(shù)據(jù)庫提供的查詢接口后面，只有通過向查詢接口提交查詢才能獲得。

　　與Surface Web相比，Deep Web所包含的信息更加豐富。與此同時，Deep Web具有規(guī)模大、實時動態(tài)變化、異構性、分布性以及訪問方式特殊等特點。

　　網(wǎng)絡大數(shù)據(jù)的復雜性使其諸多環(huán)節(jié)操作運行難度增加，包括數(shù)據(jù)存儲、數(shù)據(jù)分析處理以及數(shù)據(jù)深度挖掘等。大數(shù)據(jù)的復雜性又包括其類型的復雜，如社交網(wǎng)絡與傳統(tǒng)文本數(shù)據(jù)的相互發(fā)展，使其類型更加豐富；數(shù)據(jù)結構復雜，包括移動技術以及社交技術發(fā)展下形成的結構數(shù)據(jù)流以及非結構化數(shù)據(jù)流，具體形式包括文本、圖像等，這給網(wǎng)絡大數(shù)據(jù)管理與分析帶來了難度。

　　海量數(shù)據(jù)存儲問題

　　就我們目前所掌握的數(shù)據(jù)處理規(guī)模和存儲能力來說，我們已經實現(xiàn)了從TB級別到PB級別甚至是EB級別的跨越。在實現(xiàn)等級上升后，為更好地實現(xiàn)對數(shù)據(jù)存儲成本的控制，實現(xiàn)計算資源優(yōu)化利用，以及提高系統(tǒng)整體的并發(fā)吞吐率，要積極地探究出更加有效的存儲模式，實現(xiàn)目前網(wǎng)絡大數(shù)據(jù)分布式數(shù)據(jù)存儲方式。

　　Hadoop系統(tǒng)在Yahoo、IBM、百度、Facebook等公司得到了大量應用和快速發(fā)展，但作為新興的技術體系，分布式數(shù)據(jù)處理技術在支持大規(guī)模網(wǎng)絡信息處理及應用等大數(shù)據(jù)計算應用能力方面還存在很多不足。

　　分布式數(shù)據(jù)存儲是網(wǎng)絡大數(shù)據(jù)應用的一個重要環(huán)節(jié)。但之前的研究工作仍存在著一些局限性。針對海量數(shù)據(jù)存儲和處理所面臨的數(shù)據(jù)總量超大規(guī)模、處理速度要求高和數(shù)據(jù)類型異質多樣等難題，需要開發(fā)支持擴展度高、深度處理的PB級以上分布式數(shù)據(jù)存儲框架，同時需要研究適應數(shù)據(jù)布局分布的存儲結構優(yōu)化方法，以提高網(wǎng)絡大數(shù)據(jù)存儲和處理效率，降低系統(tǒng)建設成本，從而實現(xiàn)高效、高可用的網(wǎng)絡大數(shù)據(jù)分布式存儲。

　　海量數(shù)據(jù)以及各種應用的全面云化已經正在成為未來IT信息化發(fā)展的必然趨勢，同時從很多企業(yè)用戶角度，我們也不難發(fā)現(xiàn)，通過云計算技術在應用端的不斷壯大，已經使用戶的感知程度大大提升，同時這對于技術的不斷創(chuàng)新也具有重要的推動意義。

　　佚名

關注讀覽天下微信， 100萬篇深度好文， 等你來看……