信息通信技術(shù)的發(fā)展，使交通運(yùn)輸從數(shù)據(jù)貧乏轉(zhuǎn)向數(shù)據(jù)豐富的大數(shù)據(jù)時(shí)代，北京市6萬(wàn)余輛出租車(chē)一天就會(huì)產(chǎn)生數(shù)億條GPS數(shù)據(jù)，車(chē)牌識(shí)別、交通監(jiān)控視頻等數(shù)據(jù)量更大，交通相關(guān)的數(shù)據(jù)量級(jí)已從TB級(jí)別躍升到PB級(jí)別，對(duì)智能交通系統(tǒng)的運(yùn)營(yíng)和管理產(chǎn)生了巨大影響。面對(duì)眾多的交通大數(shù)據(jù)，如何對(duì)其進(jìn)行準(zhǔn)確、高效的處理和分析及預(yù)測(cè)，挖掘其中蘊(yùn)含的深層應(yīng)用，做出即時(shí)和正確的交通誘導(dǎo)和疏通，以有效改善實(shí)際交通擁堵?tīng)顩r成為智能化交通信息處理分析的核心內(nèi)容。

　　交通大數(shù)據(jù)應(yīng)用帶來(lái)變化

　　交通大數(shù)據(jù)的活化應(yīng)用對(duì)交通的發(fā)展將帶來(lái)巨大的變化，這主要體現(xiàn)在大數(shù)據(jù)技術(shù)的實(shí)時(shí)性、分布性、高效性及預(yù)測(cè)性方面。在實(shí)時(shí)性方面，傳統(tǒng)的海量數(shù)據(jù)模糊查詢(xún)和統(tǒng)計(jì)分析無(wú)法達(dá)到交通實(shí)時(shí)性的需求，大數(shù)據(jù)能夠?qū)崟r(shí)地對(duì)交通大數(shù)據(jù)分析、處理，提供秒級(jí)響應(yīng)，幫助人們?cè)诤Ａ康慕煌〝?shù)據(jù)中快速發(fā)現(xiàn)交通異常，并定位癥結(jié)，方便交通管理，使交通運(yùn)行得更加合理。

　　從分布性角度入手，傳統(tǒng)的數(shù)據(jù)應(yīng)用多為單表挖掘分析，一旦涉及到跨表關(guān)聯(lián)就會(huì)因效率問(wèn)題而無(wú)能為力，大數(shù)據(jù)的分布式并行處理擅長(zhǎng)復(fù)雜的塊表關(guān)聯(lián)分析，推動(dòng)數(shù)據(jù)串并關(guān)聯(lián)，提高數(shù)據(jù)處理能力，支撐高并發(fā)多用戶(hù)訪(fǎng)問(wèn)，協(xié)同人們?cè)诮煌ňo急事件中多方協(xié)作、快速處置。高效的交通大數(shù)據(jù)挖掘能力，能夠快速發(fā)現(xiàn)海量交通數(shù)據(jù)中的內(nèi)在關(guān)聯(lián)規(guī)律，進(jìn)而提高交通運(yùn)營(yíng)效率以及路網(wǎng)的通行能力。倫敦市利用大數(shù)據(jù)減少了交通擁堵時(shí)間，提高了交通運(yùn)轉(zhuǎn)方面的效率。

　　大數(shù)據(jù)技術(shù)較高的預(yù)測(cè)能力可降低交通狀態(tài)誤報(bào)和漏報(bào)的概率，通過(guò)建立區(qū)域交通狀態(tài)的監(jiān)測(cè)及預(yù)測(cè)模型，共享交通運(yùn)行與路況環(huán)境數(shù)據(jù)，隨時(shí)對(duì)交通的動(dòng)態(tài)性進(jìn)行實(shí)時(shí)監(jiān)控，幫助駕駛者及用戶(hù)預(yù)先了解交通擁堵?tīng)顩r，避開(kāi)擁堵路段。

　　數(shù)據(jù)對(duì)交通的巨大影響除了以上幾個(gè)方面外，對(duì)交通環(huán)境的安全性也有巨大影響。大數(shù)據(jù)的實(shí)時(shí)性和可預(yù)測(cè)性以及綜合的決策模型有助于提高交通安全系統(tǒng)的數(shù)據(jù)處理能力；大數(shù)據(jù)快速整合各個(gè)傳感器數(shù)據(jù)，結(jié)合車(chē)輛運(yùn)行軌跡數(shù)據(jù)，綜合分析車(chē)輛行駛安全性，為應(yīng)急決策提供輔助，提高應(yīng)急救援能力，有效降低交通事故的發(fā)生。由此可見(jiàn)，大數(shù)據(jù)技術(shù)的出現(xiàn)及應(yīng)用能夠有效地解決智能交通面臨的好多難題。為了利用大數(shù)據(jù)技術(shù)，深入挖掘交通數(shù)據(jù)的潛在價(jià)值，就迫切需要一個(gè)數(shù)據(jù)管理平臺(tái)來(lái)處理各種類(lèi)型和規(guī)模的數(shù)據(jù)。

　　交通大數(shù)據(jù)處理平臺(tái)

　　交通大數(shù)據(jù)處理基本流程與傳統(tǒng)數(shù)據(jù)處理流程基本相似，整個(gè)處理流程可以概括為數(shù)據(jù)采集、數(shù)據(jù)錄入和預(yù)處理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理和結(jié)果展現(xiàn)。由于交通大數(shù)據(jù)要處理大量的、非結(jié)構(gòu)化的數(shù)據(jù)，如視頻數(shù)據(jù)及監(jiān)控?cái)?shù)據(jù)，而且要求處理的強(qiáng)實(shí)時(shí)性，所以在各個(gè)處理環(huán)節(jié)中采用MapReduce分布式計(jì)算框架以及實(shí)時(shí)流數(shù)據(jù)處理計(jì)算框架；數(shù)據(jù)存儲(chǔ)采用支持文本和圖像存儲(chǔ)，面向列、可伸縮，支持事務(wù)以及Ｂ樹(shù)范圍查詢(xún)和排序的分布式數(shù)據(jù)庫(kù)HBase和分布式文件存儲(chǔ)系統(tǒng)HDFS依據(jù)大數(shù)據(jù)處理流程及交通數(shù)據(jù)處理的特性。

　　整個(gè)平臺(tái)的構(gòu)建分為兩部分，依次是對(duì)交通大數(shù)據(jù)離線(xiàn)批處理、深度挖掘的Hadoop生態(tài)系統(tǒng)以及對(duì)交通大數(shù)據(jù)進(jìn)行強(qiáng)實(shí)時(shí)流式計(jì)算的Storm處理系統(tǒng)，使用構(gòu)建在Hadoop生態(tài)系統(tǒng)上的分布式日志處理系統(tǒng)Chukwa收集交通數(shù)據(jù)源，用數(shù)據(jù)同步工具Sqoop實(shí)現(xiàn)各種交通數(shù)據(jù)源和Hadoop分布式文件系統(tǒng)HDFS間的數(shù)據(jù)轉(zhuǎn)移和傳輸。

　　鑒于交通流數(shù)據(jù)處理的強(qiáng)實(shí)時(shí)性，系統(tǒng)構(gòu)建對(duì)Hadoop平臺(tái)進(jìn)行了擴(kuò)展，引入實(shí)時(shí)大數(shù)據(jù)流處理系統(tǒng)Storm。因此在交通大數(shù)據(jù)處理層包含基于Hadoop的分布式離線(xiàn)處理計(jì)算框架和基于Storm的實(shí)時(shí)流數(shù)據(jù)處理計(jì)算框架。其中，MapReduce通過(guò)Map和Reduce兩個(gè)步驟實(shí)現(xiàn)交通數(shù)據(jù)的并行處理；Impala提供SQL語(yǔ)義，對(duì)存儲(chǔ)在Hadoop的HDFS和HBase中的PB級(jí)交通大數(shù)據(jù)實(shí)現(xiàn)交互式的快速查詢(xún)；利用Mahout提供的可擴(kuò)展的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘的分布式框架，實(shí)現(xiàn)交通大數(shù)據(jù)的并行分析與實(shí)時(shí)挖掘。

　　Storm平臺(tái)克服了Hadoop平臺(tái)不能有效適應(yīng)實(shí)時(shí)數(shù)據(jù)處理的缺陷，提供全內(nèi)存計(jì)算，實(shí)現(xiàn)對(duì)流式交通數(shù)據(jù)的實(shí)時(shí)處理，它提供的輸入流組件Spout負(fù)責(zé)將數(shù)據(jù)傳遞給另一個(gè)組件Bolt并執(zhí)行任務(wù)，例如交通流數(shù)據(jù)的過(guò)濾、計(jì)算、訪(fǎng)問(wèn)文件、數(shù)據(jù)庫(kù)等方面，并創(chuàng)建新的流作為下一個(gè)Bolt的輸入流。

　　數(shù)據(jù)展現(xiàn)層利用大數(shù)據(jù)分析工具實(shí)現(xiàn)結(jié)果數(shù)據(jù)的可視化，迅速有效地簡(jiǎn)化提煉數(shù)據(jù)流，提供具有交互功能的動(dòng)態(tài)圖表，幫助人們探索和解釋復(fù)雜的數(shù)據(jù)，理解和分析數(shù)據(jù)的內(nèi)涵與特征，更好地從復(fù)雜數(shù)據(jù)中得到新的發(fā)現(xiàn)。

　　交通大數(shù)據(jù)處理體系框架

　　交通數(shù)據(jù)不僅量大而且異構(gòu)源多，實(shí)時(shí)性要求強(qiáng)，處理速度快，是典型的大數(shù)據(jù)，如何利用好這些多源的大量數(shù)據(jù)為交通決策與誘導(dǎo)提供便利，有效緩解交通擁堵是交通領(lǐng)域的難題，也是智能交通首要解決的問(wèn)題。在綜合考慮了交通數(shù)據(jù)的特性以及應(yīng)用需求的基礎(chǔ)上，交通異構(gòu)數(shù)據(jù)源有結(jié)構(gòu)化的數(shù)據(jù)大部分都是非結(jié)構(gòu)化的數(shù)據(jù)，這些數(shù)據(jù)源主要包括無(wú)線(xiàn)射頻識(shí)別數(shù)據(jù)、視頻監(jiān)控、卡扣數(shù)據(jù)（包括ETC、交叉口信號(hào)燈等）、GPS軌跡數(shù)據(jù)、IC卡刷卡數(shù)據(jù)、交通應(yīng)用服務(wù)數(shù)據(jù)等。

　　數(shù)據(jù)處理層是大數(shù)據(jù)處理體系框架的核心層，Sqoop整合數(shù)據(jù)源數(shù)據(jù)，存儲(chǔ)于分布式數(shù)據(jù)庫(kù)HBase中。這里采用基于HDFS的HBase和Impala的存儲(chǔ)系統(tǒng)，Impala提供實(shí)時(shí)的交互式SQL大數(shù)據(jù)查詢(xún)功能，直接從HBase中用SELECT、JOIN和統(tǒng)計(jì)函數(shù)查詢(xún)數(shù)據(jù)，實(shí)現(xiàn)快速的大數(shù)據(jù)存儲(chǔ)和分析。

　　根據(jù)不同的交通需求，系統(tǒng)設(shè)計(jì)了兩套計(jì)算框架，MapReduce離線(xiàn)計(jì)算框架用作交通模型的預(yù)測(cè)和交通運(yùn)行規(guī)律的挖掘，Storm實(shí)時(shí)交通流計(jì)算框架用于處理實(shí)時(shí)交通流數(shù)據(jù)，并對(duì)交通流進(jìn)行短期的預(yù)測(cè)，數(shù)據(jù)處理結(jié)果進(jìn)行可視化分析，以動(dòng)態(tài)圖表的形式展現(xiàn)給用戶(hù)。

　　交通大數(shù)據(jù)的處理就是要對(duì)數(shù)據(jù)進(jìn)行深層分析、挖掘數(shù)據(jù)所蘊(yùn)含的深層知識(shí)，尋找數(shù)據(jù)內(nèi)部隱藏的規(guī)律，這里主要包含居民日常出行行為、居民的出行模式、依據(jù)城市特點(diǎn)的交通運(yùn)營(yíng)決策及規(guī)劃、居民個(gè)體活動(dòng)知識(shí)、城市的動(dòng)態(tài)性特征、城市的空間分布規(guī)律等。對(duì)交通視頻及圖像采用CUDA架構(gòu)，快速提取其特征和摘要以備挖掘分析，對(duì)卡扣和應(yīng)用服務(wù)數(shù)據(jù)及GPS等數(shù)據(jù)基于MapReduce計(jì)算模型用Mahout進(jìn)行并行分析與挖掘，形成知識(shí)，為智能交通系統(tǒng)提供更高層的應(yīng)用與管理。

　　眾所周知，所有的研究都將歸結(jié)于應(yīng)用，大數(shù)據(jù)為智能交通的進(jìn)一步發(fā)展起到了極大的促進(jìn)作用，主要產(chǎn)生了以下幾個(gè)方面的應(yīng)用：交通擁堵自動(dòng)檢測(cè)、路網(wǎng)地圖更新、交通供求分析、道路規(guī)劃、交通費(fèi)用預(yù)測(cè)、實(shí)時(shí)路況展現(xiàn)、交通異常檢測(cè)、智能電子停車(chē)、出行信息服務(wù)、交通誘導(dǎo)等。數(shù)據(jù)是驅(qū)動(dòng)智能交通發(fā)展的基礎(chǔ)，大數(shù)據(jù)技術(shù)的開(kāi)發(fā)利用將為智能交通的進(jìn)一步發(fā)展帶來(lái)質(zhì)的飛躍，同時(shí)為人們的生活帶來(lái)便捷。

　　張紅、王曉明、曹潔、朱昶勝

關(guān)注讀覽天下微信， 100萬(wàn)篇深度好文， 等你來(lái)看……