智慧城市建設(shè)涉及多個(gè)領(lǐng)域、不同層面的數(shù)據(jù)資源獲取、處理和分析。這些數(shù)據(jù)應(yīng)用于醫(yī)療衛(wèi)生，能夠?qū)崿F(xiàn)精準(zhǔn)醫(yī)療；數(shù)據(jù)應(yīng)用于教育行業(yè)，可以實(shí)施個(gè)性化教學(xué)；而城市監(jiān)控?cái)?shù)據(jù)為城市管理者所用，能夠提升管理效率、改善民生服務(wù)。

　　目前，以北京為例，覆蓋全城、多點(diǎn)布局的攝像頭數(shù)量達(dá)2000萬之多，而這些攝像頭捕捉到的數(shù)據(jù)信息往往是在“睡大覺”。一般1~2個(gè)星期、最多1~2個(gè)月為一個(gè)周期，過往信息就會被覆蓋掉。

　　如何從這些信息中抓取有用數(shù)據(jù)、扔掉無用數(shù)據(jù)，是我們當(dāng)前面臨的難題。這類音視頻多媒體數(shù)據(jù)要真正實(shí)現(xiàn)有效應(yīng)用，面臨三大挑戰(zhàn)，即“存不下”、“看不清”、“找不到”。

　　優(yōu)化編碼技術(shù)研究

　　這三大挑戰(zhàn)背后對應(yīng)的技術(shù)問題是指我們的編碼算法技術(shù)還有提升的潛力和空間。

　　一方面，隨著攝像頭數(shù)量不斷增加，獲取的信息量不斷增長，可能導(dǎo)致“存不下”這一問題；另一方面，計(jì)算機(jī)識別圖像與我們?nèi)搜劭礀|西不同，需要較高的清晰度。目前，我們城市攝像頭的數(shù)量基本已達(dá)到5米或10米一個(gè)，但人臉識別率還是較低，就存在“看不清”的問題。此外，攝像頭物理參數(shù)的不同也會導(dǎo)致出現(xiàn)這一現(xiàn)象：我們?nèi)庋劭茨橙藦腁點(diǎn)走到B點(diǎn)，A點(diǎn)攝像頭捕捉到這個(gè)人，但到了B點(diǎn)可能就“找不到”了，這就存在跨攝像頭搜索的問題。

　　針對這三個(gè)問題，我們需要三種不同的技術(shù)來應(yīng)對它。

　　針對“存不下”問題，我們需要從更新編碼技術(shù)這個(gè)思路去尋找破解之道。高效視頻編碼是應(yīng)對這一問題的直接技術(shù)手段。因?yàn)閿?shù)字視頻其實(shí)是一個(gè)數(shù)字圖像序列，數(shù)字圖像表現(xiàn)的是數(shù)字信號，而數(shù)字信號我們可以對其進(jìn)行處理。經(jīng)過分析，我們發(fā)現(xiàn)數(shù)字圖像序列中有三類信息冗余，一是時(shí)間冗余，二是空間冗余，三是感知冗余，當(dāng)然也有知識冗余等其他冗余。如果我們能夠把這些冗余擠掉，就能更有效地壓縮數(shù)字視頻。

　　針對不同類別的冗余，我們必須采用不同的方法。理論上，我們通過矩陣運(yùn)算或通過矩陣分析可以找到視頻編碼的上界即最大壓縮程度。例如，針對2000×2000像素這樣尺寸的圖像，理論上我們能壓縮2000倍，即壓縮到2000：1，但實(shí)際上我們能做到的是600：1，中間還有很大空間，需要采用各種不同技術(shù)來突破。

　　編碼技術(shù)變革

　　1993年第一代編碼技術(shù)通過優(yōu)化能把高清視頻壓縮到了1/75，2003年第二代編碼技術(shù)把編碼性能提高了一倍，2013年有了第三代編碼技術(shù)，壓縮能力又提升了一倍。以此類推，2023年將產(chǎn)生第四代編碼技術(shù)，其壓縮能力將達(dá)到1/600。我們把這種規(guī)律視為編碼領(lǐng)域的摩爾定律，十年性能翻一番。

　　其實(shí)，從第一代到第三代編碼技術(shù)，都是遵循最基本的編碼框架結(jié)構(gòu)，即從視頻信號進(jìn)來，切成塊變換處理，再進(jìn)行濾波運(yùn)能估計(jì)。但基于這一架構(gòu)，編碼性能卻能十年翻一番。如何實(shí)現(xiàn)？主要是采用多種數(shù)學(xué)工具，如預(yù)測編碼、算術(shù)編碼等，或者多種工具混合利用使得編碼效率不斷提升。通過觀察分析，我們看到，在三代編碼技術(shù)不斷演變過程中，真正的變化是在預(yù)測與運(yùn)動估計(jì)這一項(xiàng)上，每一代都不一樣。這也會給我們提供啟發(fā)，為尋找更高的編碼效率，預(yù)測與運(yùn)動應(yīng)該是我們關(guān)注的重點(diǎn)。那么，為何預(yù)測可以得到更高的編碼效率？因?yàn)轭A(yù)測主要解決的是空域冗余，隨著時(shí)間推移，它一幀一幀往前處理。我們知道圖像處理中很多東西不變化，這些不變化有效利用起來，就能獲得較高的編碼效率。

　　以監(jiān)控視頻為例，一般而言，在會議活動中，演講人只有身體會偶爾搖動；在自然環(huán)境中，整片森林除了每天光照變化、葉子生長變化，其他都基本不變。因此，如果針對這些不變的因素實(shí)現(xiàn)建模，就能獲得很高的編碼效率。

　　因此，針對視頻監(jiān)控應(yīng)用，我們提出了背景建模技術(shù)，通過背景建波計(jì)算出背景模型，之后做預(yù)測時(shí)，用這套模型去做計(jì)算效率就會很高。在國際三個(gè)主流編碼技術(shù)團(tuán)隊(duì)中，中國技術(shù)團(tuán)隊(duì)在這一領(lǐng)域作出了較大貢獻(xiàn)，并已有了實(shí)際應(yīng)用。

　　AVS2有效提升編碼效率

　　從性能上來看，以數(shù)字視頻廣播應(yīng)用為例，中國超高清標(biāo)準(zhǔn)AVS2與目前H.265標(biāo)準(zhǔn)性能相當(dāng)，而以監(jiān)控視頻應(yīng)用為例，AVS2標(biāo)準(zhǔn)相比H.265標(biāo)準(zhǔn)，性能為‐41.77%，即碼率節(jié)省了41.77，性能提升了一倍。

　　對于監(jiān)控視頻而言，AVS2已經(jīng)邁入新時(shí)代。

　　2015年1月，廣電總局廣播電視、計(jì)量檢測中心針對AVS2標(biāo)準(zhǔn)和H.265標(biāo)準(zhǔn)專門做了一個(gè)對比實(shí)驗(yàn)，并得出這樣的結(jié)論：AVS做超高清視頻很有優(yōu)勢。對比視頻編碼標(biāo)準(zhǔn)HEVC，圖像質(zhì)量下降的平均值是：AVS2為2.9%，HEVC為3%。一般而言，下降的值越低越好，這也表明了AVS2的優(yōu)勢。

　　目前，已經(jīng)有一些主流企業(yè)開始布局，準(zhǔn)備用AVS2進(jìn)軍全球市場。而AVS2能夠有效提高編碼效率和精度，能夠應(yīng)對我們提到的第一個(gè)挑戰(zhàn)——“存不下”。

　　針對“看不清”即識別不準(zhǔn)這一問題，傳統(tǒng)的做法是產(chǎn)生編碼和識別編碼是完全平行的兩套，彼此不通氣。通過背景建模技術(shù)，可以在編碼時(shí)把前景測出來，這樣的好處是可以進(jìn)行分析、識別、提取。具體如何實(shí)現(xiàn)？以監(jiān)控視頻碼流為例，我們可以理解為它是由兩個(gè)碼流構(gòu)成的，一是背景碼流，二是前景碼流。測出前景后，我們可以處理、識別，并且跟蹤分析我們關(guān)注的對象?；谶@個(gè)想法，AVS2也就支持感興趣區(qū)域（RCH），就是語法里面對前景手段你可以對其進(jìn)行描述，這種描述可以采用特殊參數(shù)的編碼，背景一次性接過去就可以?；谶@樣的構(gòu)建我們可以很好地識別編碼模型，從感興趣的區(qū)域可以得到對象，根據(jù)對象之間的關(guān)聯(lián)，以及它們失去關(guān)系時(shí)構(gòu)建的時(shí)間，我們可以在編碼的同時(shí)做運(yùn)動分析、目標(biāo)檢測、對象行為分析等。

　　傳統(tǒng)的方式下，識別時(shí)我們需要在視頻流上找，但是通過背景建模技術(shù)，任務(wù)就變得簡單很多。我們只需要知道背景是什么，就很容易把前景表述出來。AVS2國外版命名為HE1857，基于這一標(biāo)準(zhǔn)，可以對感興趣的區(qū)域提取對于對象的表達(dá)，對動作和行為檢測等。

　　針對跨攝像頭檢索“找不到”的問題，我們采用了CDVS（即緊縮描述式）技術(shù)。我們要想辦法達(dá)成這些目標(biāo)：描述能力強(qiáng)、緊湊，檢索較快，特征規(guī)范化。這里面涉及到計(jì)算機(jī)視覺技術(shù)、機(jī)器學(xué)習(xí)技術(shù)等，最核心的就是興趣點(diǎn)提取和表述，一開始我們用的是（SIFT）特征，也是近期最好用的一個(gè)特征。

　　但（SIFT）特征在具體使用中有很多問題，后來我們對其做了改進(jìn)，改進(jìn)之后的效果比較好，所以我們把這一特征又分成局部和全局。改進(jìn)的倍數(shù)CDVS比SIFT好三倍，特征大小好一百倍。針對一千萬幅圖像庫進(jìn)行搜索，采用CDVS只需要500毫秒就能完成搜索，就是說如果我們要在一千萬張圖片中去找一張圖片，半秒鐘就能解決問題，搜索速度非?？?，這只是在英特爾CPU上面就可以做到的。

　　總的來說，在智慧城市建設(shè)過程中，如果你要考慮多媒體大數(shù)據(jù)分析的時(shí)候，有三個(gè)比較大的挑戰(zhàn)。

　　第一個(gè)壓縮問題我們可以通過AVS2去應(yīng)對，當(dāng)然你可以有其他的辦法。第二個(gè)模式識別問題可以通過支持感興趣區(qū)域的AVS2、面向監(jiān)控的AVS2來解決。第三個(gè)跨攝像頭搜索、視頻搜索問題，其實(shí)可以用CDVS這一標(biāo)準(zhǔn)去解決，當(dāng)然也有其他更好的技術(shù)來解決。在智慧城市建設(shè)方面，盡管我們現(xiàn)在裝了很多攝像頭，但離具體的應(yīng)用還是有一段距離，所以需要理論、系統(tǒng)、技術(shù)等多領(lǐng)域?qū)＜夜餐瑓f(xié)同，才會有一個(gè)較好的結(jié)果。

　?。ū疚母鶕?jù)高文院士在第八屆中國云計(jì)算大會上的演講整理而成，未經(jīng)本人確認(rèn)。）

　　■中國工程院院士 高文

關(guān)注讀覽天下微信， 100萬篇深度好文， 等你來看……