我們看一下今天的AI系統(tǒng)，如今所有的應(yīng)用，不管是影像、聲音或者是圖像的識(shí)別，或者語(yǔ)言間的翻譯等，這些內(nèi)容AI都需要通過(guò)監(jiān)督學(xué)習(xí)來(lái)獲得。比如說(shuō)向它展示一些車(chē)的圖像，告訴它這些都是車(chē)，下次再向機(jī)器展示車(chē)的圖像，它就會(huì)告訴你答案是車(chē)。所以你可以看到，監(jiān)督學(xué)習(xí)，對(duì)于計(jì)算機(jī)的學(xué)習(xí)非常重要。

　　我們現(xiàn)在有監(jiān)督學(xué)習(xí)，或者說(shuō)深度有監(jiān)督學(xué)習(xí)，就是組合起來(lái)一些可以訓(xùn)練的模塊，形成端到端的一個(gè)學(xué)習(xí)過(guò)程，一端是原始的輸入，另一端就可以得到結(jié)果。通過(guò)這種方式，計(jì)算機(jī)會(huì)更好地了解我們的世界。

　　我們知道神經(jīng)網(wǎng)絡(luò)是非常龐大且復(fù)雜的，只有在算力很強(qiáng)的計(jì)算機(jī)上才可以運(yùn)用。在深度學(xué)習(xí)變得普遍之前，我們需要確保機(jī)器學(xué)習(xí)的系統(tǒng)可以順利應(yīng)用。

　　比如說(shuō)我們?cè)?009年、2010年紐約大學(xué)的一個(gè)合作項(xiàng)目中，即利用ConvNets進(jìn)行語(yǔ)義分割。我們可以看到，它能識(shí)別圖像，能把馬路上的建筑、天空以及路上的車(chē)和人等等在像素級(jí)別上分開(kāi)。當(dāng)時(shí)的識(shí)別技術(shù)還算不上非常完美。

　　但在幾年后，我們可以看到有一些公司利用上述技術(shù)做了一些工作，系統(tǒng)可以識(shí)別出道路上的車(chē)輛和行人，這也是實(shí)現(xiàn)智能駕駛的重要組成部分。隨著深度學(xué)習(xí)的發(fā)展、網(wǎng)絡(luò)的深度越來(lái)越深，越來(lái)越多的人相信深度學(xué)習(xí)是可以奏效的。

　　隨著網(wǎng)絡(luò)深度的不斷增加，識(shí)別ImageNet圖像的錯(cuò)誤率也在不斷下降，現(xiàn)在已經(jīng)表現(xiàn)得比人還要好。在ImageNet上的表現(xiàn)已經(jīng)太好了，以至我們現(xiàn)在都已經(jīng)不再把它作為首選的評(píng)價(jià)標(biāo)準(zhǔn)了。我們現(xiàn)在也在研究更復(fù)雜的問(wèn)題，不只是識(shí)別圖像，還要能夠進(jìn)行本地化處理。

　　Mask R-CNN是我們?cè)贔acebook人工智能研究院所做的研究，可以看到它的表現(xiàn)非常好，不僅僅可以識(shí)別出對(duì)應(yīng)的物體是什么，還可以對(duì)圖像進(jìn)行精細(xì)的分割。只是部分可見(jiàn)的東西都可以分得清。

　　可微分編程：深度學(xué)習(xí)與推理的聯(lián)姻

　　我們?cè)賮?lái)看一下可微分編程。

　　實(shí)際上我們可以從另外一個(gè)角度來(lái)理解深度學(xué)習(xí)。深度學(xué)習(xí)并不是一定需要構(gòu)建一個(gè)固定架構(gòu)的神經(jīng)網(wǎng)絡(luò)然后訓(xùn)練，它也可以是寫(xiě)程序代碼，但程序代碼可以被解釋為神經(jīng)網(wǎng)絡(luò)。這樣的程序里會(huì)帶有一些參數(shù)，然后可以通過(guò)訓(xùn)練來(lái)優(yōu)化這些參數(shù)，這些參數(shù)的最終取值也就取決于訓(xùn)練數(shù)據(jù)。當(dāng)然我們也需要寫(xiě)第二個(gè)程序，計(jì)算輸入關(guān)于參數(shù)的導(dǎo)數(shù)的梯度，就可以往正確的方式調(diào)整這些參數(shù)的值了，這樣動(dòng)態(tài)改變了最終網(wǎng)絡(luò)的結(jié)構(gòu)，它也就可以適應(yīng)不同的任務(wù)。這就是可微分編程。

　　這是幾年前所開(kāi)展的一項(xiàng)典型工作，用記憶模塊增強(qiáng)神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)的結(jié)構(gòu)也就是動(dòng)態(tài)的。這樣的做法也會(huì)影響未來(lái)用什么樣的工具開(kāi)發(fā)神經(jīng)網(wǎng)絡(luò)。

　　這是另外一個(gè)關(guān)于動(dòng)態(tài)計(jì)算的例子。如果你要建立一個(gè)系統(tǒng)能夠回答復(fù)雜問(wèn)題的話，比如在一副圖中，紅色的立方體，是不是要比別的大一些？或者立方體有沒(méi)有比某個(gè)顏色的東西更多？這是幾年前Facebook和斯坦福大學(xué)合作的研究，它的關(guān)鍵思想是，通過(guò)循環(huán)神經(jīng)網(wǎng)絡(luò)LSTM輸入問(wèn)題，問(wèn)題會(huì)被編碼成向量的形式，然后向量再被另一個(gè)網(wǎng)絡(luò)解碼，解碼后的結(jié)果像是一種程序，程序解釋后的結(jié)果是幾個(gè)模塊連接形成的計(jì)算圖。這樣最終就解答了這個(gè)問(wèn)題。

　　比如對(duì)于問(wèn)題“立方體有沒(méi)有比黃色的東西更多”，我們首先需要一個(gè)立方體的檢測(cè)器，然后需要檢測(cè)黃色東西的檢測(cè)器，分別數(shù)出來(lái)都有多少，最后對(duì)比兩個(gè)數(shù)字得到了結(jié)果。動(dòng)態(tài)計(jì)算就可以端到端地訓(xùn)練出執(zhí)行這樣任務(wù)的程序。決定它的組成結(jié)構(gòu)的也就是用來(lái)訓(xùn)練它的數(shù)據(jù)。

　　剛才看到的都是一些已經(jīng)做到的深度學(xué)習(xí)成就，那么我們還需要看一下，距離達(dá)成“真正的AI”我們還缺了什么。現(xiàn)在我們已經(jīng)可以構(gòu)建出更安全的車(chē)輛或者說(shuō)自動(dòng)駕駛車(chē)輛，我們有更好的醫(yī)學(xué)影像分析、還不錯(cuò)的翻譯軟件、差不多能用的聊天機(jī)器人。但我們還做不出來(lái)有“常識(shí)”的機(jī)器人、做不出真正有智慧的個(gè)人助理、做不出可以替代洗碗機(jī)的管家機(jī)器人。我們?nèi)绷艘恍┲匾臇|西。

　　強(qiáng)化學(xué)習(xí)是缺的那塊拼圖嗎？

　　有的人會(huì)說(shuō)，答案就是強(qiáng)化學(xué)習(xí)。強(qiáng)化學(xué)習(xí)當(dāng)然也很有力，但是它只能在游戲的、虛擬的環(huán)境里發(fā)揮。所以強(qiáng)化學(xué)習(xí)并不適合解決現(xiàn)實(shí)生活中的問(wèn)題。

　　機(jī)器需要學(xué)習(xí)常識(shí)

　　我們想想嬰兒是怎么學(xué)習(xí)的？比如我們給嬰兒看一張圖，那個(gè)小車(chē)漂浮在空中，雖然下面沒(méi)有任何支撐，但是并沒(méi)有掉下來(lái)。不到6個(gè)月大的嬰兒看到這張圖片并不會(huì)覺(jué)得驚訝，但是更大的嬰兒已經(jīng)知道了沒(méi)有東西支撐的話是會(huì)掉下來(lái)的，看到這張圖片就會(huì)很驚訝。這是他們?cè)谏淖畛鯉讉€(gè)月學(xué)到的一些概念，也就假說(shuō)認(rèn)為這就是“常識(shí)”萌芽的時(shí)期。

　　動(dòng)物也有一定程度的常識(shí)，比如這只幼年的猩猩。我們給它變了個(gè)魔術(shù)，在杯子里放了東西然后把它變沒(méi)了。猩猩本來(lái)期待著東西還在里面的，當(dāng)它看到東西不見(jiàn)了的時(shí)候就笑得躺在地上了。這只猩猩就對(duì)這個(gè)世界有著較為準(zhǔn)確的認(rèn)知模型。

　　那么我們需要做的，也就是讓機(jī)器具備對(duì)這個(gè)世界的模型，我把這個(gè)稱(chēng)作“自我監(jiān)督學(xué)習(xí)”或者“預(yù)測(cè)學(xué)習(xí)”。機(jī)器要嘗試預(yù)測(cè)自己看到的東西的各個(gè)方面，這也可能就是能讓機(jī)器像人類(lèi)一樣高效地學(xué)習(xí)的關(guān)鍵。

　　這種學(xué)習(xí)主要靠觀察，沒(méi)有監(jiān)督，和世界只有很少的互動(dòng)；它們除了接收，還要可以規(guī)劃和行動(dòng)。這正是構(gòu)建自動(dòng)化機(jī)器的關(guān)鍵。

　　所以不管下次的變革在哪里，我覺(jué)得都不會(huì)是監(jiān)督學(xué)習(xí)，當(dāng)然也不會(huì)是純強(qiáng)化學(xué)習(xí)。它應(yīng)該會(huì)有某種自我監(jiān)督或無(wú)監(jiān)督學(xué)習(xí)。而且也會(huì)在這樣的變革當(dāng)中出現(xiàn)一些常識(shí)性的學(xué)習(xí)。

　　我總結(jié)一下，這也就是我們近期在Facebook做的預(yù)測(cè)學(xué)習(xí)如何預(yù)測(cè)、推理以及計(jì)劃，也就是學(xué)習(xí)“常識(shí)”。它的核心思想是，自動(dòng)的智能機(jī)器人應(yīng)當(dāng)有一個(gè)內(nèi)部的世界模型，可以在它做出行動(dòng)之前自己進(jìn)行模擬，預(yù)知自己的動(dòng)作的結(jié)果。這是一種最優(yōu)控制中常見(jiàn)的方法，但在機(jī)器學(xué)習(xí)中就不那么常見(jiàn)了。這里我們遇到的問(wèn)題也就是如何讓人工智能學(xué)會(huì)對(duì)世界建模，從而用這個(gè)模型幫助自己規(guī)劃現(xiàn)實(shí)世界中的行為。

　　預(yù)測(cè)的時(shí)候還需要處理不確定性，在桌子上立一支筆，然后松手，它就會(huì)倒下來(lái)。我們只確定它會(huì)倒下來(lái)，但是不確定具體會(huì)倒向哪個(gè)方向。這種時(shí)候我們也就需要對(duì)抗性訓(xùn)練，訓(xùn)練模型不只給出一個(gè)答案，而是多個(gè)可能的答案。這里需要兩個(gè)模型，一個(gè)模型做預(yù)測(cè)，另一個(gè)模型來(lái)評(píng)判哪些結(jié)果還不錯(cuò)、哪些結(jié)果是現(xiàn)實(shí)世界不太可能發(fā)生的。

　　所以，對(duì)抗性訓(xùn)練也就是我們希望可以幫助建立預(yù)測(cè)機(jī)器的方法。預(yù)測(cè)應(yīng)當(dāng)是智慧的核心，我相信能訓(xùn)練出具有預(yù)測(cè)能力的模型也就能在未來(lái)幾年中為我們帶來(lái)大的進(jìn)步。

　　關(guān)于AI 未來(lái)發(fā)展的預(yù)測(cè)

　　對(duì)于AI學(xué)術(shù)研究的趨勢(shì)，監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)即便不會(huì)被取代，也會(huì)被自我監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)明顯地增強(qiáng)；學(xué)習(xí)具有預(yù)測(cè)能力的模型也會(huì)成為未來(lái)幾年內(nèi)的研究熱點(diǎn)，這能讓我們從無(wú)模型的強(qiáng)化學(xué)習(xí)來(lái)到基于模型的強(qiáng)化學(xué)習(xí)以及模仿學(xué)習(xí)，它們的效率都會(huì)提升很多，所需的嘗試次數(shù)也會(huì)少很多。

　　另一件事是，讓模型具有推理的能力，但同時(shí)還和深度學(xué)習(xí)是兼容的。就是讓深度學(xué)習(xí)方法可以做符號(hào)表示方法可以做的事情，把符號(hào)換成了向量，把邏輯變成了可微分的程序操作。目前的固定結(jié)構(gòu)的網(wǎng)絡(luò)會(huì)變成動(dòng)態(tài)的、由數(shù)據(jù)決定的網(wǎng)絡(luò)結(jié)構(gòu)。這也會(huì)需要在計(jì)算方法方面有新的探索，從而成為系統(tǒng)性的問(wèn)題。深度學(xué)習(xí)本身我認(rèn)為也會(huì)有一些進(jìn)化，它們操作的不再是數(shù)值或者高維向量，而是操作圖結(jié)構(gòu)之類(lèi)的復(fù)雜數(shù)據(jù)結(jié)構(gòu)，更多的深度學(xué)習(xí)理論也可能會(huì)出現(xiàn)。

　　（本文根據(jù)YannLeCun的公開(kāi)演講整理而成，未經(jīng)本人確認(rèn)。）

　　■Facebook首席AI科學(xué)家 Yann LeCun

關(guān)注讀覽天下微信， 100萬(wàn)篇深度好文， 等你來(lái)看……