人工智能自身存在著脆弱性，例如對抗樣本就是人工智能的內(nèi)生安全問題。對抗樣本是機(jī)器學(xué)習(xí)模型的一個有趣現(xiàn)象，反映出了人工智能算法的弱點。攻擊者通過在源數(shù)據(jù)上增加人類難以通過感官辨識的細(xì)微改變，但是卻可以讓機(jī)器學(xué)習(xí)模型接受并做出錯誤的分類決定。一個典型的場景就是圖像分類模型的對抗樣本，通過在圖片上疊加精心構(gòu)造的變化量，在肉眼難以察覺的情況下，讓分類模型產(chǎn)生誤判。對抗樣本除在圖像識別領(lǐng)域存在，也在其他領(lǐng)域存在，如語音、文本等。從網(wǎng)絡(luò)安全領(lǐng)域看，同樣存在類似于對抗樣本的攻擊問題，攻擊者通過對惡意代碼插入擾動操作就有可能對人工智能模型產(chǎn)生欺騙。例如，有人就設(shè)計了一個惡意樣本，讓分類器將一個存有惡意行為的軟件認(rèn)定為良性的變體，從而可以構(gòu)造能自動逃逸PDF惡意軟件分類器的攻擊方法，以此來對抗機(jī)器學(xué)習(xí)在安全中的應(yīng)用。上述安全問題都可能會導(dǎo)致同樣后果，就是導(dǎo)致人工智能系統(tǒng)發(fā)生錯誤的決策、判斷，以及系統(tǒng)被控制等問題。

　　巨大的安全挑戰(zhàn)

　　人工智能技術(shù)存在著巨大的安全性挑戰(zhàn)。目前人工智能系統(tǒng)還無法超出固有的場景或?qū)μ囟ㄕZ境的理解，人工智能技術(shù)在下棋或游戲等有固定規(guī)則的范圍內(nèi)一般不會暴露其脆弱性，當(dāng)環(huán)境數(shù)據(jù)與智能系統(tǒng)訓(xùn)練的環(huán)境大相徑庭，或者實際的應(yīng)用場景發(fā)生變化，或者這種變化超出機(jī)器可理解的范圍時，人工智能系統(tǒng)可能就會立刻失去判斷能力。美國智庫“新美國安全中心”最近發(fā)布的《人工智能：每個決策者需要知道什么》稱，人工智能的一些弱點可能對國家安全等領(lǐng)域造成巨大影響。

　　人工智能的失誤可能會給人類帶來災(zāi)難，從而會形成衍生安全問題。2016年5月7日，在佛羅里達(dá)州公路上一輛處于“自動駕駛”模式的特斯拉Model S以74英里的時速，撞上了拐彎中的白色拖掛式大貨車。Model S從貨車車底穿過，車頂被完全掀飛，40歲的駕駛員Joshua Brown不幸死亡。出事路段限制時速為65英里/時。由于 “自動駕駛”模式車前的高清攝像頭為長焦鏡頭，當(dāng)白色拖掛卡車進(jìn)入視覺區(qū)域內(nèi)時，攝像頭只能看到懸浮在地面上的卡車中部，而無法看見整個車輛;此外，當(dāng)時陽光強(qiáng)烈（藍(lán)天白云），使得自動駕駛系統(tǒng)無法識別出障礙物是一輛卡車，而更像是飄在天上的云，導(dǎo)致自動剎車未生效。這次事故引發(fā)了外界對自動駕駛汽車安全性的爭議。這種自動駕駛的缺陷導(dǎo)致人類傷亡的事情，是典型的人工智能衍生安全的案例。

　　當(dāng)前，人們已經(jīng)開始關(guān)注人工智能自身的安全問題，霍金曾經(jīng)在2015年8月與美國Reddit 網(wǎng)的問答互動中，提出了人工智能“威脅論”的觀點，后又曾多次在世界知名期刊撰文強(qiáng)調(diào)類似看法。比爾·蓋茨稱，人類在人工智能領(lǐng)域已經(jīng)取得了很大進(jìn)展，這些進(jìn)展能讓機(jī)器人在接下來的10年內(nèi)學(xué)會駕駛和做家務(wù)，在一些特定的領(lǐng)域甚至能比人類優(yōu)秀。但是之前他曾經(jīng)提出警告，“人工智能如果進(jìn)展太快，可能會對未來的人類造成一定威脅”。特斯拉創(chuàng)始人馬斯克在Code大會上也預(yù)測智能機(jī)器人未來，他認(rèn)為未來人類生活將離不開虛擬現(xiàn)實技術(shù)，而這一技術(shù)的高度發(fā)展將使人類很難分辨出真實與游戲的區(qū)別;加之人工智能的飛速發(fā)展，人類智商將會止步不前;最為嚴(yán)重的后果是機(jī)器人反超人類成為實際運營世界的主體，人類在機(jī)器人心中可能如寵物一般的存在。

　　防止人工智能體

　　行為失控的方案

　　隨著人工智能技術(shù)的高速發(fā)展，人工智能行為體越來越有可能在不遠(yuǎn)的將來成為人類生活重要組成部分。目前，相關(guān)研究領(lǐng)域?qū)＜乙颜J(rèn)識到人工智能存在巨大風(fēng)險，并從人工智能安全設(shè)計原則、標(biāo)準(zhǔn)規(guī)范、道德倫理方面進(jìn)行呼吁。但是，針對如何設(shè)計一個防止具有行為能力的人工智能系統(tǒng)失控的裝置？該裝置應(yīng)具備的什么樣的控制功能和性能指標(biāo)？該裝置的軟硬件形態(tài)是什么？這些目前尚無研究成果。

　　人工智能為什么會危害人類？前提是要有一個具有行為能力的、由人工智能來操作的行為體。人工智能行為體是指一類能感知外部環(huán)境并將之作為輸入，通過內(nèi)部算法進(jìn)行決策，并利用自身驅(qū)動裝置與物理世界產(chǎn)生交互行為的自主硬件實體。自動行走機(jī)器人、自動駕駛汽車和人工智能武器等，都是人工智能行為體的類型。人工智能行為體需要有感知外部環(huán)境、內(nèi)部控制邏輯、運動驅(qū)動裝置和自主能力（自學(xué)習(xí)）四個要素的體現(xiàn)。外部環(huán)境包括所處的自然環(huán)境和相關(guān)生物體等;內(nèi)部控制邏輯是指預(yù)制在人工智能行為體內(nèi)部，用于產(chǎn)生運動行為的程序;運動驅(qū)動裝置是可與物理世界交互，或者可改變?nèi)斯ぶ悄苄袨轶w處所空間坐標(biāo)的硬件;自主能力是指人工智能行為體可以自己設(shè)定要達(dá)到的目標(biāo)函數(shù)或自主決策，而非由人類設(shè)定目標(biāo)。

　　人工智能在什么情況下會危害人類？需要同時滿足三個條件，第一，有行為能力，AlphaGo是下棋機(jī)器人，不能動，所以不會危害人類;第二，有足夠破壞力的動能，有危害性，掃地機(jī)器人不具有破壞的動能，所以不會危害人類;第三，具有自主能力，完全聽命于人類的系統(tǒng)，不會主動傷害人類，但會誤傷人類。

　　第一，能動的問題已解決;第二，有破壞力的機(jī)器人也已經(jīng)存在，這是一個危險因素;第三，自主行為體。運動體已經(jīng)比比皆是，破壞力已經(jīng)突破掉了，關(guān)鍵就是能不能自主。但是我們不能太相信機(jī)器人不會自我進(jìn)化到危害人類的程度，所以對它預(yù)先要有約束。

　　針對機(jī)器人來說有一個國際標(biāo)準(zhǔn)，提出了四種約束條件。第一是安全級的監(jiān)控停止，當(dāng)出現(xiàn)問題時，有讓它停止的能力;第二是手動引導(dǎo)，任何事情都需要指示它做，它才開始做。如果這個機(jī)器人只能手動才開始做，它就沒辦法給自己設(shè)定攻擊性目標(biāo);第三是速度和距離監(jiān)控，當(dāng)它和人比較接近時，速度必須降下來;第四是功率和力的限制，當(dāng)和人接近時其功率必須迅速降下來。這些都是保護(hù)人類要做的事情。 我們提出一種防止人工智能行為體失控的方法——AI保險箍。串聯(lián)模塊用于與人工智能行為體的決策系統(tǒng)和驅(qū)動裝置連接;反摘除模塊用于在發(fā)生暴力拆除時，毀滅人工智能行為體，其確保本裝置無法從人工智能行為體總摘除。

　　AI保險箍方法的核心要點包括：①人工智能行為體的驅(qū)動裝置需采取主動探測或被動監(jiān)聽等方法，以檢測到一個授權(quán)的、認(rèn)證的、可信的控制系統(tǒng)（AI保險箍）的存在，并接受其完全控制;② 當(dāng)人工智能行為體無法檢測到一個授權(quán)的、認(rèn)證的、可信的控制系統(tǒng)存在時，應(yīng)停止一切工作;③ 速度與距離監(jiān)控，當(dāng)人工智能行為體中某個危險部件與人之間的距離小于安全距離時，觸發(fā)保護(hù)停止、觸發(fā)與人工智能行為體相連的安全級功能;④ 在人工智能行為體發(fā)生失控時，系統(tǒng)能根據(jù)遠(yuǎn)程控制命令，實現(xiàn)人工智能行為體的遠(yuǎn)程控制，使其無法危害人類或?qū)⑽：刂频阶畹?⑤ 系統(tǒng)會對人工智能行為體進(jìn)行風(fēng)險識別，當(dāng)識別出風(fēng)險時，發(fā)出警報示警，進(jìn)一步防止人工智能行為體因為失控而造成的損害。人工智能作為最具顛覆性和戰(zhàn)略性的核心關(guān)鍵技術(shù)，持續(xù)引起全球產(chǎn)業(yè)界、學(xué)術(shù)界和各國政府的高度關(guān)注。當(dāng)前，人工智能技術(shù)在安全領(lǐng)域的應(yīng)用需求日益迫切，同時，人工智能自身的安全問題也不容小覷，安全與人工智能并舉，雙方的融合發(fā)展與創(chuàng)新是強(qiáng)國戰(zhàn)略中不可忽視的重要助推因素。

　?。ǜ鶕?jù)方濱興發(fā)表的公開資料整理而成，未經(jīng)本人確認(rèn)。）

　　人工智能技術(shù)在安全領(lǐng)域的應(yīng)用需求日益迫切，自身的安全問題也不容小覷。

　　相關(guān)研究領(lǐng)域?qū)＜乙颜J(rèn)識到人工智能存在巨大風(fēng)險，并從人工智能安全設(shè)計原則、標(biāo)準(zhǔn)規(guī)范、道德倫理方面進(jìn)行呼吁。

關(guān)注讀覽天下微信， 100萬篇深度好文， 等你來看……