建站
咨詢(xún)
售后
建站咨詢(xún)
新聞中心
計(jì)算機(jī)科學(xué)中正迅速發(fā)展的機(jī)器學(xué)習(xí)領(lǐng)域，工程師們常將人工智能(AI)稱(chēng)作“黑箱”系統(tǒng)：一旦機(jī)器學(xué)習(xí)引擎經(jīng)由樣本數(shù)據(jù)集訓(xùn)練，用以執(zhí)行從面部識(shí)別到惡意軟件檢測(cè)等各種任務(wù)，它們便能接受詢(xún)問(wèn)——這是誰(shuí)的臉?這個(gè)App安全嗎?并能自行給出答案——無(wú)需任何人，甚至是其創(chuàng)造者的指導(dǎo)，自身內(nèi)部就完全理解了決策機(jī)制。
成都創(chuàng)新互聯(lián)2013年至今，是專(zhuān)業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目成都網(wǎng)站建設(shè)、網(wǎng)站建設(shè)網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命，1280元江達(dá)做網(wǎng)站,已為上家服務(wù),為江達(dá)各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:028-86922220
但研究人員逐漸證明，雖然這些機(jī)器學(xué)習(xí)引擎的內(nèi)部機(jī)制神秘莫測(cè)，它們也并非是完全隱秘的。事實(shí)上，研究人員已經(jīng)發(fā)現(xiàn)這些黑箱的內(nèi)容物可以被逆向，甚至完全復(fù)制——用某隊(duì)研究員的話說(shuō)就是“竊取”，逆向和復(fù)制方法還是用以創(chuàng)建這些系統(tǒng)的同一套。
9月初發(fā)表的一篇論文《通過(guò) Prediction API 盜取機(jī)器學(xué)習(xí)模型》中，來(lái)自康乃爾科技學(xué)院、瑞士洛桑理工學(xué)院(EPFL)、北卡羅萊納大學(xué)的一隊(duì)計(jì)算機(jī)科學(xué)家，詳細(xì)描述了他們是怎樣僅靠發(fā)問(wèn)和分析響應(yīng)，來(lái)逆向機(jī)器學(xué)習(xí)訓(xùn)練過(guò)的AI的。通過(guò)用目標(biāo)AI的輸出來(lái)訓(xùn)練他們自己的AI，這隊(duì)科學(xué)家可以產(chǎn)出能近100%預(yù)測(cè)被克隆AI響應(yīng)的軟件，有時(shí)候僅用幾千甚至幾百個(gè)查詢(xún)來(lái)訓(xùn)練就行了。
康乃爾科技學(xué)院教授阿里·祖爾說(shuō)：“拿到黑箱，通過(guò)這個(gè)窄小的接口，你就可以重建其內(nèi)部，逆向工程這個(gè)箱子。某些情況下，真能達(dá)到完美重現(xiàn)?！?/p>
拿下黑箱內(nèi)部
研究人員表示，該手法可被用于允許用戶上傳數(shù)據(jù)給機(jī)器學(xué)習(xí)引擎，并在線發(fā)布或共享結(jié)果模型的服務(wù)。亞馬遜、谷歌、微軟、BigML之類(lèi)的公司都有提供此類(lèi)服務(wù)，有時(shí)候是以按查詢(xún)付款的商業(yè)模式提供。研究人員將自己的方法稱(chēng)之為“萃取攻擊”，該方法能復(fù)制本應(yīng)專(zhuān)有的AI引擎，某些情況下甚至能重現(xiàn)當(dāng)初用以訓(xùn)練AI的敏感私有數(shù)據(jù)。進(jìn)入斯坦福大學(xué)之前忙于此AI盜取項(xiàng)目的EPFL研究員弗洛里安·特拉馬爾說(shuō)：“一旦你發(fā)現(xiàn)了其中模型，就不需要再為專(zhuān)利AI付費(fèi)了，還能獲取大量隱私泄露?！?/p>
其他情況下，該技術(shù)可能會(huì)讓黑客逆向并擊潰基于機(jī)器學(xué)習(xí)的安全系統(tǒng)，比如用來(lái)過(guò)濾垃圾郵件和惡意軟件的那些?！皫讉€(gè)小時(shí)的努力后，你就能萃取出一個(gè)AI模型，如果此模型被用于某個(gè)產(chǎn)品系統(tǒng)，那這個(gè)系統(tǒng)從此對(duì)你再無(wú)阻礙?！?/p>
研究人員的技術(shù)，基本上是通過(guò)機(jī)器學(xué)習(xí)自身來(lái)逆向機(jī)器學(xué)習(xí)軟件。簡(jiǎn)單舉例，機(jī)器學(xué)習(xí)訓(xùn)練的垃圾郵件過(guò)濾器，可以判定所給郵件是否垃圾郵件，它會(huì)給出一個(gè)“置信度值”，揭示其判斷的正確程度?；卮鹂杀幻枋鰹锳I決策閾值界限任一邊的點(diǎn)，置信度值顯示的就是這個(gè)點(diǎn)距離界限的遠(yuǎn)近。不斷用測(cè)試郵件嘗試過(guò)濾器，可以揭示出定義那條界限的精確線。該技術(shù)可被擴(kuò)展成更加復(fù)雜的多維模型，給出更為精準(zhǔn)的答案而非簡(jiǎn)單的“是/不是”回答。(甚至目標(biāo)機(jī)器學(xué)習(xí)引擎不提供置信度值的情況下，這手段都有效，只不過(guò)需要數(shù)十上百倍的查詢(xún)。)
盜取牛排熟度偏好預(yù)測(cè)器
研究人員在兩個(gè)服務(wù)上測(cè)試了他們的攻擊方法：亞馬遜的機(jī)器學(xué)習(xí)平臺(tái)，以及線上機(jī)器學(xué)習(xí)服務(wù)BigML。他們用一系列通用數(shù)據(jù)集逆向工程了基于這些平臺(tái)的AI模型。例如，在亞馬遜的平臺(tái)上，他們嘗試“盜取”一個(gè)基于人口統(tǒng)計(jì)學(xué)因素預(yù)測(cè)個(gè)人薪水的算法。該算法用到的人口統(tǒng)計(jì)學(xué)因素包括有聘用情況、婚姻狀況、信用評(píng)分等。亞馬遜平臺(tái)上另一個(gè)試圖基于手寫(xiě)數(shù)字圖片識(shí)別其中數(shù)字的算法，也在他們盜取目標(biāo)之列。人口統(tǒng)計(jì)學(xué)案例中，僅1485次查詢(xún)，就復(fù)制出了相差無(wú)幾的模型。數(shù)字識(shí)別案例甚至區(qū)區(qū)650次查詢(xún)就達(dá)成復(fù)制目的。
BigML服務(wù)上，基于人口統(tǒng)計(jì)學(xué)預(yù)測(cè)德國(guó)公民信用評(píng)分的一個(gè)算法，以及基于其他生活方式問(wèn)題答案預(yù)測(cè)人們牛排熟度偏好的另一個(gè)算法，是他們檢測(cè)其“萃取技術(shù)”的目標(biāo)。復(fù)制信用評(píng)分引擎花費(fèi)了1150次查詢(xún);拷貝牛排熟度偏好預(yù)測(cè)器，則用掉了超過(guò)4000次查詢(xún)。
尼古拉斯·帕佩諾特，賓夕法尼亞州立大學(xué)研究員，今年早些時(shí)候進(jìn)行了另一個(gè)機(jī)器學(xué)習(xí)逆向工程項(xiàng)目的研究。他說(shuō)，不是每個(gè)機(jī)器學(xué)習(xí)算法都能被簡(jiǎn)單重現(xiàn)。這篇最新AI盜取論文中的例子，重現(xiàn)的是相對(duì)簡(jiǎn)單的機(jī)器學(xué)習(xí)引擎。更復(fù)雜的引擎需要多得多的計(jì)算量，尤其是機(jī)器學(xué)習(xí)接口學(xué)會(huì)隱藏其置信度值的情況下?！叭绻麢C(jī)器學(xué)習(xí)平臺(tái)決定使用更大的模型，或者隱藏起置信度值，那么攻擊難度就大得多了。但這篇論文還是很有趣，因?yàn)樗麄儽┞冻霎?dāng)前機(jī)器學(xué)習(xí)服務(wù)的模型是如此淺陋，隨隨便便就能被萃取?！?/p>
在給《連線》雜志的一封電子郵件中，BigML預(yù)測(cè)應(yīng)用副總裁阿塔康·塞汀索依對(duì)該研究不慎重視。他寫(xiě)道：“這研究根本沒(méi)暴露出BigML的平臺(tái)有任何的安全或隱私威脅?！彼q稱(chēng)，雖然BigML確實(shí)允許用戶以按查詢(xún)付費(fèi)的方式共享黑箱AI引擎，但目前沒(méi)有任何用戶對(duì)他們共享的AI引擎收費(fèi)。他還贊同帕佩諾特的觀點(diǎn)，認(rèn)為BigML上托管的很多機(jī)器學(xué)習(xí)模型都過(guò)于復(fù)雜，無(wú)法逆向，而且對(duì)該服務(wù)上模型的任何盜取行為都是違法的。
亞馬遜拒絕了《連線》雜志的評(píng)論請(qǐng)求，但研究人員聯(lián)系該公司時(shí)，亞馬遜回復(fù)說(shuō)，因?yàn)閬嗰R遜沒(méi)有公開(kāi)其機(jī)器學(xué)習(xí)引擎，僅允許用戶在協(xié)作者間共享訪問(wèn)，他們AI盜取攻擊的風(fēng)險(xiǎn)是被減輕了的。換句話說(shuō)，該公司警告：注意你共享AI的對(duì)象。
從面部識(shí)別到面部重建
除了單純的AI盜取，研究人員的攻擊還能讓用于AI訓(xùn)練的敏感數(shù)據(jù)重建變得更加容易。去年年末發(fā)表的另一篇論文就表明，根據(jù)照片猜測(cè)人名的面部識(shí)別AI是可以被逆向的。該方法會(huì)向目標(biāo)AI不斷發(fā)送測(cè)試照片，微調(diào)這些照片，直到命中該機(jī)器學(xué)習(xí)引擎借以訓(xùn)練的照片，在研究人員的電腦從未實(shí)際見(jiàn)過(guò)的情況下重現(xiàn)出確切人臉圖像。通過(guò)在執(zhí)行面部重建技術(shù)之前進(jìn)行他們的AI盜取攻擊，研究人員在自己電腦上運(yùn)行的盜版AI上重建面部圖像，甚至比用原版AI引擎還快得多。盜版AI在10小時(shí)之內(nèi)就重建了40幅不同人臉，而原版AI需要16小時(shí)。
逆向工程機(jī)器學(xué)習(xí)引擎的想法，實(shí)際上，在AI研究圈子里已經(jīng)興起幾個(gè)月了。2月份，另一組研究人員就展示了大約80%準(zhǔn)確性的機(jī)器學(xué)習(xí)系統(tǒng)復(fù)制能力。即便在那個(gè)時(shí)候，他們就發(fā)現(xiàn)，通過(guò)在盜版系統(tǒng)上測(cè)試輸入，?？梢詫W(xué)到欺騙原版的方法。比如說(shuō)，他們將該技術(shù)應(yīng)用到數(shù)字或道路標(biāo)識(shí)識(shí)別AI引擎上時(shí)，能讓該引擎對(duì)84%~96%的測(cè)試用例做出錯(cuò)誤判斷。
這最新的機(jī)器學(xué)習(xí)引擎復(fù)制研究能讓該欺騙手法更加簡(jiǎn)單。而一旦機(jī)器學(xué)習(xí)被應(yīng)用于關(guān)鍵安全任務(wù)，比如自動(dòng)駕駛汽車(chē)或惡意軟件過(guò)濾，盜取并分析這些引擎的能力就會(huì)引發(fā)麻煩后果。無(wú)論是否黑箱，讓你的AI隱身都是明智的做法。
本文標(biāo)題：如何利用逆向把人工智能盜走
鏈接URL：http://fisionsoft.com.cn/article/cdhdsoc.html
