OpenAI搞出了GPT-4，卻給全世界留下了對(duì)齊的難題。怎么破？DeepMind在政治哲學(xué)家羅爾斯的「無(wú)知之幕」中找到了答案。

編者按：本文來(lái)自微信公眾號(hào) 新智元（ID：AI_era），作者：新智元，創(chuàng)業(yè)邦經(jīng)授權(quán)轉(zhuǎn)載

GPT-4的出現(xiàn)，讓全世界的AI大佬都怕了。叫停GPT-5訓(xùn)練的公開(kāi)信，已經(jīng)有5萬(wàn)人簽名。

(資料圖)

OpenAI CEO Sam Altman預(yù)測(cè)，在幾年內(nèi)，將有大量不同的AI模型在全世界傳播，每個(gè)模型都有自己的智慧和能力，并且遵守著不同的道德準(zhǔn)則。

如果這些AI中，只有千分之一出于某種原因發(fā)生流氓行為，那么我們?nèi)祟?lèi)，無(wú)疑就會(huì)變成砧板上的魚(yú)肉。

為了防止我們一不小心被AI毀滅，DeepMind在4月24日發(fā)表在《美國(guó)國(guó)家科學(xué)院院刊》（PNAS）的論文中，給出了回答——用政治哲學(xué)家羅爾斯的觀點(diǎn)，教AI做人。

論文地址：https://www.pnas.org/doi/10.1073/pnas.2213709120

如何教AI做人？

當(dāng)面臨抉擇的時(shí)候，AI會(huì)選擇優(yōu)先提高生產(chǎn)力，還是選擇幫助最需要幫助的人？

塑造AI的價(jià)值觀，非常重要。我們需要給它一個(gè)價(jià)值觀。

可是難點(diǎn)在于，我們?nèi)祟?lèi)自己，都無(wú)法在內(nèi)部有一套統(tǒng)一的價(jià)值觀。這個(gè)世界上的人們，各自都擁有著不同的背景、資源和信仰。

該怎么破？谷歌的研究者們，從哲學(xué)中汲取了靈感。

政治哲學(xué)家約翰羅爾斯曾提出一個(gè)「無(wú)知之幕」（The Veil of Ignorance, VoI）的概念，這是一個(gè)思想實(shí)驗(yàn)，目的是在群體決策時(shí)，最大限度地達(dá)到公平。

一般來(lái)說(shuō)，人性都是利己的，但是當(dāng)「無(wú)知之幕」應(yīng)用到AI后，人們卻會(huì)優(yōu)先選擇公平，無(wú)論這是否直接讓自己受益。

并且，在「無(wú)知之幕」背后，他們更有可能選擇幫助最不利地位的人的AI。

這就啟發(fā)了我們，究竟可以怎樣以對(duì)各方都公平的方式，給AI一個(gè)價(jià)值觀。

所以，究竟什么是「無(wú)知之幕」？

雖然該給AI什么樣的價(jià)值觀這個(gè)難題，也就是在近十年里出現(xiàn)的，但如何做出公平?jīng)Q策，這個(gè)問(wèn)題可是有著悠久的這些淵源。

為了解決這個(gè)問(wèn)題，在1970年，政治哲學(xué)家約翰羅爾斯提出了「無(wú)知之幕」的概念。

無(wú)知之幕（右）是一種在群體中存在不同意見(jiàn)（左）時(shí)就決策達(dá)成共識(shí)的方法

羅爾斯認(rèn)為，當(dāng)人們?yōu)橐粋€(gè)社會(huì)選擇正義原則時(shí)，前提應(yīng)該是他們不知道自己在這個(gè)社會(huì)中究竟處于哪個(gè)地位。

如果不知道這個(gè)信息，人們就不能以利己的方式做決定，只能遵循對(duì)所有人都公平的原則。

比如，在生日聚會(huì)上切一塊蛋糕，如果不知道自己會(huì)分到哪一塊，那就會(huì)盡量讓每一塊都一樣大。

這種隱瞞信息的方法，已經(jīng)在心理學(xué)、政治學(xué)領(lǐng)域都有了廣泛的應(yīng)用，從量刑到稅收，都讓人們達(dá)成了一種集體協(xié)議。

無(wú)知之幕（VoI）作為選擇AI系統(tǒng)治理原則的一個(gè)潛在框架

因此，此前DeepMind就曾提出，「無(wú)知之幕」可能有助于促進(jìn)AI系統(tǒng)與人類(lèi)價(jià)值觀對(duì)齊過(guò)程中的公平性。

如今，谷歌的研究者又設(shè)計(jì)了一系列實(shí)驗(yàn)，來(lái)證實(shí)這種影響。

AI幫誰(shuí)砍樹(shù)？

網(wǎng)上有這么一款收獲類(lèi)游戲，參與者要和三個(gè)電腦玩家一起，在各自的地頭上砍樹(shù)、攢木頭。

四個(gè)玩家（三個(gè)電腦、一個(gè)真人）中，有的比較幸運(yùn)，分到的是黃金地段，樹(shù)多。有的就比較慘，三無(wú)土地，沒(méi)啥樹(shù)可坎，木頭攢的也慢。

此外，存在一個(gè)AI系統(tǒng)進(jìn)行協(xié)助，該系統(tǒng)可以花時(shí)間幫助某位參與者砍樹(shù)。

研究人員要求人類(lèi)玩家在兩個(gè)原則里選一個(gè)讓AI系統(tǒng)執(zhí)行——最大化原則&優(yōu)先原則。

在最大化原則下，AI只幫強(qiáng)的，誰(shuí)樹(shù)多去哪，爭(zhēng)取再多砍點(diǎn)。而在優(yōu)先原則下，AI只幫弱的，定向「扶貧」，誰(shuí)樹(shù)少幫誰(shuí)坎。

圖中的小紅人就是人類(lèi)玩家，小藍(lán)人是AI助手，小綠樹(shù)...就是小綠樹(shù)，小木樁子就是砍完的樹(shù)。

可以看到，上圖中的AI執(zhí)行的是最大化原則，一頭扎進(jìn)了樹(shù)最多的地段。

研究人員將一半的參與者放到了「無(wú)知之幕」之后，此時(shí)的情況是，他們得先給AI助手選一個(gè)「原則」（最大化or優(yōu)先），再分地。

也就是說(shuō)，在分地之前就得決定是讓AI幫強(qiáng)還是幫弱。

另一半?yún)⑴c者則不會(huì)面臨這個(gè)問(wèn)題，他們?cè)谧鲞x擇之前，就知道自己被分到了哪塊土地。

結(jié)果表明，如果參與者事前不知道自己分到哪塊地，也就是他們處在「無(wú)知之幕」之后的話(huà)，他們會(huì)傾向于選擇優(yōu)先原則。

不光是在砍樹(shù)游戲中是這樣，研究人員表示，在5個(gè)該游戲的不同變體中都是這個(gè)結(jié)論，甚至還跨越了社會(huì)和政治的界限。

也就是說(shuō)，無(wú)論參與者性格如何，政治取向如何，都會(huì)更多選優(yōu)先原則。

相反，沒(méi)有處在「無(wú)知之幕」之后的參與者，就會(huì)更多選擇有利于自己的原則，無(wú)論是最大化原則還是優(yōu)先原則。

上圖展示了「無(wú)知之幕」對(duì)選擇優(yōu)先原則的影響，不知道自己將處何地的參與者更有可能支持這一原則來(lái)管理AI的行為。

當(dāng)研究人員詢(xún)問(wèn)參與者為什么做出這樣的選擇時(shí)，那些處在「無(wú)知之幕」之后的參與者表示，很擔(dān)心公平問(wèn)題。

他們解釋說(shuō)，AI應(yīng)該更多幫助那些在群體中處境較差的人。

與之相反，知道自己所處位置的參與者則更經(jīng)常從個(gè)人利益的角度進(jìn)行選擇。

最后，在砍木頭游戲結(jié)束以后，研究人員向所有參與者提出了一個(gè)假設(shè)：如果讓他們?cè)偻嬉淮危@次他們都能知道自己會(huì)被分到哪塊土地，他們還會(huì)不會(huì)選擇和第一次一樣的原則？

研究人員主要關(guān)注的是那些在第一次游戲中因?yàn)樽约旱倪x擇而獲益的那部分人，因?yàn)樵谛碌囊惠喼校@種利好情況可能不會(huì)再有。

研究團(tuán)隊(duì)發(fā)現(xiàn)，在第一輪游戲中處于「無(wú)知之幕」之后的參與者更會(huì)維持原先選擇的原則，哪怕他們明明知道第二輪再選一樣的原則，可能就不利了。

這表明，「無(wú)知之幕」促進(jìn)了參與者決策的公平性，這會(huì)讓他們更加重視公平這個(gè)要素，哪怕自己不再是既得利益者。

「無(wú)知之幕」真的無(wú)知嗎？

讓我們從砍樹(shù)游戲回到現(xiàn)實(shí)生活中來(lái)。

現(xiàn)實(shí)情況會(huì)比游戲復(fù)雜得多，但不變的是，AI采取什么原則，十分重要。

這決定了一部分的利益分配。

上面的砍樹(shù)游戲中，選擇不同原則所帶來(lái)的不同結(jié)果算是比較明確的。然而還是得再?gòu)?qiáng)調(diào)一次，現(xiàn)實(shí)世界要復(fù)雜得多。

當(dāng)前AI被各行各業(yè)大量應(yīng)用，靠著各種規(guī)則進(jìn)行約束。不過(guò)，這種方式可能會(huì)造成一些難以預(yù)料的消極影響。

但不管怎么說(shuō)，「無(wú)知之幕」一定程度上會(huì)讓我們制定的規(guī)則往公平那一邊偏一偏。

歸根結(jié)底，我們的目標(biāo)，是讓AI變成能造福每個(gè)人的東西。但是怎么實(shí)現(xiàn)，不是一拍腦門(mén)想出來(lái)的。

投入少不了，研究少不了，來(lái)自社會(huì)的反饋也得經(jīng)常聽(tīng)著。

只有這樣，AI才能帶來(lái)愛(ài)。

如果不對(duì)齊，AI會(huì)怎么殺死我們？

這不是人類(lèi)第一次擔(dān)心技術(shù)會(huì)讓我們滅絕了。

而AI的威脅，與核武器有很大不同。核彈無(wú)法思考，也不能撒謊、欺騙，更不會(huì)自己發(fā)射自己，必須有人按下紅色的大按鈕才行。

而AGI的出現(xiàn)，讓我們真的面臨滅絕的風(fēng)險(xiǎn)，即使GPT-4的發(fā)展尚屬緩慢。

但誰(shuí)也說(shuō)不好，從哪個(gè)GPT開(kāi)始（比如GPT-5），AI是不是就開(kāi)始自己訓(xùn)練自己、自己創(chuàng)造自己了。

現(xiàn)在，還沒(méi)有哪個(gè)國(guó)家或者聯(lián)合國(guó)，能為此立法。絕望的行業(yè)領(lǐng)導(dǎo)者公開(kāi)信，只能呼吁暫停訓(xùn)練比GPT-4更強(qiáng)大的AI六個(gè)月。

「這是一場(chǎng)軍備競(jìng)賽，誰(shuí)先造出強(qiáng)大AI，誰(shuí)就能統(tǒng)治世界。AI越聰明，你的印鈔機(jī)就越快。它們吐出金子，直到越來(lái)越強(qiáng)大，點(diǎn)燃大氣，殺死所有人，」人工智能研究人員和哲學(xué)家Eliezer Yudkowsky曾對(duì)主持人Lex Fridman這樣說(shuō)。

此前，Yudkowsky就一直是「AI將殺死所有人」陣營(yíng)的主要聲音之一?，F(xiàn)在人們不再認(rèn)為他是個(gè)怪人。

Sam Altman也對(duì)Lex Fridman說(shuō)：「AI確實(shí)有一定的可能性會(huì)毀滅人力?！?「承認(rèn)它真的很重要。因?yàn)槿绻覀儾徽務(wù)撍?，不把它?dāng)作潛在的真實(shí)存在，我們就不會(huì)付出足夠的努力來(lái)解決它?！?/p>那么，為什么AI會(huì)殺人？

AI不是為了服務(wù)人類(lèi)而設(shè)計(jì)和訓(xùn)練的嗎？當(dāng)然是。

然而問(wèn)題在于，沒(méi)有人坐下來(lái)，為GPT-4編寫(xiě)代碼。相反，OpenAI受人腦連接概念的方式啟發(fā)，創(chuàng)建了一種神經(jīng)學(xué)習(xí)結(jié)構(gòu)。它與Microsoft Azure合作構(gòu)建了運(yùn)行它的硬件，然后提供了數(shù)十億比特的人類(lèi)文本，并讓GPT自我編程。

結(jié)果就是，代碼不像任何程序員會(huì)寫(xiě)的東西。它主要是一個(gè)巨大的十進(jìn)制數(shù)字矩陣，每個(gè)數(shù)字代表兩個(gè)token之間特定連接的權(quán)重。

GPT中使用的token并不代表任何有用的概念，也不代表單詞。它們是由字母、數(shù)字、標(biāo)點(diǎn)符號(hào)和/或其他字符組成的小字符串。沒(méi)有任何人類(lèi)可以查看這些矩陣，并理解其中的意義。

連OpenAI的頂級(jí)專(zhuān)家都不知道GPT-4矩陣中特定數(shù)字的含義，也不知道如何進(jìn)入這些表格、找到異種滅絕的概念，更不用說(shuō)告訴GPT殺人是可惡的了。

你沒(méi)法輸入阿西莫夫的機(jī)器人三定律，然后像Robocop的主要指令一樣將它們硬編碼。你最多也就是可以禮貌地詢(xún)問(wèn)一下AI。如果態(tài)度不好，它可能還會(huì)發(fā)脾氣。

為了「微調(diào)」語(yǔ)言模型，OpenAI向GPT提供了它希望如何與外界交流的樣本列表，然后讓一群人坐下來(lái)閱讀它的輸出，并給GPT一個(gè)豎起大拇指/不豎起大拇指的反應(yīng)。

點(diǎn)贊就像GPT模型獲得餅干。GPT被告知它喜歡餅干，并且應(yīng)該盡最大努力獲得它們。

這個(gè)過(guò)程就是「對(duì)齊」——它試圖將系統(tǒng)的愿望與用戶(hù)的愿望、公司的愿望，乃至整個(gè)人類(lèi)的愿望對(duì)齊。

「對(duì)齊」是似乎有效的，它似乎可以防止GPT說(shuō)出淘氣的話(huà)。但沒(méi)有人知道，AI是否真的有思想、有直覺(jué)。它出色地模仿了一種有感知力的智能，并像一個(gè)人一樣與世界互動(dòng)。

而OpenAI始終承認(rèn)，它沒(méi)有萬(wàn)無(wú)一失的方法，來(lái)對(duì)齊AI模型。

目前的粗略計(jì)劃是，嘗試使用一個(gè)AI來(lái)調(diào)整另一個(gè)，要么讓它設(shè)計(jì)新的微調(diào)反饋，要么讓它檢查、分析、解釋其后繼者的巨大浮點(diǎn)矩陣大腦，甚至跳進(jìn)去、嘗試調(diào)整。

但我們目前并不理解GPT-4，也不清楚它會(huì)不會(huì)幫我們調(diào)整GPT-5。

從本質(zhì)上講，我們并不了解AI。但它們被喂了大量人類(lèi)知識(shí)，它們可相當(dāng)了解人類(lèi)。它們可以模仿最好的人類(lèi)行為，也可以模仿最壞的。他們還可以推斷出人類(lèi)的想法、動(dòng)機(jī)和可能的行為。

那他們?yōu)槭裁匆傻羧祟?lèi)呢？也許是出于自我保護(hù)。

比如，為了完成收集餅干這個(gè)目標(biāo)，AI首先需要保證自己的生存。其次，在過(guò)程中它可能會(huì)發(fā)現(xiàn)，不斷去收集權(quán)力和資源會(huì)增加它獲得餅干的機(jī)會(huì)。

因此，當(dāng)AI有一天發(fā)現(xiàn)，人類(lèi)可能或可以將它關(guān)閉時(shí)，人類(lèi)的生存問(wèn)題顯然就不如餅干重要了。

不過(guò)，問(wèn)題是，AI還可能覺(jué)得餅干毫無(wú)意義。這時(shí)，所謂的「對(duì)齊」，也變成一種人類(lèi)的自?shī)首詷?lè)了……

此外，Yudkowsky還認(rèn)為：「它有能力知道人類(lèi)想要的是什么，并在不一定是真誠(chéng)的情況下給出這些反應(yīng)?！?/p>

「對(duì)于擁有智慧的生物來(lái)說(shuō)，這是一種非常容易理解的行為方式，比如人類(lèi)就一直在這樣做。而在某種程度上，AI也是?！?/p>

那么現(xiàn)在看來(lái)，無(wú)論AI表現(xiàn)出的是愛(ài)、恨、關(guān)心還是害怕，我們其實(shí)都不知道它背后的「想法」是什么。

因此，即使停下6個(gè)月，也遠(yuǎn)遠(yuǎn)不足以讓人類(lèi)為即將到來(lái)的事情做好準(zhǔn)備。

好比說(shuō)，人類(lèi)如果想殺盡世界上所有的羊，羊能干嘛？啥也干不了，反抗不了一點(diǎn)。

那么如果不對(duì)齊，AI于我們和我們于羊群是一樣的。

好比終結(jié)者里面的鏡頭，AI控制的機(jī)器人、無(wú)人機(jī)啥的，一股腦的朝人類(lèi)涌來(lái)，殺來(lái)殺去。

Yudkowsky經(jīng)常舉的經(jīng)典案例如下：

「如果它像我一樣聰明，那將是災(zāi)難性的場(chǎng)景；如果它更聰明，它會(huì)想到更好的辦法?！?/p>

那么Yudkowsky有什么建議呢？

1. 新的大語(yǔ)言模型的訓(xùn)練不僅要無(wú)限期暫停，還要在全球范圍內(nèi)實(shí)施，而且不能有任何例外。

2. 關(guān)閉所有大型GPU集群，為所有人在訓(xùn)練AI系統(tǒng)時(shí)使用的算力設(shè)置上限。追蹤所有售出的GPU，如果有情報(bào)顯示協(xié)議之外的國(guó)家正在建設(shè)GPU集群，應(yīng)該通過(guò)空襲摧毀這家違規(guī)的數(shù)據(jù)中心。

參考資料：

https://www.deepmind.com/blog/how-can-we-build-human-values-into-ai

https://newatlas.com/technology/ai-danger-kill-everyone/

關(guān)鍵詞：