近些日子狀況百出的AI頂流ChatGPT引發(fā)了背后公司OpenAI創(chuàng)始人的一些反思。

【資料圖】

上周，OpenAI首席執(zhí)行官Sam Altman在公司官網(wǎng)公布了對(duì)通用人工智能（AGI）當(dāng)下和后續(xù)規(guī)劃。AGI專注于研究像人一樣思考并從事多種用途的機(jī)器。

在文章中，Altman承認(rèn)AGI技術(shù)能夠幫助人類的創(chuàng)造性實(shí)現(xiàn)質(zhì)的飛躍，但他更擔(dān)心，AGI的能力強(qiáng)大得超乎想象，應(yīng)用不當(dāng)可能對(duì)社會(huì)造成災(zāi)難性的后果。

因此，Altman認(rèn)為必須更加謹(jǐn)慎創(chuàng)建和部署AGI模型，有意放慢其發(fā)展速度，幫助世界以更平穩(wěn)、更漸進(jìn)的方式向AGI時(shí)代過(guò)渡，比如，通過(guò)部署低版本的AGI來(lái)適應(yīng)更加復(fù)雜的環(huán)境，或者對(duì)產(chǎn)品的應(yīng)用進(jìn)行限制等等。

AGI應(yīng)用的三個(gè)原則

Altman在文中列出了OpenAI最關(guān)心的AGI應(yīng)用的三個(gè)原則：

1. 我們希望AGI能讓人類在宇宙中最大限度地繁榮發(fā)展。不期望未來(lái)的世界是個(gè)不合格的烏托邦社會(huì)，但希望最大化好處，最小化壞處，讓AGI成為人類的放大器。

2. 我們希望廣泛和公平地分享AGI的好處、獲取和治理。

3. 我們希望成功應(yīng)對(duì)巨大風(fēng)險(xiǎn)。在面對(duì)這些風(fēng)險(xiǎn)時(shí)，理論上看似正確的事情在實(shí)踐中往往表現(xiàn)得比預(yù)期的更奇怪。我們認(rèn)為必須通過(guò)部署功能較弱的技術(shù)版本來(lái)不斷學(xué)習(xí)和適應(yīng)，盡量減少“一次性成功”的情況。

越接近AGI，越謹(jǐn)慎

短期來(lái)看，Altman認(rèn)為OpenAI應(yīng)為AGI時(shí)代的到來(lái)做好準(zhǔn)備，他建議，更加謹(jǐn)慎的創(chuàng)建和部署模型，對(duì)AGI應(yīng)用范圍進(jìn)行限制，并對(duì)某些重大問(wèn)題展開(kāi)全球?qū)υ挕?/p>

Altman寫道：

首先，隨著我們不斷建立功能更強(qiáng)大的系統(tǒng)，我們希望部署它們并獲得在現(xiàn)實(shí)世界中操作它們的經(jīng)驗(yàn)。我們相信，這是謹(jǐn)慎管理AGI的最佳方式——逐步過(guò)渡到一個(gè)有AGI的世界要比突然過(guò)渡好。我們期望強(qiáng)大的AI能使世界更快進(jìn)步，我們認(rèn)為最好是逐步適應(yīng)這一點(diǎn)。

我們目前認(rèn)為，成功應(yīng)對(duì)AI部署挑戰(zhàn)的最佳方法是建立一個(gè)快速學(xué)習(xí)和謹(jǐn)慎迭代的緊密反饋循環(huán)。社會(huì)將面臨AI系統(tǒng)被允許做什么，如何消除偏見(jiàn)，如何處理工作崗位流失等等的重大問(wèn)題。最佳決策將取決于技術(shù)的發(fā)展路徑，就像任何新領(lǐng)域一樣，迄今為止大多數(shù)專家的預(yù)測(cè)都是錯(cuò)誤的。這使得脫離實(shí)際進(jìn)行規(guī)劃非常困難。

隨著我們的系統(tǒng)越來(lái)越接近AGI，我們對(duì)模型的創(chuàng)建和部署越來(lái)越謹(jǐn)慎。我們的決定需要比社會(huì)通常對(duì)新技術(shù)的應(yīng)用更加謹(jǐn)慎，也比許多用戶所希望的更加謹(jǐn)慎。

其次，我們正在努力建立日益具有一致性和可控性的模型。我們從GPT-3的第一個(gè)版本到DirectGPT和ChatGPT的轉(zhuǎn)變就是一個(gè)早期的例子。

特別是，我們認(rèn)為社會(huì)在AI的應(yīng)用方面達(dá)成一致是非常重要的，但在這些范圍內(nèi)，個(gè)人用戶有很大的自由裁量權(quán)。我們最終希望，世界各機(jī)構(gòu)就這些寬泛的界限定義達(dá)成一致; 在較短期內(nèi)，我們計(jì)劃對(duì)外部投入進(jìn)行試驗(yàn)。世界各機(jī)構(gòu)需要增加能力和經(jīng)驗(yàn)，為關(guān)于AGI的復(fù)雜決定做好準(zhǔn)備。

我們產(chǎn)品的“默認(rèn)設(shè)置”可能會(huì)受到很大限制，但我們計(jì)劃讓用戶更容易改變他們使用的AI的行為。我們相信賦予個(gè)人自主決策的權(quán)力以及思想多樣性的內(nèi)在力量。

隨著我們的模型變得更加強(qiáng)大，我們將需要開(kāi)發(fā)新的對(duì)齊（alignment）技術(shù)(并且在現(xiàn)有技術(shù)失敗時(shí)候進(jìn)行理解測(cè)試)。我們的短期計(jì)劃是使用AI來(lái)幫助人類評(píng)估更復(fù)雜模型的輸出和監(jiān)控復(fù)雜系統(tǒng)，長(zhǎng)期計(jì)劃是使用AI來(lái)幫助我們提出更好的對(duì)齊技術(shù)的新想法。

重要的是，我們認(rèn)為必須在AI的安全性和能力方面均取得進(jìn)展。把兩者分開(kāi)討論是錯(cuò)誤的，它們?cè)谠S多方面是相互關(guān)聯(lián)的。最安全的系統(tǒng)來(lái)自能力最強(qiáng)的模型。也就是說(shuō)，提高安全進(jìn)步與能力進(jìn)步的比率很重要。

第三，我們希望就三個(gè)關(guān)鍵問(wèn)題展開(kāi)全球?qū)υ? 如何治理這些系統(tǒng)？如何公平分配它們產(chǎn)生的好處？以及如何公平共享訪問(wèn)？

除了這三個(gè)領(lǐng)域之外，我們還試圖建立一種結(jié)構(gòu)，使我們的激勵(lì)措施產(chǎn)生良好的結(jié)果。我們的章程中有一個(gè)條款，即協(xié)助其他組織提高安全性，而不是在AGI開(kāi)發(fā)的后期階段與他們競(jìng)爭(zhēng)。

我們對(duì)股東獲得的回報(bào)設(shè)置了一個(gè)上限，這樣公司就沒(méi)有動(dòng)力去自由地榨取價(jià)值并冒險(xiǎn)部署一些具有潛在災(zāi)難危險(xiǎn)性的東西(當(dāng)然也是作為一種與社會(huì)分享利益的方式)。

我們認(rèn)為發(fā)布新系統(tǒng)之前進(jìn)行獨(dú)立審計(jì)諸如此類的做法很重要，我們將在今年晚些時(shí)候討論更多細(xì)節(jié)。

關(guān)鍵時(shí)刻減速可能很重要

展望更遠(yuǎn)的未來(lái)，Altman認(rèn)為，為了防止AGI對(duì)世界造成災(zāi)難性的打擊，必須對(duì)AGI模型的建立進(jìn)行更嚴(yán)格的審查，遇到重大決策時(shí)應(yīng)該進(jìn)行公共咨詢。

我們相信，人類的未來(lái)應(yīng)該由人類決定，與公眾分享進(jìn)步的信息很重要。應(yīng)該對(duì)所有試圖建立AGI的行為進(jìn)行嚴(yán)格審查，并就重大決定進(jìn)行公共咨詢。

第一個(gè)AGI將只是智力連續(xù)體上的一個(gè)點(diǎn)。我們認(rèn)為，從那里開(kāi)始進(jìn)步還將繼續(xù)，速度可能會(huì)在很長(zhǎng)一段時(shí)間內(nèi)以我們過(guò)去十年中看到的那樣保持。如果這是真的，世界可能會(huì)變得與今天截然不同，風(fēng)險(xiǎn)也可能會(huì)非同尋常。如果一個(gè)超級(jí)智能的AGI發(fā)生錯(cuò)位，可能會(huì)對(duì)世界造成嚴(yán)重傷害，一個(gè)擁有決定性超級(jí)智能領(lǐng)導(dǎo)的專制政權(quán)也具有同樣的殺傷力。

我們認(rèn)為較慢的起飛速度更容易保證安全，AGI在關(guān)鍵時(shí)刻減速可能很重要(即使在一個(gè)我們不需要這樣做來(lái)解決技術(shù)調(diào)整問(wèn)題的世界里，減速對(duì)于給社會(huì)足夠的時(shí)間來(lái)適應(yīng)可能也很重要)。

成功地過(guò)渡到一個(gè)擁有超級(jí)智能的世界，或許是人類歷史上最重要、最充滿希望、最可怕的項(xiàng)目。成功遠(yuǎn)非板上釘釘，利害關(guān)系(無(wú)限的風(fēng)險(xiǎn)和無(wú)限的好處)將有望把我們所有人團(tuán)結(jié)起來(lái)。

風(fēng)險(xiǎn)提示及免責(zé)條款 市場(chǎng)有風(fēng)險(xiǎn)，投資需謹(jǐn)慎。本文不構(gòu)成個(gè)人投資建議，也未考慮到個(gè)別用戶特殊的投資目標(biāo)、財(cái)務(wù)狀況或需要。用戶應(yīng)考慮本文中的任何意見(jiàn)、觀點(diǎn)或結(jié)論是否符合其特定狀況。據(jù)此投資，責(zé)任自負(fù)。

關(guān)鍵詞： 人工智能 是錯(cuò)誤的 重大問(wèn)題