2023年3月29日，非營利組織未來生命研究所（Future of Life）發(fā)表一封公開信，呼吁暫停研發(fā)比GPT-4更強(qiáng)大的人工智能系統(tǒng)至少6個(gè)月，包括特斯拉CEO馬斯克、Stability AI的首席執(zhí)行官莫斯塔克（Emad Mostaque）等在內(nèi)的1000多名該領(lǐng)域的專家、科技人員、產(chǎn)業(yè)高層都在這封公開信上簽了名，在這封信上， 我們也看到了一位中國科學(xué)家的名字—曾毅（中國科學(xué)院自動(dòng)化研究所人工智能倫理與治理中心主任）。

(相關(guān)資料圖)

這封公開信，雖無法律效力，但是引起了公眾對人工智能治理的問題的空前關(guān)注，我們特別找到曾毅主任，問他是否方便談一下為何在這封公開信上簽名。他回復(fù)得很果斷：“肯定可以說，而且要說清楚?！痹趯υ捴?，我們也向他提了一個(gè)比較尖銳的問題：“AI領(lǐng)域的技術(shù)研發(fā)落后是更可怕，還是繼續(xù)研發(fā)人工智能帶來的潛在風(fēng)險(xiǎn)更可怕？”曾毅的觀點(diǎn)很明確：“用一種競爭的視角來分析這個(gè)問題的時(shí)候就會使人不理性，中國目前的水平還沒達(dá)到GPT-4，我贊同的是發(fā)展信息處理能力接近GPT-4的大模型，但是在倫理安全治理方面的規(guī)制與思考要遠(yuǎn)遠(yuǎn)超越GPT-4這樣的大模型的研發(fā)。”

在與曾毅的對話中，我們還請教了以下問題：

①如果用暫停六個(gè)月?lián)Q取時(shí)間窗口，我們最急需解決人工智能帶來的哪些負(fù)面影響？

②大模型的技術(shù)原理并沒有被完全弄清楚，就被大規(guī)模推向普通用戶，這是不是一種不負(fù)責(zé)任的做法？

③用大量數(shù)據(jù)“投喂”的訓(xùn)練方法，是否真的能讓人工智能產(chǎn)生意識？

④通過了圖靈測試，就意味著人工智能擁有了“人類智能”嗎？

⑤國內(nèi)大模型在兩三個(gè)月內(nèi)“扎堆推出”，有哪些潛在風(fēng)險(xiǎn)？

⑥應(yīng)對人工智能時(shí)代的到來，孩子們應(yīng)該從小就開始學(xué)習(xí)人工智能課程嗎？

以下為對話內(nèi)容：

暫停超過GPT-4水平的巨型人工智能研發(fā)很有必要

騰訊科技：您在暫停超過GPT-4水平的巨型人工智能研發(fā)公開信上簽了名，是在公開信公布之前，就已經(jīng)收到了邀約嗎？

曾毅：在這個(gè)信發(fā)起之前，確實(shí)是通過了不同的渠道在向我們發(fā)出邀請。但是我真正簽字也是在它發(fā)布之后。

我之所以支持這樣一個(gè)倡議確實(shí)是基于我對現(xiàn)在人工智能的大模型快速地介入到社會服務(wù)當(dāng)中的擔(dān)憂。因?yàn)樵?/span>GPT3.5的時(shí)候，它的隱患就已經(jīng)顯現(xiàn)了。到了GPT4發(fā)布的時(shí)候，它的能力不限于文本的交互，已經(jīng)到了多模態(tài)的內(nèi)容生成，曝露出來的風(fēng)險(xiǎn)會更多。

GPT系列跟以前的人工智能的發(fā)展模式非常不一樣。以前的人工智能，比如我做一個(gè)人臉識別的系統(tǒng)，人臉的信息是什么樣的，輸出可能有多少類？其實(shí)相對來說都是可預(yù)期的。但是現(xiàn)在GPT的數(shù)據(jù)是互聯(lián)網(wǎng)的數(shù)據(jù)，這些數(shù)據(jù)中包含“誰說過什么”都不可預(yù)期，另外一端誰去問什么問題也不可預(yù)期。問了問題之后，ChatGPT的反饋是什么樣的，更不清楚。這樣一來，就至少有三重不確定性，使得未來人工智能在服務(wù)于人類社會的時(shí)候，一旦它存在潛在的風(fēng)險(xiǎn)，它將以什么樣的模式和速度去放大？這個(gè)真是非常難以預(yù)期的。

可以說它在帶給我們超級能力的同時(shí)，帶給我們的風(fēng)險(xiǎn)也是巨大的。所以就像公開信中提到的，我們準(zhǔn)備好了讓這樣的技術(shù)替代我們原本很滿意的工作嗎？我們準(zhǔn)備好讓這種文本生成的技術(shù)去干擾甚至替代人類的文明嗎？還有對于技術(shù)的安全倫理道德方面是不是讓它做好了準(zhǔn)備，去服務(wù)于這么廣泛的用戶？公開信中提到的一系列的問題，沒有一個(gè)問題我們做好了準(zhǔn)備，但是它的大規(guī)模的應(yīng)用已經(jīng)開始了。

所以那個(gè)時(shí)候大家說中國應(yīng)不應(yīng)該做？我說這個(gè)問題不用討論，中國很快就會出來。要擔(dān)心的問題是一個(gè)地方會有幾套大模型出來。我們現(xiàn)在這個(gè)現(xiàn)狀就是這樣的。大學(xué)里可能有兩三套大模型都是基礎(chǔ)模型，科研院所甚至更多，產(chǎn)業(yè)更是數(shù)不勝數(shù)。倒是我從來沒有發(fā)現(xiàn)某一個(gè)人工智能企業(yè)說我絕對不做大模型。幾乎可以這樣說，人工智能企業(yè)現(xiàn)在都在布局大模型的研究。但是，很少有人說我們?nèi)绾稳シ婪哆@些風(fēng)險(xiǎn)。

這是那封公開信的意義和價(jià)值。正因?yàn)槲覀儗τ诳赡艿臐撛诘娘L(fēng)險(xiǎn)還完全沒有準(zhǔn)備好，但是已經(jīng)開始過早、過于激進(jìn)地嘗試，所以我覺得暫停6個(gè)月是必要的，先去解決潛在的風(fēng)險(xiǎn)，我們先好好地思考一下。

能力達(dá)到GPT4這個(gè)層次的大模型已經(jīng)能夠滿足我們很多的需求，那么我們要不要先做基于不超越GPT-4這個(gè)能力的產(chǎn)業(yè)化的應(yīng)用，然后同步地解決它潛在的問題？但是，比它性能再高等的人工智能的大模型是不是能先暫緩？我覺得這個(gè)既是這封信的初衷，也是我簽這封公開信的動(dòng)機(jī)。

騰訊科技：是不是中國還沒到GPT-4的水平，我們可以先繼續(xù)？

曾毅：我認(rèn)為是這樣的。目前中國沒有任何一個(gè)人工智能的大模型達(dá)到GPT-4的能力，所以我贊同的是發(fā)展信息處理能力接近GPT-4的大模型，但是在倫理安全治理方面的規(guī)制與思考遠(yuǎn)遠(yuǎn)超越GPT-4這樣的大模型的研發(fā)。

騰訊科技：那為什么是6個(gè)月？如果做這些準(zhǔn)備，6個(gè)月夠嗎？

曾毅：我覺得6個(gè)月是一個(gè)倡議，6個(gè)月是一個(gè)可以嘗試的時(shí)段。能夠取得一定的效果一定比不做準(zhǔn)備要強(qiáng)很多。但是，我們在6個(gè)月之內(nèi)，我們是否能夠充分思考相關(guān)的風(fēng)險(xiǎn)，并做到防范？我覺得不是，這個(gè)是不夠的。

這封信當(dāng)中也講了至少暫停6個(gè)月，盡可能地解決這個(gè)問題。最關(guān)鍵的是它里面提到了一個(gè)倡議，大家是不是能夠坐下來去開發(fā)公共的人工智能安全協(xié)議，倫理道德檢測的框架，以使得為未來做好準(zhǔn)備。我覺得如果是6個(gè)月之內(nèi)把我們潛在的倫理道德的問題解決了，也許可以嘗試構(gòu)造這樣的安全協(xié)議檢測的框架，解決其中現(xiàn)有的絕大部分的問題，我覺得還是有希望的。

騰訊科技：如果這6個(gè)月內(nèi)要解決這些您認(rèn)為潛在的風(fēng)險(xiǎn)問題，哪類風(fēng)險(xiǎn)我們最需要先解決？這個(gè)有沒有一個(gè)產(chǎn)業(yè)界認(rèn)可的框架？

曾毅：我覺得人工智能大模型它對于人類非常直接的傷害形態(tài)是顯而易見的。第一，人工智能大模型對于整個(gè)社會的沖擊最大的是對社會信任的沖擊。現(xiàn)在你看的，眼見不為實(shí)，耳聽也不為實(shí)。什么信息當(dāng)你看到的時(shí)候，你的第一反應(yīng)就是這是真的嗎？這是人工智能生成的吧？你會有這樣的認(rèn)知。所以，它對社會信任本身是一個(gè)極大的挑戰(zhàn)。就是如何去降低對社會信任的沖擊？我覺得這個(gè)是最嚴(yán)重的問題，它將改變幾代人。

另外，關(guān)乎到個(gè)人利益的部分風(fēng)險(xiǎn)要注意。既然大模型是基于互聯(lián)網(wǎng)數(shù)據(jù)，但是互聯(lián)網(wǎng)很多數(shù)據(jù)確實(shí)難免涉及個(gè)人隱私數(shù)據(jù)，如何避免對個(gè)人權(quán)利的侵犯？我覺得這是個(gè)很大的問題。你用別人的照片去做生成，有沒有經(jīng)過別人的允許？你甚至拿已故的人的數(shù)據(jù)做一些生成，這對于家庭可能的影響，對于死者是不是尊重？這些已經(jīng)變成非常緊迫的問題了。

另外就是人工智能生成的技術(shù)。我覺得最需要避免的問題就是混淆人與人工智能之間的邊界。比如說我能不能跟人工智能談戀愛？有些人說未來一代，也許可能不會聽老師說什么，不會聽家長說什么，而只會相信類ChatGPT的產(chǎn)品說了什么，什么問題都去問ChatGPT類似的產(chǎn)品。這樣的話，我會覺得問題就非常大了。

為什么？因?yàn)槿祟惖膬r(jià)值觀、對于世界的理解，這種傳承應(yīng)該是在人與人之間的，如果你混淆了人與人之間的邊界，你說ChatGPT也是一種觀點(diǎn)，甚至有些人說我做這個(gè)數(shù)字人，這是人的另外一種存在的形式。我覺得這些都是非常危險(xiǎn)的觀點(diǎn)。為什么？首先人工智能現(xiàn)在沒有真正的自我，沒有自我的意識，你怎么能說它是一種人的存在形式？有些人說它是數(shù)字克隆，那對于人類的克隆，難道它只是把人類一些表征的特征克隆下來就是真正意義上的人類的克隆了嗎？我覺得這些都是在混淆人與人工智能之間的邊界。這是一個(gè)非常大的風(fēng)險(xiǎn)。

更關(guān)鍵的是，未來人與人工智能之間的這種交互可能對社會道德存在潛在的沖擊。我覺得這個(gè)也是非常危險(xiǎn)的。我們要傳遞什么樣的價(jià)值觀給我們的下一代？比如我們以新聞媒體行業(yè)為例，之所以大家會去看記者寫的東西，我覺得兩件事情很重要：第一個(gè)是真實(shí)客觀；第二個(gè)就是媒體記者通過自己的職業(yè)素養(yǎng)，可以去傳遞他對社會的認(rèn)知與分析。我覺得這些東西是人工智能無法替代的，因?yàn)槿斯ぶ悄墁F(xiàn)在還沒有真正的理解能力。

還有就是對于信息真實(shí)的程度的判斷，人都有基本的判斷力，會基于常識做更多的思考。但是對于機(jī)器來講就很難了。人工智能模型會認(rèn)為互聯(lián)網(wǎng)上所說的事情99%是真的。

所以基于以上種種情況，我覺得人工智能技術(shù)每往前發(fā)展一步，它對于倫理安全方面的考慮也需要進(jìn)一步。這個(gè)準(zhǔn)備我覺得現(xiàn)在不是選擇題，而是必答題，每一個(gè)賦能社會的人工智能技術(shù)，都需要有倫理安全道德的框架的約束。

騰訊科技：除了用法律框架和治理框架來約束人工智能的發(fā)展，還有什么技術(shù)手段可以實(shí)現(xiàn)和人類真正意義上的價(jià)值對齊？

曾毅：我覺得構(gòu)造看似智能信息處理工具（生成式AI）的這條發(fā)展道路它會繼續(xù)。但是，它不是唯一的道路。人工智能大模型未來的發(fā)展，有了倫理道德的約束、有了管理規(guī)定標(biāo)準(zhǔn)、甚至是法律，這些是不是就夠了？從技術(shù)落地的層次來講，肯定是不夠的。這些東西怎么技術(shù)化？怎么把它實(shí)現(xiàn)在人工智能的系統(tǒng)當(dāng)中？這有不同的選擇。比如你現(xiàn)在可以和人工智能大模型去對話，這些隱含倫理道德風(fēng)險(xiǎn)的問題可以用評測的方式去評測它，讓它去回避可能會對人類產(chǎn)生負(fù)面影響的答案。

另一方面就是大模型本身。即使你用測評的方式、規(guī)則的方式限制它可能回答問題的類型或者是回答問題的方式，但這并不能證明大模型本身就理解了這個(gè)內(nèi)容。它既然沒理解，你就很可能會繞過它防范的方式，使得它去回答你想讓它回答的一些問題?，F(xiàn)在這種嘗試很多。ChatGPT不能回答什么問題，道德上規(guī)定它不要回答哪些問題，大家就換其他的途徑去勾引它回答哪些問題。很多成功的例子。這就證明這種防范不是完全有效的。

所以說未來人工智能只有具備真正的道德的基礎(chǔ)，道德的直覺，具備道德推理的能力，真正理解為什么人類采用這樣的道德規(guī)范，而不是用規(guī)則灌輸給它，那它才能真正地實(shí)現(xiàn)我們說的有道德的人工智能。

我們現(xiàn)在希望人工智能秉持人類的道德規(guī)范，但是我們也要知道人類的道德規(guī)范也是在不斷地演化的。所以，人工智能作為人類的一面鏡子去演化，能夠幫助我們?nèi)祟惛玫乜辞逦覀內(nèi)祟惖奈磥?，所以，我不覺得只要滿足于人類道德的約束就是人工智能道德的終點(diǎn)。人與人工智能的希望達(dá)到的理想的共生狀態(tài)應(yīng)當(dāng)是人工智能的演化，也能幫助人類的進(jìn)步，也使得人類的倫理道德的框架不斷地演進(jìn)。

騰訊科技：回到這封公開信，您在國內(nèi)也做了一個(gè)調(diào)查，您覺得我們現(xiàn)在在AI領(lǐng)域的技術(shù)研發(fā)落后是更可怕，還是說繼續(xù)無止境地研發(fā)更可怕？

曾毅：當(dāng)人們?nèi)ニ伎既绻也话l(fā)展是不是就落后了，采用一種競爭的視角來分析這個(gè)問題的時(shí)候就會使人不理性。我們做的關(guān)于暫停人工智能大模型研究的這個(gè)調(diào)研現(xiàn)在大概有一千多人通過互聯(lián)網(wǎng)參與，遍布全國各個(gè)省市?？傮w的觀點(diǎn)來講現(xiàn)在是挺明顯的。大概有將近40%的人是同意暫停人工智能大模型研究的；大概有25%的人是不同意暫停人工智能大模型研究的；有大概5%的人認(rèn)為應(yīng)該暫停所有人工智能大模型的研究 ，先把它的倫理安全框架做好。還有大概百分之十幾、二十的人會認(rèn)為你暫停大模型也沒啥用，這個(gè)問題反正也不那么容易解決。

這是一個(gè)基本的統(tǒng)計(jì)。但是讓我看來很欣慰的是在人工智能的大模型的研究者里，有25%以上的人會認(rèn)為現(xiàn)在暫停超越GPT-4能力的大模型的研究是很有意義的事情。他們作為利益的最相關(guān)者有將近四分之一的人是贊同的，這個(gè)是值得關(guān)注的。

另外，有很多人不是研究人工智能大模型的，但是他是人工智能的研究者，可能走的是不同的路徑。這一部分人同意暫停人工智能大模型的比例顯著是更多的。所以，我們也可以看到當(dāng)你走出人工智能大模型的利益相關(guān)方來看，更理性地來分析這個(gè)問題，離人工智能界越遠(yuǎn)的人對于暫停人工智能大模型越認(rèn)可。比如人文社科領(lǐng)域、認(rèn)知科學(xué)與心理學(xué)領(lǐng)域的人，認(rèn)同暫停人工智能大模型的會更多。人文社科領(lǐng)域的學(xué)者更關(guān)切的這些，比例顯著高于人工智能的從業(yè)者。這個(gè)也對于像我這樣的人工智能的從業(yè)者也提出一種警醒，就是發(fā)展技術(shù)的同時(shí)關(guān)注社會的影響。

騰訊科技：您的同行有沒有跟您爭論過這件事？

曾毅：有的。甚至有像我一樣同時(shí)從事技術(shù)研究，但是也關(guān)注人工智能倫理的學(xué)者表示了不同意見。他們覺得暫停不能解決問題，你就盡可能地快速地通過技術(shù)治理的方式解決問題就好了，而不是說暫停下來它的研究。

但是，我的看法仍然是這樣的，如果說GPT-4這樣能力的信息處理工具的潛在風(fēng)險(xiǎn)已經(jīng)讓我們焦頭爛額了，每天都出現(xiàn)人工智能給大家惹的麻煩，現(xiàn)在幾乎可以這樣說。那如果我們真的沒有準(zhǔn)備好，我們是不是可以先把它的已知風(fēng)險(xiǎn)解決掉再去繼續(xù)？但是我想不同的人有不同的出發(fā)點(diǎn)，不管是不是暫停，發(fā)展人工智能技術(shù)不管它達(dá)沒達(dá)到GPT-4的能力，開展倫理安全框架的研究，并且在研制的過程中就把倫理安全框架內(nèi)置到這個(gè)模型當(dāng)中，在提供服務(wù)之前完全地融合和充分地考慮倫理安全的風(fēng)險(xiǎn)，并完善這個(gè)倫理安全的測試，我覺得至少這樣做是特別必要的，比之前只是發(fā)展它的信息處理能力要強(qiáng)得多。

騰訊科技：公開信的約束力有多大？它只是給人一種影響和一種倡議？

曾毅：我們可以看到簽這個(gè)公開信背后的科學(xué)家們做出了非常負(fù)責(zé)任地選擇。我們在公開信簽名的作者當(dāng)中既可以看到人工智能的圖靈獎(jiǎng)的獲得者Yoshua Bengio，也可以看到老一代的人工智能的開拓者，比如說伯克利大學(xué)的Stuart Russell教授，以及關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)提出者John Hopfield教授，他們都是最了解神經(jīng)網(wǎng)絡(luò)進(jìn)展的人，但是為什么大家做出共同的選擇？一方面我想是一個(gè)價(jià)值觀的倡導(dǎo)。但是它的作用方面，我想通過這個(gè)公開信是團(tuán)結(jié)了大家共同去研發(fā)它的安全倫理的協(xié)議和檢測的平臺，使得在學(xué)術(shù)和產(chǎn)業(yè)界當(dāng)中不僅僅是通過這個(gè)事件提升公眾的意識，更關(guān)鍵的是促成采取行動(dòng)，至于這個(gè)問題本身是不是由于暫停來解決的？我覺得只要這個(gè)問題解決了，哪怕說企業(yè)界自己把這個(gè)問題解決了，假設(shè)說兩個(gè)禮拜就能解決，我相信這些學(xué)者也了樂見其成。所以，我覺得它的目的是幫助我們?nèi)ソ鉀Q問題，它的約束力是很低的。

但是據(jù)我所知，我們已經(jīng)有相關(guān)的學(xué)者在盡其所能地聯(lián)絡(luò)不僅僅是國內(nèi)的，也有國外的企業(yè)，希望做出更負(fù)責(zé)任的共同承諾。所以我想它已經(jīng)成為一個(gè)公眾關(guān)注的事件，已經(jīng)發(fā)揮了一定的作用，已經(jīng)引起了人工智能大模型研究者的重視。我們下面希望看到的是產(chǎn)學(xué)研界協(xié)同采取行動(dòng)。一方面是構(gòu)建安全倫理框架，并實(shí)施安全倫理框架。第二個(gè)是從源頭創(chuàng)新上提出真正能夠?qū)崿F(xiàn)有道德的人工智能的科學(xué)的進(jìn)展，才是真正對人類來說負(fù)責(zé)任的創(chuàng)新，負(fù)責(zé)任的行為，我們才能真正憧憬人類與人工智能和諧共生的未來。

騰訊科技：未來在人工智能治理方面，公司、科研機(jī)構(gòu)、和國家都分別應(yīng)該承擔(dān)哪些責(zé)任？

曾毅：首先人工智能的發(fā)展，特別是生成式人工智能的發(fā)展和應(yīng)用確實(shí)是一個(gè)多利益相關(guān)方治理的框架。首先要開發(fā)一套人工智能的產(chǎn)學(xué)研方要進(jìn)行治理自治的框架。先把能避免的問題盡量避免掉。第二步就是在人工智能管理的層面是一定要有規(guī)制的。所以你看到我們國家網(wǎng)信辦在去年發(fā)布的《互聯(lián)網(wǎng)信息深度合成管理規(guī)定》和前幾天發(fā)布的《生成式人工智能管理辦法意見草案征求意見稿》都是在這樣的背景下誕生的，也是多部委協(xié)作的機(jī)制。

人工智能的監(jiān)管是一個(gè)機(jī)制復(fù)合體，相關(guān)部門例如科技部、工信部、網(wǎng)信辦，甚至我們的安全部門都發(fā)揮著不同的作用。我想更關(guān)鍵的是，來自公眾的力量非常關(guān)鍵，人工智能的發(fā)展一旦引起了社會的問題，來自于公眾的反饋，來自于媒體的反饋，這些對于人工智能的自律自治、頂層監(jiān)管是一個(gè)非常必要、甚至未來有可能是主導(dǎo)性的互補(bǔ)。

面對大模型技術(shù)的“黑箱”，我們應(yīng)該警惕些什么？

騰訊科技：OpenAI的創(chuàng)始人承認(rèn)并沒有完全搞懂ChatGPT的運(yùn)行原理，就把它推向了普通的用戶、推向了大規(guī)模的應(yīng)用，這是不是一種不負(fù)責(zé)任的做法？

曾毅：我覺得他們這樣做的另外一個(gè)初衷是去收集大量的人類反饋來完善他們的創(chuàng)造。所以，你能夠明白它為什么要公開？包括商機(jī)，我想這個(gè)都是明顯地來自于他們的訴求。但是你講它是不是已經(jīng)做了它應(yīng)該做的負(fù)責(zé)任的行為，它在2022年初就完成了ChatGPT的研發(fā)，花了幾個(gè)月的時(shí)間去做測試，應(yīng)該說已經(jīng)做出了初步的努力，它很顯然不夠，因?yàn)楫?dāng)他們把這個(gè)技術(shù)擴(kuò)散在互聯(lián)網(wǎng)上的時(shí)候相關(guān)的隱患就已經(jīng)出現(xiàn)了，也就證明準(zhǔn)備還是不充分的。所以，也就證明了暫停6個(gè)月大模型的倡議的價(jià)值。

我想未來的人工智能企業(yè)確實(shí)是需要更負(fù)責(zé)任地創(chuàng)新?？梢钥吹轿覀儑鴥?nèi)大模型的研究機(jī)構(gòu)所發(fā)布的大模型幾乎是在二三月份的時(shí)候開始宣布，到四月份就發(fā)布，它們經(jīng)過的倫理安全檢測就更少。所以我特別希望能提醒相關(guān)領(lǐng)域的企業(yè)和服務(wù)方，我們做的不僅僅是變革社會的工具，更關(guān)鍵的是賦能社會發(fā)展的平臺，這個(gè)時(shí)候?qū)τ谏鐣呢?zé)任，我們別無選擇、必須承擔(dān)。

騰訊科技：您認(rèn)為“大力出奇跡”的人工智能大模型發(fā)展路徑，是可持續(xù)的最優(yōu)路徑嗎？

曾毅：我印象中有一次跟領(lǐng)域內(nèi)學(xué)者的討論，大家當(dāng)時(shí)說人類處于一個(gè)轉(zhuǎn)折點(diǎn)，我們現(xiàn)在甚至可以扮演上帝的角色，因?yàn)橐郧笆巧系蹃碓O(shè)計(jì)人，現(xiàn)在是我們?nèi)丝梢栽O(shè)計(jì)未來的人工智能。我很難贊同這樣的觀點(diǎn)。為什么這樣說？如果人工智能模擬人腦的演化過程，經(jīng)歷的是物競天擇、適者生存，和大自然和諧共處，基于此來延展未來的人工智能，是比較安全的。

而現(xiàn)在，從一個(gè)隨機(jī)的神經(jīng)網(wǎng)絡(luò)開始讓它跟環(huán)境交互、自主演化，最終人類犯過的錯(cuò)誤它都可能犯一遍。如果它在一個(gè)模擬環(huán)境中，把所有犯過的錯(cuò)誤都犯一遍，那還好。但是，如果把它放到真實(shí)的環(huán)境中跟人去交互，跟生態(tài)去交互，它犯錯(cuò)的過程帶來的風(fēng)險(xiǎn)和隱患就直接作用于人了。

所以，我覺得以大規(guī)模數(shù)據(jù)驅(qū)動(dòng)的方式構(gòu)造的只能是智能信息處理的工具，再發(fā)展下去就是看上去超級智能的工具，但是，它沒有自我、也不會產(chǎn)生意識，也很難成為所謂的人類的伙伴或者是社會準(zhǔn)成員。

我認(rèn)為人工智能發(fā)展到現(xiàn)在，其實(shí)跟人工智能最早的愿景已經(jīng)非常不一樣了，在達(dá)特茅斯會議上，關(guān)于人工智能愿景（補(bǔ)充英文）原文講的是“人類智能的方方面面都能夠被精確地描述，并且我們用機(jī)器能夠模擬人類智能的方方面面的話，就可以認(rèn)為這樣的機(jī)器具有人工智能”。

但是我們現(xiàn)在看產(chǎn)業(yè)界的人工智能，其實(shí)是有大規(guī)模的數(shù)據(jù)，有所預(yù)期的輸出形式，然后用一種數(shù)學(xué)優(yōu)化的方式去擬合數(shù)據(jù)從輸入到輸出之間的關(guān)系。但是，機(jī)器中間處理的過程可以跟“人類智能”沒有任何關(guān)系。

如果偏要把它叫做人工智能的話，我把它叫做data intensive的AI，就是數(shù)據(jù)智能。但是真正的人工智能首先最重要的恐怕不是數(shù)據(jù)，而是機(jī)制。人類的大腦經(jīng)歷了數(shù)億年演化，它不是短期學(xué)習(xí)的結(jié)果。如果機(jī)器能在不同尺度刻畫智能的方方面面，模仿它的機(jī)制，這樣才是最初定義的真正意義上的人工智能。這樣的模擬人腦的人工智能，擁有人類數(shù)億年演化的經(jīng)驗(yàn)，受這個(gè)啟發(fā)構(gòu)造的人工智能也能避免很多潛在風(fēng)險(xiǎn)。

騰訊科技：目前沒有人能解釋為什么被投喂過這么多數(shù)據(jù)之后，人工智能會出現(xiàn)“涌現(xiàn)能力”，即使這樣，您也認(rèn)為人工智能不能產(chǎn)生意識嗎？

曾毅：我認(rèn)為目前所謂的涌現(xiàn)其實(shí)還是一種誤解。應(yīng)該說以前的人工智能的模型從來沒有基于如此大規(guī)模、如此多模態(tài)的數(shù)據(jù)進(jìn)行訓(xùn)練，產(chǎn)生如此多的參數(shù)，意義是什么？其實(shí)是應(yīng)對不確定性。所以只管感受，我們覺得它能回答很多復(fù)雜的問題。其實(shí)這種能力首先來自于數(shù)據(jù)本身，互聯(lián)網(wǎng)級別的數(shù)據(jù)，基本能覆蓋正常人能想到的所有問題。它利用這種統(tǒng)計(jì)的顯著性，再加上一定的隨機(jī)的變量產(chǎn)生的答案會讓你覺得在別的地方?jīng)]太看到過。這是一個(gè)基礎(chǔ)。

至于說它表現(xiàn)出來的不可預(yù)期性，我總體上感覺目前大家還是有點(diǎn)想多了。基于統(tǒng)計(jì)顯著性，隨機(jī)生成的能力，它的表現(xiàn)力是非常豐富的，但是即使如此，這并不代表著模型本身真正產(chǎn)生了所謂的理解能力。對于ChatGPT來講，首先剛才我們說了統(tǒng)計(jì)的顯著性發(fā)揮了重要的作用，大規(guī)模的數(shù)據(jù)作為一個(gè)基礎(chǔ)，人類反饋的強(qiáng)化學(xué)習(xí)使得它的答案不是最優(yōu)，而是更接近人類的期望。

背后其實(shí)還有很多的規(guī)則。比如你讓它分析問題，它總是分為兩類——這個(gè)事情有正面的意義，也有反面的意義。從正面列幾條原因，反面來列幾條原因。這其實(shí)在背后都是有人工的模板的。所以你會覺得“ChatGPT好理性啊”。但是人的話反而并不是那樣的。很多時(shí)候人會持一個(gè)明確的觀點(diǎn)，反應(yīng)出你的信念。

人與人工智能的危險(xiǎn)關(guān)系

騰訊科技：那到底如何測量這個(gè)機(jī)器是不是真的聰明？之前我們有圖靈測試，現(xiàn)在我們可能看到越來越多的報(bào)道說某個(gè)人工智能研發(fā)通過了圖靈測試，圖靈測試還有效嗎？

曾毅：首先當(dāng)圖靈在寫《Computing machinery and intelligence》這個(gè)文章的時(shí)候就講到，測試智能的方式應(yīng)該是多種多樣的。對話的方式只是其中的一種方式。換句話說我并不認(rèn)為ChatGPT通過了圖靈測試。你讓接觸過ChatGPT的很多人再去看人的回答和ChatGPT的回答的時(shí)候，其實(shí)他是很容易區(qū)分出來人和ChatGPT的回答的。因?yàn)?/span>ChatGPT的回答過于接近人類的需求，看上去過于完美，使得很容易分辨這是不是來自一個(gè)“真人”的回答。

人工智能的“智能程度”未來到底用什么去衡量？首先圖靈自己就不覺得“圖靈測試”是唯一的方式。他文章結(jié)尾就談到你還可以構(gòu)造一個(gè)小機(jī)器人，讓它學(xué)習(xí)如何認(rèn)識世界的事物，可以用這種方式去衡量一個(gè)智能。所以，智能的衡量本身就不存在黃金的標(biāo)準(zhǔn)。

但是，如果說與人類的智能相類比，認(rèn)知學(xué)家提出的“多元智能”的理論就講了人類的智能是方方面面的，而且人類不擅長做所有的事情，他可能有些方面表現(xiàn)得是很突出的。比如有些人數(shù)學(xué)抽象思維能力很強(qiáng)，但是他可能藝術(shù)方面不一定很強(qiáng)。所以，多元智能的理論講到了人類的智能方方面面，不需要特別完美，有些方面可能非常突出，但是某一方面的突出也不能推斷出來它在其他方面也很突出。我覺得未來人工智能如果成為社會的準(zhǔn)成員，我們期望的也并不是一個(gè)在方方面面都超越人類的社會的準(zhǔn)成員。

我覺得“有缺點(diǎn)”的人工智能可能從一個(gè)自私的人類來看似乎比什么方面都比人類強(qiáng)的人工智能在社會的接受度上也許會更高一些。所以，我不覺得通過所謂的圖靈測試是一件非?？膳碌氖虑椤Ｋ潜M早地讓我們意識到了所謂的圖靈測試的局限性。但是另一方面我也不覺得我們有必要去尋求這樣的黃金的標(biāo)準(zhǔn)，反而是多元的智能理論它告訴我們智能的本質(zhì)是在于自適應(yīng)性，是在于多元的發(fā)展。我覺得這些可能會更重要。

騰訊科技：所以我們和ChatGPT談戀愛是永遠(yuǎn)不可能做到的是嗎？

曾毅：ChatGPT回答問題會說“我認(rèn)為、我想”，但是，它說的這個(gè)“我”是不存在的。因?yàn)樗f的這個(gè)“我”其實(shí)只是一個(gè)符號的象征。你可以認(rèn)為這是程序給它的一種模式。所以，它沒有真正的自我感知的能力，也很難在這個(gè)基礎(chǔ)之上發(fā)展出來這個(gè)自我的意識。你剛才講到我們未來是不是可以跟ChatGPT談戀愛？它可以假裝跟你談戀愛，但是它沒有自我，沒有真正的感受。我會認(rèn)為現(xiàn)在的GPT家族的技術(shù)確實(shí)是看似相當(dāng)智能的信息處理，這種用戶體驗(yàn)會越來越極致，但是，它仍然是看似智能的信息處理，仍然不是真正意義上的“理解”。

騰訊科技：未來人與人工智能應(yīng)該是什么樣的關(guān)系？

曾毅：如果把技術(shù)發(fā)展脈絡(luò)放到更長的歷史當(dāng)中來看，它總是使人回歸到人應(yīng)當(dāng)在的這個(gè)位置上，或者是把人類解放出來做更具創(chuàng)造性的工作。但是，現(xiàn)在人工智能進(jìn)展的方式是蠻力的替代。在相關(guān)工作還沒有完全準(zhǔn)備好的時(shí)候，人工智能以一種試探、嘗試的方式去改變社會，社會現(xiàn)在是一種被動(dòng)的方式去應(yīng)對，而不是我們所期待的主動(dòng)地去迎接技術(shù)的變革，更多的人是疲于應(yīng)對的。

所以，有些人會以仇視技術(shù)的方式去變革反饋，我覺得它的根源在于獲得技術(shù)賦能的這些變革者如何幫助社會做出更自適應(yīng)的過程，使得這個(gè)社會能夠更好地接受這樣的技術(shù)。我們作為技術(shù)創(chuàng)新者不能止步于“我做出來，讓我們看看技術(shù)能給我們的社會帶來什么樣的改變”，你要幫助這個(gè)社會去適應(yīng)，幫助這個(gè)社會去找到人類的價(jià)值。我覺得人類的價(jià)值一定不止步于未來給人工智能提供更多標(biāo)注的數(shù)據(jù)，它一定是使得人類回到人類該做的工作上去。

我記得在一次訪談節(jié)目中，節(jié)目中有很多父親母親，當(dāng)時(shí)就講到未來人工智能會不會把大家工作都替代了？我當(dāng)時(shí)就講到一個(gè)觀點(diǎn)，也許未來我們需要重新定義“什么叫做工作”，“我們和工作之間的關(guān)系”，“人是不是通過工作來證明自己的價(jià)值”？以前不被認(rèn)為是工作的一些事情未來可能成為新的工作類型。比如說在家里照顧自己的孩子，照顧家里的老人，從事一些社會服務(wù)，可能都是未來的工作形態(tài)，這些工作需要人類的情感交互，這是人工智能最難去替代的。復(fù)雜的情感交互恐怕只有人能夠勝任。而且，它使得我們?nèi)苏嬲氐搅巳说谋疚弧：芏鄷r(shí)候?qū)τ诩彝コ蓡T的陪伴，對于下一代的培養(yǎng)，我相信就算人工智能能替代其中部分的步驟我覺得也是非常蹩腳的。

騰訊科技：應(yīng)對人工智能時(shí)代的到來，現(xiàn)在的孩子要培養(yǎng)哪些能力呢？

曾毅：現(xiàn)在有很多家長也是非常焦慮，就覺得我的孩子是不是應(yīng)該盡早地接觸人工智能？我印象當(dāng)中也許2017年的時(shí)候，當(dāng)時(shí)在中國科技館做了一個(gè)科普的活動(dòng)，結(jié)束的時(shí)候就有教育系統(tǒng)的人來問我，你作為一個(gè)人工智能的學(xué)者，如果我們做中小學(xué)的人工智能教育，你的建議是什么？后來過了一兩年，甚至看到有類似的書出現(xiàn)——《為幼兒園小朋友寫的深度學(xué)習(xí)教材》，我當(dāng)時(shí)覺得這樣的嘗試都是非常沒有意義的。

為什么？人工智能是一個(gè)高速發(fā)展的學(xué)科。我們?nèi)绾味x人工智能？如何理解人工智能？這些都在日新月異地變化。而傳遞給幼兒園、小學(xué)生的相關(guān)的，我更希望是生活的智慧，當(dāng)你給小朋友們講這就是人工智能、人工智能就是這樣處理信息的，我會覺得也許我把他們未來的思考空間縮小了。所以，我當(dāng)時(shí)給那個(gè)教育系統(tǒng)的工作人員的建議是“小朋友不要把人工智能作為一個(gè)學(xué)科來學(xué)?！?/span>

如果真的學(xué)有余力的話，就是讓孩子們學(xué)一門心理學(xué)，學(xué)認(rèn)知心理學(xué)，讓他對人本身有更多的認(rèn)識——人類的智慧到底是怎么回事？我們的內(nèi)心是什么樣的？人如何為人？讓孩子們做更多的思考。第二，我覺得要向德國和法國學(xué)習(xí)，就是初中、高中去學(xué)習(xí)哲學(xué)。在更年輕的時(shí)候去思考這些問題比我們工作之后幾十歲的時(shí)候再去反思這樣的問題有價(jià)值大多了。

我們現(xiàn)在的教育確實(shí)是很多時(shí)候把學(xué)生慢慢地變成工具，他們甚至沒有時(shí)間去思考自己未來的時(shí)候就已經(jīng)被放在未來的賽道上了。所以我覺得家長真的不要那樣焦慮，因?yàn)榧夹g(shù)的發(fā)展它最后留給人類的實(shí)際上就是屬于人類的空間。屬于人類的空間就應(yīng)該以人類的方式去開展。我很喜歡前《三聯(lián)周刊》的主編舒可文老師的一本書，是講城市的夢想的。他當(dāng)時(shí)就講人類的城市就是一半規(guī)劃，一半野蠻的生長。規(guī)劃那部分你用技術(shù)去改變，野蠻的生長這個(gè)部分你就讓人與人之間的交流去驅(qū)動(dòng)。人與人工智能的關(guān)系也是這樣的。我最反感的觀點(diǎn)叫做使人工智能無處不在。因?yàn)槲矣X得不管是它發(fā)展的階段還是它本來應(yīng)該在這個(gè)社會中所處的地位都應(yīng)該是適度地使用，把應(yīng)該留給人的空間留給人。技術(shù)可以去變革，可以去賦能的地方可以去嘗試，但是我們發(fā)展技術(shù)的目的是為了人類更好地生存，更好地發(fā)展。不是用技術(shù)去為人類劃一個(gè)句號。

騰訊科技：全世界有這么多國家，大家有不同的文化，那人類有沒有一個(gè)共同的關(guān)于人工智能的終級夢想？

曾毅：目前在全球共識的層面比較認(rèn)可的是作為工具的人工智能。所以，這個(gè)是在聯(lián)合國教科文組織的《人工智能倫理建議書》當(dāng)中希望去闡釋的一個(gè)愿景，就是人工智能作為一種工具和賦能性的技術(shù)賦能全球的可持續(xù)的發(fā)展。但是，我們對于人工智能的愿景確實(shí)認(rèn)知有不同，日本認(rèn)為人工智能應(yīng)該發(fā)展為社會的準(zhǔn)成員和伙伴，西方認(rèn)為人工智能只是工具，中國可能介于兩者之間。但是，這些不同的愿景，不同的價(jià)值觀都是塑造人工智能不同的嘗試。我們未來希望探索的應(yīng)當(dāng)是人與人工智能共享的一個(gè)最小的倫理原則的集合。

這個(gè)最小的倫理原則的集合是不同的文化之間能夠達(dá)成的共識，這是第一步。第二步，人與人工智能再次達(dá)成共識。這個(gè)作為人與人工智能共生社會的一個(gè)基石。未來的國際交往需要一個(gè)倫理的最小集。人與人工智能的倫理也需要這樣的一個(gè)最小集。但是我想這不是終點(diǎn)。真正的終點(diǎn)是最大化我們應(yīng)該做什么的表述。真正去促進(jìn)穩(wěn)健地、可持續(xù)地發(fā)展。

本文來源于騰訊科技，原文標(biāo)題為《對話科學(xué)家曾毅：中國大模型水平不及GPT-4，我為何簽名支持暫停巨型AI研發(fā)？》

風(fēng)險(xiǎn)提示及免責(zé)條款 市場有風(fēng)險(xiǎn)，投資需謹(jǐn)慎。本文不構(gòu)成個(gè)人投資建議，也未考慮到個(gè)別用戶特殊的投資目標(biāo)、財(cái)務(wù)狀況或需要。用戶應(yīng)考慮本文中的任何意見、觀點(diǎn)或結(jié)論是否符合其特定狀況。據(jù)此投資，責(zé)任自負(fù)。

關(guān)鍵詞：