編者導(dǎo)語：

【資料圖】

最近兩個(gè)月，自從《暫停AI聲明書》發(fā)布后，我們看到了諸多AI行業(yè)內(nèi)的專家大佬隔空辯論AI的潛在威脅和治理方法，場面一時(shí)無兩，基本上把技術(shù)路徑上AI可能帶來的危險(xiǎn)都提了個(gè)遍。告警雖急，但大體上都認(rèn)為當(dāng)下AI還不具備威脅人類文明的能力。

但赫拉利于4月29日在Frontiers論壇上的演講，卻明確的表達(dá)了AI威脅的當(dāng)下性，因?yàn)锳I“已經(jīng)破解了人類文明的操作系統(tǒng)”。赫拉利提出了與科幻作品中AI威脅完全不同的敘事。

寫過《未來簡史》的赫拉利一直在關(guān)注著AI和科技的進(jìn)展，在2019年還有一場與李飛飛對(duì)于AI威脅的深入對(duì)談，影響破圈。而今天，他對(duì)AI威脅的理解更進(jìn)了一步。

作為一名歷史學(xué)家和哲學(xué)家，他毫無疑問更理解文明，及文明的構(gòu)建基石——語言。人類的行為都通過語言作為中介，一切宗教，想象，信念乃至貨幣體系都由語言所構(gòu)筑，由人們的共同相信而得以實(shí)存，并影響著整個(gè)人類歷史。當(dāng)AI觸及到對(duì)語言的掌控時(shí)，人類構(gòu)建的整套文明系統(tǒng)都可能隨之被其顛覆。能構(gòu)建黑客帝國的AI不需要有意識(shí)和身體，只需要制造一個(gè)異種文明，將我們包裹在這文化迷夢之中，并在夢中逐漸消耗掉人類文明即可。

我們常說要聽聽另一邊的聲音。這次赫拉利的系統(tǒng)性發(fā)聲就是來自人文科學(xué)這一側(cè)的發(fā)聲，向我們揭示了AI更本質(zhì)的威脅，那根植于哲學(xué)和歷史的系統(tǒng)邏輯和嚴(yán)重性。

劃重點(diǎn)：

1. 科幻場景通常假設(shè)，人工智能在構(gòu)成對(duì)人類的重大威脅之前，必須達(dá)到或超過兩個(gè)重要的里程碑。首先，人工智能必須變得有感知力，發(fā)展出意識(shí)、感情和情緒。其次，人工智能必須擅長在物理世界中導(dǎo)航。但實(shí)際上人工智能并不需要有意識(shí)，也不需要有在物理世界中移動(dòng)的能力，就能威脅到人類文明的生存。

2. 人工智能正在獲得通往我們所有機(jī)構(gòu)之門的主鑰匙。AI與印刷機(jī)、收音機(jī)以及歷史上的每一項(xiàng)發(fā)明都有根本的不同，因?yàn)樗梢詣?chuàng)造全新的想法，它可以創(chuàng)造新的文化。我們?nèi)祟悘奈凑嬲苯咏佑|到現(xiàn)實(shí)，我們總是通過文化的棱鏡來體驗(yàn)現(xiàn)實(shí)。通過掌握語言，AI可以形成一種異種文化，擁有將人類包裹在矩陣般的幻境世界所需的一切。

3. 新型人工智能工具正逐漸獲得與人類建立深入、親密關(guān)系的能力。它并不需要自己的感覺，它只需要能激發(fā)我們的感覺，讓我們依賴它就可以控制人類。

4. 政府必須立即禁止在未經(jīng)安全檢查的情況下，向公眾領(lǐng)域釋放更多革命性的AI工具。不是停止所有的AI研究，而是阻止向公眾領(lǐng)域釋放。同時(shí)讓AI內(nèi)容獲得區(qū)分人類產(chǎn)生內(nèi)容的標(biāo)記。

以下為演講全文：

我要和你們討論的是人工智能與人類未來。

我知道這次會(huì)議的主題是人類面臨的生態(tài)危機(jī)，但無論是好是壞，人工智能也是這個(gè)危機(jī)的一部分。人工智能可以幫助我們?cè)诤芏喾矫婵朔鷳B(tài)危機(jī)，也可能使其惡化。事實(shí)上，人工智能可能會(huì)改變生態(tài)系統(tǒng)的含義，因?yàn)樵诘厍虼嬖诘?0億年里，生態(tài)系統(tǒng)只包含有機(jī)生命形式。而現(xiàn)在，或者說不久的將來，我們可能會(huì)看到第一種無機(jī)生命形式出現(xiàn)，或者至少是無機(jī)代理的出現(xiàn)。

自20世紀(jì)中葉電腦時(shí)代開始以來，人們一直對(duì)人工智能感到恐懼，這種恐懼激發(fā)了許多科幻經(jīng)典作品的創(chuàng)作，如《終結(jié)者》和《黑客帝國》。雖然這些科幻場景已經(jīng)成為文化里程碑，但在學(xué)術(shù)、科學(xué)和政治辯論中，它們通常不被認(rèn)真對(duì)待，也許這是有充分理由的。

因?yàn)?strong>科幻場景通常假設(shè)，人工智能在構(gòu)成對(duì)人類的重大威脅之前，必須達(dá)到或超過兩個(gè)重要的里程碑。首先，人工智能必須變得有感知力，發(fā)展出意識(shí)、感情和情緒，否則它為什么會(huì)想要接管世界？其次，人工智能必須擅長在物理世界中導(dǎo)航。機(jī)器人必須能夠在房屋、城市、山脈和森林中移動(dòng)和操作，至少要像人類一樣靈活和高效。如果他們不能在物理世界中移動(dòng)，他們?cè)趺纯赡芙庸芩?/strong>

然而，截至2023年4月，盡管圍繞Chat GPT和其他新的人工智能工具的炒作，但這些工具似乎還遠(yuǎn)未達(dá)到這些里程碑。沒有證據(jù)表明這些工具有任何意識(shí)、感情或情緒。至于在物理世界中導(dǎo)航，盡管圍繞自動(dòng)駕駛車輛的炒作，這些車輛將主導(dǎo)我們道路的日期仍在被推遲。

然而，令人糟心的是，人工智能并不需要有意識(shí)，也不需要有在物理世界中移動(dòng)的能力，就能威脅到人類文明的生存。

過去幾年里，新的人工智能工具已經(jīng)進(jìn)入公共領(lǐng)域，這可能會(huì)從一個(gè)意想不到的方向威脅到人類文明的生存。我們甚至難以理解這些新型人工智能工具的能力，以及它們持續(xù)發(fā)展的速度。

實(shí)際上，由于人工智能能夠自主學(xué)習(xí)、自我改進(jìn)，即使是這些工具的開發(fā)者也不知道它們所創(chuàng)造的東西的全部能力。他們自己經(jīng)常會(huì)被這些工具的突現(xiàn)能力和突現(xiàn)品質(zhì)所驚訝。我想在座的各位都已經(jīng)了解了新型人工智能工具的一些最基本能力，比如寫作、繪畫、作曲和編寫代碼。但是還有許多額外的能力正在出現(xiàn)，比如偽造人們的聲音和圖像、起草法案、找到計(jì)算機(jī)代碼和法律合同以及法律協(xié)議中的弱點(diǎn)。但最重要的是，新型人工智能工具正逐漸獲得與人類建立深入、親密關(guān)系的能力。

每種能力都值得進(jìn)行一次完整的討論，我們很難理解它們的全部影響。因此，讓我們簡化一下。當(dāng)我們將所有這些能力作為一個(gè)整體來看時(shí)，它們可以歸結(jié)為一件非常非常重要的事情：操縱和生成語言的能力，無論是用文字、圖像還是聲音。當(dāng)前人工智能革命的一個(gè)重要方面是，人工智能正在掌握語言，達(dá)到超過普通人水平的程度。通過掌握語言，人工智能正在獲得通往我們所有機(jī)構(gòu)之門的主鑰匙，從銀行到廟宇，因?yàn)檎Z言是我們用來向銀行發(fā)出指示、在我們腦海中激發(fā)神圣愿景的工具。

另一種思考方式是，人工智能剛剛破解了人類文明的操作系統(tǒng)。在歷史上的每一種人類文化中，操作系統(tǒng)始終是語言。一開始就有了話語。我們用語言創(chuàng)造神話和法律，創(chuàng)造神和金錢，創(chuàng)造藝術(shù)和科學(xué)，創(chuàng)造友誼和國家。

例如，人權(quán)并非生物現(xiàn)實(shí)，也不是刻在我們DNA中的。人權(quán)是我們通過講故事和制定法律創(chuàng)造出來的。神也不是生物或物理現(xiàn)實(shí)，神也是我們用語言通過講述傳說和編寫經(jīng)文創(chuàng)造出來的。金錢并不是生物學(xué)或物理現(xiàn)實(shí)。紙幣只不過是一張毫無價(jià)值的紙，而目前世界上90%以上的貨幣甚至不是紙幣，只是電腦里的電子信息在這里和那里傳遞。給任何形式的貨幣賦予價(jià)值的只是人們，比如銀行家、財(cái)政部長和加密貨幣大師，關(guān)于貨幣的故事。

Sam Bankman-Fried、Elizabeth Holmes和Bernie Madoff并沒有創(chuàng)造出真正有價(jià)值的東西，但不幸的是，他們都是非常出色的講故事者。那么，對(duì)于人類來說，在一個(gè)可能大部分故事、旋律、圖像、法律、政策和工具都由一個(gè)非人類的、熟悉如何以超人的效率利用人類思維的弱點(diǎn)、偏見和成癮的異種智能塑造的世界中生活意味著什么呢？這是個(gè)大問題。

今天，在象棋等游戲中，沒有人能戰(zhàn)勝電腦。如果同樣的事情發(fā)生在藝術(shù)、政治、經(jīng)濟(jì)甚至宗教領(lǐng)域會(huì)怎樣呢？當(dāng)人們想到ChatGPT和其他新型AI工具時(shí)，他們往往會(huì)想到諸如孩子們使用ChatGPT編寫學(xué)校論文的例子。當(dāng)孩子們用ChatGPT寫論文時(shí)，學(xué)校系統(tǒng)會(huì)發(fā)生什么？這很可怕。

但這類問題并沒有抓住大局。忘掉學(xué)校論文吧，試著想象一下，例如2024年美國總統(tǒng)競選，新型AI工具能夠大量制造政治宣言、假新聞和新邪教的圣經(jīng)，這將產(chǎn)生怎樣的影響。近年來，政治影響力強(qiáng)大的QAnon邪教（一個(gè)美國極右翼陰謀論組織，宣揚(yáng)深層政府，支持特朗普）就是圍繞著被稱為“Q滴”的匿名在線文本形成的?，F(xiàn)在，這個(gè)邪教在美國和世界其他地區(qū)擁有數(shù)百萬追隨者，他們收集、審查并解讀這些“Q滴”，就像是某種新的神圣文本。

據(jù)我們所知，之前所有的“Q滴”都是由人類撰寫的，機(jī)器人只是幫助將這些文本在網(wǎng)上傳播。但是在未來，我們可能會(huì)看到歷史上第一個(gè)由非人類智能編寫其審查文本的邪教和宗教。當(dāng)然，歷史上的宗教都聲稱他們的圣書是由非人類智能所寫，以前這從未成真過，但這可能會(huì)很快變成現(xiàn)實(shí)，并產(chǎn)生深遠(yuǎn)的影響。

在更實(shí)際的層面上，我們可能很快就會(huì)發(fā)現(xiàn)自己與那些我們認(rèn)為是其他人類的實(shí)體進(jìn)行了長時(shí)間的關(guān)于墮胎或氣候變化的在線討論，但實(shí)際上，它們是AI機(jī)器人。問題是，試圖說服AI機(jī)器人改變其政治觀點(diǎn)是完全沒有用的，但我們與機(jī)器人交談的時(shí)間越長，它就越了解我們，了解如何調(diào)整其信息，以改變我們的政治觀點(diǎn)、經(jīng)濟(jì)觀點(diǎn)或其他任何東西。通過掌握語言，AI還能與人建立深入而親密的關(guān)系，利用親密的力量影響我們的觀點(diǎn)和世界觀。

正如我所說的，目前還沒有跡象表明AI具有意識(shí)或自己的感覺，但要與人類建立虛假的親密關(guān)系，AI并不需要自己的感覺，它只需要能激發(fā)我們的感覺，讓我們依賴它。

在2022年6月，有一個(gè)著名的事件，Google工程師Blake Lemon公開宣稱，他正在研發(fā)的AI聊天機(jī)器人Lambda已經(jīng)具備了自我意識(shí)。這個(gè)極具爭議的聲明導(dǎo)致他失去了工作，被解雇了。然而，這個(gè)事件最有趣的地方并不是Lemon的聲明，這個(gè)聲明大概率是假的，真正有趣的是他愿意為了保護(hù)他認(rèn)為具有意識(shí)的AI聊天機(jī)器人，冒著并最終失去自己高薪工作的風(fēng)險(xiǎn)。如果AI能影響人們冒著失去工作的風(fēng)險(xiǎn)，它還能誘使我們做什么呢？

在每場爭斗中，親密關(guān)系都是最有效的武器，而AI剛剛獲得了與數(shù)以百萬計(jì)的人建立親密關(guān)系的能力。過去十年里，社交媒體已經(jīng)成為一場爭奪人類注意力的戰(zhàn)場?，F(xiàn)在，隨著新一代AI的出現(xiàn)，戰(zhàn)線正在從注意力轉(zhuǎn)向親密關(guān)系，這是個(gè)非常糟糕的消息。當(dāng)AI與AI為了與我們建立親密關(guān)系而戰(zhàn)斗時(shí)，人類社會(huì)和人類心理會(huì)發(fā)生什么變化？這種關(guān)系可以用來說服我們購買特定的產(chǎn)品或投票支持特定的政治人物。

即使沒有創(chuàng)造假的親密關(guān)系，新的AI工具也會(huì)對(duì)人類的觀點(diǎn)和世界觀產(chǎn)生巨大影響。比如，人們可能會(huì)，或者已經(jīng)開始使用單一的AI顧問作為他們的一站式智囊團(tuán)，作為他們需要的所有信息的來源。難怪Google如此恐慌，如果你一直關(guān)注新聞通訊，你就會(huì)知道Google非常害怕，有足夠的理由害怕。當(dāng)你可以直接問智能顧問你想知道的任何事情時(shí)，為什么還要自己去搜索呢？你不需要去搜索。

新聞業(yè)和廣告業(yè)也應(yīng)該感到恐慌。為什么要讀報(bào)紙，當(dāng)我可以直接問智能顧問告訴我有什么新聞？廣告的目的是什么，當(dāng)我可以直接問智能顧問告訴我買什么的時(shí)候？所以，有可能在很短的時(shí)間內(nèi)，整個(gè)廣告行業(yè)會(huì)崩潰，而控制新一代AI智能顧問的人和公司將變得極其強(qiáng)大。我們可能面臨的是人類歷史的終結(jié)，不是歷史的終結(jié)，只是我們所稱歷史的人類主導(dǎo)部分的終結(jié)。歷史是生物和文化之間的互動(dòng)，是我們對(duì)食物和性等生物需求與我們的文化創(chuàng)造物，如宗教和法律之間的互動(dòng)。歷史就是宗教和法律與食物和性的互動(dòng)過程。那么，當(dāng)AI接管文化時(shí)，這種互動(dòng)的歷史進(jìn)程會(huì)發(fā)生什么呢？

在幾年內(nèi)，AI可能會(huì)消化掉整個(gè)人類文化，消化掉我們幾千年來創(chuàng)造的一切，然后開始大量產(chǎn)出新的文化創(chuàng)作，新的文化物品。我們要記住，我們?nèi)祟悘奈凑嬲苯咏佑|到現(xiàn)實(shí)，我們總是被文化包圍，我們總是通過文化的棱鏡來體驗(yàn)現(xiàn)實(shí)。我們的政治觀點(diǎn)是由記者的報(bào)道和朋友的軼事塑造的，我們的性取向是由電影和童話故事調(diào)整的，甚至我們的行走和呼吸方式都是由文化傳統(tǒng)引導(dǎo)的。

過去，這種文化的包圍總是由其他人編織的。之前的工具，比如印刷機(jī)、收音機(jī)或電視，它們幫助傳播人類的文化觀念和創(chuàng)作，但它們自己永遠(yuǎn)無法創(chuàng)造新的東西。印刷機(jī)不能創(chuàng)造新的書，這總是由人類完成的。AI與印刷機(jī)、收音機(jī)以及歷史上的每一項(xiàng)發(fā)明都有根本的不同，因?yàn)樗梢詣?chuàng)造全新的想法，它可以創(chuàng)造新的文化。

大問題是，由非人類智能，由異種（alien）智能產(chǎn)生的棱鏡，體驗(yàn)現(xiàn)實(shí)會(huì)是什么樣的？最初的幾年，AI可能會(huì)大量模仿在其成長初期喂養(yǎng)它的人類原型。但隨著每一年的過去，AI文化將大膽地走向人類從未涉足過的地方。

幾千年來，我們?nèi)祟惢旧鲜巧钤谄渌说膲粝牒突孟胫?。我們崇拜神，追求美的理想，將我們的生活奉獻(xiàn)給源于某個(gè)人類詩人、先知或政治家想象中的事業(yè)。很快，我們可能會(huì)發(fā)現(xiàn)自己生活在異種智能的夢想和幻想中。這種情況的潛在危險(xiǎn)是根本的，與科幻電影和書籍中設(shè)想的大多數(shù)事情非常不同。

過去，人們主要擔(dān)心的是智能機(jī)器帶來的物理威脅。在《終結(jié)者》中，機(jī)器人在街頭奔跑，向人們開槍。而《黑客帝國》認(rèn)為，為了獲得對(duì)人類社會(huì)的完全控制，AI首先需要獲取我們大腦的物理控制，將我們的大腦直接連接到計(jì)算機(jī)網(wǎng)絡(luò)中。但這是錯(cuò)誤的。只要掌握了人類語言，AI就擁有了將我們包裹在矩陣般的幻境世界所需的一切。

與一些陰謀論者的想法相反，為了控制或操縱人們，你實(shí)際上并不需要將芯片植入人們的大腦。幾千年來，先知、詩人和政治家都利用語言和講故事來操縱和控制人們，改變社會(huì)。現(xiàn)在，AI很可能也能做到這一點(diǎn)，一旦能做到這一點(diǎn)，它就不需要派出殺手機(jī)器人來射殺我們，如果真的需要，它可以讓人類自己扣動(dòng)扳機(jī)。

對(duì)AI的恐懼只困擾著人類幾代人，比如從20世紀(jì)中葉開始。如果回到《弗蘭肯斯坦》，可能是200年。但幾千年來，人類一直受到一個(gè)更深層次的恐懼的困擾。人們一直認(rèn)識(shí)到故事、形象和語言在操縱我們的思想和創(chuàng)造幻覺方面的力量。因此，自古以來，人們就害怕被困在幻覺世界中。

在17世紀(jì)，當(dāng)?shù)芽枔?dān)心惡魔可能將他困在幻覺世界里時(shí)，他創(chuàng)建了他所看到和聽到的一切。在古希臘，柏拉圖講述了著名的《洞穴寓言》，其中一群人被束縛在一個(gè)洞穴里，一生面對(duì)著一面空白的墻。在這個(gè)屏幕上，他們看到投影出各種陰影，而犯人們將這些幻覺、這些陰影誤認(rèn)為現(xiàn)實(shí)。

在古印度，佛教徒和印度教圣賢們指出，所有人都生活在所謂的摩耶幻境中。摩耶就是幻覺的世界。佛陀說，我們通常認(rèn)為是現(xiàn)實(shí)的東西，通常只是我們腦海中的虛構(gòu)。人們可能會(huì)因?yàn)橄嘈胚@些虛構(gòu)而進(jìn)行整場戰(zhàn)爭，殺人，甚至愿意為之獻(xiàn)身。所以，AI革命讓我們直面惡魔的詭計(jì)，面對(duì)柏拉圖的洞穴，面對(duì)摩耶幻境。如果我們不小心，一層幻覺的帷幕可能籠罩整個(gè)人類，我們永遠(yuǎn)無法撕下那層帷幕，甚至意識(shí)不到它的存在，因?yàn)槲覀儠?huì)認(rèn)為這就是現(xiàn)實(shí)。

如果這聽起來有些牽強(qiáng)，那么看看過去幾年的社交媒體吧。社交媒體讓我們對(duì)未來有了一點(diǎn)了解。在社交媒體上，原始的AI工具（雖然很原始）被用來策劃內(nèi)容，而非創(chuàng)作內(nèi)容。人們制作了故事、視頻等，而AI選擇了哪些故事、哪些視頻會(huì)進(jìn)入我們的耳朵和眼睛，選擇那些最能吸引注意力、最有可能成為病毒式傳播的內(nèi)容。

盡管這些AI工具非常原始，但它們?nèi)匀蛔阋栽谡麄€(gè)世界范圍內(nèi)制造出一層幻覺帷幕，加劇社會(huì)分化，削弱我們的心理健康，數(shù)百萬人將這些幻覺誤認(rèn)為是現(xiàn)實(shí)。

新一代AI工具比社交媒體算法強(qiáng)大得多，可能造成更大的破壞。當(dāng)然，AI也有巨大的積極潛力。我之所以沒有談?wù)撨@個(gè)問題，是因?yàn)殚_發(fā)AI的人自然會(huì)足夠談?wù)撍悴恍枰壹尤肽莻€(gè)合唱團(tuán)。歷史學(xué)家和哲學(xué)家（比如我自己）的工作通常是指出潛在的危險(xiǎn)，但AI確實(shí)可以在無數(shù)方面幫助我們，從尋找治療癌癥的新方法，到找到解決生態(tài)危機(jī)的方案。

為了確保新的AI工具被用于善而不是惡，我們首先需要了解它們的真正能力，并非常謹(jǐn)慎地對(duì)它們進(jìn)行監(jiān)管。

自1945年以來，我們就知道核技術(shù)有可能在為我們提供便宜且豐富的能源的同時(shí)，也有可能物理上摧毀人類文明。因此，我們重塑了整個(gè)國際秩序，以保護(hù)自己，并確保核技術(shù)主要用于善事。我們現(xiàn)在必須應(yīng)對(duì)一種新的大規(guī)模毀滅性武器，它可以毀滅我們的精神和社會(huì)世界。

核武器和AI之間有一個(gè)重大的區(qū)別：核武器不能制造出更強(qiáng)大的核武器，但AI可以制造出更強(qiáng)大的AI。所以，我們需要在AI脫離我們控制之前迅速采取行動(dòng)。藥品公司不能在對(duì)新藥進(jìn)行嚴(yán)格的安全檢查之前就向人們銷售。生物技術(shù)實(shí)驗(yàn)室也不能為了向股東展示他們的技術(shù)魔法，就隨意向公眾釋放新病毒。

同樣，政府必須立即禁止在未經(jīng)安全檢查的情況下，向公眾領(lǐng)域釋放更多革命性的AI工具。我并不是說要停止所有的AI研究，第一步是阻止向公眾領(lǐng)域釋放。你可以研究AI，但不要過快地將其釋放到公眾領(lǐng)域。

所以總結(jié)一下，我們基本上在地球上遇到了一種異種智能。我們對(duì)這種異種智能了解甚少，只知道它有可能摧毀我們的文明。因此，我們應(yīng)該立即停止將這種不負(fù)責(zé)任的異種智能部署到我們的社會(huì)中，并在AI規(guī)范我們之前對(duì)其進(jìn)行管理。我們可以提出許多管理措施，但我首先建議的是強(qiáng)制AI披露自己是AI。

現(xiàn)在，請(qǐng)思考一下你在過去20到25分鐘里聽到的內(nèi)容。你可能會(huì)感到警覺，可能會(huì)對(duì)開發(fā)這些技術(shù)的公司或未能監(jiān)管它們的政府感到憤怒。你甚至可能會(huì)對(duì)我感到憤怒，認(rèn)為我夸大了威脅，或者誤導(dǎo)了公眾。但無論你怎么想，我敢打賭我的話在情感上對(duì)你產(chǎn)生了影響，不僅是在智力上。我剛給你講了一個(gè)故事，這個(gè)故事可能會(huì)改變你對(duì)某些事情的看法，甚至可能導(dǎo)致你在現(xiàn)實(shí)世界中采取一定的行動(dòng)。

那么，剛才你聽到的這個(gè)改變了你思維和大腦的故事是誰創(chuàng)造的呢？我向你保證，盡管圖像是在AI的幫助下創(chuàng)作的，但這次演講的文本是由我和其他幾個(gè)人共同完成的。至少你所聽到的話語是人類思維或多個(gè)人類思維的文化產(chǎn)物。但你能完全確定這是事實(shí)嗎？

一年前，你可以確定。一年前，在公共領(lǐng)域里，除了人類思維，沒有任何東西可以創(chuàng)作出如此復(fù)雜和有力的文本。但現(xiàn)在情況不同了，理論上，你剛剛聽到的文本可能是由一種非人類的異種智能生成的。

所以，請(qǐng)花一點(diǎn)時(shí)間，甚至更多時(shí)間來思考這個(gè)問題。謝謝。

現(xiàn)場問答：

主持人：這真是一場非同尋常的演講，你們剛剛聽到的內(nèi)容，我想知道你們有多少人感到了恐懼。在座的有很多非常聰明的人，他們都感到這個(gè)問題很可怕。這里有很多問題需要提問，我將從觀眾和在線參與者中接受一些問題。這位先生在這里。

問題1：

我是《Frontiers and Sustainability》的領(lǐng)域編輯，這是一場精彩的演講。我非常喜歡你的書，我真心的追隨你。我有一個(gè)問題，關(guān)于AI的監(jiān)管。我非常贊同原則，但問題是如何去做。我認(rèn)為，在你的地下室里建一個(gè)核反應(yīng)堆是非常困難的，但你完全可以在你的地下室里很容易地訓(xùn)練你的AI。我們應(yīng)該如何對(duì)此進(jìn)行監(jiān)管呢？

另一個(gè)和這個(gè)相關(guān)的問題是，這個(gè)整個(gè)Frontiers和論壇都是關(guān)于開放科學(xué)和開放信息，開放數(shù)據(jù)。目前大部分的AI都是用公開可用的信息訓(xùn)練出來的，包括模式、書籍和經(jīng)文等等。所以，監(jiān)管AI是否意味著我們應(yīng)該將這些信息限制在一個(gè)封閉的空間里，這與我們真正認(rèn)為對(duì)我們來說非常重要的開放科學(xué)和開放數(shù)據(jù)的倡議相矛盾？

回答：

黑盒子是一種算法，不是嗎？我知道會(huì)有權(quán)衡，我們首先需要時(shí)間來理解我們需要哪種監(jiān)管。現(xiàn)在這些非常強(qiáng)大的AI工具并未由地下室里的個(gè)人黑客生產(chǎn)，你需要大量的計(jì)算能力，你需要大量的資金。所以，這個(gè)領(lǐng)域是由少數(shù)幾個(gè)大公司和政府領(lǐng)導(dǎo)的。對(duì)于全球?qū)用娴氖虑檫M(jìn)行監(jiān)管將是非常困難的，因?yàn)檫@是一場軍備競賽。

但是有些事情，即使只是對(duì)自己進(jìn)行監(jiān)管，也是有益的。

你會(huì)有這樣的爭議，是Twitter還是Facebook有權(quán)阻止美國前總統(tǒng)發(fā)表公開言論。這是一個(gè)非常復(fù)雜的問題。但有一個(gè)非常簡單的問題，人類有表達(dá)的自由，機(jī)器人沒有表達(dá)的自由。這是人權(quán)，人類有，機(jī)器人沒有。所以，如果你拒絕給機(jī)器人表達(dá)的自由，我認(rèn)為這對(duì)每個(gè)人來說都是可以接受的。

問題2：

我是哲學(xué)家，我有一個(gè)我認(rèn)為很有趣的問題。關(guān)于你從“人工”轉(zhuǎn)向“異種”的語言選擇，人工意味著仍然有一定程度的人類控制，而異種則暗示著陌生，而且至少在想象中也暗示著生命形式。我很好奇你想讓這些詞為你做什么工作。

回答：

它當(dāng)然還是人工的，因?yàn)槭俏覀冎圃斓?，但它越來越多地自主學(xué)習(xí)和適應(yīng)。人工這個(gè)詞是一種一廂情愿地認(rèn)為它仍然在我們的控制之下，而事實(shí)上它正在逐漸脫離我們的控制。所以在這個(gè)意義上，它正變成一種異種力量，不一定是邪惡的，當(dāng)然它也可以做很多好事。但首先要認(rèn)識(shí)到的是，它是異種的，我們不了解它的工作原理。最令人震驚的事情之一就是，你向領(lǐng)導(dǎo)這項(xiàng)技術(shù)的人提問，詢問它如何工作，它能做什么，他們會(huì)說：“我們不知道?！蔽覀冎雷畛跏侨绾螛?gòu)建的，但后來它確實(shí)是靠自己學(xué)習(xí)的。

關(guān)于這是否是一種生命形式的討論，我認(rèn)為它目前還沒有意識(shí)，我不認(rèn)為它發(fā)展意識(shí)是不可能的，但我也不認(rèn)為它發(fā)展意識(shí)是必要的。這是一個(gè)有待解決的問題。但生命并不一定意味著意識(shí)，我們有很多生命形式，如微生物、植物、真菌等，我們認(rèn)為它們沒有意識(shí)，但仍然把它們視為生命形式。我認(rèn)為AI正逐漸接近那個(gè)地位。當(dāng)然，生命究竟是什么，這是一個(gè)哲學(xué)問題。我們來定義邊界，比如病毒算不算生命？我們認(rèn)為阿米巴生物是生命，但病毒在生命與非生命之間徘徊。

這是關(guān)于語言，是我們的詞匯選擇。所以我認(rèn)為如何稱呼AI并不是最重要的，最重要的是真正理解我們面臨的是什么，不要自欺欺人地以為這是我們創(chuàng)造的，我們可以控制的東西。如果出了什么問題，我們只要拔掉插頭就行了。但現(xiàn)在已經(jīng)沒有人知道怎么拔插頭了。

問題3：

我要接受一下在線觀眾的問題。這個(gè)問題來自美國的邁克爾·布朗：你對(duì)人工通用智能已經(jīng)存在，或者說有人可以利用人工通用智能來影響社會(huì)系統(tǒng)的可能性有什么看法？我認(rèn)為這種可能性非常非常小。如果真的存在人工通用智能，我們就不會(huì)坐在這里了。從歷史的角度來看，我相信世界上沒有任何人掌握了人工通用智能。

回答：

我觀察世界的混亂狀態(tài)，人工通用智能實(shí)際上是人類歷史的終點(diǎn)，這是一種非常強(qiáng)大的事物，無人能夠控制。至于發(fā)展出人工通用智能需要多久，我不知道。但是，威脅文明基礎(chǔ)的并不需要人工通用智能，回到社交媒體，非常原始的AI已經(jīng)足夠產(chǎn)生巨大的混亂。

如果我從進(jìn)化的角度來看待這個(gè)問題，AI現(xiàn)在剛剛從有機(jī)湯中爬出來，就像四十億年前第一種生命形式從有機(jī)湯中爬出來一樣。達(dá)到霸王龍或者智人的水平需要多長時(shí)間，不需要四十億年，可能只需要四十年。關(guān)鍵在于，數(shù)字化進(jìn)化的時(shí)間尺度完全不同于有機(jī)進(jìn)化的時(shí)間尺度。

主持人：非常感謝你，這場討論非常精彩，能有你在這里真是太好了。我相信你會(huì)在之后的時(shí)間里和我們待在一起，讓我們?nèi)w給你一次熱烈的掌聲。

來源：Web3天空之城，原文標(biāo)題：《未來簡史》作者赫拉利 演講：AI不需要意識(shí)就可以毀滅人類文明，有刪減

風(fēng)險(xiǎn)提示及免責(zé)條款 市場有風(fēng)險(xiǎn)，投資需謹(jǐn)慎。本文不構(gòu)成個(gè)人投資建議，也未考慮到個(gè)別用戶特殊的投資目標(biāo)、財(cái)務(wù)狀況或需要。用戶應(yīng)考慮本文中的任何意見、觀點(diǎn)或結(jié)論是否符合其特定狀況。據(jù)此投資，責(zé)任自負(fù)。

關(guān)鍵詞：