杰弗里·辛頓（Geoffrey Hinton）被公認(rèn)是人工智能的教父，數(shù)十年前他就支持和推動(dòng)了機(jī)器學(xué)習(xí)，隨著像ChatGPT這樣的聊天機(jī)器人引起廣泛關(guān)注，CBS的主持人于2023年3月初在多倫多的Vector研究所采訪了Hinton。

全長(zhǎng)40分鐘的采訪視頻最近放了出來。整個(gè)采訪干貨滿滿，非常精彩。作者對(duì)采訪內(nèi)容進(jìn)行了翻譯整理，和大家分享。

問：您如何描述當(dāng)前AI機(jī)器學(xué)習(xí)領(lǐng)域的時(shí)刻？

(資料圖)

答：我認(rèn)為這是一個(gè)關(guān)鍵時(shí)刻。ChatGPT表明，這些大型語言模型可以做一些令人驚奇的事情。普通公眾突然開始關(guān)注這個(gè)領(lǐng)域，因?yàn)槲④洶l(fā)布了一些產(chǎn)品，他們突然意識(shí)到了大公司在過去五年里所知道的東西。

問：你第一次使用ChatGPT時(shí)的想法是什么？?

答：在ChatGPT前，我已經(jīng)使用了許多類似的東西，所以ChatGPT并沒有讓我感到驚訝。GPT-2（這是早期的一種語言模型）讓我驚訝，谷歌的一個(gè)模型也讓我驚訝，它實(shí)際上可以解釋為什么一個(gè)笑話很好笑。它用自然語言告訴你為什么一個(gè)笑話很好笑。當(dāng)然，并非所有笑話都可以，但對(duì)于很多笑話，它都可以告訴你為什么它們好笑。

問：如果ChatGPT并不那么令人驚訝或令人印象深刻，那么您對(duì)公眾對(duì)它的反應(yīng)感到驚訝嗎？因?yàn)榉磻?yīng)很大。?

答：是的，我認(rèn)為每個(gè)人都有點(diǎn)驚訝于反應(yīng)如此之大。這是最快增長(zhǎng)的應(yīng)用程序。也許我們不應(yīng)該感到驚訝，但研究人員已經(jīng)習(xí)慣于這些東西實(shí)際上是有效的。

問：你在AI領(lǐng)域一直處于領(lǐng)先地位，半個(gè)世紀(jì)都領(lǐng)先于其他人，對(duì)嗎？?

答：其實(shí)不然。在AI領(lǐng)域，有兩種思路。一種是主流AI，另一種是關(guān)于神經(jīng)網(wǎng)絡(luò)的。主流AI認(rèn)為，AI是關(guān)于推理和邏輯的，而神經(jīng)網(wǎng)絡(luò)則認(rèn)為，我們最好研究生物學(xué)，因?yàn)槟切┎攀钦嬲行У臇|西。所以，主流AI基于推理和邏輯制定理論，而我們基于神經(jīng)元之間的連接變化來學(xué)習(xí)制定理論。從長(zhǎng)遠(yuǎn)來看，我們?nèi)〉昧顺晒Γ唐趦?nèi)看起來有點(diǎn)無望。

問：回顧過去，了解你現(xiàn)在所知道的，你認(rèn)為當(dāng)時(shí)你是否可以說服人們？

答：我當(dāng)時(shí)可以說，但那并不能說服人們。我可以說，神經(jīng)網(wǎng)絡(luò)在20世紀(jì)80年代沒有真正奏效的唯一原因是計(jì)算機(jī)運(yùn)行速度不夠快，數(shù)據(jù)集不夠大。然而，在80年代，一個(gè)重要的問題是，一個(gè)擁有大量神經(jīng)元的大型神經(jīng)網(wǎng)絡(luò)，計(jì)算節(jié)點(diǎn)和它們之間的連接，僅通過改變連接的強(qiáng)度，從數(shù)據(jù)中學(xué)習(xí)，而沒有先驗(yàn)知識(shí)，這是否可行？主流AI的人認(rèn)為這完全荒謬。盡管這聽起來有點(diǎn)荒謬，但它確實(shí)有效。

問：您是如何知道或?yàn)槭裁聪嘈胚@種方法會(huì)奏效的？?

答：因?yàn)榇竽X就是這樣。你必須解釋我們是如何做到這些事情的，以及我們是如何做到那些我們沒有進(jìn)化出來的事情的，比如閱讀。閱讀對(duì)我們來說是非常新近的，我們沒有足夠的進(jìn)化時(shí)間來適應(yīng)它。但我們可以學(xué)會(huì)閱讀，我們可以學(xué)會(huì)數(shù)學(xué)。所以一定有一種在這些神經(jīng)網(wǎng)絡(luò)中學(xué)習(xí)的方法。

問：昨天，曾與您共事的Nick告訴我們，您并不是真正對(duì)創(chuàng)建AI感興趣，您的核心興趣是理解大腦是如何工作的。?

答：是的，我真的想了解大腦是如何工作的。顯然，如果你關(guān)于大腦工作原理的錯(cuò)誤理論帶來了好的技術(shù)，你可以利用這一點(diǎn)來獲得資助。但我真的想知道大腦是如何工作的。我認(rèn)為目前人工神經(jīng)網(wǎng)絡(luò)與大腦實(shí)際工作原理之間存在一定的分歧。我認(rèn)為它們現(xiàn)在走的是不同的道路。

問：那么我們現(xiàn)在還沒有采取正確的方法？

答：這是我的個(gè)人觀點(diǎn)。

問：但所有大型模型現(xiàn)在都使用一種叫做反向傳播的技術(shù)，而這種技術(shù)是您幫助推廣的。

答：我認(rèn)為大腦并不是在做這個(gè)。有兩條通往智能的不同道路。一條是生物學(xué)途徑，另一條是我們所擁有的模擬硬件途徑。我們必須用自然語言進(jìn)行溝通，還要向人們展示如何做事情，模仿等。但我們?cè)诮涣鞣矫孀龅煤茉愀?，與現(xiàn)在運(yùn)行在數(shù)字計(jì)算機(jī)上的計(jì)算機(jī)模型相比，我們的交流能力差得多。計(jì)算機(jī)模型之間的溝通帶寬非常大，因?yàn)樗鼈兪窍嗤Ｐ偷目寺?，運(yùn)行在不同的計(jì)算機(jī)上。正因?yàn)槿绱?，它們可以查看大量的?shù)據(jù)，因?yàn)椴煌挠?jì)算機(jī)可以查看不同的數(shù)據(jù)，然后它們結(jié)合了它們所學(xué)到的東西，遠(yuǎn)遠(yuǎn)超出了任何人能夠理解的范圍。盡管如此，我們?nèi)匀槐人鼈兟斆鳌?/p>

問：所以它們就像是天才白癡嗎？

答：對(duì)，ChatGPT知道的比任何一個(gè)人都多。如果有一個(gè)關(guān)于知識(shí)量的比賽，它會(huì)輕松擊敗任何一個(gè)人。它在智力競(jìng)賽中表現(xiàn)出色，可以寫詩，但在推理方面并不擅長(zhǎng)。我們?cè)谕评矸矫孀龅酶?。我們必須從更少的?shù)據(jù)中提取我們的知識(shí)。我們有100萬億個(gè)連接，其中大部分是通過學(xué)習(xí)得到的，但我們只活了十億秒，這并不算很長(zhǎng)的時(shí)間。像ChatGPT樣的東西，它們?cè)谠S多不同的計(jì)算機(jī)上運(yùn)行了比我們更長(zhǎng)的時(shí)間，吸收了所有這些數(shù)據(jù)。

問：1986年，您在《自然》雜志上發(fā)表了一篇文章，提出了一個(gè)想法：我們將擁有一個(gè)由單詞組成的句子，并預(yù)測(cè)最后一個(gè)單詞。

答：是的，那是第一個(gè)語言模型，基本上就是我們現(xiàn)在在做的事情。1986年是很久以前的事情了。

問：為什么那時(shí)候人們還沒有說“哦，好吧，我認(rèn)為他找到了方法”？

答：因?yàn)槟菚r(shí)候，如果你問我用多少數(shù)據(jù)訓(xùn)練了那個(gè)模型，我有一個(gè)簡(jiǎn)單的家庭關(guān)系模型，有112個(gè)可能的句子，我用其中的104個(gè)進(jìn)行了訓(xùn)練，然后檢查它是否正確預(yù)測(cè)了最后8個(gè)。它在預(yù)測(cè)最后8個(gè)方面表現(xiàn)得相當(dāng)好，比符號(hào)AI更好。問題是那時(shí)候的計(jì)算機(jī)還不夠強(qiáng)大?，F(xiàn)在的計(jì)算機(jī)速度快了數(shù)百萬倍，可以進(jìn)行數(shù)百萬倍的計(jì)算。我做了一個(gè)小計(jì)算，如果我拿1986年的計(jì)算機(jī)去學(xué)習(xí)一些東西，它現(xiàn)在仍在運(yùn)行，但還沒有完成。現(xiàn)在，學(xué)習(xí)這些東西只需要幾秒鐘。

問：你知道這是你的制約因素嗎？

答：我并不知道，但我相信那可能是我們的制約因素。但人們對(duì)這樣的說法嗤之以鼻，好像這是一個(gè)借口：“如果我有更大的計(jì)算機(jī)和更多的數(shù)據(jù)，一切都會(huì)好起來。現(xiàn)在它不起作用是因?yàn)槲覀儧]有足夠的數(shù)據(jù)和計(jì)算能力。”這種觀點(diǎn)被當(dāng)作對(duì)事物無法正常運(yùn)作的一種狡辯。

問：在90年代從事這項(xiàng)工作很困難嗎？

答：在90年代，計(jì)算機(jī)在不斷發(fā)展，但是那時(shí)確實(shí)有其他學(xué)習(xí)技術(shù)，在小型數(shù)據(jù)集上表現(xiàn)得和神經(jīng)網(wǎng)絡(luò)一樣好，而且更容易解釋，背后有更為復(fù)雜的數(shù)學(xué)理論。所以，在計(jì)算機(jī)科學(xué)領(lǐng)域，人們對(duì)神經(jīng)網(wǎng)絡(luò)失去了興趣。但在心理學(xué)領(lǐng)域，他們?nèi)匀粚?duì)神經(jīng)網(wǎng)絡(luò)感興趣，因?yàn)樾睦韺W(xué)家對(duì)人類可能如何學(xué)習(xí)感興趣，這些其他技術(shù)甚至比反向傳播還不合理。

問：這是您背景的一個(gè)有趣部分，您之所以投身于這個(gè)領(lǐng)域，并非因?yàn)閷?duì)計(jì)算機(jī)感興趣，而是因?yàn)閷?duì)大腦感興趣。

答：是的，我原本對(duì)心理學(xué)感興趣，后來我決定，如果不了解大腦，我們永遠(yuǎn)無法理解人類。在70年代，有一種時(shí)髦的觀點(diǎn)認(rèn)為，你可以在不關(guān)心大腦的情況下做到這一點(diǎn)，但我覺得那是不可能的。你必須了解大腦是如何運(yùn)作的。

問：現(xiàn)在我們快進(jìn)到2000年代，您回顧過去，是否認(rèn)為有一個(gè)關(guān)鍵時(shí)刻，當(dāng)時(shí)您覺得我們這一方將在這場(chǎng)爭(zhēng)論中獲勝？

答：大約在2006年，我們開始做所謂的深度學(xué)習(xí)。在那之前，讓具有多層表示的神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)復(fù)雜事物一直很困難。我們找到了更好的方法來實(shí)現(xiàn)這一點(diǎn)，更好的初始化網(wǎng)絡(luò)的方法，稱為預(yù)訓(xùn)練。在ChatGPT中，P代表預(yù)訓(xùn)練。T代表變換器，G代表生成。實(shí)際上，是生成模型為神經(jīng)網(wǎng)絡(luò)提供了更好的預(yù)訓(xùn)練方法。2006年時(shí)，這個(gè)理念的種子已經(jīng)埋下，到了2009年，我們已經(jīng)研發(fā)出了比最好的語音識(shí)別器更好的東西，用與其他所有語音識(shí)別器不同的技術(shù)識(shí)別您說的哪個(gè)音素。

問：那么2012年發(fā)生了什么大事呢？

答：實(shí)際上2012年發(fā)生了兩件大事。其中一項(xiàng)研究始于2009年，是由我的兩名學(xué)生在暑假進(jìn)行的，他們的研究成果導(dǎo)致了語音識(shí)別的改進(jìn)。這項(xiàng)技術(shù)被推廣到了微軟、IBM和谷歌等大型語音識(shí)別實(shí)驗(yàn)室。2002年，谷歌首次將其應(yīng)用于產(chǎn)品，突然之間，安卓上的語音識(shí)別變得跟Siri一樣好，甚至更好。這是深度神經(jīng)網(wǎng)絡(luò)在語音識(shí)別領(lǐng)域的一個(gè)應(yīng)用，比以前提前了三年。

在那個(gè)時(shí)間點(diǎn)的幾個(gè)月內(nèi)，我的另外兩名學(xué)生開發(fā)了一個(gè)物體識(shí)別系統(tǒng)。該系統(tǒng)可以查看圖像，告訴你圖像中的物體是什么，效果比以前的系統(tǒng)好得多。

這個(gè)系統(tǒng)是怎么工作的呢？有一個(gè)人叫李飛飛，和她的合作者創(chuàng)建了一個(gè)大型圖像數(shù)據(jù)庫，包含了1000個(gè)不同類別的100萬張圖像。你需要查看一張圖像，并對(duì)圖像中的主要物體進(jìn)行最好的猜測(cè)。所以，這些圖像通常會(huì)在中間有一個(gè)物體，比如子彈頭火車或者哈士奇之類的東西。其他系統(tǒng)的錯(cuò)誤率是25%，而我們的錯(cuò)誤率是15%。幾年之后，15%的錯(cuò)誤率降到了3%，這已經(jīng)接近人類水平了。

讓我試著解釋一下，讓人們理解他們的方法與其他團(tuán)隊(duì)的方法之間的區(qū)別。假設(shè)你想在圖像中識(shí)別一只鳥。圖像本身，假設(shè)是200x200的圖像，有200x200個(gè)像素，每個(gè)像素有三個(gè)顏色值RGB。所以你在計(jì)算機(jī)里有200x200x3個(gè)數(shù)字，就是計(jì)算機(jī)里的數(shù)字。任務(wù)是將這些數(shù)字轉(zhuǎn)換成一個(gè)表示鳥的字符串。50年來，標(biāo)準(zhǔn)AI領(lǐng)域的人們一直試圖做到這一點(diǎn)，但沒有成功。將一堆數(shù)字轉(zhuǎn)換成一個(gè)表示鳥的標(biāo)簽是很棘手的。

你可以這樣做：首先，你可以制作特征檢測(cè)器，檢測(cè)像素的小組合。然后在下一級(jí)別，你可能會(huì)說，假設(shè)我有22個(gè)邊緣檢測(cè)器，它們以一個(gè)細(xì)角相連，那可能就是一只喙。然后在更高的層次上，我們可能有一個(gè)探測(cè)器，它會(huì)說，嘿，我找到了這個(gè)類似喙的東西，還找到了一個(gè)圓形的東西，它們?cè)诳臻g關(guān)系上大致是一只鳥的眼睛和喙。所以下一個(gè)級(jí)別，你會(huì)有一個(gè)鳥類探測(cè)器，它會(huì)說，如果我看到這兩個(gè)特征，我認(rèn)為這可能是一只鳥。你可以想象通過手動(dòng)連接這些特征檢測(cè)器。而反向傳播的思想就是在一開始隨機(jī)設(shè)置連接權(quán)重，然后根據(jù)預(yù)測(cè)結(jié)果調(diào)整權(quán)重。如果預(yù)測(cè)出現(xiàn)錯(cuò)誤，那么你就通過網(wǎng)絡(luò)反向計(jì)算，并提出以下問題：我應(yīng)該如何改變這個(gè)連接強(qiáng)度，使其更不容易說出錯(cuò)誤答案，更容易說出正確答案？這稱為誤差或差異。然后，你要計(jì)算每個(gè)連接強(qiáng)度如何進(jìn)行微調(diào)，使其更容易得出正確答案，更不容易得出錯(cuò)誤答案。

一個(gè)人會(huì)判斷這是一只鳥，然后將標(biāo)簽提供給算法。但是反向傳播算法只是一種計(jì)算方法，用于確定如何改變每個(gè)連接強(qiáng)度，使其更容易說鳥，更不容易說貓。算法會(huì)不斷嘗試調(diào)整權(quán)重?，F(xiàn)在，如果你展示足夠多的鳥和貓，當(dāng)你展示一只鳥時(shí)，它會(huì)說鳥；當(dāng)你展示一只貓時(shí)，它會(huì)說貓。事實(shí)證明，這種方法比手動(dòng)連接特征檢測(cè)器要有效得多。

這就是我的學(xué)生在圖像數(shù)據(jù)庫上所做的事情。他們讓這個(gè)系統(tǒng)工作得非常好。這些學(xué)生非常聰明，事實(shí)上，其中一名學(xué)生，他是ChatGPT背后的主要人物之一。那是人工智能的一個(gè)巨大時(shí)刻，他實(shí)際上參與了這兩個(gè)項(xiàng)目。

你可以想象，當(dāng)你調(diào)整這個(gè)小旋鈕時(shí)，它會(huì)說出“鳥”，這感覺就像是一個(gè)驚人的突破。這主要是因?yàn)橛?jì)算機(jī)視覺領(lǐng)域的其他人認(rèn)為，這些神經(jīng)網(wǎng)絡(luò)只適用于簡(jiǎn)單的任務(wù)，例如識(shí)別手寫數(shù)字，但這并不是真正復(fù)雜的圖像，具有自然背景等。他們認(rèn)為這種方法永遠(yuǎn)不會(huì)適用于這些大型復(fù)雜圖像，但突然之間，這種方法就成功了。

值得稱道的是，那些曾經(jīng)堅(jiān)定反對(duì)神經(jīng)網(wǎng)絡(luò)的人，當(dāng)看到這種方法成功時(shí)，他們做了科學(xué)家通常不會(huì)做的事情，也就是說：“哦，它有效，我們會(huì)采用這個(gè)方法?！比藗冋J(rèn)為這是一個(gè)巨大的轉(zhuǎn)變。因?yàn)樗麄兛吹竭@種方法比他們正在使用的方法更有效，所以他們很快就改變了立場(chǎng)。

當(dāng)人們既在思考機(jī)器，也在思考我們自己的思維方式時(shí)，我們常常認(rèn)為，輸入是語言，輸出是語言，那么中間一定也是語言。這是一個(gè)重要的誤解。實(shí)際上，這種觀點(diǎn)并不正確。如果這是真的，那么被稱為符號(hào)人工智能的方法應(yīng)該非常擅長(zhǎng)進(jìn)行機(jī)器翻譯，比如把英語轉(zhuǎn)換成法語。你會(huì)認(rèn)為操作符號(hào)是實(shí)現(xiàn)這一目標(biāo)的正確方法。但實(shí)際上，神經(jīng)網(wǎng)絡(luò)的效果更好。當(dāng)谷歌翻譯從使用符號(hào)方法轉(zhuǎn)向神經(jīng)網(wǎng)絡(luò)時(shí)，效果大大提高了。我認(rèn)為，在中間的部分，你會(huì)發(fā)現(xiàn)有數(shù)百萬個(gè)神經(jīng)元，它們中的一些是活躍的，一些則不是。符號(hào)只能在輸入和輸出處找到，而不是在整個(gè)過程中。

現(xiàn)在，我們?cè)诙鄠惗啻髮W(xué)附近，雖然并非在多倫多大學(xué)里，但在這里和世界各地的大學(xué)里，我們教育了很多人學(xué)習(xí)編碼。教這么多人編碼是否仍然有意義呢？我不知道答案是什么。在2015年左右，我曾經(jīng)聲稱，在未來五年內(nèi)，計(jì)算機(jī)將在圖像識(shí)別方面超越放射科醫(yī)生，因此教他們識(shí)別圖像中的東西已經(jīng)沒有意義了。事實(shí)證明，我的預(yù)測(cè)錯(cuò)誤了，實(shí)際上需要10年，而不是5年。在精神層面上，我并沒有錯(cuò)，只是時(shí)間預(yù)測(cè)出了差錯(cuò)。計(jì)算機(jī)現(xiàn)在在很多醫(yī)學(xué)圖像識(shí)別方面與放射科醫(yī)生相當(dāng)，盡管它們還沒有在所有方面做得更好，但它們只會(huì)變得更好。

因此，我認(rèn)為有一段時(shí)間，我們?nèi)匀恍枰幋a人員。我不知道這段時(shí)間會(huì)有多長(zhǎng)，但我們需要的編碼人員會(huì)減少?；蛘?，我們可能需要相同數(shù)量的編碼人員，但他們將能夠?qū)崿F(xiàn)更多的成果。

問：我們?cè)谶@里談?wù)摰氖且患页鮿?chuàng)公司，昨天我們拜訪了他們。你是他們的投資者，那么，什么是說服你的投資理由呢？

答：首先，他們是好人，我曾與其中的幾位合作過。其次，他們是第一批意識(shí)到需要將Google、OpenAI等地開發(fā)的大型語言模型帶給企業(yè)的公司。這對(duì)公司來說將非常有價(jià)值，因此，他們一直在努力實(shí)現(xiàn)這一目標(biāo)，而且在這方面取得了領(lǐng)先地位。所以，我認(rèn)為他們會(huì)成功的。

問：你曾經(jīng)提到過一個(gè)我覺得非常有趣的觀點(diǎn)，那就是未來可能會(huì)有一種新型計(jì)算機(jī)，專門解決這個(gè)問題。這個(gè)觀點(diǎn)是什么？

答：我們有兩種途徑來理解智能：一種是生物途徑，其中每個(gè)大腦都是不同的，我們需要通過語言來在不同的大腦之間傳遞知識(shí)；另一種是目前的AI神經(jīng)網(wǎng)絡(luò)版本，你可以在不同的計(jì)算機(jī)上運(yùn)行相同的模型，實(shí)際上它們可以共享連接權(quán)重，因此它們可以共享數(shù)十億個(gè)數(shù)字。

這就是我們?nèi)绾巫屢恢圾B跳舞的。它們可以共享識(shí)別鳥的所有連接權(quán)重，一個(gè)可以學(xué)會(huì)識(shí)別貓，另一個(gè)可以學(xué)會(huì)識(shí)別鳥，它們可以共享它們的連接權(quán)重，這樣每個(gè)模型都可以做兩件事。這正是這些大型語言模型所做的，它們?cè)诠蚕怼５@種方法只適用于數(shù)字計(jì)算機(jī)，因?yàn)樗鼈儽仨毮軌蚰M相同的事物。而不同的生物大腦無法相互模擬，因此它們無法共享連接。

問：為什么我們不堅(jiān)持使用數(shù)字計(jì)算機(jī)呢？

答：因?yàn)殡娏ο摹Ｄ阈枰芏嚯娏?。雖然隨著芯片的改進(jìn)，電力需求在減少，但運(yùn)行數(shù)字計(jì)算機(jī)仍然需要大量的電力。你必須讓計(jì)算機(jī)以高電力運(yùn)行，以便它能夠精確地以正確的方式工作。然而，如果你愿意讓計(jì)算機(jī)以較低的電力運(yùn)行，比如大腦所做的那樣，你會(huì)允許一些噪聲等，但特定系統(tǒng)會(huì)適應(yīng)該特定系統(tǒng)中的噪聲，整個(gè)系統(tǒng)將正常工作，盡管你沒有以如此高的電力運(yùn)行它以便它能精確地按照你的意圖進(jìn)行工作。大腦的運(yùn)行功率是30瓦，而大型AI系統(tǒng)需要像兆瓦這樣的功率。所以我們?cè)?0瓦上進(jìn)行訓(xùn)練，而大型系統(tǒng)則使用兆瓦，它們有很多相同的東西。所以你知道，我們?cè)谡務(wù)摴β市枨蠓矫娴?000倍差距。因此，我認(rèn)為會(huì)有一個(gè)階段，我們會(huì)在數(shù)字計(jì)算機(jī)上進(jìn)行訓(xùn)練，但一旦某個(gè)AI系統(tǒng)訓(xùn)練完畢，我們會(huì)將其運(yùn)行在非常低功耗的系統(tǒng)上。所以，如果你想讓你的烤面包機(jī)能和你對(duì)話，你需要一個(gè)只花費(fèi)幾美元的芯片，而且它能運(yùn)行像ChatGPT這樣的程序，那么最好是一個(gè)低功耗和低芯片。

問：你認(rèn)為接下來這項(xiàng)技術(shù)將做些什么，以影響人們的生活？

答：很難選一個(gè)。我認(rèn)為這將無處不在。它已經(jīng)開始無處不在了，ChatGPT只是讓很多人意識(shí)到了這一點(diǎn)。它將無處不在。但實(shí)際上，當(dāng)谷歌進(jìn)行搜索時(shí)，它會(huì)使用大型神經(jīng)網(wǎng)絡(luò)來幫助決定向你展示什么最佳結(jié)果。我們現(xiàn)在正處于一個(gè)過渡點(diǎn)，其中ChatGPT像一個(gè)“白癡天才”，它也并不真正了解事實(shí)真相。它接受了大量不一致的數(shù)據(jù)訓(xùn)練，試圖預(yù)測(cè)下一個(gè)網(wǎng)絡(luò)用戶會(huì)說什么。人們對(duì)很多事情有不同的觀點(diǎn)，而它必須有一種混合所有這些觀點(diǎn)的方式，以便可以模擬任何人可能說的話。這與一個(gè)試圖擁有一致世界觀的人非常不同，特別是如果你想在世界上采取行動(dòng)，擁有一致的世界觀是非常有益的。

我認(rèn)為接下來會(huì)發(fā)生的一件事是，我們將朝著能夠理解不同世界觀的系統(tǒng)發(fā)展，并且能夠理解，好吧，如果你有這個(gè)世界觀，那么這就是答案。而如果你有另一個(gè)世界觀，那么答案就是另一個(gè)。我們得到我們自己的真相。

問：那么這個(gè)問題是不是因?yàn)?，你和我可能都相信（除非你是一個(gè)極端的相對(duì)主義者），實(shí)際上在很多話題上，甚至在大多數(shù)話題上，確實(shí)存在一個(gè)事實(shí)真相，比如地球?qū)嶋H上并不是平的，只是看起來平而已，對(duì)吧？

答：是的，所以我們真的想要一個(gè)模型說，好吧，對(duì)某些人來說，我們不知道嗎？這將是一個(gè)巨大的問題，我們目前還不知道如何處理。目前我并不認(rèn)為微軟知道如何處理這個(gè)問題。他們也不知道。這似乎是一個(gè)巨大的治理挑戰(zhàn)。誰來做這些決策？這是非常棘手的事情。你可不希望某個(gè)大型盈利公司來決定什么是真實(shí)的。但他們正在控制我們?nèi)绾问褂眠@些東西。谷歌目前非常小心，不要那樣做。谷歌會(huì)做的是將你引向相關(guān)文件，這些文件中會(huì)有各種各樣的觀點(diǎn)。

問：那么他們還沒有發(fā)布他們的聊天產(chǎn)品，至少在我們談話的時(shí)候還沒有，對(duì)吧？

答：是的，但我們已經(jīng)看到，至少那些已經(jīng)發(fā)布聊天產(chǎn)品的人覺得有些事情他們不希望用他們的聲音說出來，所以他們會(huì)去干預(yù)它，以免說出冒犯人的話。是的，但這種方式你能做的事情是有限的?？倳?huì)有你想不到的事情，對(duì)吧？是的。所以我認(rèn)為谷歌在發(fā)布聊天機(jī)器人時(shí)會(huì)比微軟更謹(jǐn)慎，并且它可能會(huì)附帶很多警告，這只是一個(gè)聊天機(jī)器人，不要一定相信它所說的。在標(biāo)簽上小心，或者在干預(yù)方式上小心，以免做出糟糕的事情。所有這些方面都要小心。在如何將其作為產(chǎn)品呈現(xiàn)以及如何進(jìn)行訓(xùn)練方面要小心。是的。并努力防止它說出不好的東西。但是，誰來決定什么是壞事呢？有些壞事是相當(dāng)明顯的，但是很多最重要的事情并不是那么明顯。所以，目前這是一個(gè)很大的懸而未決的問題。我認(rèn)為微軟發(fā)布ChatGPT是非常勇敢的。

問：你是否認(rèn)為這是一個(gè)更大的社會(huì)問題，我們需要監(jiān)管或大規(guī)模公共辯論來處理這些問題？

答：當(dāng)涉及到真相問題時(shí)，我的意思是，你是否希望政府來決定什么是真實(shí)的？這是個(gè)大問題，對(duì)吧？你也不希望政府來做這件事。我相信你已經(jīng)對(duì)這個(gè)問題進(jìn)行了深入的思考很長(zhǎng)時(shí)間，我們?nèi)绾卧谀阒皇菍⑺l(fā)送到世界和我們找到策展它的方法之間找到平衡？像我說的，我不知道答案，而且我不相信有人真的知道如何處理這些問題。我們必須學(xué)會(huì)如何快速處理這些問題，因?yàn)檫@是一個(gè)當(dāng)前的大問題。但是，關(guān)于如何完成這件事，我不知道，但我懷疑，作為第一步，至少這些大型語言模型必須了解到，存在不同的觀點(diǎn)，以及它所作出的補(bǔ)充是相對(duì)于一個(gè)觀點(diǎn)的。

問：有些人擔(dān)心，這可能會(huì)很快蔓延開來，我們可能無法為此做好準(zhǔn)備。這讓你擔(dān)憂嗎？

答：確實(shí)有點(diǎn)。直到不久前，我認(rèn)為在我們擁有通用人工智能之前還需要20到50年的時(shí)間。而現(xiàn)在我認(rèn)為可能是20年或更短時(shí)間。有些人認(rèn)為可能只有5年，那是荒謬的。但現(xiàn)在我不會(huì)完全排除這種可能性，而幾年前，我會(huì)說絕不會(huì)發(fā)生這種情況。

問：有人說AI可能對(duì)人類構(gòu)成巨大危險(xiǎn)，因?yàn)槲覀儾恢酪粋€(gè)比我們聰明得多的系統(tǒng)會(huì)做什么。你是否也有這種擔(dān)憂？

答：我確實(shí)有點(diǎn)擔(dān)憂。顯然，我們需要做的是使這種技術(shù)與人類互補(bǔ)，讓它幫助人們。我認(rèn)為這里的主要問題之一是我們所擁有的政治體系。即使說美國、加拿大和一群國家表示，好的，我們將建立這些防護(hù)欄，那么你如何保證呢？特別是對(duì)于像自主致命武器這樣的事物，我們希望有類似日內(nèi)瓦公約的東西，像化學(xué)武器一樣。人們認(rèn)為這些武器是如此惡心，以至于他們不再使用它們，除非有充分理由。但我認(rèn)為，基本上他們不再使用這些武器。人們希望為自主致命武器達(dá)成類似的協(xié)議，但我認(rèn)為他們不太可能達(dá)成這樣的協(xié)議。

問：這是這個(gè)問題最尖銳的版本，你可以笑它，也可以不回答，但是你認(rèn)為AI消滅人類的幾率是多少？我們能否對(duì)此給出一個(gè)數(shù)字？

答：這個(gè)幾率介于0%和100%之間。我認(rèn)為這并非不可能。就我所說，如果我們明智的話，我們會(huì)努力發(fā)展它，以免發(fā)生這種情況。但是，令我擔(dān)憂的是政治局勢(shì)。確保每個(gè)人都明智行事是一個(gè)巨大的政治挑戰(zhàn)。這似乎是一個(gè)巨大的經(jīng)濟(jì)挑戰(zhàn)，因?yàn)槟憧赡軙?huì)有很多個(gè)體追求正確的道路，然而，公司的利潤(rùn)動(dòng)機(jī)可能不會(huì)像為他們工作的個(gè)體那樣謹(jǐn)慎。也許吧，我只真正了解谷歌，這是我唯一的工作公司。他們一直是最謹(jǐn)慎的公司之一。他們對(duì)AI非常謹(jǐn)慎，因?yàn)樗麄冇幸粋€(gè)提供你想要的答案的出色搜索引擎. 他們不想損害它。而微軟則不太關(guān)心這個(gè)問題。如果搜索消失了，微軟可能都不會(huì)注意到。當(dāng)沒有人追趕他們的時(shí)候，谷歌采取緩慢的策略是容易的。谷歌一直處于領(lǐng)先地位。Transformers是在谷歌發(fā)明的，大型語言模型的早期版本也是在谷歌。

問：是的，他們抓住了這個(gè)機(jī)會(huì)。

答：他們更加保守，我認(rèn)為這是正確的。但現(xiàn)在他們感受到了壓力。所以他們正在開發(fā)一個(gè)名為“Bart”的系統(tǒng)，他們將發(fā)布該系統(tǒng)。他們正在對(duì)它進(jìn)行大量的測(cè)試，但我認(rèn)為他們會(huì)比微軟更謹(jǐn)慎。

問：你提到了自主武器。讓我給你一個(gè)機(jī)會(huì)來講述這個(gè)故事。你是如何來到加拿大的，這與你的選擇有什么關(guān)系？

答：有好幾個(gè)原因讓我來到了加拿大，其中一個(gè)原因確實(shí)是不想從美國國防部那里拿錢。那時(shí)正值里根總統(tǒng)執(zhí)政，他們正在尼加拉瓜的港口布雷。有趣的是，我當(dāng)時(shí)在匹茲堡的一個(gè)大學(xué)，我是那里為數(shù)不多的認(rèn)為在尼加拉瓜港口布雷是非常錯(cuò)誤的人之一。所以我覺得自己像是異類。

問：你看到這種類型的工作是如何獲取資金的嗎？

答：在那個(gè)部門，幾乎所有的資金都來自美國國防部。

問：你開始談?wù)搶⑦@項(xiàng)技術(shù)應(yīng)用于戰(zhàn)爭(zhēng)可能帶來的問題，你擔(dān)憂什么？

答：噢，我擔(dān)心美國人會(huì)試圖用AI士兵替換他們的士兵，他們正朝著這個(gè)方向努力。

問：你看到了什么證據(jù)？

答：我在美國國防部的一個(gè)郵件列表上。我不確定他們知不知道我在郵件列表上，這是一個(gè)很大的名單，他們沒有注意到我在那里。

問：名單上有什么？

答：哦，他們只是描述了他們打算做的各種事情，上面有一些令人作嘔的東西。

問：讓你感到惡心的是什么？

答：讓我感到惡心的是一個(gè)關(guān)于自愈雷區(qū)的提議。這個(gè)想法是從雷區(qū)的角度來看，當(dāng)一些無知的平民闖入雷區(qū)時(shí)，他們會(huì)被炸死，導(dǎo)致雷區(qū)出現(xiàn)空缺，使得雷區(qū)無法完全發(fā)揮作用。所以他們提出讓附近的地雷進(jìn)行通信，也許地雷可以稍微移動(dòng)一下來彌補(bǔ)空缺，他們稱之為自愈。而討論這種自愈的想法，對(duì)于那些會(huì)炸斷孩子雙腿的地雷來說，實(shí)在令人作嘔。

問：有人認(rèn)為，盡管自主系統(tǒng)可能在某種程度上幫助戰(zhàn)斗員，但最終決策仍然是由人類做出的。你擔(dān)心什么？

答：如果你想制造一種高效的自主士兵，你需要賦予它創(chuàng)造子目標(biāo)的能力。換句話說，它必須意識(shí)到類似的事情，比如：“好吧，我想殺死那個(gè)人，但是要過去，我該怎么辦？”然后它必須意識(shí)到，如果能到達(dá)那條道路，可以更快地到達(dá)目標(biāo)地點(diǎn)。所以，它有一個(gè)到達(dá)道路的子目標(biāo)。一旦你賦予它創(chuàng)造子目標(biāo)的能力，它就會(huì)變得更有效。像普京這樣的人會(huì)希望擁有這樣的機(jī)器人。但是，一旦它具備了創(chuàng)造子目標(biāo)的能力，你就會(huì)遇到所謂的“對(duì)齊問題”，即如何確保它不會(huì)創(chuàng)造對(duì)人類或你自己不利的子目標(biāo)。誰知道那條路上會(huì)有什么人？誰知道會(huì)發(fā)生什么？

問：如果這些系統(tǒng)是由軍方研發(fā)的，那么將一條“永遠(yuǎn)不要傷害人類”的規(guī)則植入其中的想法，恐怕并不現(xiàn)實(shí)，因?yàn)樗鼈儽揪褪窃O(shè)計(jì)用來傷害人類的。你看到這個(gè)問題有什么解決辦法嗎？是條約還是什么？

答：我認(rèn)為最好的辦法是類似于《日內(nèi)瓦公約》的東西，但這將非常困難。我覺得如果有大量的公眾抗議，那么可能會(huì)說服政府采取行動(dòng)。我可以想象，在足夠的公眾抗議下，政府可能會(huì)采取某些行動(dòng)。但是，你還需要應(yīng)對(duì)其他人。

問：是的，確實(shí)如此。好的，我們已經(jīng)談了很多。我想我還有兩個(gè)問題。還有一個(gè)問題我想問一下。

答：好的，你問吧。

問：有人說這些大型模型只是自動(dòng)補(bǔ)全，這種說法對(duì)嗎？

答：從某種程度上來說，這些模型確實(shí)是自動(dòng)補(bǔ)全。我們知道這些大型語言模型只是預(yù)測(cè)下一個(gè)詞。這并不簡(jiǎn)單，但確實(shí)如此。它們只是預(yù)測(cè)下一個(gè)詞，所以它們只是自動(dòng)補(bǔ)全。但是，問問自己一個(gè)問題：要準(zhǔn)確預(yù)測(cè)下一個(gè)詞，你需要了解到目前為止所說的內(nèi)容?；旧希惚仨毨斫庖呀?jīng)說過的話來預(yù)測(cè)下一個(gè)詞。所以你也是自動(dòng)補(bǔ)全，只不過與它們一樣。你可以預(yù)測(cè)下一個(gè)詞，雖然可能不如ChatGPT那么準(zhǔn)確，但為了做到這一點(diǎn)，你必須理解句子。

讓我舉一個(gè)關(guān)于翻譯的例子。這是一個(gè)非常具有說服力的例子。假設(shè)我要把這句話翻譯成法語：“獎(jiǎng)杯太大了，它放不進(jìn)行李箱。”當(dāng)我說這句話時(shí)，你會(huì)認(rèn)為“它”指的是獎(jiǎng)杯。在法語中，獎(jiǎng)杯有特定的性別，所以你知道該用什么代詞。但如果我說：“獎(jiǎng)杯放不進(jìn)行李箱，因?yàn)樗×??！爆F(xiàn)在你認(rèn)為“它”指的是行李箱，對(duì)吧？在法語中，行李箱的性別也不同。所以為了把這句話翻譯成法語，你必須知道，當(dāng)它放不進(jìn)去是因?yàn)樘髸r(shí)，是獎(jiǎng)杯太大；而當(dāng)它放不進(jìn)去是因?yàn)樘r(shí)，是行李箱太小。這意味著你必須了解空間關(guān)系和容納等概念。

為了進(jìn)行機(jī)器翻譯或預(yù)測(cè)那個(gè)代詞，你必須理解所說的內(nèi)容。僅僅把它當(dāng)作一串單詞是不夠的。

問: 你在這個(gè)領(lǐng)域的工作經(jīng)歷比任何人都長(zhǎng)，你描述進(jìn)展就像是“我們有了這個(gè)想法，嘗試了一下，然后它奏效了?！彼晕覀冇辛藥资甑姆聪騻鞑?，我們有了Transformer這個(gè)想法，但還有數(shù)百種其他想法還沒有嘗試。

答：是的，我認(rèn)為即使我們沒有新的想法，只是讓計(jì)算機(jī)運(yùn)行得更快、獲取更多數(shù)據(jù)，這些東西也會(huì)變得更好。我們已經(jīng)看到，隨著ChatGPT規(guī)模的擴(kuò)大，使其更優(yōu)秀的并不是全新的想法，而是更多的連接和更多的訓(xùn)練數(shù)據(jù)。但除此之外，還會(huì)有像變換器這樣的新想法，它們將使其運(yùn)作得更好。

問：我們離讓計(jì)算機(jī)自己想出改進(jìn)自己的方法還有多遠(yuǎn)？

答：呃，我們可能很接近了。然后它可能會(huì)變得非?？?。這是一個(gè)問題，對(duì)吧？我們必須認(rèn)真思考如何控制這一點(diǎn)。

問：是的，我們能做到嗎？

答：我們不知道，我們還沒有到那個(gè)地步，但我們可以嘗試。

問：好吧，這似乎有點(diǎn)令人擔(dān)憂。作為這個(gè)行業(yè)的教父，你是否對(duì)你帶來的這些成果感到擔(dān)憂？

答：有一點(diǎn)。另一方面，我認(rèn)為不論發(fā)生什么，這幾乎都是不可避免的。換句話說，一個(gè)人停止研究不會(huì)阻止這種情況的發(fā)生。如果我的影響只是讓它提前一個(gè)月發(fā)生，那么這就是一個(gè)人所能做的極限了。有這個(gè)想法，我可能說錯(cuò)了，那就是短跑道和長(zhǎng)起飛。

問：也許我們需要時(shí)間準(zhǔn)備，或者也許如果它發(fā)生得很快，那么人們會(huì)在問題上感到緊迫，而不是像現(xiàn)在這樣慢慢發(fā)展。你對(duì)此有什么看法？

答：我認(rèn)為有時(shí)間準(zhǔn)備是好的。所以我認(rèn)為，現(xiàn)在就擔(dān)心這些問題是非常合理的，盡管在接下來的一兩年內(nèi)不會(huì)發(fā)生。人們應(yīng)該思考這些問題。

問：我們還沒有談到工作崗位的替代，這是我的疏忽，對(duì)不起。這個(gè)技術(shù)是否會(huì)不斷吞噬工作，一個(gè)接一個(gè)？

答：我認(rèn)為它將使工作不同，人們將從事更有創(chuàng)造性的工作，而較少從事例行工作。

問：那么如果它可以評(píng)價(jià)詩歌和制作電影，還有什么工作算什么有創(chuàng)造性的工作？

答：如果你回顧歷史，看看自動(dòng)取款機(jī)，這些現(xiàn)金機(jī)出現(xiàn)時(shí)，人們說這是銀行柜員的終結(jié)。但實(shí)際上，它并沒有終結(jié)銀行柜員的職位。現(xiàn)在銀行柜員處理更復(fù)雜的事情，并且需要編碼人員。所以人們說，這些工具可以進(jìn)行簡(jiǎn)單的編碼，并且通常能夠正確地執(zhí)行，你只需要讓它編寫程序，然后檢查它，這樣你就能夠快速工作10倍。你可以只用10%的程序員，或者你可以使用相同數(shù)量的程序員，生產(chǎn)10倍的東西。

我認(rèn)為會(huì)有很多這樣的例子，一旦這些工具開始有創(chuàng)造性，就會(huì)創(chuàng)造出更多的東西。這是自工業(yè)革命以來最大的技術(shù)進(jìn)步。

問：這是另一次工業(yè)革命嗎？這是什么？人們應(yīng)該如何看待它？

答：我認(rèn)為它在規(guī)模上與工業(yè)革命、電力、甚至是輪子的發(fā)明相當(dāng)。我在人工智能方面取得了領(lǐng)先地位有一個(gè)原因，那是因?yàn)榧幽么笫谟铏C(jī)構(gòu)的政策。這些機(jī)構(gòu)沒有很多錢，但他們利用其中的一些資金來支持出于好奇心的基礎(chǔ)研究。在美國，資金是必須聲明你將會(huì)生產(chǎn)什么產(chǎn)品的。在這里，一些政府資金——相當(dāng)多的資金，是給教授的，讓他們雇用研究生和其他研究人員探索他們感興趣的事物。如果他們?cè)谶@方面表現(xiàn)出色，那么三年后他們會(huì)獲得更多的資金。這就是支持我的資金，是基于出于好奇心的基礎(chǔ)研究的資金。我們之前也看到過這種情況，即使幾十年來沒有能夠展示出太多的成果。

另一個(gè)發(fā)生的事情是，有一個(gè)叫做“加拿大高等研究所”的組織，為加拿大擅長(zhǎng)的領(lǐng)域的教授提供額外的資金，并為分布在不同地方的教授提供相互交流的資金，例如溫哥華和多倫多，也與美國、英國和以色列等其他地區(qū)的研究人員互動(dòng)。CFR在人工智能領(lǐng)域設(shè)立了一個(gè)項(xiàng)目，最初是在20世紀(jì)80年代建立的，這是將我?guī)У郊幽么蟮捻?xiàng)目，那時(shí)是基于符號(hào)的人工智能。

問：哦，我知道了，你是怎么來的？

答：我很奇怪，有點(diǎn)不尋常，因?yàn)槲易隽艘恍┐蠹叶颊J(rèn)為是無意義的東西，但他們認(rèn)識(shí)到我擅長(zhǎng)這種“無意義”的東西，所以如果有人要做這種東西，那一定是我。我的一封推薦信寫道：“你知道我不相信這些東西，但如果你想找一個(gè)人來做這個(gè)，就找Geoffrey吧。”在那個(gè)項(xiàng)目結(jié)束后，我回到英國待了幾年，然后回到加拿大，他們決定資助一個(gè)基于深度學(xué)習(xí)的項(xiàng)目。

問：我認(rèn)為你對(duì)“感知”的定義也有一些不滿意，對(duì)嗎？

答：是的，當(dāng)涉及到“感知”的時(shí)候，我很驚訝人們會(huì)自信地宣稱這些東西是沒有感知的。當(dāng)你問他們“感知”的意思是什么時(shí)，他們會(huì)說他們不太清楚。那么如果你不知道“感知”的意思，你怎么能自信地說它們沒有感知呢？所以也許它們已經(jīng)有感知了，誰知道呢。我認(rèn)為它們是否有感知取決于你對(duì)“感知”的定義，所以你最好在回答這個(gè)問題之前先定義一下你對(duì)“感知”的理解。我們認(rèn)為它是否有感知重要嗎，還是只關(guān)注它是否能有效地表現(xiàn)出有感知的狀態(tài)？

問：這是一個(gè)非常好的問題，很重要。那你的答案是什么？

答：我沒有答案。好吧，因?yàn)槿绻鼪]有感知，但出于某種原因它認(rèn)為它有感知，并且它需要實(shí)現(xiàn)與我們利益相悖的目標(biāo)，但它相信它符合自己的利益，那么這真的很重要嗎？我認(rèn)為一個(gè)很好的例子可以想到的是一種自主的致命武器。說它沒有感覺這也對(duì)，但是當(dāng)它在追逐你并射擊你時(shí)，你會(huì)開始認(rèn)為它有感覺。我們并不真的關(guān)心，這不再是一個(gè)重要的標(biāo)準(zhǔn)了。我們正在開發(fā)的這種智能與我們的智能非常不同，它是某種伺候無知者的工具，它和我們不一樣。

問：但是你的目標(biāo)是讓它更像我們，你認(rèn)為我們會(huì)實(shí)現(xiàn)這個(gè)目標(biāo)嗎？

答：不是，我的目標(biāo)是理解我們。我認(rèn)為理解我們的方式是通過構(gòu)建像我們一樣的東西。我說過的那位物理學(xué)家理查德·費(fèi)曼曾經(jīng)說過，你不能理解一件事情，除非你能夠構(gòu)建它。

問：所以你一直在構(gòu)建。

回答：所以我一直在構(gòu)建。

本文來源：Web3天空之城，原文標(biāo)題：《AI教父Hinton最新采訪萬字實(shí)錄：ChatGPT和AI的過去現(xiàn)在與未來》

風(fēng)險(xiǎn)提示及免責(zé)條款 市場(chǎng)有風(fēng)險(xiǎn)，投資需謹(jǐn)慎。本文不構(gòu)成個(gè)人投資建議，也未考慮到個(gè)別用戶特殊的投資目標(biāo)、財(cái)務(wù)狀況或需要。用戶應(yīng)考慮本文中的任何意見、觀點(diǎn)或結(jié)論是否符合其特定狀況。據(jù)此投資，責(zé)任自負(fù)。

關(guān)鍵詞：