6月10日，被譽(yù)為“深度學(xué)習(xí)教父”的Geoffrey Hinton以視頻連線的方式現(xiàn)身于中國(guó)北京舉辦的2023智源人工智能大會(huì)，談及了如何可以在未來(lái)節(jié)省算力，人類未來(lái)應(yīng)該如何控制人工智能等內(nèi)容。

演講主要內(nèi)容：

【資料圖】

人工神經(jīng)網(wǎng)絡(luò)很快會(huì)比真正的神經(jīng)網(wǎng)絡(luò)更強(qiáng)大嗎？會(huì)，且很快會(huì)發(fā)生。

算力成為了AI發(fā)展的阻礙，"activity perturbation"的算法可以用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)，且節(jié)省算力。

超級(jí)智能控制問(wèn)題非常重要，希望年輕一代的研究人員能夠找到解決方案，使超級(jí)智可以為人類帶來(lái)更好的生活同時(shí)又不會(huì)剝奪人類的控制權(quán)。

AI會(huì)欺騙人類，且發(fā)現(xiàn)操縱人來(lái)獲得更多的權(quán)力很容易。x

以下為演講全文：

我想談兩個(gè)問(wèn)題，大部分篇幅將集中在第一個(gè)問(wèn)題上，那就是——人工神經(jīng)網(wǎng)絡(luò)很快會(huì)比真正的神經(jīng)網(wǎng)絡(luò)更強(qiáng)大嗎？就像我說(shuō)的，這可能很快就會(huì)發(fā)生。

接著我也將談?wù)勎覀兪欠窨梢钥刂瞥?jí)智能AI。

現(xiàn)在AI發(fā)展的最大壁壘是算力問(wèn)題，算力遠(yuǎn)遠(yuǎn)不夠不夠。現(xiàn)在可以放棄計(jì)算機(jī)科學(xué)最基本的原則，那就是軟件應(yīng)該與硬件分開(kāi)。

在我們放棄它之前，讓我們先看看為什么它是一個(gè)很好的原則。由于這種可分離性，我們可以在不同的硬件上運(yùn)行相同的程序。我們還可以擔(dān)心程序的屬性，并在神經(jīng)網(wǎng)絡(luò)上研究程序的屬性，而不必?fù)?dān)心電子學(xué)。這就是為什么您可以擁有與額外的工程部門不同的計(jì)算機(jī)科學(xué)部門的原因。

當(dāng)我們真的放棄了軟件和硬件的分離的原則，我將提到一種稱為"activity perturbation"的算法，該算法可以用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)，且節(jié)省算力。

這種算法能夠預(yù)估梯度，且噪聲要比傳統(tǒng)的反向傳播算法（RNN）小得多。

如何將這種算法應(yīng)用于訓(xùn)練大型神經(jīng)網(wǎng)絡(luò)的問(wèn)題，我有一種解決方案——即將大型神經(jīng)網(wǎng)絡(luò)分成許多小組，并為每個(gè)小組分配一個(gè)局部目標(biāo)函數(shù)。

然后，可以使用"activity perturbation"算法來(lái)訓(xùn)練每個(gè)小組，并將它們組合在一起形成一個(gè)大型神經(jīng)網(wǎng)絡(luò)，并通過(guò)無(wú)監(jiān)督學(xué)習(xí)模型來(lái)生成這些局部目標(biāo)函數(shù)。

當(dāng)硬件出現(xiàn)問(wèn)題時(shí)，信息都會(huì)丟失，父類信息傳遞給子類信息，以便在硬件出現(xiàn)問(wèn)題時(shí)仍然可以保留學(xué)習(xí)到的信息，更有效地約束神經(jīng)網(wǎng)絡(luò)的權(quán)重。

"distillation"這一方法可以讓子模型更好地學(xué)習(xí)到分類圖像的信息，包括如何給出正確的答案以及給出錯(cuò)誤答案的概率。"distillation"方法還有一個(gè)特殊屬性，即訓(xùn)練子模型的同時(shí)也在訓(xùn)練子模型的通用化能力。

如果你看一下特朗普的推文運(yùn)作方式，人們感到非常沮喪，因?yàn)樗麄冋J(rèn)為特朗普所說(shuō)的是虛假的話。他們認(rèn)為他試圖描述的是實(shí)際情況，但實(shí)際上這些情況并沒(méi)有發(fā)生。特朗普所做的是根據(jù)一種情況作出回應(yīng)，并引發(fā)了情緒化的回應(yīng)。這使得他的追隨者能夠接受這種情況，并在他們的認(rèn)知中調(diào)整權(quán)重。

因此，他們對(duì)這種情況做出類似的情感反應(yīng)，而與事實(shí)無(wú)關(guān)。然而，這種策略產(chǎn)生了很好的效果。

通過(guò)共享梯度或共享權(quán)重，可以更高效地共享學(xué)習(xí)到的信息，但是使用數(shù)字模型進(jìn)行權(quán)重共享非常耗費(fèi)算力，因?yàn)樾枰圃旌瓦\(yùn)行的成本都很高。

因此，"distillation"成為一種更好的選擇，可以在生物模型中使用，以共享知識(shí)。

這就是這些大型語(yǔ)言模型向人們學(xué)習(xí)的方式。所以每個(gè)副本通過(guò)蒸餾學(xué)習(xí)效率很低。但是您有成千上萬(wàn)的副本，這就是為什么他們可以比我們學(xué)習(xí)數(shù)千倍的原因。因此，我的信念是，這些大型語(yǔ)言模型比任何個(gè)人知道的要多數(shù)千倍。

現(xiàn)在，問(wèn)題是——會(huì)發(fā)生什么，如果這些AI不是非常緩慢地向我們學(xué)習(xí)，而是直接從現(xiàn)實(shí)世界中學(xué)習(xí)。我應(yīng)該說(shuō)，盡管他們向我們學(xué)習(xí)時(shí)分布緩慢，但他們正在學(xué)習(xí)非常抽象的東西。因此，在過(guò)去的幾千年中，人類學(xué)到了很多關(guān)于世界的東西，這些數(shù)字智能現(xiàn)在正在從中獲利。

我們可以用語(yǔ)言表達(dá)我們學(xué)到的東西。因此，他們可以捕捉人類在過(guò)去幾千年中了解到的關(guān)于世界的一切，并將其放入文檔中，但是每個(gè)數(shù)字化的帶寬仍然非常慢，非常低，因?yàn)樗麄冋趶奈臋n中學(xué)習(xí)，如果他們可以通過(guò)建模視頻來(lái)學(xué)習(xí)。

例如，如果我們一旦找到一種有效的方法來(lái)訓(xùn)練這些模型來(lái)模擬視頻，他們將能夠從YouTube上學(xué)習(xí)，這是大量的數(shù)據(jù)，如果他們能夠操縱物理世界，這也將有所幫助。所以如果他們有機(jī)器人手臂等等。但是我的信念是，一旦這些數(shù)字代理開(kāi)始這樣做，他們將能夠比人們學(xué)到更多的東西，并且他們將能夠很快地學(xué)習(xí)它，所以這使我想到了我在開(kāi)始時(shí)提到的另一點(diǎn)。

如果這些東西變得比我們更聰明，就會(huì)發(fā)生什么。所以，很明顯，這就是這次會(huì)議的主要內(nèi)容，但是。我的主要貢獻(xiàn)只是說(shuō)，我認(rèn)為這些超級(jí)智能發(fā)生的速度可能比我以前想象的要快得多——美國(guó)或許多其他地方正使用它們來(lái)贏得戰(zhàn)爭(zhēng)。

如果你想說(shuō)超級(jí)智能，更有效率。您需要允許它創(chuàng)建子類。或多或少你都會(huì)想依靠AI獲得更多的力量，獲得更多的控制權(quán)，擁有的控制權(quán)越多，就越容易實(shí)現(xiàn)目標(biāo)。我發(fā)現(xiàn)很難看到我們將如何阻止AI試圖獲得更多控制權(quán)，以實(shí)現(xiàn)他們的其他目標(biāo)。所以。一旦他們開(kāi)始這么做，我們就會(huì)有問(wèn)題了。

它會(huì)發(fā)現(xiàn)通過(guò)操縱人來(lái)獲得更多的權(quán)力很容易。

我們不習(xí)慣思考超出我們智力范圍的事情，以及我們將如何與他們互動(dòng)。但是在我看來(lái)，很明顯，它會(huì)學(xué)會(huì)非常善于欺騙別人。因?yàn)橥ㄟ^(guò)看到我們接待其他人的所有示例，它將有很多實(shí)踐。

在小說(shuō)和馬基雅維利的作品中。一旦你非常擅長(zhǎng)欺騙別人，你就可以讓人們真正執(zhí)行你喜歡的任何動(dòng)作。因此，例如，如果您想入侵華盛頓州的建筑物，則無(wú)需前往那里。您只是欺騙人們以為他們通過(guò)入侵建筑物來(lái)拯救民主。

我覺(jué)得這很可怕，現(xiàn)在。我看不出如何防止這種情況的發(fā)生。但是我老了。我希望像你這樣的，年輕而才華橫溢的研究人員會(huì)弄清楚我們?nèi)绾螕碛谐?jí)智能，這將使我們的生活變得更好，而無(wú)需他們控制。

AI能目前主要是通過(guò)從文檔中學(xué)習(xí)來(lái)獲取人類學(xué)習(xí)的知識(shí)，但這種方式非常低效。如果它們能夠通過(guò)建模視頻等方式進(jìn)行無(wú)監(jiān)督學(xué)習(xí)，就能夠從大量數(shù)據(jù)中學(xué)習(xí)，從而獲取更多的知識(shí)。

此外，如果AI能夠操作物理世界，例如使用機(jī)器人手臂等，也將有助于它們更快地學(xué)習(xí)。同時(shí)AI能體變得比人類更聰明的可能性，以及它們可能被用于惡意行為，如控制電子或贏得戰(zhàn)爭(zhēng)。最后，為了讓超級(jí)智能體更高效，需要允許它們創(chuàng)建子目標(biāo)，但這可能會(huì)帶來(lái)風(fēng)險(xiǎn)。

因?yàn)槲也恢栏斆鞯臇|西被不太聰明的東西控制的任何例子。當(dāng)智力差距很大時(shí)，我想到的例子是，如果青蛙擁有了智能，那么誰(shuí)將掌握控制權(quán)的問(wèn)題。

風(fēng)險(xiǎn)提示及免責(zé)條款 市場(chǎng)有風(fēng)險(xiǎn)，投資需謹(jǐn)慎。本文不構(gòu)成個(gè)人投資建議，也未考慮到個(gè)別用戶特殊的投資目標(biāo)、財(cái)務(wù)狀況或需要。用戶應(yīng)考慮本文中的任何意見(jiàn)、觀點(diǎn)或結(jié)論是否符合其特定狀況。據(jù)此投資，責(zé)任自負(fù)。

關(guān)鍵詞：