在經歷了數(shù)論關于AI監(jiān)管的對談和磋商后，最近很少發(fā)聲的 Sam Altman 又一次接受了新訪談，5月9日，在一場Sohn 2023活動的對談中，OpenAI的CEO 對大語言模型和AI的未來，監(jiān)管的方式，競爭對手和中國AI發(fā)展及AI領域的創(chuàng)投機會都表達了他新一輪，更成熟更系統(tǒng)化的思考。

在一個月之前，他說巨型模型的時代已經見頂，但現(xiàn)在給出了如何突破的解決方案。一個月前，他對AI創(chuàng)業(yè)的商業(yè)化路徑還很少思考，現(xiàn)在他已經可以給出幾個具體的方案。在這篇訪談中，我們還可以看到他對OpenAI的具體規(guī)劃，定位和野心。以及他對競品，尤其是谷歌和中國AI公司的關注與評價。

(相關資料圖)

基本上這次訪談就是他對整個AI產業(yè)的一個初步解決方案路線圖。

當然，這也歸功于他談話的對手，Patrick Collison，一位同樣是年少功成，在20歲的年紀已成為億萬富翁的IT創(chuàng)業(yè)者。他的問題相當犀利，而且有著不俗的邏輯和見解，也因此能碰撞出這樣多的思想火花。

劃重點

1.??在AI的發(fā)展中，我們正在進入一個新階段，在某些領域需要大量聰明的專家給出反饋，以使模型變得盡可能智能。這可能會引發(fā)一輪的RLHF人才爭奪戰(zhàn)。大模型的數(shù)據缺口可以通過合成數(shù)據彌補，簡單地通過互聯(lián)網數(shù)據把Transformer擴展起來的方法會失效。

2.?AI監(jiān)管應該建立起類似原子能機構這樣保證核不擴散的國際組織，根據硬件和能源使用情況監(jiān)控所有AI公司，所有超過能力閾值的系統(tǒng)都需要接受審核。

3.??后續(xù)AI行業(yè)會產生分化，開源AI負責產出商業(yè)化產品和應用創(chuàng)新，閉源AI負責建構超級智能，已解決前沿的科學研究問題。商業(yè)化AI方面最有前景的領域是AI投資決策技術和AI自動化辦公輔助。

4.??Google是很有力的競爭對手，中國在AI領域可見到的成功太少，透明度較低。

以下為訪談全文

Patrick：

謝謝Sam能和我們在一起。

去年我實際上采訪了Sam Bankman-Freed（被逮捕的加密企業(yè)FTX創(chuàng)始人）。顯然，我采訪的是錯誤的Sam，所以很高興今年能糾正過來，和正確的Sam進行交流。讓我們從大家關心的話題開始，我們什么時候能得到我們的Worldcoin（由Sam Altman發(fā)起的一個虛擬代幣項目，通過虹膜認證替代一般身份認證）呢？

Sam：我認為如果你不在美國，你可能在幾周內就能得到一個；如果你在美國，可能永遠都得不到。我不知道，這取決于美國政府禁止加密貨幣的決心有多大。

Patrick：Worldcoin大約是一年前左右啟動的？

Sam：

實際上它還沒有正式運行，它已經在測試階段大約一年了。但它將在美國以外的地方很快上線。在美國，你可能永遠都不能使用它，我不知道。

Patrick：

好吧。

Sam：

所以這是一件瘋狂的事情。你知道，不管你對加密貨幣的漲跌有什么看法，但美國是全世界最糟糕的擁有加密貨幣公司的國家，很可能你根本就不能提供加密貨幣服務。這是一個（影響）巨大的聲明，歷史性的聲明。

Patrick：

是的，就是這樣。是的，很難想象最后一次出現(xiàn)這種情況的技術是什么。

Sam：

也許是歐洲人應該做這個，而不是我們。

Patrick：

是的。

Sam：

超音速飛行或者類似的東西。

Patrick：

對的。

然后，我猜幾乎所有在場的人都是ChatGPT的用戶。你最常用的ChatGPT是什么樣的，就是你在不測試東西的時候，你真的想要用的時候，ChatGPT完全是你的工具。

Sam：

無疑是匯總文摘。如果沒有它，我已經不知道怎么繼續(xù)工作。我可能無法處理電子郵件和Slack（一種基于云端運算的即時通訊軟件）。你知道，你可以把一堆電子郵件或者Slack消息發(fā)給它。希望能隨著時間的推移，我們?yōu)檫@個場景構建一些更好的插件；但即使是手動操作也效果相當好。

Patrick：

有沒有任何插件成為你的工作流程的一部分？

Sam：

我偶爾在代碼解釋器中瀏覽。但說實話，對我個人來說，它們還沒有真正像是日常習慣的一部分。

大語言模型的未來：合成數(shù)據突破數(shù)據天花板 / RLHF訓練人才爭奪戰(zhàn)

Patrick：

所以顯然，這很有可能是我們正在經歷的趨勢，超線性（速度）的實現(xiàn)模型能力的收益；但誰知道呢，也許我們很快就會接近極限，那是可能的，但至少是一種可能性。如果我們最后走到這個盡頭，你認為我們回頭看，認為原因是數(shù)據不夠，或者計算能力不足，最有可能的是什么呢？

Sam：

我真的不認為這會發(fā)生。

但如果真的發(fā)生了，我認為這可能是我們現(xiàn)有架構中的某些基本問題，以一種我們現(xiàn)在還沒有察覺的方式限制了我們。比如說，我們可能永遠無法讓這些系統(tǒng)變得非常穩(wěn)健，所以我們無法讓它們能夠可靠地保持在正確的軌道上，理解它們正在犯錯誤；因此，它們不能真正在大規(guī)模上有效地獲取新知識。但我沒有理由相信這就是（會發(fā)生的）情況。

Patrick：有些人認為我們現(xiàn)在的訓練數(shù)據已經接近互聯(lián)網的全部內容，你不能把這個數(shù)目再增加兩個數(shù)量級，我想你可能會反駁說，是的，但是（還有）合成數(shù)據生成，你認為數(shù)據瓶頸重要嗎？

Sam：

我認為，就像你剛才提到的，只要你能達到這個合成數(shù)據的臨界點，模型足夠聰明，能制作出好的合成數(shù)據，我認為應該沒問題。

我們肯定需要新的技術，我不想假裝沒有這個問題。簡單地把Transformer擴展起來，預先從互聯(lián)網上獲取訓練數(shù)據，這種方法會失效，但這并不是我們的計劃。

Patrick：

所以GPD 3.5和4的一大突破就是RLHF。如果你，Sam，親自做了所有的RLHF，模型會變得明顯更聰明嗎？反饋的人是否重要？

Sam：

我認為我們正在進入一個階段，在某些領域，你真的需要聰明的專家給出反饋，以使模型變得盡可能智能。

Patrick：

所以，這會不會引發(fā)一場瘋狂的對最聰明的研究生的爭奪戰(zhàn)？

Sam：

我認為會。我不知道這場爭奪戰(zhàn)會有多瘋狂，因為世界上有很多聰明的研究生，但聰明的研究生將會非常重要。

Patrick：

我們需要多少聰明的研究生呢？一個就夠了，還是需要10000個？

Sam：

我們正在研究這個問題。我們真的不知道，比如一個真正聰明的人能為我們帶來多大的優(yōu)勢，模型可以在哪些方面提供幫助，或者模型能自我進行一些強化學習，我們對此深感興趣，但這還是個未知數(shù)。

AI監(jiān)管：建立AI國際化監(jiān)管機構，所有超過能力閾值的系統(tǒng)都需要接受審核

Patrick：

核武器的秘密應該被機密處理嗎？

Sam：

可能，應該吧。我不知道我們在這方面做得有多有效。我認為我們之所以避免了核災難，并不完全是因為我們把秘密做了機密處理，而是我們做了一些聰明的事情。我們很幸運，至少很長一段時間，它所需要的能量是巨大的，基本上需要國家的力量。我們建立了國際原子能機構，我認為總的來說這是一個好決定，還有其他一些事情。所以我認為，你可以做任何事情來提高好結果的可能性，機密化核武器的秘密可能會有所幫助。不把它機密處理的話（其他操作）似乎沒有多大意義，另一方面，我不認為這會是一個完全的解決方案。

Patrick：

當我們考慮所有現(xiàn)在已經成為中心的AI安全問題時，我們應該從我們核不擴散的經驗中吸取什么最重要的教訓？

Sam：

首先，我認為過分借鑒以前的技術總是一個錯誤。每個人都想要找一個類比，每個人都想說，哦，這就像這個，或者那個，我們是這樣做的，所以我們將再次這樣做，但每種技術的形式都是不同的。然而，我認為核材料和AI超級計算機有一些相似之處，這是我們可以借鑒和獲得啟示的地方，但我會提醒人們不要過度學習上一件事的教訓。我認為可以建立一個類似于國際原子能機構的AI機構——我知道這聽起來多么天真，這么做有多困難——但是我認為讓每個人都參與到對極其強大的AI訓練系統(tǒng)的全球監(jiān)管機構中來，這似乎對我來說是一個非常重要的事情。我認為這就是我們可以學到的一個教訓。

Patrick：

如果它被建立了，明天就存在了，那么它應該首先做什么呢？

Sam：

任何超過我們設定的閾值的系統(tǒng)——實現(xiàn)這個最容易的方法是計算閾值（最好的方法是能力閾值，但這更難以衡量）——任何超過這個閾值的系統(tǒng)，我認為都應該接受審核。應該讓這個組織有完全的可視化權限，要求在發(fā)布系統(tǒng)之前通過某些安全評估。那將是第一件事。

Patrick：

有些人可能會說，我不知道該如何描述這種情況，但讓我們說，更好戰(zhàn)的一方可能會說，這一切聽起來都很好，但是中國不會這么做，因此，我們只會束縛自己。因此，這個主意在表面上看起來不如它看起來的好。

Sam：

有很多人對中國會或不會做什么發(fā)表了非常強硬的言論，但他們從未去過中國，也從未與過去曾經與中國進行過外交工作的人交談過，他們對復雜的高風險國際關系幾乎一無所知。我認為這顯然非常困難，但我也認為沒有人想要摧毀整個世界，所以至少有理由在這里嘗試一下。

我認為這里有一些不尋常的事情，這就是為什么從過去任何一種技術類比中學習都是危險的。

這里有一些不尋常的事情，當然有能源簽名和所需能源的數(shù)量，但制造最有能力的GPU的人并不多，你可以要求他們都安裝一種監(jiān)測設備，如果你正在與超過10，000個其他GPU進行通信，那么你就必須（接受監(jiān)管）。

無論如何，我們都有選擇的余地。

后續(xù)的AI發(fā)展：開源的經濟應用和封閉源模型的超級智能探索并行

Patrick：

今年對我來說，一個大的驚喜就是開源模型的進步，特別是最近60天左右的瘋狂進步。

你認為，一年后開源模型會有多好？

Sam：

我認為這里將會有兩個發(fā)展方向，一是超級規(guī)?；淖詈玫姆忾]源模型，二是開源社區(qū)的進步，可能（開源）會落后幾年或者說多幾年。但我認為我們將會生活在一個有著非常強大的開源模型的世界，人們會用它們來做各種各樣的事情，整個社區(qū)的創(chuàng)造力將會讓我們所有人感到驚訝。

然后還有那些擁有巨大集群的人能做什么的前沿（研究），那將會非常遙遠。

我認為這是好事，因為我們有更多的時間去解決一些更恐怖的事情。

Patrick：

David Luan（前OpenAI工程副總裁）向我闡述了，經濟有用的活動集合，理論上是所有可能活動的子集，而相當好的模型可能足以解決大部分的第一套活動。因此，可能超大型的模型在科學上非常有趣，也許你需要它們來做一些事情，比如推動AI的進步，但是對于大多數(shù)的實用日常案例，可能一個開源模型就足夠了。你認為這個未來有多大可能性？

Sam：

我認為對于許多超級經濟價值的事情來說，這些較小的開源模型將足夠使用。但你剛剛提到了我想說的一件事，那就是幫助我們發(fā)明超級智能，那是一個非常經濟有價值的活動，就像治愈所有的癌癥或發(fā)現(xiàn)新的物理規(guī)律等等，這些都將首先由最大的模型來實現(xiàn)。

Patrick：

Facebook現(xiàn)在應該開源Llama嗎？

Sam：

現(xiàn)在這個點上，可能應該。

Patrick：

他們應該采用開源他們的基礎模型/語言模型，還是只是特別的Llama呢？

Sam：

我認為Facebook的AI策略在最好的情況下也只能說是混亂的，但我認為他們現(xiàn)在開始非常認真，并且他們有非常能干的人，我預計他們很快就會有更連貫的策略。我認為他們將會是一個令人驚訝的新真正的玩家。

AI的安全性：大家都在指責AI不安全，但沒人給出解決方法

Patrick：

有沒有什么新的發(fā)現(xiàn)可能會顯著改變你對災難性結果的可能性估計，無論是提高還是降低它？

Sam：

是的，我認為有很多，我認為從現(xiàn)在到超級智能之間的大部分新工作都會使這個概率上升或下降。

Patrick：

那么，你特別關注什么？有什么你特別想知道的事情嗎？

Sam：

首先，我不認為強化學習人工智能（RLHF）是正確的長期解決方案。我不認為我們可以依賴它。我認為它是有幫助的，它當然使這些模型更容易使用。但你真正想要的是理解模型內部的運作情況，并能夠使之對齊，比如說，精確地知道哪個電路或人工神經元集合在發(fā)生什么，并能夠以一種能夠給模型性能帶來穩(wěn)定改變的方式調整它。

還有很多超越這個的事情，但如果我們能讓這個方向可靠地工作，我認為每個人的災難概率（P Doom）都會大幅降低。

Patrick：

你認為有足夠的可解釋性工作正在進行嗎？

Sam：

沒有。

Patrick：

為什么不呢？

Sam：

你知道，很多人都說他們非常擔憂AI的安全，所以這在表面上看起來很奇怪。

大部分聲稱他們真的很擔心AI安全的人，似乎只是在推特上花時間說他們真的很擔心AI的安全，或者做很多其他的事情。

有一些人非常擔心AI的安全，并且正在做出很好的技術工作。我們需要更多這樣的人，我們肯定在OpenAI內部投入更多的努力，讓更多的技術人員去研究這個問題。

但是，世界需要的不是更多在Twitter上發(fā)帖寫長篇大論的AI安全人員，而是更多愿意做技術工作，使這些系統(tǒng)安全且可靠地對齊的人。我認為這些事情正在發(fā)生，優(yōu)秀的機器學習研究者轉變焦點，以及新人進入這個領域，兩者的結合。

Patrick：

這次通話上的很多人都是活躍的慈善家，他們中的大多數(shù)人在Twitter上發(fā)布的內容不是很多。你知道，他們聽到這個交流，可能會想，哦，也許我應該幫助資助可解釋性領域的一些事情。

如果他們有這種想法，下一步應該做什么？

Sam：

我認為一個還沒有做出足夠嘗試的策略是，給單個人或小團體提供資助。

這些人非常技術性，并且想要推動技術解決方案，也許他們正在讀研究生或者剛畢業(yè)，或者正在讀本科。我認為嘗試這個是非常值得的，他們需要訪問到非常強大的模型，OpenAI正在嘗試開展一些項目來支持獨立的對齊研究者，但我認為給這些人提供財務支持是非常好的一步。

Patrick：

此外，你認為這個領域在多大程度上受技能瓶頸的限制？也就是說，有些人可能具備所需的內在特性，但可能沒有所需的四年或者更長時間的學習經歷，這對他們的有效性也產生了影響。

Sam：

我認為，如果有一個聰明的人，他已經學會了如何做好研究，并且具有正確的心態(tài)，那么只需要大約六個月的時間就能讓他從一個聰明的物理研究者變成一個有成果的AI研究者。所以我們在這個領域還沒有足夠的人才，但是這個很快就會到來。我們在OpenAI有一個項目，就是做這個的，我對它的效果感到驚訝。

情感對話機器人：未來的人類可能有更多AI朋友而不是人類朋友

Patrick：

似乎很快我們將擁有，嗯代理人，你可以以非常自然的方式與之對話，低延遲全雙工（虛擬人可以進行聽和說），你可以像打斷整個事情一樣打斷它們。顯然，我們已經看到了像Character和Replica這樣的產品，你知道，即使是這些初期的產品在這個方向上也取得了相當驚人的進展。

我認為這些可能是一項巨大的成就，也許我們正在大大低估它，尤其是一旦你可以通過語音進行對話。你認為這樣對嗎？如果是這樣，你認為可能的后果是什么？

Sam：

是的，我確實認為是對的。

最近有人對我說過一句印象深刻的話，他們相當確定，他們的孩子將來會有更多的AI朋友而不是人類朋友。至于后果，我不知道會是什么樣子。

我認為有一點很重要的是，我們要盡快確立一個社會規(guī)范。

你知道，如果你在與AI或人類進行交流，或者類似奇怪的AI輔助人類的情況，人們似乎很難在他們的頭腦中區(qū)分（對方是人還是AI），即使是像你提到的Replica這樣的早期的弱智系統(tǒng)。

不管我們大腦中渴望社交互動的電路是什么，似乎有些人在某些情況下可以通過與AI朋友相處來滿足這種需求，這是棘手的。

Patrick：

最近有人告訴我，在Replica的Reddit上讀到的一個討論主題是，如何處理升級到Replica模型時的情感挑戰(zhàn)和創(chuàng)傷。因為你的朋友突然變得有點智力受損，或者至少是一個有點不同的人，而且，這些對話者都知道Replica實際上是一個AI，但不知何故，我們的情感反應似乎并沒有太大的區(qū)別。

Sam：

我認為，大多數(shù)人都覺得我們正朝著發(fā)展的是這樣一個社會，在天空中有個漂浮的至高無上的超級智能存在。而我認為，那是一個在某種意義上不那么可怕但仍然有些奇怪的社會，一個由很多AI和人類共同整合的社會。

關于這個已經有很長時間的電影，就像《星球大戰(zhàn)》中的C3PO或其他你想要的AI。人們知道這是AI，但它仍然很有用，人們仍然與之互動，它有點像可愛的人，盡管你知道它不是一個人。

而在這個世界上，我們只是有一個很多AI與人類一起融入基礎設施的社會，這對我來說感覺更容易應對，也不那么可怕。

AI將如何改變經濟體系: 更高效的資本配置帶來經濟的大幅繁榮

Patrick：

是的。嗯，這是一個金融事件(問題），這樣做將如何改變實際利率？

你知道，在經濟學中存在著一種關于工作年齡人口變化是否推動實際利率上升或下降的辯論，因為你有一系列相互抵消的影響，他們更有生產力，但你還需要資本投資來使它們變得有生產力，等等。嗯，那么AI將如何改變實際利率呢？

Sam：

我盡量不進行宏觀預測，但我會說它們將會發(fā)生很大改變。

Patrick：

好吧。那么， 這將如何改變經濟增長？

Sam：

我認為它應該會導致實際經濟增長的大幅增加，我假設我們將能夠合理地衡量它。

Patrick：

且至少在早期階段，這將是一個極其資本密集的時期。因為我們現(xiàn)在知道應該建造哪些治療癌癥的工廠，或者哪些制藥公司，以及確切的反應堆設計等等。

Sam：

我會持相反的觀點，我們不知道，但我會說，人類資本配置是如此可怕，即使我們確切知道該做什么。

Patrick：

你是指現(xiàn)今人類進行的資本配置，對嗎？

Sam：

是的。

Patrick：

或者你是指將人們自身分配到社會中不同角色的分配？

Sam：

不，我是指我們目前的資本配置方式，比如說，你認為我們今天在癌癥研究上花了多少錢？癌癥研究一年花了多少錢。

Patrick：

我不知道，可能這取決于你是否考慮了制藥公司，但從NIH來看，可能大約80到90億美元；然后我不知道制藥公司花了多少，可能這只是其中的一小部分。

Sam：

如果是在500到1000億美元之間......好吧，我只是猜測，數(shù)字是每年在500億到1000億美元之間。如果AI能告訴我們確切該做，并且每年只需要這個單獨項目上花費500萬美元。雖然這對于一個單獨的項目來說是巨大的投資，但如果這是正確的答案，那將是一個巨大的效率提升。

是的，所以我們在這項技術的推動下可能會變得更加資本高效，這是我的猜測。

OpenAI的未來：平臺+頂級應用

Patrick：

對，很有趣。對于OpenAI來說，顯然你們想成為并且是一家卓越的研究機構。但是關于商業(yè)化，是成為一家消費者公司更重要還是成為一家基礎設施公司更重要？

Sam：

嗯，作為一項商業(yè)策略，我是支持平臺加頂級應用的。

我認為這在很多企業(yè)中都取得了成功，原因是充分的。我認為我們開發(fā)的消費者產品有助于改進我們的平臺。我希望隨著時間的推移，我們能夠找到方法，讓平臺也能夠改進消費者應用。我認為這是一個良好的連貫策略，將它們同時進行。

但正如你指出的，我們的目標是成為世界上最優(yōu)秀的研究機構，這對我們來說比任何產品化更重要。我們建立這樣一個組織，能夠不斷取得突破性的進展，雖然并非所有嘗試都會成功，我們走過了一些彎路，但我們已經找到了比其他人更多的范式轉變，并且我認為我們將在這里實現(xiàn)下一個重大突破。這是我們努力的重點。

Patrick：

你對OpenAI最引以為豪的突破是哪個？

Sam：

整個GPT范式，我認為那是具有變革性和對世界的重要貢獻的，它源于OpenAI擅長結合多種工作方式的工作。

競爭對手和中國：Google最近很專注，中國的成果不明確

Patrick：

明天是Google I/O，如果你是Google的CEO，你會怎么做？

Sam：

我認為Google做得很好，他們最近非常專注和緊張，真的在努力尋找如何重新打造公司來適應這項新技術，我對他們的表現(xiàn)印象深刻。

這些模型和它們的注意力能力是否真的對搜索構成威脅，還是只是一種表面上的反應，可能過于倉促？

我認為它們可能會以某種重大方式改變搜索，但并不威脅搜索的存在。所以，如果Google什么都不做，那將是對Google構成威脅，但顯然Google不會無所作為。

Patrick：

中國的機器學習研究有多重要？

Sam：

我很想知道這個問題的答案：中國的機器學習研究對我們而言有多重要，我們能夠看到多少成果。

Patrick：

不太多，你說對了，從已發(fā)表的文獻中了解的并不多。

Sam：

但也不是完全沒有。

Patrick：

你是否了解任何的原因。因為中國研究人員的發(fā)表論文數(shù)量非常大，也有很多在美國進行出色工作的中國研究人員，那么為什么中國的研究論文在單篇論文影響力方面相對較低？

Sam：

我猜測很多人懷疑的是他們沒有發(fā)表最重要的研究成果。

Patrick：

你認為這可能是真的嗎？

Sam：

對于這個問題，我對自己的直覺不太確定，我感到困惑。

對AI未來應用的暢想：更多取代日常工作，產生出獨立的優(yōu)于人的判斷

Patrick：

你更希望OpenAI能夠實現(xiàn)訓練效率的10倍提升，還是推理效率的10倍提升？

Sam：

這是一個好問題。取決于合成數(shù)據的重要性。強迫選擇的話，我會選擇推理效率。但我認為正確的衡量指標是考慮所有用于模型訓練和推理的計算量，然后進行優(yōu)化。

Patrick：

你提到的推理效率可能是該方程式中占主導地位的項。

你說推出GPT-2時，只有少數(shù)人注意到并真正理解其意義。關于突破的重要性，現(xiàn)在是否正在發(fā)生類似的GPT-2時刻？

Sam：

我們正在做很多工作，我認為其中一些工作將成為類似GPT-2的重要時刻，如果它們能夠結合在一起。但目前還沒有什么發(fā)布的東西，我可以有很高的信心說這是2023年的GPT-2。但我希望到今年年底或明年會有所改變（發(fā)布）。

Patrick：

什么是你使用的最好的非OpenAI的AI產品？

Sam：

坦率地說，我想不出其他什么產品。我對世界的了解比較狹窄，但ChatGPT是我每天使用的唯一AI產品。

Patrick：

有沒有你希望存在的AI產品，你認為我們當前的能力或即將實現(xiàn)的能力使得這種產品成為可能，你期待著它的出現(xiàn)？

Sam：

我希望有一種像“副駕駛”一樣的產品，可以控制我的整個電腦。它可以查看我的Slack、電子郵件、Zoom、iMessage以及龐大的待辦事項和文檔，并且在很大程度上完成我的工作。

Patrick：

一種類似Siri Plus Plus的產品。

嗯，你提到了治療癌癥，這些技術和技術對科學的顯而易見的應用有哪些，你認為我們已經或即將具備的能力，但目前人們并沒有看到人們明顯追求的應用？

Sam：

有一個無聊的答案和一個令人興奮的答案。

無聊的答案是，如果你能夠開發(fā)出非常好的工具，如我剛提到的那個，并且將每個科學家的工作速度提高三倍、五倍甚至十倍，那么科學發(fā)現(xiàn)的速度可能會大大增加，即使它并非直接從事科學本身。

更令人興奮的是，我認為類似的系統(tǒng)可以開始閱讀所有的文獻，產生新的想法，在模擬中進行一些有限的測試，然后給科學家發(fā)送電子郵件，說：“嘿，你能幫我在濕實驗室中運行這個嗎？”這樣可能會取得真正的進展。

Patrick：

我不知道這里的本體論如何工作，但你可以想象構建更好的通用模型，類似于人類，它可以閱讀大量的文獻，可能比人類更聰明、記憶更好，然后你可以想象基于某些數(shù)據集訓練的模型，它們在某個特定領域做一些完全不同于人類的工作，例如將CRISPR映射到編輯精確度之類的事情。這真的是一種特殊用途的模型，在特定領域做一些與人類完全不同的事情。

你認為對這些模型來說，最有用的應用是屬于第一類，即創(chuàng)造更好的人類，還是屬于第二類，即為目前不易處理的問題域創(chuàng)建這些預測性的架構？

Sam：

我真的不知道。在大多數(shù)領域，我都愿意給出一些粗略的觀點，但在這個領域，我對科學過程和偉大科學家是如何工作的沒有足夠深入的了解，無法說出我的觀點。我覺得，如果我們能夠有一天找到如何構建出真正擅長推理的模型，那么它們應該能夠自己做出一些科學上的飛躍，但這需要更多的工作。

投資和創(chuàng)業(yè)：硅谷走偏了，太重視短期收益；AI的下一個風口可能在AI投資應用上

Patrick：

OpenAI在籌款方面做得非常出色，具有非常特殊的資本結構，與非營利組織和微軟的交易等等，那么這些奇特的資本結構被低估了嗎？企業(yè)和創(chuàng)始人是否應該更加開放地思考，無論是默認的還是已經默認的，如同我們只是一個德拉華州的C公司？（是否要考慮特殊的資本結構）

Sam：

我懷疑不是，我懷疑在這方面進行創(chuàng)新可能是一件可怕的事情，你應該在產品和科學方面進行創(chuàng)新，而不是企業(yè)結構方面。

我們所面臨的問題形式非常奇特，盡管我們盡力而為，但我們不得不采取一些奇怪的措施，但總體而言，這是一種令人不快的體驗，也是一個時間消耗的過程。

對我參與的其他項目來說，它總是采用正常的資本結構，我認為那樣更好。

Patrick：

我們是否低估了資本的重要程度？你所參與的很多公司都需要大量的資本?？赡躉penAI就是最需要資本的公司，雖然誰知道還有沒有別的更需要的。

我們是否低估了資本對未實現(xiàn)的創(chuàng)新的限制？這是否是你所參與的各種努力中的共同主題？

Sam：

是的，我認為這是個問題，基本上我參與的四家公司中，除了只是作為投資者寫支票的那些，所有的公司都需要大量的資本。

Patrick：

你想要列舉一下這些公司嗎？對于在場的觀眾。

Sam：

OpenAI和Healing是我最花時間的項目，然后還有Retro和Worldcoin。

但你知道，所有這些公司在任何產品出現(xiàn)之前都籌集了至少九位數(shù)的資金，而且在OpenAI的情況下，這個數(shù)字更大，所有公司都在第一輪融資或在發(fā)布產品之前籌集了九位數(shù)的資金，它們都需要很長時間，花費多年時間才能發(fā)布產品。

我認為愿意做這樣的事情是有很大價值的，而這種方式在某個時候在硅谷失寵了。

我理解為什么，像那些只需要籌集幾十萬，一百萬美元就可以盈利的公司也很好，但我認為我們過度傾向于這個方向了，我們已經忘記了如何進行高風險高回報的大量資本和時間密集型的投資，這些也是有價值的，我們應該能夠支持兩種模式。

Patrick：

這涉及到，嗯，為什么沒有更多的埃隆馬斯克。

我猜，在過去的20年里，兩家最成功的硬件公司（SpaceX和Tesla）在更廣泛的意義上（Tesla是Elon收購重建）都是由同一個人創(chuàng)辦的。這看起來像一個令人驚訝的事實。

顯然，埃隆在很多方面都是獨一無二的。但你對這個問題的回答是什么，我們是否喜歡他這種特殊的情況，是不是實際上資本的故事與你所說的線索相符，如果讓你去創(chuàng)造更多的世界上的SpaceX和Tesla，嗯，你可能在自己的工作中也試圖做到這一點，但如果你不得不以系統(tǒng)的方式推動這個方向，你會嘗試改變什么？

Sam：

我從未遇見過另一個埃隆，我從未遇見過我認為可以輕易地被培養(yǎng)成另一個埃隆的人。他是一種奇怪的獨一無二的人物。我很高興他存在于世界上；但你知道，他也是一個復雜的人。我不知道如何創(chuàng)造更多像他那樣的人，我不知道。我不知道你對如何創(chuàng)造更多的想法是什么，我很好奇。

Patrick：

我不知道，我懷疑創(chuàng)始人和資本方面的文化有一些東西，以及創(chuàng)始人想要創(chuàng)造的公司類型。

以及在某種程度上，但也許在較小程度上，資金來源的基金結構（也有關系）。嗯，你知道，當我在過去的15年里對這個領域了解得更多時，這個領域有限的或者基本上有限的一套資金模型，每一個都有特定的激勵方式，大部分都有特定的社會學。比如風險投資本身就是一種投資，私募股權在其現(xiàn)代形式下，基本上是一種投資發(fā)明，

所以，我懷疑我們是否完成了資金模型發(fā)明的過程，我懷疑是否有一些模型，至少在某種程度上，與今天的主流模型不同，而這種模型在某種程度上更適合于這種類型的創(chuàng)新。

Sam：

好的，我很興奮的一件事是，我認為你是一個很好的例子。但我認為在上一個周期里成為科技億萬富翁的所有人都幾乎都對投入大量資本到長期項目中很感興趣，而這種一開始就投入大量資本的高風險高回報的長期項目依賴于基礎的科學和創(chuàng)新，這將會或者已經發(fā)生了巨大的變化。所以我認為將會有更多的資本可用于此，你仍然需要像埃隆那樣的人去做這個。

有一個我一直很想嘗試的一個項目，我們要確定比如說我們可以找到想要從事這類項目的最有才華的100個人，給他們每年25萬美元，大概10年左右，就像給一個20歲的人10年的時間，這感覺像是終身職位，讓他們自由地去 在沒有大多數(shù)人感受到的壓力的情況下進行長時間的探索，比如說，不必承受賺大錢的壓力，讓他們與優(yōu)秀的導師和優(yōu)秀的同伴群體在一起。然后財務模型就是，如果沒有創(chuàng)立公司那沒關系，那沒關系，像作家、政治家、思考者一樣；如果你創(chuàng)立了一家公司，投資項目就可以按照預定的條款進行投資。

嗯，我認為這是值得嘗試的，有人應該去做這件事。

Patrick：

這就是大學的模式，我想說的并不是這已經存在了，不是說只是重新發(fā)明輪子。我的意思是，這是證據表明它可以工作，而且通常大學在支持其衍生品方面并不擅長，但至少在某種程度上是這樣。

Arc的一個主張實際上是通過更加正式地鼓勵這種情況，可能比現(xiàn)在的情況更有效。

西爾瓦娜，Arc的聯(lián)合創(chuàng)始人，我從青少年時代開始就認識她了，我們一起度過了一半以上的歲月。帕特里克·蘇（Patrick Sue）是另一位聯(lián)合創(chuàng)始人，她與他共同攻讀博士學位，所以她認識他已經很久了。關于長期投資，我之所以對此感到滿意，部分原因是我已經認識這個人很長時間了。

當你考慮像你提到的Retro或其他公司這樣的公司時，你是如何決定這個人是否是你可以承擔這個超長期探險的人呢？

Sam：

實際上，我已經認識Joe很長時間了。

Patrick：

我想這是一個不好的例子，問題是實際上是，你是否需要認識這個人很長時間？

Sam：

這非常重要，雖然并非總是有效，但我盡量與我認識了十年以上的人合作。

你當然不想只做這類合作，你希望在混合中有新的能量和波動性，但與你相識已久、與你合作已久的人占有一定比例，我認為這是非常有價值的。

就像在OpenAI的例子中，我已經認識Greg Brockman（OpenAI聯(lián)合創(chuàng)始人）很久了，我可能在我們創(chuàng)辦公司之前只認識Ilya一年，甚至不到一年，但我們在一起度過了很多時間。這是一個很好的組合。

我從與人們的長期工作關系中得到了極大的快樂，經過幾十年的時間，通過多個項目，感覺像是一起建設向著一個很長的弧線前進的事情，這是非常有趣的。

Patrick：

同意。

嗯，哪家并未被視為AI公司的公司將在未來五年從AI中受益最多？

Sam：

我認為有一種投資工具會找出如何利用AI成為一個非凡的投資者，并且有著瘋狂的超額回報，所以像是利用這些新技術的Rentech。

Patrick：

那么，你看到有哪家（上市）運營公司呢？

Sam：

嗯，你認為微軟是一家AI公司嗎？

Patrick：

就此問題而言，我們假設答案是否定的。

Sam：

我認為微軟將在幾乎所有方面都將通過AI進行自我變革。

Patrick：

那是因為他們更認真對待這個問題，還是因為微軟的性質使他們特別適合這個問題，更能理解這個問題？

Sam：

他們比其他人更早地認識到這個問題，并且比其他人更認真地對待這個問題。

對監(jiān)管的態(tài)度：過度官僚化監(jiān)管可能會拖慢創(chuàng)新速度和意愿

Patrick：

你認為我們會意識到GPT-4在某種程度上過度擬合了它所接受訓練的問題的可能性有多大？

或者說，我們如何知道它是否過度擬合了，或者你甚至是否考慮過度擬合作為一種關于代碼強制問題的擔憂，你知道，比如在21年之前和之后的問題，早期（模型）的問題表現(xiàn)更好，等等。

Sam：

我認為基本模型并沒有顯著地過度擬合，但是我們對RLHF（強化學習和人類反饋）過程的理解還不夠，我們可能在這個過程中對模型造成了比我們意識到的更大的破壞。

Patrick：

你認為G，也就是普遍的智力指標在人類中存在嗎？除了作為一個統(tǒng)計學的產物之外？如果答案是肯定的，你認為在模型中存在類似的共同因素嗎？

Sam：

我認為這是一個非常不精確的概念。但是，很明顯，它在人類和模型中都有一些實際的含義。所以我認為，我們可能過度解讀了這個概念，當人們試圖去討論它時，往往會有太多的顯著性數(shù)字。但是，我的經驗確實告訴我，非常聰明的人可以很快地學習很多事情，盡管我不會說是任意的事情。有些人在某一種事情上比另一種事情更擅長。我不想在這里過多地爭論細節(jié)，但我會說，我相信模型的智力也會在某種程度上有所不同。

Patrick：

基于你的經驗，你如何看待所有這些AI安全問題？你認為合成生物學應該如何被監(jiān)管？

Sam：

我希望我們不再有另一種合成病原體導致全球大流行。

我想我們都同意這不是一次好的經歷，雖然與可能發(fā)生的情況相比，這并不算太糟糕；但我對此并沒有更多的全球協(xié)調行動感到驚訝。我認為我們應該有更多的協(xié)調行動。

Patrick：

那么我們實際上該怎么做呢？因為我認為與人工智能一樣，同樣的挑戰(zhàn)也適用于合成生物學。我認為這是一種生產裝置，你知道，合成病原體的生產裝置并不一定那么大，觀測和遙測是困難的。

Sam：

我認為這個問題比AI的挑戰(zhàn)要復雜得多，我們確實有一些這樣的特征，比如巨大的能量和大量的圖形處理器。我沒有過多地思考這個問題，我會問你我們應該怎么做。我想如果有人告訴我這是個問題，我們應該怎么做，我會打電話給你，所以我們應該怎么做呢？

Patrick：

我不知道我是否有一個現(xiàn)成的解決方案。我想說的是，我不確定這有多大的幫助，我們需要更多的一般性可觀察性，例如廢水測序等等，我們應該無論如何都這樣做。你知道，這并不能幫助我們，你知道，防止合成生物學的攻擊，我們沒有一個巨大的關聯(lián)數(shù)據集，比如人們所感染的病原體，以及隨后的縱向健康結果，這就是一個普遍的瘋狂事實。

顯然，有一些無法計數(shù)的傳染病類別，人們通常最容易感染，顯然，新冠病毒本身就是一個例子。所以我認為我們可以在治療和疫苗的開發(fā)上取得更多的進步。

如果真的證實新冠病毒是人為制造的，我認為我們可以顯著提高對那些對已有傳染病進行微小修改的實例的保護。顯然，讓人擔憂的類別將是完全新的病原體，那將是一個無窮的搜索空間。然后你需要考慮如何，我是說，有一些有限的方式可以進入細胞，比如受體等等，所以也許你可以用這些來覆蓋可能的治療方式的空間，然后你需要投資更多的剩余生產能力，比我們現(xiàn)有的新疫苗生產能力要多，希望mRNA平臺和類似的技術可以讓我們更容易擁有通用的生產能力。

但是，從這個長篇的回答中，你可以看出，我不認為有一種靈丹妙藥，即使你做了我剛才說的所有事情，你可能還是不夠。

Sam：

我認為，提高我們的快速響應、治療和接種能力是一件明顯需要做的事情，我本來希望我們現(xiàn)在能有更多的進步。

Patrick：

我非常同意這一點，臨床試驗是限制我們應對新冠病毒的一步。我認為這已經被廣泛地報道和評論了，我們在1月份就有了疫苗候選品，之后發(fā)生的一些事情顯然是生產的擴大，但大部分的時間都是在驗證疫苗的效果和安全性。我認為這是整個生物醫(yī)學領域里最容易采取的方法。

埃茲拉·克萊恩和德里克·湯普森正在寫一本書，關于豐富議程的概念。他們認為，很多左翼的觀念，是關于自我克制，某種新清教主義的概念。他們認為，為了實現(xiàn)我們所關心的價值，我們需要更多的東西，在許多不同的領域，更多的亨利·亞當斯曲線實現(xiàn)。他們經常指出，許許多各種各樣的，出于善意的但卻是自我設限的禁止，阻礙了這一過程的實現(xiàn)。從你所參與的各種事情來看，你認為自我設限和限制對實際進展的影響有多大？

Sam：

這肯定很重要，但我也認為，有很多人喜歡說，這是唯一的問題，如果我們只能解決許可的問題，我們都會很高興。我不認為問題就這么簡單。

我確實認為，我們需要更多的豐富性，我個人認為，豐富的能源和豐富的智能將是兩個非常重要的因素，但也有許多其他的因素。當我們開始能夠為世界提供大量的聚變能源時，理解要實現(xiàn)這些目標的過程有多么痛苦，至少可以說是令人沮喪。這迫使我們開始考慮我們可以盡快做的各種奇怪的事情，而不是等待所有的許可過程，將這些能源連接到電網上。在某個國家進行海水淡化，只需要他們的核能機構或其他機構的許可，這比連接到電網要容易得多。

我認為這是一個真正的問題，我認為我們社會對解決這個問題的意愿并不強烈，這使得問題變得更糟。但我不認為這是唯一的問題。

Patrick：

如果埃茲拉和德里克采訪你，我猜他們應該會這么做，對于這本書，如果他們問你，你認為什么是限制豐富議程的主要病因，你可能會說是什么？

Sam：

我認為是社會集體信念，我們實際上可以使未來變得更好。最后，我們對這個問題投入的努力，每一個額外的障礙都會使這些事情更不可能發(fā)生。所以你有這樣的情況，創(chuàng)辦一家新公司真的很難，說服人們這是一件好事也很難，特別是現(xiàn)在，人們對此持懷疑態(tài)度。然后你有這樣一個監(jiān)管問題，它需要很多時間，所以也許你甚至不會嘗試去做，然后你知道它會更貴，所以就像在從想法到在世界上大規(guī)模部署的過程中，每一個階段都有太多的阻力和疑慮。我認為這使得人們嘗試的次數(shù)比以前少，或者信念比以前少。

Patrick：

當我們第一次見面，大約是15年前，馬克·扎克伯格在技術行業(yè)中處于領先地位，那時他還在20多歲。不久之前，馬丁·斯瑞森在該行業(yè)處于領先地位，那時他也還在20多歲。再往前，比爾·蓋茨和史蒂夫·喬布斯等人也是如此?？偟膩碚f，在軟件行業(yè)的歷史上，20多歲的年輕人一直都是行業(yè)的頂尖人物之一。

然而，現(xiàn)在似乎并非如此。當然，20多歲的人中有很多優(yōu)秀的人......

Sam：

但我不確定這個問題是否真的很嚴重。是的，情況不好，這是一個真正出了問題的地方。關于這個問題，有很多討論，但是，20多歲的優(yōu)秀創(chuàng)始人都去哪兒了？

這并不是那么明顯。當然，有一些人，我希望我們能看到更多。我希望這只是歷史上的一個奇怪巧合。但也許我們的教育體系、社會或者我們對公司以及人們的期望發(fā)生了重大變化。我認為這是一個值得關注和研究的問題。

Patrick

我想我們已經到了時間。非常感謝你接受這次采訪，也感謝各位，以及Graham的主持。

Sam：

謝謝

本文作者：?天空之城城主，來源：Web3天空之城?，原文標題：《OpenAI Sam Altman對AI的最新思考：5.9 投資人峰會訪談 （全文+視頻）》

風險提示及免責條款 市場有風險，投資需謹慎。本文不構成個人投資建議，也未考慮到個別用戶特殊的投資目標、財務狀況或需要。用戶應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資，責任自負。

關鍵詞：