(資料圖)

華爾街見聞按：

Character.ai是當下AI熱潮里最炙手可熱的創(chuàng)企明星之一。公司主打產品為可定制的AI聊天機器人，面向C端消費者娛樂需求，具備情感陪伴與設定虛構人物的能力。Charater.AI允許用戶自行創(chuàng)建具有特定個性、人設和知識儲備的聊天機器人，例如世界名人、歷史人物、文學影視虛構人物乃至動物，為用戶提供新奇、強帶入感的聊天體驗。

今年年初，Charater.ai完成1.5億美元A輪融資，估值突破10億美元，晉升獨角獸，團隊僅有22人。

4月份，Character.ai首席執(zhí)行官Noam Shazeer、前谷歌大腦團隊成員，接受了播客No Priors的采訪。

核心觀點：

1. 早在2021年，谷歌就已經(jīng)有能力在OpenAI之前搶先推出AI聊天機器人，但卻由于安全方面的顧慮而放棄，大公司畏首畏尾也成了他離開谷歌、選擇創(chuàng)業(yè)的原因。

2. Character最大的優(yōu)勢在于其用戶導向的產品策略。完全可定制的AI聊天機器人成了許多人派遣孤獨的方式，一些用戶甚至表示，Character是他們的新任心理咨詢師。Noam認為，AI在情感支持方面有著巨大的潛力。情感支持工作不需要很高的智力，例如，寵物狗能很好地完成情感支持工作，雖然狗并不聰明，也不會說話，同理，一個參數(shù)有限的AI也能完成這項任務。

3.?數(shù)據(jù)要求往往會隨著算力而指數(shù)級上升，但數(shù)據(jù)并不稀缺，互聯(lián)網(wǎng)能提供幾乎無限的數(shù)據(jù)，Character也在考慮用AI生成更多的數(shù)據(jù)。

4.?Character.ai目前還處在燒錢換規(guī)模階段，商業(yè)模式仍在探索中，未來團隊規(guī)模擴大后考慮開拓TOB業(yè)務。

5.?Noam認為，AGI是很多AI創(chuàng)企的目標。但他創(chuàng)業(yè)的真正原因是想推動技術發(fā)展，用技術攻克難題，如醫(yī)學上的疑難雜癥。他指出，AI能加速許多研究的進程，與其直接研究醫(yī)學，不如研究AI。

以下為播客音頻逐字稿，ELAD與SARAH為節(jié)目主持人，為便于理解，部分段落有刪改。

早年谷歌工作經(jīng)歷，與transformer的誕生

ELAD：

你在NLP和AI方面工作了很長時間。你在谷歌斷斷續(xù)續(xù)工作了17年，在谷歌的面試問題圍繞著拼寫檢查解決方案。當我加入谷歌時，當時用于廣告定位的主要系統(tǒng)之一菲爾集群，我想這是你和喬治·赫瑞克寫的。我想了解一下你在人工智能NLP語言模型方面的工作歷史，這一切是如何演變的，你是如何開始的，是什么激發(fā)了你的興趣？

NOAM：

謝謝ELAD。是的，只是，總是自然而然地被吸引到AI上。希望它能讓電腦做一些聰明的事情。似乎是周圍最有趣的游戲。我很幸運地在早期發(fā)現(xiàn)了谷歌，參與了很多那里的早期項目，也許你現(xiàn)在不會稱之為人工智能。從2012年開始，我加入了谷歌大腦團隊。和一群非常聰明的人，做一些有趣的事情。我以前從未做過深度學習或神經(jīng)網(wǎng)絡。

ELAD：

你是在2017年transformer論文的參與者之一，然后你參與了Mesh-TensorFlow的工作。你能談一下所有這些是如何進行的嗎？

NOAM：

深度學習之所以成功，是因為它真的很適合現(xiàn)代硬件，你有這一代的芯片，在矩陣乘法和其他形式的東西，需要大量的計算相對于通信。因此，基本上深度學習真的起飛了，它的運行速度比其他任何東西都快成千上萬倍。一旦我掌握了這方面的知識，就開始設計那些真正聰明且運行速度快的東西。目前最令人興奮的問題是語言建模。因為有無限量的數(shù)據(jù)，只要刮開網(wǎng)絡，你就能得到所有你想要的訓練數(shù)據(jù)。

問題的定義非常簡單，就是預測下一個詞，胖貓咪坐在上面，下一個是什么。它非常容易定義，如果你能把它做得很好，那么你就能得到你現(xiàn)在看到的一切，而且你可以直接和這個東西對話，它真的是人工智能了。因此，大約在2015年左右，我開始研究語言建模，并與循環(huán)神經(jīng)網(wǎng)絡打交道，這就是當時的偉大之處。然后transformer就出現(xiàn)了。

我無意中聽到隔壁同事聊天，他們想用更好的東西來取代循環(huán)神經(jīng)網(wǎng)絡。我當時想，這聽起來不錯，我想幫忙，循環(huán)神經(jīng)網(wǎng)絡很煩人，這將會更有趣。

ELAD：

你能快速描述一下循環(huán)神經(jīng)網(wǎng)絡和基于transformer或基于注意力的模型之間的區(qū)別嗎？

NOAM：

循環(huán)神經(jīng)網(wǎng)絡是連續(xù)的計算，每一個詞你都會讀到下一個詞，你會根據(jù)你大腦的舊狀態(tài)和下一個詞的內容來計算你當前的大腦狀態(tài)。然后你，你預測下一個詞。因此，你有這個非常長的計算序列，必須按順序執(zhí)行，所以，transformer的神奇之處在于，你可以一次處理整個序列。

對后面的詞的預測取決于前面的詞是什么，但它發(fā)生在一個恒定的步驟中，你可以利用這種并行性，你可以一次看完整個事情，就像現(xiàn)代硬件所擅長的并行性。

現(xiàn)在你可以利用序列的長度，你的并行性，一切都工作得非常好。注意力本身。這有點像你在創(chuàng)建這個大的內存鍵值關聯(lián)，你就像在建立這個大的表格，在序列中的每個詞都有一個條目。然后你就在這個表中尋找東西。這一切都像模糊的、微分的和一個大的、法國的函數(shù)，你可以通過它來進行反推。人們一直在使用這個方法來解決有兩個序列的問題，在那里你有機器翻譯，你就像把英語翻譯成法語，所以當你產生法語序列時，你就像在看英語序列并試圖注意該序列中的正確位置。但這里的洞察力是，你可以用同樣的注意力來回顧你試圖制作的這個序列的過去。美中不足的是，它在GPU和GPU上運行得很好，這與深度學習的發(fā)展是并行的，因為它在現(xiàn)有的硬件上很好。而這也給序列帶來了同樣的東西。

SARAH：

是的，我認為幫助人們想象它的經(jīng)典例子是，用法語和英語說同一個句子，單詞的排序是不同的，你不是在那個序列中一對一的映射，并且要弄清楚如何在沒有信息損失的情況下用并行計算做這個。所以這就像一個非常優(yōu)雅的事情。

ELAD：

似乎該技術也被應用于各種不同的領域。明顯的是這些多模態(tài)的語言模型。所以它是像聊天GPT或你正在做的一個角色。我也對一些應用感到驚訝，比如阿爾法折疊，谷歌所做的蛋白質折疊工作，它實際上是以一種巨大的性能方式工作的。是否有任何應用領域，你發(fā)現(xiàn)相對于transformer的工作方式和相對于它們能做的事情來說，真的是意想不到的？

NOAM：

我只是在語言上低下了頭，就像這里你有一個問題，可以做任何事情。我希望這個東西足夠好。所以我就問它，你怎么治好癌癥？然后它就像發(fā)明了一個解決方案。所以，我一直完全忽略了大家在所有這些其他模式下所做的事情，我認為很多深度學習的早期成功都是在圖像方面，人們對圖像都很興奮，但卻完全忽略了它。因為，一張圖片勝過千言萬語，但它有一百萬個像素，所以文字的密度是它的一千倍。所以，我是一個大的文字粉絲。但是，看到它在所有這些其他方式中起飛，非常令人興奮。這些東西是偉大的。它對建立人們想要使用的產品超級有用，但我認為很多核心的智能將來自這些文本模型。

大模型的局限性：算力不是問題，數(shù)據(jù)也不是

ELAD：

你認為這些模型的局限性在哪里？人們經(jīng)常談論的只是規(guī)模，就像你只是扔了更多的算力，這個東西將進一步擴展。有數(shù)據(jù)和不同類型的數(shù)據(jù)，可能有也可能沒有。還有算法上的調整，還有添加新的東西，如內存或回環(huán)或類似的東西。你認為什么是人們仍然需要建立的大事情，你認為作為一個架構，它在哪里被挖掘出來？

NOAM：

是的，我不知道它是否會被淘汰。我的意思是，我們還沒有看到它退出來。與進入它的工作量相比，可能不算什么。因此，很可能會有各種像兩個低效率的因素，人們會通過更好的訓練算法、更好的模型架構、更好的構建芯片和使用量化的方法以及像所有這些來獲得。然后會有10個、100個和1000個的因素，就像擴展和金錢一樣，人們會扔到這個東西上，因為嘿，每個人都剛剛意識到這個東西是非常有價值的。同時，我認為沒有人看到這東西有多好的一面墻。所以我認為它只是，它只是會繼續(xù)變得更好。我沒有，我不知道是什么阻止了它。

SARAH：

你怎么看這種想法，我們可以增加算力，但最大的模型訓練數(shù)據(jù)不夠。我們已經(jīng)使用了互聯(lián)網(wǎng)上所有容易獲得的文本數(shù)據(jù)。我們必須去提高質量，我們必須去做人類反饋。你是怎么想的。

NOAM：

100億人，每個人產出一千或者一萬個單詞，就是天量級的數(shù)據(jù)。大家都會做很多與人工智能系統(tǒng)的對話。所以我，我有一種感覺，很多數(shù)據(jù)將進入一些人工智能系統(tǒng)，我的意思是以保護隱私的方式，我希望可以去的這些數(shù)據(jù)。然后，數(shù)據(jù)要求往往會隨著算力而指數(shù)級上升，因為你要訓練一個更大的模型，然后你要向它扔更多的數(shù)據(jù)。我并不擔心缺少數(shù)據(jù)，我們也許可以用AI生成更多的數(shù)據(jù)。

ELAD：

然后你認為這些模型今后要解決的主要問題是什么？是幻覺，是記憶，還是別的什么？

NOAM：

我不知道。我有點喜歡幻覺。

SARAH：

這也是一個特點。

NOAM：

我們最想做的是記憶，因為我們的用戶肯定希望他們的虛擬朋友能記住他們。你可以在個性化方面做很多事情，你想傾倒大量的數(shù)據(jù)并有效地使用它。在試圖弄清什么是真實的，什么是幻覺方面，有大量的工作正在進行。當然，我認為我們會解決這個問題。

Character.ai的創(chuàng)業(yè)故事

ELAD：

談一談 LaMDA和你在其中的角色，你是怎么想到創(chuàng)辦Character的？

NOAM：

我的聯(lián)合創(chuàng)始人丹尼爾·弗雷塔斯，是我見過最勤奮、最努力、最聰明的人。他一生都在做這個建立聊天機器人的任務。從他還是個孩子的時候，他就一直在嘗試建立聊天機器人。所以他加入了谷歌大腦。他讀了一些論文，并認為這種神經(jīng)語言模型技術是一些可以真正普及和建立真正開放領域的東西。

雖然他并沒有得到很多人的支持，所以只把這個項目當成副業(yè)，在上面花20%的時間。

然后他就招募了一支由20%的助手組成的軍隊，他們幫助他建立系統(tǒng)。

他甚至到處去搶別人的TPU配額，他把他的項目稱為米娜，因為他喜歡，我猜是在夢中想到的。在某個時候我看著記分牌，想這是什么東西叫米娜，為什么它有30個TPU積分？

ELAD：

LaMDA是這樣的，我知道它是谷歌在GPT之前就做出來的內部聊天機器人。這條新聞很有名，因為一位工程師認為它有智慧。

NOAM：

是的，我們把它放在一些大語言模型上，然后在公司內部轟動一時，米娜被重新命名為LaMDA，那時候，我們已經(jīng)離開了，有人相信它有生命。

SARAH：

后來為什么沒有發(fā)布，有些什么擔憂？

NOAM：

對大公司來說，推出一個知無不言的產品有點兒危險。我猜這只是一個風險的問題。所以，想來想去，創(chuàng)業(yè)似乎是個正確的想法。

SARAH：

Character的起源故事是什么樣的？

NOAM：

我們只是想打造一個東西，并且把它盡快推向市場。我組建了一個由工程師、研究人員組成的朋克團隊，得到了一些算力，然后就開始創(chuàng)業(yè)了。

ELAD：

你是怎么做招聘的？

NOAM：

我們在谷歌認識的一些人碰巧被介紹給以前來自Meta的Myat，他推出了很多，以及建立了很多他們的大型語言模型的東西和他們的神經(jīng)語言模型基礎設施，其他一些Meta的人跟著他，他們很不錯。

ELAD：

你們在尋找人才時是否有具體的要求或測試方式？還是只是常規(guī)的面試方式？

NOAM

我覺得很大程度上是看動力的。我認為丹尼爾非?？粗貏恿Γ麑ふ业氖且环N介于強烈渴望和童年夢想之間的狀態(tài)，所以有很多優(yōu)秀的人我們沒有聘用，因為他們沒有達到那個程度，但我們也聘用了許多人，他們非常適合加入一家初創(chuàng)公司，他們非常有才華和動力。

市面上已經(jīng)有了Siri和Alexa，別在功能性上和大公司硬碰硬

SARAH：

說到童年的夢想，你想描述一下這個產品嗎？你有這些機器人，它們可以是用戶創(chuàng)建的，也可以是角色創(chuàng)建的，可以是公眾人物，歷史人物，虛構的人物，你怎么想到這個模式的？

NOAM：

用戶往往比你更清楚，他們想用這個東西做什么。市面上已經(jīng)有了Siri和Alexa和谷歌助手，不需要在功能性上和這些大公司競爭。

如果你試圖呈現(xiàn)一個大家都喜歡的公眾角色，最終產出的只有無聊。而人們不喜歡無聊，大家想與感覺像人的東西互動。

因此，基本上你需要去做多個角色，讓人們隨心所欲地發(fā)明角色，而且有點我喜歡Character這個名字，它有幾個不同的含義：文字、性格、角色。

SARAH：

那么，人們想要什么？一個朋友？寫小說？其他全新的事情嗎？

NOAM：

有一些用戶會在我們的產品上和虛擬公眾人物、網(wǎng)紅交談。用戶可以自己創(chuàng)造一個角色，然后和它交談。有一些用戶可能覺得孤獨，需要和人傾訴，很多人都沒有人可以傾訴。有些人會說，這個角色現(xiàn)在是我的新任心理咨詢師。

SARAH：

思考情感的兩種方式，對嗎？比如人們與角色的關系，或者像我們在表達連貫的情感時處于什么水平，這有多重要？

NOAM：

是的，我的意思是可能你不需要那么高端的智力水平來做情感支持。情感是偉大的，也是超級重要的，但一只狗也可以把情感支持做得很好。狗能提供偉大的情感支持，但幾乎沒有語言能力，

ELAD：

你認為當你擴大規(guī)模時，系統(tǒng)會發(fā)生什么變化？

NOAM：

我認為我們應該能夠以各種方式使它更聰明。獲得更多的算力，訓練一個更大的模型，并訓練更長時間，應該變得更聰明，更有知識，更好地適應什么，人們想要什么，人們正在尋找什么。

SARAH：

你有一些用戶每天都要使用Character很多小時。你的目標受眾是哪些人？你期望的使用模式是什么。

NOAM：

我們要把這個問題留給用戶來決定。我們的目標一直是，把東西拿出來，讓用戶決定他們認為它有什么用。

我們看到今天在Character網(wǎng)站上的人，平均活躍時長為兩個小時。這是今天發(fā)送消息的人，這很瘋狂但意義重大，它說明人們正在發(fā)現(xiàn)某種價值。

然后正如我所說的，真的很難準確地說這種價值是什么，因為它真的像一個大的混合的東西。但我們的目標是讓這個東西對人們更有用，讓人們定制它，決定他們想用它做什么。讓我們把它拿到用戶手中，看看會發(fā)生什么。

正在燒錢換規(guī)模 TOC是第一優(yōu)先事項

SARAH：

你是如何考慮商業(yè)化的？

NOAM：

我們會在每個用戶身上賠錢，然后用數(shù)量來彌補。

SARAH：

好。這是很好的策略。

NOAM：

不，我是在開玩笑。

ELAD：

像傳統(tǒng)的，1990年代的商業(yè)模式，所以這很好。

SARAH：

這也是一種2022年的商業(yè)模式。

ELAD：

你應該發(fā)行一個代幣，然后把它變成一個加密貨幣的東西。

NOAM：

我們很快就會在某個時間點實現(xiàn)貨幣化。這是一門受益于大量算力的生意。而不是燃燒投資者的錢，我們希望能給足夠多的用戶提供價值，順便賺錢。后面可能會嘗試一些類似高級訂閱類型的服務。隨著我們開發(fā)一些新功能，后面的收費可能會漲價。

ELAD：

我的意思是，Character作為一項TOC服務，真的以一種非常引人注目的方式起飛了。如果你看一下用戶的數(shù)量和每個用戶的使用時間，這是很瘋狂的。后面會不會走上TOB業(yè)務？比如客戶服務機器人？

NOAM：

現(xiàn)在我們有22名員工，所以我們需要確定優(yōu)先次序，我們正在招聘。第一優(yōu)先事項是TOC。

SARAH：

所以你說LaMDA當時沒有立刻推出的一個關鍵原因是安全。你們是怎么想的？

NOAM：

還有其他原因。比如，谷歌不想讓人們傷害自己或傷害其他人，還需要阻止色情內容。圍繞這一點，已經(jīng)有一些抗議了。

ELAD：

你認為這一切是通往AGI或超級智能的道路嗎？對于一些公司來說，這似乎是目標的一部分，而對于一些公司來說，這似乎不是明確的目標。

NOAM：

是的，AGI是很多AI創(chuàng)企的目標。真正的原因是我想推動技術發(fā)展。世界上有那么多的技術問題可以解決，比如醫(yī)學上的疑難雜癥。我們可以想出技術解決方案。

這就是為什么我一直在研究人工智能，因為與其直接研究醫(yī)學，不如研究人工智能，然后人工智能可以被用來加速其他研究工作。所以基本上這就是為什么我在人工智能方面如此努力工作，我想創(chuàng)辦一個既是AGI第一又是產品第一的公司。

你的產品完全取決于AI的質量。我們產品的質量的最大決定因素是這個東西會有多聰明。因此，現(xiàn)在我們就像有充分的動力，使人工智能更好，使產品更好。

ELAD：

是的，這是一種非常好的購買-反饋循環(huán)，因為就你的觀點而言，當你使產品變得更好時，更多的人與它互動，這有助于使它成為更好的產品。所以這是一個非常聰明的方法。你認為我們離與人一樣聰明或比人更聰明的人工智能還有多遠？顯然，它們在某些方面已經(jīng)比人更聰明了，但我只是在想一些類似的東西。

NOAM：

我們總是對人工智能在哪些方面比人強感到驚訝。有些AI現(xiàn)在可以為你做家庭作業(yè)。我希望我小時候也有這種東西。

ELAD：

你會給那些和你有類似背景的人提供什么建議？比如你作為創(chuàng)始人學到的東西，有哪些是你在谷歌或其他地方工作時不一定學到的？

NOAM：

好問題?；旧希銜目膳碌腻e誤中學習。雖然我不覺得我們有犯過非常非常糟糕的錯誤，或者至少我們已經(jīng)彌補了。

SARAH：

你在尋找什么樣的人才？

NOAM：

到目前為止？22人中有21人是工程師。我們還會雇傭更多的工程師。無論是深度學習還是前端和后端，一定要在業(yè)務和產品方面雇用更多的人。

ELAD：

最后兩到三個快速的問題，你最喜歡的數(shù)學家或計算機科學家是誰。

NOAM：

我在谷歌經(jīng)常和Jeff Dean（谷歌大腦負責人）一起工作。他真的很好，工作起來很有趣。我想他現(xiàn)在正在研究他們的大型語言模型。這是離開谷歌的一點遺憾，希望將來能和他合作。

ELAD：

你認為數(shù)學是發(fā)明的還是發(fā)現(xiàn)的？

NOAM：

我想也許是被發(fā)現(xiàn)的，也許所有的東西都被發(fā)現(xiàn)了，我們只是在發(fā)現(xiàn)。

風險提示及免責條款 市場有風險，投資需謹慎。本文不構成個人投資建議，也未考慮到個別用戶特殊的投資目標、財務狀況或需要。用戶應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據(jù)此投資，責任自負。

關鍵詞：