人工智能開啟狂飆進(jìn)化路，見智研究（公眾號(hào)：見智研究Pro）特邀中信證券研究部高級(jí)副總裁【丁奇】一起來聊聊人工智能GPT4的最新進(jìn)展，并將核心內(nèi)容整理如下：

摘要：

1、多模態(tài)帶來成本的提升是非常正常的。

(資料圖片僅供參考)

2、科技越往后成本會(huì)越低。從長(zhǎng)遠(yuǎn)來看，OpenAI 的邊際成本將無限趨近于 0 。?

3、人機(jī)交互界面的改變是GPT3.5開始被產(chǎn)業(yè)界重視的原因

4、多模態(tài)4.0的本質(zhì)：所有的文字，語音，圖像，視頻都可以抽象成一組向量。GPT本質(zhì)上就是一個(gè)向量的輸入，通過它的相關(guān)性輸出另一組向量，從而轉(zhuǎn)換成圖像、語音或者視頻，本質(zhì)上是一樣的，不同的是所消耗的算力資源。

5、現(xiàn)在其實(shí)有兩個(gè)革命，一個(gè)是能源革命，基于鋰電池，從過去的化石能源到我們的現(xiàn)在的鋰電能源。另一個(gè)革命就是以ChatGPT為代表的 AGI通用人工智能，未來在有了更靈敏的機(jī)械反饋后，機(jī)器人就是最大的一個(gè)應(yīng)用場(chǎng)景，但數(shù)字人一定會(huì)比機(jī)器人更先應(yīng)用。

6、 AI演繹路徑：肯定是先軟件后硬件，先云端，后端，最后是邊端。

正文

丁奇：微軟將GPT4嵌入Bing、Office全家桶這是一次天作之合。GPT4的核心就是多模態(tài)，能夠生成文字、圖像和視頻，這對(duì)搜索引擎和辦公有非常大的促進(jìn)作用，像搜索引擎的核心需要的不僅是鏈接，而是答案， GPT4就可以直接生成我們想要的具體關(guān)于某個(gè)問題的答案。

我們平時(shí)一般通過辦公軟件、PPT、Word、Excel來生成內(nèi)容，現(xiàn)在GPT成了非常強(qiáng)大的助手，比如一鍵生成PPT，極大促進(jìn)了辦公效率。所以我們認(rèn)為微軟和OpenAI合作必將對(duì)生產(chǎn)內(nèi)容帶來革命性的變化，也希望國(guó)內(nèi)相關(guān)辦公軟件盡快推出相關(guān)的功能，讓人享受到辦公的便利。

見智研究：如何看待GPT4 的運(yùn)行成本？

丁奇：首先GPT4現(xiàn)在并沒有公開論文說參數(shù)到底是多少，不過360董事長(zhǎng)周鴻祎先生根據(jù)GPT4的效果做了一個(gè)預(yù)估，可能是萬億量級(jí)的參數(shù)。不過這點(diǎn)對(duì)于成本來講還沒有那么重要。

另外，過去的計(jì)價(jià)和現(xiàn)在的計(jì)價(jià)，都是基于token，現(xiàn)在的單位計(jì)價(jià)貴了30倍左右（過去是1000個(gè)token0.002美元，現(xiàn)在是0.06美元）。為什么會(huì)更貴了？因?yàn)閠oken的計(jì)價(jià)方式不同。通用計(jì)價(jià)方式是你看輸入的參數(shù)，現(xiàn)在輸入同樣詞更貴了，因?yàn)椴荒芄饪摧斎攵说某杀?，還要看輸出端的成本。過去的輸入和輸出都是文字，所以成本是比較低的。而GPT 4.0輸出完全可能是圖片，甚至以后是視頻，輸出量是大幅增加的，所以多模態(tài)帶來成本的提升是非常正常的。

見智研究：GPT 3.5 Turbo為什么能做到參數(shù)量更多，但是價(jià)格反而更低？

丁奇：3.5相比3.0，核心參數(shù)在調(diào)優(yōu)后是有所下降的。成本可以分為兩塊，一塊是訓(xùn)練成本，一塊是推理成本。從3.0之后，模型是做好了一個(gè)大概的訓(xùn)練，很多成本是有所攤銷的，到了3.5之后，大家攤的更多的是推理成本。

科技就是這樣的，在一開始的時(shí)候肯定是貴的，因?yàn)樗写罅康难邪l(fā)投入、大量的基礎(chǔ)設(shè)施投入。當(dāng)然越往后它會(huì)越便宜，因?yàn)橛玫娜嗽蕉啵杀疽矔?huì)分?jǐn)偟脑蕉唷?/strong>

所以O(shè)penAI 說，從長(zhǎng)遠(yuǎn)來看，它的邊際成本是無限趨近于 0 的。其實(shí)就像我們現(xiàn)在的搜索引擎一樣，現(xiàn)在點(diǎn)一次搜索成本是極其低的。只不過 4. 0相比過去的 3. 5生成的內(nèi)容不一樣，圖像、視頻對(duì)網(wǎng)絡(luò)帶寬、計(jì)算量消耗很大，所以短期成本也會(huì)提升。

見智研究：GPT4發(fā)布后，如何看待之前版本的價(jià)值量？GPT1、2、3、3.5到4代大模型的演進(jìn)變化是怎樣的？

丁奇：1. 0 是 2018 年出的， 2. 0 是 2019 年出的，但是其實(shí)在產(chǎn)業(yè)界沒有激起太大的水花，都是 transformer往 NLP（自然語言理解）上的嘗試。過去在NLP上大家體驗(yàn)效果其實(shí)不太好的，比如語音的轉(zhuǎn)寫，翻譯效果其實(shí)是不太盡如人意的。

過去的人工智能，它的主要算法是基于CNN， RNN， LSTM這三種。它在模仿人的神經(jīng)元，認(rèn)為信號(hào)是從一個(gè)神經(jīng)元傳遞到另一個(gè)神經(jīng)元的，也就是從一個(gè)單詞找到相鄰單詞之間的相關(guān)性。這種方法在圖像上特別有效，因?yàn)閺膱D像上來講，相鄰的顏色，紋理都會(huì)很相似，也誕生出了人工智能的CV領(lǐng)域。

但是像語音、文字就不一定是相鄰相關(guān)的，需要結(jié)合上下文的語境，甚至在前幾章就可能埋了伏筆，需要對(duì)上下文要有一個(gè)完整的記憶和解讀。關(guān)鍵就是如何讓機(jī)器能夠?qū)崿F(xiàn)語境理解。

Transformer 架構(gòu)提供了一個(gè)非常好的思路。既然我們生活中的理解、智慧、經(jīng)驗(yàn)跟很多東西都相關(guān)。那就把參數(shù)組擴(kuò)大，一直擴(kuò)大到十億或者是幾十億的范圍。這樣就能從各種各樣的訓(xùn)練數(shù)據(jù)里找到更多的相關(guān)性。

之前Transformer 架構(gòu)沒表現(xiàn)出厲害的特質(zhì)，本質(zhì)上只是做一個(gè)統(tǒng)計(jì)相關(guān)。當(dāng)它只有 1. 17 億參數(shù)的時(shí)候，也就是GPT1.0，大家也沒有覺得多了不起。到 GPT2. 0 的時(shí)候，大概 15?億的參數(shù)，大家也覺得好像也沒有什么特別大的突破。GPT3.0 到 3. 5，大家就發(fā)現(xiàn)發(fā)生了本質(zhì)的變化。當(dāng)它的容量擴(kuò)到上千億參數(shù)的時(shí)候，可以想象關(guān)聯(lián)了多少知識(shí)在里面，這個(gè)時(shí)候它的準(zhǔn)確率就有一個(gè)飛躍。所以直到GPT3.0 和 3. 5 問世才被產(chǎn)業(yè)界真正開始重視起來。

3.5 跟 3. 0 的根本區(qū)別在于改變了人機(jī)交互的界面，這是非常大的一個(gè)突破。InstructGPT能夠更好的將語言模型和人類的意圖、偏好進(jìn)行匹配，并且在反饋的機(jī)制上進(jìn)行微調(diào)。而 4. 0的本質(zhì)就是多模態(tài)了。

見智研究：多模態(tài)是如何實(shí)現(xiàn)的？

丁奇：無論中文還是英文，常用詞也就上萬個(gè)詞，完全可以用矩陣做一個(gè)編碼。圖像其實(shí)是由像素點(diǎn)形成，每一個(gè)像素點(diǎn)是由三種顏色涂在一塊，是三個(gè)數(shù)字的小矩陣，把若干個(gè)矩陣連在一起，就會(huì)形成一個(gè)大矩陣。圖像本質(zhì)上就是這樣的。

每一個(gè)語音就是一個(gè)正弦波，對(duì)它抽樣，它也變成一組數(shù)字視頻，其實(shí)就是一張圖像把它疊起來，所以本質(zhì)上所有的文字，語音，圖像，視頻都可以抽象成一組向量。GPT本質(zhì)上就是一個(gè)向量的輸入，通過它的相關(guān)性輸出另一組向量，向量轉(zhuǎn)換成圖像、語音或者視頻，本質(zhì)上是一樣的，不同的是所消耗的算力資源。所以為什么能實(shí)現(xiàn)多模態(tài)？因?yàn)楸举|(zhì)上都變成了一組矩陣，所有的東西都可以抽象成一組矩陣，這是能變成多模態(tài)的底層原因。

其實(shí)我們做Transformer 也好，做這GPT也好，根本目的是想使用一個(gè)通用人工智能( AGI)做到在不同的情境下都能用。過去都是專用人工智能，比如專門做人臉識(shí)別的，專門做車牌識(shí)別的，或者專門做工業(yè)檢測(cè)的，都是在某些專業(yè)領(lǐng)域的。人機(jī)交互一定是多模態(tài)的，這也是為什么 4. 0能夠讓業(yè)界感到歡心鼓舞，這是意味著我們離 AGI 更近了一步。

見智研究：GPT4應(yīng)用具有怎樣的想象力？

丁奇：搜索一定是落地的第一個(gè)場(chǎng)景，比如New Bing最先接入;其次就是辦公軟件，比如office365；電子郵件、視頻會(huì)議也是生成內(nèi)容類的場(chǎng)景。此外，像服務(wù)機(jī)器人、智能客服也是非常好的應(yīng)用領(lǐng)域。

現(xiàn)在其實(shí)有兩個(gè)革命，一個(gè)是能源革命，基于鋰電池，從過去的化石能源到我們的現(xiàn)在的鋰電能源。另一個(gè)革命就是以ChatGPT為代表的 AGI通用人工智能，未來在有了更靈敏的機(jī)械反饋后，機(jī)器人就是最大的一個(gè)應(yīng)用場(chǎng)景。

數(shù)字人一定會(huì)比機(jī)器人更先應(yīng)用。因?yàn)闄C(jī)器人受掣肘的地方比較多，包括續(xù)航、關(guān)節(jié)自由度等等，落地的困難要大很多。如果是數(shù)字世界里面的一個(gè)數(shù)字人，它的到來可能就會(huì)快很多，比如主持人、直播帶貨、數(shù)字明星等等。

此外，對(duì)游戲行業(yè)的影響也很大，特別是能夠直接大幅降低游戲的開發(fā)成本。用AI畫圖能夠極大提高游戲創(chuàng)意師的工作效率。

未來AI機(jī)器能夠替代很多簡(jiǎn)單的工作，所以人的創(chuàng)意，人的思想就變得特別重要。所以我們覺得對(duì)于內(nèi)容創(chuàng)意者會(huì)帶來特別大的需求提升。

見智研究：AI 產(chǎn)業(yè)是硬件迭代的速度更快，還是應(yīng)用側(cè)發(fā)展會(huì)更快？

丁奇：我覺得要分兩個(gè)階段，初期一定是應(yīng)用會(huì)更快，現(xiàn)在海外有很多的企業(yè)都接入了API 接口。國(guó)內(nèi)也有百度的文心一言，后面也會(huì)開放API 接入很多的應(yīng)用。

現(xiàn)在看起來國(guó)內(nèi)和海外的發(fā)展路徑非常類似，有一兩個(gè)企業(yè)做出一些通用的大模型，接入API后向上層的應(yīng)用軟件進(jìn)行拓展，就可以極大提升效率。Office365 就是一個(gè)很典型的代表。

硬件的迭代要取決于幾個(gè)條件。云端的硬件就是以GPU 服務(wù)器為代表， 國(guó)內(nèi)相比英偉達(dá)還是有一定差距的，不是短期之內(nèi)能夠迅速追上的。而云端，我們相信以后在端側(cè)也會(huì)有一些智能硬件，這些端側(cè)硬件現(xiàn)在的計(jì)算能力、內(nèi)存能力，肯定是難以支持千億參數(shù)的大模型。

而一些應(yīng)用變得智能，也需要對(duì)大模型去做剪枝。可能對(duì)參數(shù)范圍進(jìn)行圈定，在特定領(lǐng)域有特定應(yīng)用，從一個(gè)大模型變成一個(gè)專用領(lǐng)域的特定模型，使得一些邊緣側(cè)的智能硬件也可以用。

我們認(rèn)為首先起來的是云端的軟件，以一種 SaaS 化的方式給大家提供。其次就是云端的硬件，因?yàn)樵贫说挠布趺慈プ?，其?shí)已經(jīng)有標(biāo)桿在那里了，只是大家要踏踏實(shí)實(shí)地基于路徑去做。

后面才是端側(cè)怎么做，現(xiàn)在 open AI 也沒有答案，大家現(xiàn)在的精力也不在這上面，但我們相信未來的這些硬件一定會(huì)被智能化的，所以路徑肯定是先軟件后硬件，尤其是先云端，到后端，最后是邊端。