特邀國盛證券所長助理、計算機(jī)首席分析師【劉高暢】帶來最新的觀點。

1、產(chǎn)業(yè)變革看什么：巨大的潛在空間和顛覆性，落地速度快不是核心，空間大更關(guān)鍵。

2、DeepSpeed Chat的優(yōu)勢是效率和經(jīng)濟(jì)性比較好，它的效率比其他系統(tǒng)快15倍以上，且具有出色的擴(kuò)展性支持，可以應(yīng)用于各種模型。

(相關(guān)資料圖)

3、Deep Speed-Chat應(yīng)用的三種方式：

第一種方式是通過 Fine-tune微調(diào)這種方式來進(jìn)行行業(yè)化，和know-how的融合；

第二種方式是通過 plugin 接入到其他應(yīng)用程序中，調(diào)用接口并使用其他工具；

第三種方式則是通過多模態(tài)的方式，使用的輸入輸出信號除了文字，還包括圖像、視頻輸出信號以及機(jī)器人指令。

4、在應(yīng)用的爆發(fā)后，推理側(cè)的算力需求才是真正的爆發(fā)。使用量越大，對算力的需求就越高。

正文：

1999年整個互聯(lián)網(wǎng)行業(yè)的發(fā)展特點：巨大的潛在空間和顛覆性

在之前的幾次關(guān)于整個 AI 時代的分享中，我們在去年底所有的行業(yè)策略中強(qiáng)調(diào)了 AI 這一重要方向。然而，事實證明 AI 的演變速度和擴(kuò)散程度超出了我們的預(yù)期。與去年年底我們撰寫年度策略時相比，AI 在這幾個月的演進(jìn)中得到了質(zhì)的提升。因此，我們將其作為幾個主線中最核心的方向之一。

以前我們列出了三個并列的主線，但現(xiàn)在我們認(rèn)為 AI 是首選的主線。市場和產(chǎn)業(yè)發(fā)生了許多變化，主持人剛才也提到了 "AutoGPT" 和 "DeepSpeed chat"。市場有許多相關(guān)認(rèn)知和領(lǐng)域方面的錯誤理解，我們今天分享的重點是這個行業(yè)的最新更新，幫助大家理清思路。

從行業(yè)中期的角度來看，我們之前撰寫了一份有趣的報告，分析了 1999 年互聯(lián)網(wǎng)市場。我們認(rèn)為，從產(chǎn)業(yè)的角度出發(fā)，我們應(yīng)該淡化對投資本身的理解，那么這些年唯一可比的科技周期就是 1999 年。因此，我們回顧了當(dāng)時的互聯(lián)網(wǎng)行情，并發(fā)現(xiàn)它們有幾個特點。

它們都是巨大的行業(yè)變革，同時處于產(chǎn)業(yè)的早期階段，因此很難看到營收和盈利的變化。在早期階段，甚至產(chǎn)品形態(tài)、商業(yè)模式和競爭格局都不是很明確。然而，它們最可比的特點是具有巨大的潛在空間和顛覆性。

當(dāng)我們回顧1999年整個互聯(lián)網(wǎng)行業(yè)的市場表現(xiàn)時，發(fā)現(xiàn)它的持續(xù)時間遠(yuǎn)比大家預(yù)期的要長。這一行情從1998年7、8月開始，一直持續(xù)到2000年年底。在這一過程中，出現(xiàn)了許多倍數(shù)增長的牛股，股票的漲幅多達(dá)8倍、10倍或者15倍，甚至更多。

因此，在大型科技行業(yè)的早期，整個產(chǎn)業(yè)積極地?fù)肀Я诉@種新技術(shù)的變革，全社會也響應(yīng)積極。市場也會給予這種可能性極強(qiáng)的獎勵。這一輪人工智能的發(fā)展，與當(dāng)時的情況非常相似。巨大的技術(shù)變革和極大的社會影響力，它的影響不僅限于計算機(jī)行業(yè)的400家公司，也不僅限于A股的4000家公司，它影響的是全體民眾的生活和工作，以及整個社會形態(tài)。它有可能極大地提升社會生產(chǎn)力，為我們民眾帶來巨大的便利性。但同時，它也具有極強(qiáng)的顛覆效應(yīng)。因此，某些行業(yè)可能會受到影響，整個形態(tài)也可能會發(fā)生較大的變化。

DeepSpeed Chat的優(yōu)勢和應(yīng)用

近期的 DeepSpeed Chat很多公眾號報道時寫得非常夸張，稱其為“全民大模型”，好像這樣的大模型開始變得不值錢了，但事實上，DeepSpeed Chat并不是一個訓(xùn)練預(yù)訓(xùn)練大模型的工具，它更多的是在預(yù)訓(xùn)練好的大模型的基礎(chǔ)上進(jìn)行強(qiáng)化學(xué)習(xí)調(diào)優(yōu)，也就是所謂的Fine-tune或微調(diào)方式。雖然絕大多數(shù)大模型具有非常強(qiáng)的通用性，但在具體細(xì)分領(lǐng)域可能無法提供足夠的準(zhǔn)確性。

例如，如果將 ChatGPT在3.5階段的模型用于醫(yī)療診斷，準(zhǔn)確率可能只有 87%。因此，我們需要使用行業(yè)化、專業(yè)的數(shù)據(jù)和知識，以及know-how來訓(xùn)練模型，使其成為一個準(zhǔn)確性更高的醫(yī)生。

在這個過程中，F(xiàn)ine-tune需要特定領(lǐng)域的數(shù)據(jù)，以及一定模型的基礎(chǔ)，在傳統(tǒng)原有模型的基礎(chǔ)上，再來訓(xùn)練提高準(zhǔn)確性。這種過程類似于強(qiáng)化學(xué)習(xí)， Deep Speed-Chat 主要加速的就是這個環(huán)節(jié)。該引擎具有三個主要優(yōu)點：

第一個優(yōu)勢是效率和經(jīng)濟(jì)性比較好，它的效率比其他系統(tǒng)快15倍以上。它相對高效地利用了GPU，不像其他方式可能只能利用GPU的10％或甚至5％性能。

第二個優(yōu)勢是它具有出色的擴(kuò)展性支持，可以應(yīng)用于各種模型，不僅僅是像Hugging Face的Bloom這樣的模型，還包括像openAI的ChatGPT，GPT-3還有各類的GPT3模型。它一天之內(nèi)的訓(xùn)練速度也很快，可以對一個龐大的175B模型進(jìn)行Fine-tune。并且它的算力消耗也很親民，只需要一個GPU就可以支持超過130億個參數(shù)的模型。

Deep Speed-Chat會帶來非常明確的影響，應(yīng)用主要通過三種方式：

第一種方式是通過 Fine-tune微調(diào)這種方式來進(jìn)行行業(yè)化，和know-how的融合；

第二種方式是通過 plugin 接入到其他應(yīng)用程序中，調(diào)用接口并使用其他工具；

第三種方式則是通過多模態(tài)的方式，使用的輸入輸出信號除了文字，還包括圖像、視頻輸出信號以及機(jī)器人指令。通過使用 DeepSpeed Chat，也可以降低某些工程難度，使中小型應(yīng)用程序制造商能更輕松地將 ChatGPT 用于各種應(yīng)用程序，如醫(yī)生、老師、金融分析師等，并且可以用于其他方案。

因此，整個 ChatGPT 的可能性擴(kuò)張速度將會加快，這種完整的開發(fā)工具對應(yīng)用的成型有非常強(qiáng)的幫助。

另外一點容易被誤解的是，使用DeepSpeed Chat后，訓(xùn)練時需要的大量算力就會縮減，但事實上，這種觀點是有偏差的。正如我們之前所提到的，在整個訓(xùn)練過程中，包括預(yù)訓(xùn)練階段和強(qiáng)化學(xué)習(xí)階段，還有很多InstructGPT 的過程，這是一個教育和指導(dǎo)的過程，就像我們教小孩子一樣，我們會指導(dǎo)他們遵循正確的指令和提升道德水平。預(yù)訓(xùn)練階段，包括編寫代碼的階段更多地提高了它的邏輯水平。

相比于預(yù)訓(xùn)練階段，強(qiáng)化學(xué)習(xí)在整個訓(xùn)練過程中所需的計算資源占比非常小，如果僅僅是強(qiáng)化學(xué)習(xí)的話，它可能只占整個訓(xùn)練過程的千分之一以下。

但結(jié)合一些其他的 Fine-tune，可能需求會多一些。但總體而言，在整個訓(xùn)練過程中，它的占比會非常少。

另一個知識點是，在強(qiáng)化學(xué)習(xí)中訓(xùn)練的占比已經(jīng)足夠小了。在整個模型的訓(xùn)練和推理過程中，我們認(rèn)為在應(yīng)用的爆發(fā)后，推理側(cè)的算力需求才是真正的爆發(fā)。使用量越大，對算力的需求就越高。

相對于訓(xùn)練端，這種需求可能是5倍、10倍，甚至更高。因此，需要多少算力取決于應(yīng)用。DeepSpeed Chat加速了各種應(yīng)用的落地，因此我們認(rèn)為中期算力需求有望迎來一個極大的爆發(fā)。

AutoGPT是什么

很多人關(guān)注AutoGPT。AutoGPT是一種自主反饋和改進(jìn)的行為。初始時，它有許多身份設(shè)定和目標(biāo)存在。該產(chǎn)品展示了整個流程，并提供了一些演示和連接，比如你可以輸入AI名稱和角色來定位身份。在此輸入的AI是為了自動發(fā)展和實現(xiàn)商業(yè)目標(biāo)，如增加凈值。

所以交易中的 GPT是指定增加凈值的，設(shè)定五個目標(biāo)是為了完成任務(wù)。GPT 開始產(chǎn)生邏輯鏈以實現(xiàn)這些目標(biāo)，給出理由并制定計劃。完成目標(biāo)的計劃通過反思和下一步操作來實現(xiàn)。這個過程循環(huán)不停以達(dá)到目標(biāo)。

在這個例子中，展示了一個 Chef GPT，即廚師的 GPT。它的設(shè)計初衷是通過瀏覽網(wǎng)頁和觀察事件來創(chuàng)造一個獨特的菜單，這個菜單能夠與特定的主題相匹配。它的一個目標(biāo)就是發(fā)明一個不在菜單中的菜譜，然后將其保存下來以適應(yīng)這個特定事件。在完成這個目標(biāo)前，它會不斷推導(dǎo)和搜索相關(guān)的新聞和事件，以形成新的菜單。如果沒有形成菜單，它會將其跳過并繼續(xù)搜索，這個過程中會有不斷的思考。
AutoGPT就是這樣的一個過程，它把 GPT融合起來，形成了一個能夠自我反饋、自我思考，不斷去演繹邏輯的方案。等于把一個簡單的指令和目標(biāo)指出來后，讓它發(fā)散，然后讓它去審視之后的結(jié)果。

所以 AutoGPT是一個很有意思的產(chǎn)品，它的應(yīng)用空間也比較大，給一個簡單的指令，就可以不斷的去擴(kuò)展、去融合，所以想象空間就比較大。這里強(qiáng)調(diào)一下，微軟 Copilot 大家也看得比較多了，SAM也是大家最近看的比較多的一個方向。事實上，SAM并不能夠取代機(jī)器視覺，因為 SEM 只是去分割任務(wù)，大家可以看到這個我們分割出來的效果，如果分割的效果比較好，那么識別的準(zhǔn)確率也會大大提高。

互動環(huán)節(jié)

見智研究：對于DeepSpeed Chat 來說，企業(yè)會用到開源的模型對這種類 ChatGPT 進(jìn)行微調(diào)，那么對企業(yè)來說他們可能會遇到哪些難點？

劉高暢：

對企業(yè)來說的，首先還是要有一定的大模型的知識，也不是說所有企業(yè)的都有微調(diào)的基礎(chǔ)，也是需要專業(yè)的團(tuán)隊來做。

第二點就是在微調(diào)的過程中，都是為了強(qiáng)化某一個領(lǐng)域的效果，這個時候，需要對這個場景有一個好的理解，并且要結(jié)合所需要的場景和應(yīng)用，然后儲備足夠好的數(shù)據(jù)。

不是泛泛而談的數(shù)據(jù)，而是真的對這種場景應(yīng)用有很大支撐的數(shù)據(jù)，然后進(jìn)行強(qiáng)化學(xué)習(xí)和訓(xùn)練，才能很好地提升這個領(lǐng)域的效果。

第三點，對企業(yè)來說，F(xiàn)ine-tune強(qiáng)化學(xué)習(xí)的過程當(dāng)中，不只是單單地把它的專業(yè)度提升，它還有一個優(yōu)點就是我們可以把這個模型做小，因為大家知道大模型的參數(shù)規(guī)模都會比較大，對算力的消耗也比較大，那么在推理應(yīng)用端的話經(jīng)濟(jì)性不足。

那么Fine-tune 的微調(diào)，所需要考慮的就是有沒有辦法在保持效果的情況下，把模型做得相對來說小一些，那么它的經(jīng)濟(jì)效益就會更好。

見智研究：怎樣看待中小企業(yè)自己研發(fā)大模型的路徑？

劉高暢：

中小企業(yè)研發(fā)大模型，就是你也不能太小，因為我們考慮過你這個模型需要先做大再做小，你即使做行業(yè)模型，一般來說也是這種多模態(tài)的模型，基本上模型規(guī)模我們認(rèn)為融合起來至少也是在 500 億參數(shù)以上，純視覺大模型你是可以做到幾十億參數(shù)的，不過那個意義不大。

一旦和 GPT 融合，然后用這種視覺大模型的形式，我們認(rèn)為至少有一定的泛化能力，至少應(yīng)該是在一個小幾百億參數(shù)，這個是必須的。小幾百億參數(shù)，這種行業(yè)的模型要達(dá)到比較好的效果和比較好的應(yīng)用，我們認(rèn)為整個研發(fā)的投入，應(yīng)該也在一兩個億以上。而且它對于這種人才的儲備，還有行業(yè)的客戶數(shù)據(jù)的儲備，還有 know-how 的儲備，其實要求都還是比較高的。

所以我們認(rèn)為很多初創(chuàng)公司有人才的基礎(chǔ)上，它是可以做這樣的大模型的，但是對所有的絕大部分的中小企業(yè)來說，我們認(rèn)為這個門檻相對來說比較高，所以盡量不要一開始就做大模型，最好是結(jié)合一些比較成型的，比如說像開源的hugging face等等。

見智研究：對專用領(lǐng)域的企業(yè)來說是否會傾向于模型壓縮以及本地化的部署？

劉高暢：

對很多場景來說模型壓縮應(yīng)該就是蒸餾和裁剪這兩個方式，這個是一定會做的。我們剛才講 Fine-tune的時候，它也進(jìn)行了這種方式。所以你在具體的細(xì)分行業(yè)，你是可以蒸餾和裁剪的比例是比較高的。像ChatGPT ，它在應(yīng)用的過程當(dāng)中它為了保持通用性，它大概裁剪的模型規(guī)模，就是對算力的損耗大概是降低了90%。那可能在細(xì)分的領(lǐng)域來講，這種模型的蒸餾和裁剪我們認(rèn)為應(yīng)該是可降低在 90% 以上，好的話可以在 95% 以上這樣的水平。本地化部署，我們覺得相對來講難度會比較高。

見智研究：對于開源模型來說，開源商的授權(quán)問題是否值得關(guān)注？

劉高暢：

開源商的授權(quán)問題是肯定需要關(guān)注的，因為無論是在這種 GitHub 還是像 hugging face 里面，如果自己用還好，但是如果說來進(jìn)行這種商業(yè)化去推廣，你的整個合法性就會受到考驗。在一些非允許的區(qū)域或者說領(lǐng)域內(nèi)，你用它的底層的模型，開源模型做訓(xùn)練。就像我們之前，比如中國軟件以前做操作系統(tǒng)這種服務(wù)器操作系統(tǒng)，它的麒麟操作系統(tǒng)的底層可能是 CentOS。一旦把這一塊禁了之后，大規(guī)模的商業(yè)化就會受影響，很多客戶也會不愿意用這樣的一個合法性存疑的模型，所以在商業(yè)化的過程中是受影響的。但是在這個自己就是說單獨使用的過程當(dāng)中，這個是不受影響的。

見智研究：Meta 的SAM 模型在是否在產(chǎn)業(yè)當(dāng)中已經(jīng)有一些最新的進(jìn)展了？

劉高暢：

SAM它整個推出來的時間不長，我們這里也講了它的功能主要是分割，也叫 segment anything model，然后它這里面其實是融合了很多算法，包括像 ViT 這種算法一些思想也是融在其中。這個后面就是它對這種通用的視覺。比如說在機(jī)器人的運行過程當(dāng)中，那么它可以去區(qū)分，要讓每一塊物體進(jìn)行這種自動的分割，然后你的注意力注意到哪個模塊，它才進(jìn)行這種識別。

那這樣的自動分割，然后再加識別的方式，它對節(jié)省算力，還有像人一樣的這個智能其實是非常像的，就是我們一看看到眼中的圖像當(dāng)中，我們可以其實知道是很多模塊，但是我們不仔細(xì)去看某一個領(lǐng)域，我們可能很多細(xì)節(jié)很多點是看不清楚的。那么它這個就是先分割，然后再重點關(guān)注再識別，這個可以大大的去提升視覺的效率還有準(zhǔn)確度。

見智研究：多模態(tài)在視頻應(yīng)用上有什么最新的進(jìn)展？

劉高暢：

多模態(tài)視頻這個其實是大家的一個誤區(qū)，大家覺得視頻才是真實的世界，但實際上視頻的話就是一秒 24 幀的這個圖片。在多模態(tài)發(fā)展到今天的話，其實產(chǎn)業(yè)都在進(jìn)步。在分割的這個環(huán)節(jié)上有 SAM 出來，然后在識別的這個環(huán)境上，我們也看到了像這種 Google 2 月份發(fā)的這個ViT-22B，也就是大家講的這個視覺大模型，真正就真的把這個大模型從 30 億參數(shù)擴(kuò)展到了 220 億，再加上這樣的一個圖生文的模型之后，我們看到 GPT 的發(fā)展有這種智能化的這個反饋了。

現(xiàn)階段我們看到的是搜索輔助編程、聊天機(jī)器人的應(yīng)用，但是未來我們會看到很多這種簡單多模態(tài)的方案，像這種智能家居的工業(yè)視覺，工業(yè)檢測，通用的AGV等等。

落地速度快其實不是一個選擇的標(biāo)準(zhǔn)，未來的發(fā)展空間大才是最好的一個選擇標(biāo)準(zhǔn)?，F(xiàn)階段的話我們看到的比較快的是搜索，是輔助的編程，是各種聊天機(jī)器人的變種落地快，在中期來看的話，既能快速落地，又有比較大的空間。我們看到是 office 類的工具，簡單多模態(tài)的這種方案，行業(yè)的專家智能助理，接下來的這個半年到 3 年內(nèi)，應(yīng)該會給大家不斷地產(chǎn)生各種各樣驚喜。

未經(jīng)授權(quán)，禁止轉(zhuǎn)載。

風(fēng)險提示及免責(zé)條款 市場有風(fēng)險，投資需謹(jǐn)慎。本文不構(gòu)成個人投資建議，也未考慮到個別用戶特殊的投資目標(biāo)、財務(wù)狀況或需要。用戶應(yīng)考慮本文中的任何意見、觀點或結(jié)論是否符合其特定狀況。據(jù)此投資，責(zé)任自負(fù)。

關(guān)鍵詞：