就在剛剛，根據(jù)The Information的最新爆料，OpenAI即將發(fā)布一款全新的開源大語言模型。

雖然目前還不清楚，OpenAI是不是打算利用即將開源的模型，來搶占Vicuna或其他開源模型的市場份額。

但幾乎可以肯定的是，新模型的能力大概率無法與GPT-4甚至GPT-3.5相競爭。

(資料圖)

畢竟，270億美元的估值也決定了，OpenAI最先進(jìn)的模型將會被用于商業(yè)目的，盡管前兩個版本的GPT都是開源的。

對此，OpenAI的發(fā)言人沒有回應(yīng)置評請求。

羊駝家族開源大爆發(fā)

十天前，谷歌的一份內(nèi)部文件泄漏。在這篇名為《我們沒有護(hù)城河，OpenAI也沒有》的文章里，作者沉痛控訴了開源對于谷歌和OpenAI的沉重打擊。

的確，在這次軍備競賽中，谷歌和OpenAI似乎都不是贏家，因為開源社區(qū)正在吃掉屬于它們的「利益」。

ChatGPT一出，引爆了全球的LLM革命。然而，OpenAI不Open，很多公司和開發(fā)者只能看著干著急。

此時，Meta站出來發(fā)布了LLaMA，為全世界開發(fā)者謀了一把福利。

本來呢，Meta承諾的是LLaMA會對非商用的研究用例開源，可是誰能想到，僅在發(fā)布一周后，LLaMA的權(quán)重忽然在4chan上泄漏了，瞬間就引發(fā)了數(shù)千次下載。

這場「史詩級泄漏」，直接讓開源LLM領(lǐng)域變了天。短短幾周內(nèi)，各種ChatGPT平替就以迅雷不及掩耳之勢呈爆炸式增長。

Alpaca、Vicuna、Koala、ChatLLaMA 、FreedomGPT、ColossalChat……簡直堪稱是「羊駝家族」大爆炸。

其實，早在羊駝之前，開源模型就曾破滅過OpenAI的野心。

當(dāng)時，剛剛發(fā)布的Dall-E 2憑借著驚艷的文生圖效果，在網(wǎng)上引起了不小的轟動。

然而，當(dāng)OpenAI還在試圖兜售API時，一款開源替代突然橫空出世——Stable Diffusion。

隨著Stable Diffusion的迅速崛起，Dall-E 2也很快就被開發(fā)者們拋在了腦后。

開源大模型，要顛覆硅谷大廠？

UC Berkeley的計算機(jī)教授Ion Stoica正是使用Meta的研究開發(fā)Vicuna的學(xué)者之一。

為了提高Vicuna的能力，Stoica和同事們正在努力增加模型中的計算數(shù)量，這將有助于處理涉及推理的任務(wù)，比如寫代碼。

開發(fā)Vicuna的是一個伯克利的團(tuán)隊，每年的預(yù)算為數(shù)百萬美元，其中大約50萬美元來自包括微軟、谷歌和亞馬遜在內(nèi)的上市公司。

UC Berkeley的計算機(jī)教授Ion Stoica表示，現(xiàn)在的免費AI模型，在性能上已經(jīng)「相當(dāng)接近」谷歌和OpenAI的專有模型了，毫無疑問，大多數(shù)開發(fā)者最終都會選擇免費模型。

一方面，開源模型可以讓開發(fā)者使用自己的數(shù)據(jù)來解決特定的問題。

另一方面，像Vicuna這種模型的訓(xùn)練成本甚至可以低至幾百美元，而且還不用向大廠支付昂貴的使用費。

https://lmsys.org/blog/2023-03-30-vicuna/

如果Stoica的看法正確，開源AI必將顛覆谷歌、OpenAI、微軟等出售專有模型使用權(quán)的大廠的商業(yè)計劃。

Vicuna的質(zhì)量和開源AI的寒武紀(jì)大爆發(fā)，讓谷歌工程師Luke Sernau警告同事，谷歌在努力追趕OpenAI時，太過關(guān)注專有軟件了。

如果免費、高質(zhì)量的平替沒有使用限制，誰會去付費使用帶有條條框框的谷歌產(chǎn)品呢？開源AI的發(fā)展正在超越我們，谷歌應(yīng)該在開源社區(qū)中建立自己的領(lǐng)導(dǎo)地位，并放棄對我們模型的部分控制。

這份備忘錄迅速在整個行業(yè)內(nèi)引起了共鳴——即使Sernau或許高估了開源AI的能力，低估了它們的成本和風(fēng)險，但大多數(shù)從業(yè)者都同意，Meta非常有可能從中獲益。

比如，Meta在內(nèi)部會使用AI模型進(jìn)行內(nèi)容推薦和廣告定位，當(dāng)開發(fā)者改進(jìn)Meta的模型時，Meta就可以把這些改進(jìn)納入自己內(nèi)部的AI。

Meta CEO小扎對此籌謀已久。

4月，在他與分析師的一次電話會議中，他曾這樣談到公司的策略——

如果行業(yè)能夠在我們使用的基礎(chǔ)工具上達(dá)成標(biāo)準(zhǔn)化，那么我們就能從其他人的改進(jìn)中受益，這樣會更好。

谷歌倒是沒有完全采用專有的方式來處理AI軟件。

早在2020年，谷歌就發(fā)布了一個開源語言模型T5，讓開發(fā)者可以構(gòu)建能夠執(zhí)行翻譯和摘要任務(wù)的軟件。隨后，谷歌又發(fā)布了一個更先進(jìn)的Flan-T5。

但是，根據(jù)Stoica和其他從業(yè)者的說法，Meta發(fā)布的軟件能夠在谷歌模型的基礎(chǔ)上做出顯著改進(jìn)，這讓開發(fā)者選擇Meta模型的可能性大大增加了。

不過，Stoica表示，谷歌在開源軟件方面仍有兩個優(yōu)勢。

1. 如果谷歌利用其不向外部開放的用戶數(shù)據(jù)，模型在某些專業(yè)領(lǐng)域（如內(nèi)容推薦）的表現(xiàn)可能會更好。

不過，谷歌發(fā)言人表示，公司并沒有在現(xiàn)有用戶數(shù)據(jù)上訓(xùn)練其基礎(chǔ)模型。

2. 搜索公司在管理大規(guī)模計算機(jī)基礎(chǔ)設(shè)施方面的專長，意味著它能夠以更低的成本來運行模型，包括為云客戶提供服務(wù)。

與此同時，OpenAI在收集數(shù)百萬人與ChatGPT互動方式的數(shù)據(jù)上，已經(jīng)搶得了先機(jī)，這會更有助于OpenAI改進(jìn)AI軟件，更不用提它和微軟的合作協(xié)議。

開源的繁榮，是大廠的「施舍」？

不過，這種建立在開源基礎(chǔ)上的繁榮，是不穩(wěn)定的。

目前大多數(shù)的開源，仍然依賴于資金雄厚的大公司發(fā)布的巨型模型。如果OpenAI和Meta決定關(guān)閉業(yè)務(wù)，繁榮的開源社區(qū)，可能就會變得蕭條。

比如，現(xiàn)在許多開源平替是基于Meta的LLaMA構(gòu)建的。

而其他模型使用的是名為Pile的大型公共數(shù)據(jù)集，由開源非營利組織EleutherAI整理。

EleutherAI之所以存在，是因為OpenAI的開放性意味著一群開發(fā)者能夠逆向了解GPT-3是如何制作的，然后在空閑時間里創(chuàng)建自己的模型。

但一切都可能改變。

OpenAI已經(jīng)不再Open，Meta也在考慮限制開源，防止初創(chuàng)公司利用開源代碼做壞事。

Meta AI的執(zhí)行董事Joelle Pineau表示，現(xiàn)在向外部人員開放代碼是正確，但他并不確定，在未來五年內(nèi)Meta還會采用相同的策略。

如果這種Close的趨勢繼續(xù)下去，那么不僅開源社區(qū)會被拋棄，下一代的AI突破也會重新回到那些最大、最不差錢的AI實驗室手中。

顯然，AI大模型的制造和使用方式的未來，正處于一個十字路口。

如果OpenAI曾經(jīng)吝嗇，就不會有如今的開源盛況

其他人也在權(quán)衡，這種開源的自由競爭帶來的回報更大，還是風(fēng)險更大。

就在Meta AI發(fā)布LLaMA的同時，Hugging Face推出了一個門禁機(jī)制，下載平臺上的模型之前，用戶必須申請訪問并獲得批準(zhǔn)，這是為了限制那些有合法理由的人。

「我并不是一個開源的布道者，」Hugging Face的首席倫理科學(xué)家Margaret Mitchell說?！肝夷芸吹讲婚_源的意義?！?/p>

大模型廣泛使用的一個弊端，就是可能造成AI色情產(chǎn)品的泛濫。

Mitchell曾在谷歌工作，并創(chuàng)立了AI道德團(tuán)隊，她對于模型被濫用的風(fēng)險十分了解。因此，她贊成Meta AI以有控制的方式發(fā)布模型。

同時，OpenAI也在關(guān)閉水龍頭。GPT-4發(fā)布時，并沒有公布架構(gòu)（包括模型大?。?、硬件、訓(xùn)練計算、數(shù)據(jù)集構(gòu)建、訓(xùn)練方法等細(xì)節(jié)，理由是「鑒于像GPT-4這樣的大規(guī)模模型的競爭格局和安全影響」。

這種限制反應(yīng)了OpenAI心態(tài)上的變化。聯(lián)合創(chuàng)始人兼首席科學(xué)家Ilya Sutskever表示，OpenAI過去的開放性是一個錯誤。

OpenAI的政策研究員Sandhini Agarwal說：「以前，如果某樣?xùn)|西是開源的，也許一小群修理工會關(guān)心。但現(xiàn)在，整個環(huán)境已經(jīng)改變。開源真的可以加速發(fā)展，導(dǎo)致競爭?！?/p>

時間倒回三年前，如果OpenAI在公布GPT-3的細(xì)節(jié)時，就秉持著同樣的原則，那就不會有EleutherAI的出現(xiàn)，也就不會有蓬勃的開源創(chuàng)新。

今天，EleutherAI在開源生態(tài)系統(tǒng)中發(fā)揮著舉足輕重的作用。Pile被用來訓(xùn)練多個開源項目，包括Stability AI的StableLM。

但隨著GPT-4、5、6被鎖死，開源社區(qū)可能會再次被落在幾家大公司后面。

他們會困在上一代模型中，如果想取得進(jìn)步，只能閉門造車。

本文作者：Aeneas 好困，本文來源：新智元，原文標(biāo)題：《重磅內(nèi)幕：OpenAI即將開源新模型！開源社區(qū)的繁榮，全靠大廠「施舍」？》

風(fēng)險提示及免責(zé)條款 市場有風(fēng)險，投資需謹(jǐn)慎。本文不構(gòu)成個人投資建議，也未考慮到個別用戶特殊的投資目標(biāo)、財務(wù)狀況或需要。用戶應(yīng)考慮本文中的任何意見、觀點或結(jié)論是否符合其特定狀況。據(jù)此投資，責(zé)任自負(fù)。

關(guān)鍵詞：