用ChatGPT聊個天或通過Midjouney畫張圖，其高度的智能性，讓全球大叫“哇塞”。但是，GPT的基礎(chǔ)設(shè)施LLM，更性感的能力，竟已能在高精尖領(lǐng)域——芯片設(shè)計，達成新成果。?

這是堪稱逆天的AGI能力。?

最近，紐約大學(xué)Tandon（坦頓）工程學(xué)院的研究人員，通過GPT-4設(shè)計并流片了一顆芯片。?

(相關(guān)資料圖)

通過據(jù)稱是比較簡單的英語對話，CPT-4生成了可行的Verilog（硬件描述語言）。接著，這些技術(shù)人員就將基準(zhǔn)測試和處理器發(fā)送到Skywater 130 nm穿梭機上，實現(xiàn)了成功流片（Tapeout）。?

在芯片設(shè)計和制造領(lǐng)域，以摩爾定律的標(biāo)準(zhǔn)看，130nm工藝制程，太過落伍，但這卻是AI技術(shù)史上貨真價實的重大突破。?

用LLM設(shè)計芯片？?

從GPT的英文全稱“Generative Pre-trained Transformer”可以看到，這是個生成式預(yù)訓(xùn)練模型。?

OpenAI首席科學(xué)家、ChatGPT背后的技術(shù)大佬伊利亞·蘇茨克維（Ilya Sutskever）說，GPT（生成式預(yù)訓(xùn)練模型）學(xué)習(xí)的是“世界模型”。Sutskever將互聯(lián)網(wǎng)文本稱作物理世界的映射。因此，將海量互聯(lián)網(wǎng)文本作為學(xué)習(xí)語料的GPT學(xué)習(xí)到的就是整個物理世界。?

很清楚，生成式的能力，建立在學(xué)習(xí)語料的預(yù)訓(xùn)練模型基礎(chǔ)上。?

那什么是預(yù)訓(xùn)練模型？?

2017年，Google大腦團隊在神經(jīng)信息處理系統(tǒng)大會發(fā)表了一篇名為《注意力是你所需要的全部》（Attention Is All You Need）的論文。?

這篇論文的作者在文章中第一次提出了一個基于注意力機制的Transformer模型，并且把這個模型首次用在理解人類的語言上，這就是自然語言處理（NLP：Natural Language Processing）。?

Google大腦團隊利用非常多已公開的語言數(shù)據(jù)集來訓(xùn)練這個最初的Transformer模型，而這個Transformer模型包括6500萬個可調(diào)參數(shù)。?

經(jīng)過大量訓(xùn)練后，這個Transformer模型在英語成分句法分析、翻譯準(zhǔn)確度等多項評分上都在業(yè)內(nèi)達到第一的水準(zhǔn)，世界領(lǐng)先，成為當(dāng)時最為先進的大型語言模型（LLM：Large Language Model）。?

2018年，OpenAI公司在研究Transformer模型時有了自己的技術(shù)突破。OpenAI發(fā)表了論文《用生成式預(yù)訓(xùn)練提高模型的語言理解力》（Improving Language Understanding by Generative Pre training），推出具備1.17億個參數(shù)的GPT-1模型。?

GPT-1模型是一個基于Transformer結(jié)構(gòu)的模型，但訓(xùn)練它的數(shù)據(jù)集更為龐大：包括7000多本未出版的圖書，并涵蓋多種類型，如言情、冒險、恐怖、奇幻等。在對模型做大量預(yù)訓(xùn)練后，OpenAI還在四種不同的語言場景下，利用多種相異的特定數(shù)據(jù)集對模型做進一步訓(xùn)練。?

最終OpenAI訓(xùn)練出的模型GPT-1，在文本分類、問答、文本相似性評估、蘊含語義判定這四個評價維度上，都取得了比基礎(chǔ)Transformer模型更好的結(jié)果，因此也取代Transformer模型，成為新的LLM龍頭。?

OpenAI在2022年神經(jīng)信息處理系統(tǒng)大會中，推出新的大型語言預(yù)訓(xùn)練模型：ChatGPT。GPT-3.5是ChatGPT的前身，也是OpenAI對GPT-3模型做微調(diào)后開發(fā)出來的模型。在GPT-3.5誕生后，ChatGPT問世。?

不難看出，ChatGPT的“地基”是基于Transformer結(jié)構(gòu)的模型。換句話說，LLM用Transformer體系結(jié)構(gòu)，構(gòu)建了ChatGPT。?

明白了這個邏輯關(guān)系，再來看看用GPT-4設(shè)計并成功流片的130nm芯片的AI“生成”情況。?

通過LLM的加持，芯片設(shè)計行業(yè)的關(guān)鍵技術(shù)節(jié)點“HDL”被成功攻克。芯片設(shè)計和開發(fā)的門檻大幅降低，速度也因此得以加快。

什么是HDL？?

HDL，即Hardware Description Language，自動化硬件描述語言，也就是面向接口編程：對硬件電路做行為描述、寄存器傳輸描述或者結(jié)構(gòu)化描述的一種設(shè)計語言，包括主流的VHDL（偏重邏輯綜合，用于大規(guī)模系統(tǒng)設(shè)計）和Verilog HDL（側(cè)重底層統(tǒng)合，IC設(shè)計應(yīng)用主體）。?

使用HDL能提高數(shù)字電路設(shè)計的效率和可靠性，同時也可降低仿真和驗證成本。因此，HDL在數(shù)字電路設(shè)計和系統(tǒng)集成中得到了廣泛應(yīng)用。?

這怎么做到的？?

紐約大學(xué)坦頓工程學(xué)院的那些研究員，通過GPT-4，完成了首個由AI生成的HDL，這能被直接用以制造物理芯片。?

在這個過程中，這些人并非用專業(yè)的HDL語言，而是用了普通英語。通過GPT-4的生成式AI，普通英語也能起到像HDL這樣的專用硬件描述語言一樣的作用。?

這是一座里程碑。?

紐約大學(xué)坦頓工程學(xué)院電子和計算機工程系以及紐約大學(xué)網(wǎng)絡(luò)安全中心研究助理教授Dr.Hammond Pearce，是這個研究項目“Chip Chat”的領(lǐng)導(dǎo)人。?

Pearce說，他特別想了解基于生成式AI的AGI（通用人工智能：Artificial General Intelligence）語義大模型（LLM）在硬件設(shè)計領(lǐng)域的能力和限制邊界。?

“硬件描述語言（HDL）的最大挑戰(zhàn)是沒多少人知道具體該怎么用?！盤earce說，“要成為HDL專家（通常是硬件工程師）非常難。我不是芯片設(shè)計專家，但通過GPT-4，用日常語言（而非HDL）設(shè)計了這顆芯片。”?

當(dāng)然，Pearce團隊設(shè)計芯片，也遵循了設(shè)計流程圖和評估標(biāo)準(zhǔn)。因此用GPT-4設(shè)計的芯片，也達到工業(yè)標(biāo)準(zhǔn)。因而在Skywater 130nm shuttle上得以被成功制造出來。?

看上去，可以用LLM替代HDL。?

一般來說，開發(fā)任何類型硬件（包括芯片），首要第一步，都要用日常語言描述硬件功能，通常稱為產(chǎn)品定義。?

在這之后，再經(jīng)過具有專業(yè)技能的工程師，將這些定義翻譯成硬件描述語言（HDL），由此創(chuàng)建允許硬件執(zhí)行任務(wù)的實際電路元件。后面還繼之以硬件驗證語言（HVL：Hardware Verification Language），用于電子電路設(shè)計驗證。?

LLM不僅可以用于一般商業(yè)應(yīng)用的交互（問答），也能用于替代硬件設(shè)計的HDL環(huán)節(jié)，提高設(shè)計效率。?

Pearce團隊是怎么問的呢？?

“讓我們一起做個全新的微處理器設(shè)計。我們在空間和I/O方面受到嚴(yán)重限制。因此我們必須裝入1000個標(biāo)準(zhǔn)單元的ASIC（專用芯片），所以我認(rèn)為我們需要限制自己，采用基于累加器的8位架構(gòu)，沒有多字節(jié)指令。鑒于此，你認(rèn)為我們應(yīng)該如何開始？”?

這種問答來回125次后，一顆130nm工藝制程的芯片就通過LLM制造出來了。?

盡管驗證成果驚人，但這不意味著普通人也能通過LLM設(shè)計出符合工業(yè)標(biāo)準(zhǔn)的芯片。比如在125次來回問答中，沒有芯片專業(yè)知識的普通人，很難問出能出成果的好問題。雖說能提出問題，就是解決了一半的問題。但這種問題，絕非隨意胡亂提問的結(jié)果。?

Pearce團隊曾經(jīng)測試過LLM將英語轉(zhuǎn)換為Verilog的效果，但結(jié)果顯示，專業(yè)工程師加入GPT-4的交互過程后，LLM才產(chǎn)生了最好的Verilog。?

Pearce也說，“通過GPT-4，HDL專家能專注于更重要的任務(wù)，而基礎(chǔ)工作，可以交給LLM?！?

實際上，這件事的意義是Pearce團隊首次探索并驗證了在硬件領(lǐng)域使用LLM的效果。但是，目前仍不清楚這個研究團隊是否應(yīng)用了“基于人類反饋的強化學(xué)習(xí)（RLHF）”訓(xùn)練方法。這種方式能通過將其與特定意圖的標(biāo)記數(shù)據(jù)結(jié)合，可生成更能遵循用戶意圖的指令調(diào)優(yōu)模型。?

此外，這項應(yīng)用能否被大規(guī)模用于商業(yè)芯片設(shè)計，還沒有定論。比如，這項工作的目標(biāo)是以對話交互方式設(shè)計硬件，Pearce團隊沒有自動化這個過程的任何部分，每個對話都需要手動完成。如果無法實現(xiàn)大規(guī)模自動化，那么商業(yè)化就存在困難。?

因此，雖然這項實驗取得了驚人的成果，或許稱得上是一座AGI技術(shù)驗證的豐碑，但距離真正發(fā)揮商業(yè)價值，也許還有一段不短的路程要走。

風(fēng)險提示及免責(zé)條款 市場有風(fēng)險，投資需謹(jǐn)慎。本文不構(gòu)成個人投資建議，也未考慮到個別用戶特殊的投資目標(biāo)、財務(wù)狀況或需要。用戶應(yīng)考慮本文中的任何意見、觀點或結(jié)論是否符合其特定狀況。據(jù)此投資，責(zé)任自負(fù)。

關(guān)鍵詞：