7月6日， OpenAI在官網(wǎng)宣布，將組建一支由Ilya Sutskever（OpenAI聯(lián)合創(chuàng)始人兼首席科學(xué)家）和Jan Leike領(lǐng)導(dǎo)的人工智能對(duì)齊團(tuán)隊(duì)，用來引導(dǎo)、控制超級(jí)智能，同時(shí)提升ChatGPT等產(chǎn)品的安全性。

OpenAI表示，4年之內(nèi)將解決這些難題，并將目前20%的算力用于該項(xiàng)目。

超級(jí)智能將是人類發(fā)明的最具影響力的技術(shù)之一，可以幫助我們解決世界上許多難題。但超級(jí)智能的巨大力量也可能非常危險(xiǎn)，并導(dǎo)致人類失去控制權(quán)，甚至滅絕人類。雖然超級(jí)智能還很遙遠(yuǎn)，但OpenAI認(rèn)為，10年之內(nèi)就很有可能實(shí)現(xiàn)。

(相關(guān)資料圖)

目前，OpenAI還沒有一個(gè)明確的解決方案來引導(dǎo)或控制超級(jí)人工智能。當(dāng)下可控制的人工智能技術(shù)，例如，根據(jù)人類反饋進(jìn)行強(qiáng)化學(xué)習(xí)，依賴于人類監(jiān)督的AI能力等。

但人類無法可靠地監(jiān)督，比我們聰明多的AI系統(tǒng)， 因此，我們目前的對(duì)齊技術(shù)無法擴(kuò)展到超級(jí)智能，需要新的科學(xué)技術(shù)突破。

4年內(nèi)解決超級(jí)智能對(duì)齊問題

為了控制、引導(dǎo)超級(jí)智能對(duì)齊問題，OpenAI組建了一支由Ilya Sutskever（OpenAI聯(lián)合創(chuàng)始人兼首席科學(xué)家）和Jan Leike領(lǐng)導(dǎo)的人工智能對(duì)齊團(tuán)隊(duì)——Superalignment。

超級(jí)智能對(duì)齊從根本上來說是一個(gè)機(jī)器學(xué)習(xí)問題，所以，OpenAI尋求全球優(yōu)秀的機(jī)器學(xué)習(xí)人才加入這個(gè)團(tuán)隊(duì)共同實(shí)現(xiàn)這一偉大目標(biāo)。

同時(shí)該團(tuán)隊(duì)也是對(duì)OpenAI現(xiàn)有工作的補(bǔ)充，可提升ChatGPT等產(chǎn)品的安全性，包括非法濫用、經(jīng)濟(jì)破壞、虛假信息、偏見和歧視、數(shù)據(jù)隱私和其他可能出現(xiàn)的問題。

OpenAI的方法

建立一個(gè)大致達(dá)到人類水平的自動(dòng)對(duì)齊系統(tǒng)。然后，可以使用大量算力來擴(kuò)展工作，并調(diào)整超級(jí)智能。

1、開發(fā)可擴(kuò)展的訓(xùn)練方法：為了針對(duì)人類難以評(píng)估的任務(wù)提供訓(xùn)練方法，可以通過人工智能系統(tǒng)來協(xié)助評(píng)估，其他人工智能系統(tǒng)?（可擴(kuò)展的監(jiān)督）。此外，OpenAI希望了解和控制其模型，將監(jiān)督應(yīng)用到無法監(jiān)督的任務(wù)（泛化）上。

2、驗(yàn)證生成的模型：為了驗(yàn)證系統(tǒng)的一致性，OpenAI將自動(dòng)搜索有問題的行為?（穩(wěn)定性）和有問題的內(nèi)部結(jié)構(gòu)（自動(dòng)可解釋性）。

3、對(duì)整個(gè)對(duì)齊管道進(jìn)行壓力測試：可以通過故意訓(xùn)練未對(duì)準(zhǔn)的模型，來測試整個(gè)安全流程，并確認(rèn)技術(shù)檢測到最差的未對(duì)準(zhǔn)類型（對(duì)抗性測試）。

OpenAI預(yù)計(jì)，隨著對(duì)超級(jí)智能對(duì)齊了解越來越多，研究重點(diǎn)將會(huì)發(fā)生重大變化，可能會(huì)增加全新的研究領(lǐng)域。未來，會(huì)分享更多有關(guān)技術(shù)研究路線圖的信息。

關(guān)于AI對(duì)齊

AI對(duì)齊是指，使人工智能系統(tǒng)的目標(biāo)和行為，與人類價(jià)值觀和目標(biāo)保持一致。這是AI安全和倫理中的一個(gè)重要環(huán)節(jié)。

AI對(duì)齊問題涉及到如何設(shè)計(jì)和實(shí)施人工智能系統(tǒng)，以便它們執(zhí)行的任務(wù)或做出的決策能夠反映出設(shè)計(jì)者或用戶的意圖和價(jià)值觀。這個(gè)問題在高級(jí)AI（例如，通用人工智能或超級(jí)人工智能）中更為重要。

因?yàn)檫@些AI可能具有極大的自主性和能力，如果它們的目標(biāo)與人類的目標(biāo)不一致，可能會(huì)帶來嚴(yán)重的后果。

解決AI對(duì)齊問題需要在倫理、決策理論、機(jī)器學(xué)習(xí)等多個(gè)領(lǐng)域進(jìn)行深入的研究。例如，需要研究如何在沒有明確指示的情況下，讓AI推斷出人類的價(jià)值觀，以及如何設(shè)計(jì)可以安全地學(xué)習(xí)和改進(jìn)其行為的AI系統(tǒng)。

本文來源：AIGC開放社區(qū)，原文標(biāo)題：《OpenAI：4年內(nèi)控制超級(jí)智能，提升ChatGPT等安全》

風(fēng)險(xiǎn)提示及免責(zé)條款 市場有風(fēng)險(xiǎn)，投資需謹(jǐn)慎。本文不構(gòu)成個(gè)人投資建議，也未考慮到個(gè)別用戶特殊的投資目標(biāo)、財(cái)務(wù)狀況或需要。用戶應(yīng)考慮本文中的任何意見、觀點(diǎn)或結(jié)論是否符合其特定狀況。據(jù)此投資，責(zé)任自負(fù)。

關(guān)鍵詞：