2023年7月,OpenAI 成立了 Superalignment 團隊,曾被承諾提供公司 20% 的計算資源,負責開發治理和引導「超智能」AI 系統的方法。時至今日,據該團隊的一名成員透露,他們經常被拒絕使用其中的一小部分計算資源,阻礙了他們的工作。
這個問題以及其他一些問題促使多名團隊成員在本週辭職,其中包括聯合牽頭人 Jan Leike。Leike 是前 DeepMind 的研究員,在 OpenAI 任職期間參與了 ChatGPT、GPT-4 和 ChatGPT 前身 InstructGPT 的開發。
Leike 於週五上午公開了他辭職的一些原因。他在 X 上的一系列帖子中寫道:「我與 OpenAI 領導層在公司核心優先事項上存在分歧已經有一段時間,直到我們最終達到了突破點。我認為我們應該投入更多的精力為下一代模型做好準備,關注安全、監控、準備、風險防範、對抗性魯棒性、(超)對齊、保密性、社會影響以及相關話題。這些問題非常難以正確解決,我擔心我們目前的軌跡無法達到目標。」
OpenAI 沒有立即回應關於承諾給該團隊的資源和實際分配情況的評論請求。
OpenAI 於去年七月成立了 Superalignment 團隊,由 Leike 和 OpenAI 聯合創始人 Ilya Sutskever 共同領導。該團隊的雄心壯志是在未來四年內解決控制超智能 AI 的核心技術挑戰。該團隊由來自 OpenAI 之前的對齊部門的科學家和工程師以及公司內其他組織的研究人員組成,旨在通過研究促進內部和非 OpenAI 模型的安全性,並通過包括研究資助計劃在內的倡議,向更廣泛的 AI 行業徵求和分享工作成果。
Superalignment 團隊確實成功地發布了一些安全研究並向外部研究人員提供了數百萬美元的資助。但是,隨著產品發布佔用了 OpenAI 領導層越來越多的精力,Superalignment 團隊發現自己不得不為更多的前期投資而奮鬥——這些投資被認為對公司開發超智能 AI 以造福全人類的既定使命至關重要。
Leike 繼續說道:「建造比人類更聰明的機器本質上是一項危險的工作。但在過去幾年中,安全文化和流程已經退居閒置,閃亮的產品成為了優先事項。」
Sutskever 與 OpenAI CEO Sam Altman 的鬥爭成為了另一個主要的分心因素。
Sutskever 與 OpenAI 的舊董事會一起,於去年年底突然解雇了 Altman,原因是擔心 Altman 沒有“始終如一地坦誠”對待董事會成員。在包括微軟在內的 OpenAI 投資者以及公司內許多員工的壓力下,Altman 最終被復職,許多董事會成員辭職,據報導 Sutskever 從未返回工作。
據消息人士透露,Sutskever 對 Superalignment 團隊至關重要——他不僅貢獻了研究,還充當了 OpenAI 內部其他部門的橋樑。他還擔任了一種大使的角色,向 OpenAI 的關鍵決策者強調該團隊工作的重要性。
在 Leike 離職後,Altman 在 X 上寫道,他同意「還有很多工作要做」,並且他們「致力於完成這些工作」。