奧特曼投資的安全團隊 被OpenAI悄悄招募了

 　　在OpenAI首席科學(xué)家伊利亞·蘇茨克維(Ilya Sutskever)宣布離職8天后，OpenAI悄悄招募了一整個安全相關(guān)的團隊。

　　這個團隊名叫「Indent」，是一家位于美國加利福尼亞州的數(shù)據(jù)安全初創(chuàng)公司。5月23日，Indent的聯(lián)合創(chuàng)始人、CEO阿福德·馬丁(Fouad Matin)在X上宣布自己將加入OpenAI負責安全相關(guān)的工作。

　　圖片來自X

　　雖然雙方并未宣布細節(jié)，但Indent這家公司大概率將全部并入OpenAI。Indent在其網(wǎng)站上宣布，“經(jīng)過仔細考慮，我們做出了一個非常艱難的決定，Indent將在未來幾個月內(nèi)關(guān)閉”，“7月15日之后服務(wù)將停止使用”。

　　值得一提的是，OpenAI CEO 薩姆·奧爾特曼(Sam Altman)，曾在2021年參與了Indent 560萬美元的種子輪融資，雙方算是老相識了。

　　近期OpenAI風(fēng)波不斷，其中備受關(guān)注的是在伊利亞·蘇茨克維離職后引發(fā)的連鎖反應(yīng)，OpenAI負責安全的超級團隊的聯(lián)合主管簡·雷克(Jan Leike)也宣布離職。兩人共同領(lǐng)導(dǎo)的超級對齊團隊去年7月才剛剛成立，現(xiàn)在已經(jīng)分崩離析。

　　然而，仔細一看就會發(fā)現(xiàn)，Indent團隊的加入雖然是對安全團隊新鮮血液的補充，但與超級對齊團隊卻毫無關(guān)系。

　　Indent團隊的加入更加明確了一件事：薩姆·奧爾特曼正在把OpenAI變成一家徹頭徹尾的商業(yè)化公司。

　　1.Indent是誰？

　　先介紹一下Indent這家公司。

　　Indent成立于2018年，從事數(shù)據(jù)安全相關(guān)業(yè)務(wù)，它所提供的服務(wù)也很簡單——自動化處理訪問權(quán)限的審批流程。

　　比如，當工程師需要查看生產(chǎn)服務(wù)器日志或客戶支持需要敏感系統(tǒng)的管理員權(quán)限時，他們可以使用Indent的應(yīng)用程序請求訪問權(quán)限，而無需IT部門的幫助。審閱者可以通過Slack收到消息并直接從那里批準，然后一旦時間到期，訪問權(quán)限就會自動撤銷。

　　Indent為公司中的每個人提供按需訪問控制，讓他們可以在需要時訪問自己需要的內(nèi)容。

　　這項看似簡單的服務(wù)解決了一個重要的需求——隨著團隊規(guī)模的擴大，越來越多的員工需要訪問越來越多的服務(wù)，而這些服務(wù)的審批可能需要幾天、幾周甚至幾個月的時間。當然可以簡化審批流程，但最簡單的方法往往不是最正確的方法，因為這可能帶來安全問題。如果涉及到關(guān)鍵業(yè)務(wù)，在幾個小時內(nèi)回復(fù)客戶還是幾天內(nèi)回復(fù)客戶將會帶來完全不同的結(jié)果。

　　許多公司至少使用幾十個應(yīng)用程序來處理不同團隊的關(guān)鍵服務(wù)、協(xié)作或客戶數(shù)據(jù)，每個應(yīng)用程序都有幾十個不同的潛在角色或子權(quán)限，這很容易失控。

　　而Indent，就是為團隊提供最簡單、最安全的方式來實現(xiàn)民主化的訪問管理和問責制度。

　　2023年，在大模型興起之后，Indent將數(shù)據(jù)安全的業(yè)務(wù)順勢拓展到了大模型領(lǐng)域。

　　2024年3月，Indent聯(lián)合創(chuàng)始人、CEO阿福德·馬丁發(fā)表了一篇文章《價值百萬美元的人工智能工程問題》。

　　他提到，模型權(quán)重、偏差和訓(xùn)練它們所用的數(shù)據(jù)是人工智能皇冠上的明珠，是公司最寶貴的資產(chǎn)。對于開發(fā)定制模型或微調(diào)現(xiàn)有模型的公司來說，他們會在工程時間、計算能力和訓(xùn)練數(shù)據(jù)收集上投入數(shù)百萬美元。

　　但是，大語言模型存在泄露的風(fēng)險。他以Llama舉例，Meta一開始并沒有考慮將Llama完全開源，而是做出一些限制。然而，有人卻將其泄露在了4chan 網(wǎng)站上。Meta不得不順水推舟，將Llama完全開源了。

　　因此，Indent針對性地提出了模型權(quán)重、訓(xùn)練數(shù)據(jù)、微調(diào)數(shù)據(jù)的安全解決方案。

　　2.與Altman淵源頗深

　　Indent與OpenAI雙方的淵源由來已久。

　　Indent有兩位聯(lián)合創(chuàng)始人，阿福德·馬丁(Fouad Matin)擔任CEO，丹·吉萊斯皮(Dan Gillespie)擔任CTO。

　　阿福德·馬丁是一位工程師、隱私倡導(dǎo)者，也是街頭服飾愛好者，他之前在 Segment 公司從事數(shù)據(jù)基礎(chǔ)設(shè)施產(chǎn)品的工作。2016年，他與別人共同創(chuàng)立了 VotePlz，這是一個非黨派的選民注冊和投票率非營利組織。他熱衷于幫助人們找到令人滿意的工作，此前他創(chuàng)立了一家通過 YC W16 計劃的推薦招聘公司。

　　丹·吉萊斯皮是*個非谷歌員工管理 Kubernetes 發(fā)布的人，并且自項目早期以來一直是定期貢獻者。作為他進入 K8s 的起點，他是一家協(xié)作部署工具的聯(lián)合創(chuàng)始人兼 CTO(YC W16)，在那里他構(gòu)建了 Minikube。他的公司被 CoreOS 收購，后來 CoreOS 成為了 RedHat 的一部分，隨后又成為IBM的一部分。

　　通過履歷可以看出，兩人早年間與YC關(guān)系緊密。而薩姆·奧爾特曼在2011年投入了創(chuàng)業(yè)孵化器YC，并2014年擔任YC總裁，直到2019年擔任OpenAI CEO。

　　2021年12月21日，Indent宣布獲得560萬美元的種子輪融資，領(lǐng)投方包括Shardul Shah(Index Ventures合伙人)、Kevin Mahaffey(Lookout 首席技術(shù)官)和Swift Ventures，而跟投方的豪華陣容中，就包括薩姆·奧爾特曼以及他的弟弟杰克·奧爾特曼(Jack Altman)。

　　圖片來自Indent網(wǎng)站

　　雙方緊密的關(guān)系，以及日后Indent涉足大模型安全領(lǐng)域，為Indent并入OpenAI做好了鋪墊。

　　3.Indent并非加入超級對齊

　　將Indent一整個團隊招募至麾下，是OpenAI對于超級對齊團隊的補充嗎?答案是否定的，因為這是兩個完全不同的團隊。

　　OpenAI的安全團隊實際上一共有三個：安全系統(tǒng)團隊（Safety Systems)、準備團隊（Preparedness)、超級對齊團隊（Superalignment)。

　　三個團隊的分工為：安全系統(tǒng)團隊關(guān)注當前模型的部署風(fēng)險，專注于減少對現(xiàn)有模型和ChatGPT等產(chǎn)品的濫用;準備團隊專注于前沿模型的安全評估;超級對齊團隊專注于協(xié)調(diào)超級智能，為在更遙遠的未來擁有的超級智能模型的安全性奠定基礎(chǔ)。

　　圖片來自O(shè)penAI網(wǎng)站

　　安全系統(tǒng)團隊是一個相對成熟的團隊，分為四個子系統(tǒng)：安全工程、模型安全研究、安全推理研究、人機交互，匯集了一支多樣化的專家團隊，包括工程、研究、政策、人工智能協(xié)作和產(chǎn)品管理等領(lǐng)域的專家。OpenAI表示這種人才組合已被證明非常有效，使OpenAI能夠接觸到從預(yù)訓(xùn)練改進和模型微調(diào)到推理時監(jiān)控和緩解的廣泛解決方案范圍。

　　準備團隊對前沿人工智能風(fēng)險的研究遠遠沒有達到需要達到的水平。為了彌補這一差距并系統(tǒng)化安全思維，OpenAI在2023年12月發(fā)布了一個名為“準備框架”的初始版本，它描述了OpenAI跟蹤、評估、預(yù)測和防范日益強大的模型帶來的災(zāi)難性風(fēng)險的過程。

　　圖片來自O(shè)penAI

　　OpenAI還表示將成立一個專門的團隊來監(jiān)督技術(shù)工作，并建立安全決策的運營結(jié)構(gòu)。準備團隊將推動技術(shù)工作，以檢查前沿模型能力的極限、進行評估并綜合報告。OpenAI正在創(chuàng)建一個跨職能的安全咨詢小組，以審查所有報告并同時將其發(fā)送給領(lǐng)導(dǎo)層和董事會。雖然領(lǐng)導(dǎo)層是決策者，但董事會有權(quán)推翻決定。

　　超級對齊團隊是2023年7月5日剛剛成立的新團隊，旨在在2027年之前用科學(xué)與技術(shù)來引導(dǎo)和控制比人類聰明得多的人工智能系統(tǒng)。OpenAI宣稱會用公司20%的計算資源投入這項工作。

　　關(guān)于超級對齊還沒有明確可行的解決方案。OpenAI的研究方法是，用已經(jīng)對齊的小模型來監(jiān)督大模型，然后通過逐步擴大小模型的規(guī)模來逐步對齊超級智能，并對整個流程進行壓力測試。

　　OpenAI超級對齊團隊由伊利亞·蘇茨克維和簡·雷克共同領(lǐng)導(dǎo)，但兩人現(xiàn)在已經(jīng)離職。據(jù)媒體報道，在兩人離職后，超級對齊團隊已經(jīng)分崩離析。

　　Indent團隊并非加入超級團隊。根據(jù)Indent團隊在X上發(fā)布的信息，他們加入的是OpenAI的準備團隊，負責前沿模型的準備到客戶的數(shù)據(jù)管理。

　　圖片來自X

　　這意味著OpenAI正在加大前沿模型的投入。

　　近期在法國巴黎舉辦的VivaTech峰會上，OpenAI開發(fā)者體驗主管Romain Huet展示的PPT里，透露了OpenAI的下一款新模型“GPT Next”將在2024年晚些時候發(fā)布。

　　圖片為OpenAI在VivaTech分享的PPT，來自X

　　OpenAI接下來的工作重心，很可能就在這款新模型的能力與安全上。

　　4.OpenAI的“原罪”

　　超級團隊的解散、Indent團隊的加入，如果把一系列相關(guān)事件串在一起，只能得出一個結(jié)論：OpenAI正在加速追求模型的落地與商業(yè)化。

　　這一點，在超級對齊團隊主管簡·雷克的離職聲明中已經(jīng)公開化了。

　　簡·雷克認為應(yīng)該把更多的帶寬花在為下一代模型做準備上，包括安全、監(jiān)控、準備、對抗穩(wěn)健性、超一致性、機密性、社會影響和相關(guān)主題，但過去幾個月他的團隊“卻為計算資源苦苦掙扎”——連最初承諾的20%的計算資源也不能滿足了。

　　他認為，OpenAI的安全文化與流程已經(jīng)不再受重視，而光鮮的產(chǎn)品備受青睞。

　　圖片來自X

　　對此，在OpenAI總裁格雷格·布羅克曼(Greg Brockman)長篇大論的回應(yīng)里有這么一句話：

　　我們認為這樣的(越來越強大的)系統(tǒng)將對人們非常有益和有幫助，并且有可能安全地交付它們，但這需要大量的基礎(chǔ)工作。這包括在訓(xùn)練時它們連接到什么的周到考慮，解決可擴展監(jiān)督等難題的解決方案，以及其他新型的安全工作。在我們朝著這個方向構(gòu)建時，我們還不確定何時能達到我們的安全標準來發(fā)布產(chǎn)品，如果這導(dǎo)致發(fā)布時間表推遲，那也沒關(guān)系。

　　圖片來自X

　　前面提到，OpenAI在成立超級對齊團隊時，把引導(dǎo)與控制比人類聰明得多的超級智能系統(tǒng)的時間表設(shè)立在了2027年。格雷格·布羅克曼的回應(yīng)相當于更改了這一時間表——“如果延遲發(fā)布，也沒有關(guān)系”。

　　需要強調(diào)的是，OpenAI并非不重視安全，但顯然它對安全的重視需要加上一個條件——一切安全都要以可落地的模型、可商業(yè)化的產(chǎn)品作為前提。顯然，在資源相對有限的前提下，即使是OpenAI也要做一個取舍。

　　而薩姆·奧爾特曼傾向選擇做一個更純粹的商人。

　　安全與商業(yè)化是矛盾的嗎?對于世界上其他的所有公司，這并非一個矛盾。但OpenAI就是那一個例外。

　　2023年3月，在GPT-4發(fā)布后，埃隆·馬斯克曾發(fā)出過靈魂拷問：“我很困惑，我捐贈了一億美元的非營利性組織，怎么就變成了一個市值300億美元的營利組織?”

　　在OpenAI宮斗事件發(fā)生時，外界已經(jīng)或多或少猜測到了矛盾的導(dǎo)火索就是由此產(chǎn)生。今年3月8日，調(diào)查結(jié)果出爐后，OpenAI在官方通告中除了表示薩姆·奧爾特曼回歸之外，還宣布了公司會對治理結(jié)構(gòu)做出重要改進，包括“采用一套新的公司治理準則”、“加強 OpenAI 的利益沖突政策”等。

　　只是，直到OpenAI的超級團隊的解散，我們也沒有等到新的政策。這可能才是很多離職員工對OpenAI失望的原因吧。