上半年中國AR/VR出貨23.3萬臺,同比下滑了 29.1%IDC:2024 上半年中國 AR / VR 頭顯出貨 23.3 萬臺,同比下滑 29.1%英特爾AI加速器Gaudi3下周發(fā)布,挑戰(zhàn)NVIDIA統(tǒng)治地位!大屏技術(shù)邂逅千年色彩美學(xué)!海信激光電視成為電影《只此青綠》官方合作伙伴OpenAI將最新AI模型o1擴展到企業(yè)和教育領(lǐng)域三星新專利探索AR技術(shù)新應(yīng)用:檢測屏幕指紋殘留,提高手機安全性猛瑪傳奇C1:直播圖傳技術(shù)的革新者JFrog推出首個運行時安全解決方案,實現(xiàn)從代碼到云的全面軟件完整性和可追溯性亞馬遜推出一大波生成式 AI 工具,購物體驗全面升級機器人公司1X推出世界模型Apple Intelligence測試版現(xiàn)已開放革命性AI對話系統(tǒng)Moshi問世:機器也能說人話了?阿里國際推出最新多模態(tài)大模型 Ovis,看菜品就能提供烹飪步驟華為發(fā)布智聯(lián)集成行業(yè)解決方案,助力客戶打造行業(yè)領(lǐng)先的目標(biāo)網(wǎng)絡(luò)AI 3D生成天花板再拉升!清華團隊煉成3D Scaling Law正在逐步覆蓋!騰訊提醒勿為實況圖重裝微信:以免丟失微信聊天記錄iPhone16多款機型破發(fā):最高比官網(wǎng)便宜600元劉積仁不愛“湊熱鬧”,但東軟集團喜歡“追風(fēng)口”快手電商新增近800個“0元開店”類目,推出多項新商入駐權(quán)益年內(nèi)狂攬五項第一,“字節(jié)系大模型”何以后發(fā)先至?
  • 首頁 > 云計算頻道 > 大模型

    轉(zhuǎn)折點之前 OpenAI不為人知的創(chuàng)業(yè)故事

    2023年09月06日 17:59:33   來源:微信公眾號:極客公園

      改變一切

      OpenAI 真正想要的是什么?

      ChatGPT 發(fā)布之后,這家年輕的公司在世界各地引發(fā)沖擊波。但這僅僅是個開始。

      *目標(biāo):Change everything。

      是的,Everything。

      神諭

      GPT-4 發(fā)布之后,Sam Altman 開啟了他的全球巡回,

      不論在任何一個城市,Altman 享受著搖滾明星一樣的待遇。

      人們狂熱地尖叫、提問。每個人都想要合影。

      他在聚光燈下。

      在新聞里,他的形象是人類公敵(AI)的視覺象征。

      所到之處,他說的話,就是神諭。

      注入新的世界觀

      人們會怎樣記住那幾個月的 Sam Altman 呢?

      Steven Levy 想象有一天,機器人書寫人類的歷史。它們這樣定義那個時刻:

      一名低調(diào)卻引人關(guān)注(quietly compelling) CEO,用一種打破范式的技術(shù),試圖將一種非常奇特的世界觀,注入全球思維。他從舊金山一個無人問津的四層辦公樓,走向了全世界。

      不吝嗇夢想

      OpenAI 的員工們可能已經(jīng)把建立 AGI 的夢想烙在了肉體上。

      在 OpenAI 的辦公區(qū),討論「Build AGI」永遠(yuǎn)比「make it safe」更令員工們感到興奮。

      他們從不回避也從不吝嗇使用「超級智能」這個詞。

      他們假設(shè),AI 的發(fā)展軌跡,將遠(yuǎn)超生物學(xué)所能達到的極限。

      OpenAI 的財務(wù)文件,甚至規(guī)定了一種應(yīng)急退出措施,以防 AI 毀滅了人類的整個經(jīng)濟體系。

      Only The Faithful

      只有 the faithful 能成為 OpenAI 的員工。

      記者 Levy 向 OpenAI 的高層提問,如果有人并不相信 AGI 真的會到來,他們能否在 OpenAI 舒適工作?

      「為什么一個非信徒(nonbeliever)想要在這里工作?」高管們不理解。

      Altman 會說,如果你被錄用,那一瞬間你就不可避免地被吸引到他們的魔咒里。

      就是想要那種人

      「那是 2015 年,我們開始招人的時候,那時候你讓一個 AI 研究員說 AGI 值得認(rèn)真對待的話,這個人的職業(yè)生涯就完了!

      Sam Altman 在拿到各方資金后,開始偷偷組建團隊,「但我就是想要那些認(rèn)真對待它的人!

      Greg Brockman、Andrej Karpathy、Ilya Sutskever,他們都是這樣的人。

      教父驚呆了

      Ilya Sutskever,從俄羅斯移民到以色列,再移民加拿大,在多倫多大學(xué),稱為 Geoffrey Hinton 的門徒。

      就連 Hinton 也驚訝于 Sutskever 的天分。

      Hinton 早期給 Sutskever 安排了一個復(fù)雜的項目,但 Sutskever 厭煩了寫代碼來做必要的計算,他告訴 Hinton,如果他為這個任務(wù)編寫一種定制編程語言,會更容易搞定。

      Hinton 有些惱火,警告學(xué)生不要分心,他認(rèn)為這么做會耽誤一個月時間。

      「我今早寫好了,」Sutskever 向老師坦白說。

      *次親密接觸

      2015 年年中,Altman 給 Sutskever 寫郵件,約他和馬斯克、Brockman(當(dāng)時 Stripe CTO)一起吃個晚飯。

      Sutskever 并不是知道,那是專為他準(zhǔn)備的局。

      他們討論了 AGI 和人工智能發(fā)展的話題,聊了聊 Google 和 DeepMind 是否不可超越。沒有人給 Sutskever 示意。

      但 Sutskever 聊興奮了,不久后他給 Altman 寫了一封郵件,大意是,「我來 lead」。

      這封郵件卡草稿箱沒發(fā)出去...

      但 Altman 又主動去找他了。

      也有人不買賬

      不過并不是所有人都欣然接受 Altman 的邀請。

      卡馬克,約翰·卡馬克,傳奇,拒絕了 Altman。

      后來他自己創(chuàng)業(yè)投身 AGI。

      名不見經(jīng)傳

      Alec Radford,一個外界報道鮮有提到的 OpenAI 研究員,2016 年抱著加入個研究項目的心態(tài)接受 OpenAI 的 offer。

      他后來扮演的角色,就像 Larry Page 發(fā)明了 PageRank(Google 開始的地方)。

      他很害羞,用長郵件回復(fù)了 Levy 的采訪。

      他在 OpenAI 不知道該做什么,除了愿景一無所有的時候,開始了*個實驗:用 20 億條 Reddit 評論訓(xùn)練語言模型。這個實驗失敗了,他當(dāng)時 23 歲。

      當(dāng)時的 CTO,現(xiàn)在的總裁 Brockman 說,小伙子很棒,讓他再試試吧,let him do his thing。

      開天辟地

      受限于算力,Radford 只能專注在單一領(lǐng)域的小數(shù)據(jù)集上實驗。

      于是他選擇了亞馬遜電商評論,然后讓語言模型可以簡單地預(yù)測并生成用戶評論的下一個字符。

      突然間,模型自己能夠確定評論是積極的還是負(fù)面的,它能根據(jù)要求提供奉承或者苛刻的評論。

      后來,在 OpenAI,這被稱為「無監(jiān)督情緒神經(jīng)元」。

      好運臨頭了。

      他山之石

      Sutskever 鼓勵 Radford 將研究拓展到亞馬遜評論之外的數(shù)據(jù)。

      不久后,2017 年,Attention is all you need 發(fā)表。

      Sutskever 是全世界個別幾個真正理解 Transformer 有多么強大的人之一。

      「這就是我們一直在等待的東西!顾f。

      Radford 開始嘗試 Transformer 架構(gòu),「我在兩周內(nèi)取得的進展,比過去兩年還要多!

      轉(zhuǎn)折點 1

      方向明確了,就是 Transformer。

      「為了利用 Transformer,你需要擴大規(guī)模。」OpenAI 董事會成員,Quora CEO Adam D'Angelo 說,「你需要像一個工程組織一樣運營它,不能讓每個研究人員做自己喜歡的事情,煉自己的模型,發(fā)自己的論文。你必須做更乏味、不那么優(yōu)雅的工作。」

      這是 2018 年,全世界都好沒意識到,Altman 和 Musk 創(chuàng)辦的 AI 實驗室,開始正式的攀峰。

      他們原本聽起來瘋狂的想法,突然不再無解了。

      Radford 把他們最終創(chuàng)建的模型其名為 generatively pretrained transformer。

      1.17 億參數(shù),包括書籍、Quora、初高中考試的文章等等,模型在理解語言和產(chǎn)生答案的方面超越了以往一切的人工智能。

      那是一個深夜,Radford 在 OpenAI 辦公室,「我只是一遍又一遍的說,『行,挺酷,但我敢保證它做不了xxx』,我迅速編寫一個評估測試,(然后發(fā)現(xiàn),)行吧,它還真可以做xxx!

      親手實現(xiàn)了科幻

      OpenAI是從什么時候意識到「Open」是很危險的?

      GPT-2。Radford 親手做出了自己十年前讀的科幻小說里的機器。

      在尼爾·史蒂芬森的《詛咒》一書中,互聯(lián)網(wǎng)上充斥著垃圾郵件生成器。

      「我曾認(rèn)為這真的很牽強,但隨著我多年來在語言模型上的工作,隨著我讓它們變得更好,我不安地意識到,這是真正可能發(fā)生的!

      OpenAI 與內(nèi)外部的專家討論,做了很多安全工作后,最終決定發(fā)布一個功能有所保留的版本,GPT-2。

      他來了,他走了

      馬斯克在這時候有了想法。

      他想要擁有 OpenAI,收購多數(shù)股權(quán)。不只是一個沒有商業(yè)回報的贊助者,他想要 OpenAI 像 Tesla、SpaceX、Neuralink、Boring Company 等等公司一樣,成為「馬斯克宇宙」的一員。

      他覺得 OpenAI 要抓住*優(yōu)勢,他覺得 OpenAI 應(yīng)該注重安全問題,不管怎樣,他的解決方案只有一個:把一切都交給他。

      Altman 和 OpenAI 其他「智囊團」成員拒絕了馬斯克。

      馬斯克憤然退出 OpenAI 董事會。在全體員工會議上,馬斯克完成了他的道別:

      他預(yù)測 OpenAI 必將失敗,然后稱呼至少一個研究人員為「蠢蛋」(jackass)。

      人走了,他的資金支持也斷了。

      霸王條款

      硅谷不會愿意向非營利組織砸錢。

      OpenAI 創(chuàng)建了營利性的實體,雖然表面上還是非營利組織的研究機構(gòu),但實際上絕大部分員工都在從事盈利業(yè)務(wù)。

      潛在投資者們卻收到了一份奇怪的警告:不要期待投資回報。如果公司確實做出了AGI,會重新考慮財務(wù)安排。

      這樣的「霸王條款」并不是玩笑。

      OpenAI 為盈利業(yè)務(wù)設(shè)定了上限,上限外的一切都將回歸非營利研究機構(gòu)。

      實現(xiàn)技術(shù)革命的*使命,被編碼在公司的組織規(guī)則里。

      在這里,董事會的工作不是監(jiān)督會計財務(wù),而是保證OpenAI忠于使命。

      同一個問題

      聰明的投資者非但沒被嚇退,還加倍投下了賭注,OpenAI的員工同樣爭取自家的股權(quán)。

      公司的估值達到了30億美元,只是股東列表里,沒有Altman。

      對他來說,一份有意義的工作,要比錢更有價值。

      Altman 被問了太多次為什么不要股權(quán)。

      他現(xiàn)在想要了,這樣就不用總回答同一個問題了。

      微軟進場

      回到融資。指數(shù)級躍遷的參數(shù)迭代背后,是靠著資金壘起來資源。

      像是《大白鯊》里的捕魚獵人,擺在 OpenAI 面前的,是大白鯊一樣龐大的目標(biāo),他們還不知道,需要建造多大的船。

      不過顯然,在數(shù)十億美元的風(fēng)投回合中,只有少數(shù)幾家公司能上牌桌。

      Microsoft 先后投入 13 億美元,大型云提供商的支持,為 OpenAI 縮短了計算時間。

      Microsoft 也開始要求更多的東西:49% 的「非控制性股權(quán)」。

      這家科技巨頭,獲得了將 OpenAI 技術(shù)商業(yè)化的*許可,還換得了對方只使用 Microsoft Azure 的承諾。

      即使沒有從 OpenAI 的利潤中分一杯羹,Microsoft 也能借助跟 OpenAI 的綁定,為 Azure 云計算服務(wù)鎖定世界范圍內(nèi)最理想的新客戶。

      壓力的另一端

      披頭士引發(fā)了巨大的文化變革浪潮。

      但火爆全球之后僅僅 6 年,披頭士解散。

      所有的壓力,來自全世界的無情關(guān)注,每個產(chǎn)品周期實現(xiàn)革命的目標(biāo),投資人的商業(yè)回報,被迫和全世界技術(shù)能力最強的商業(yè)巨頭們站在同一個斗獸場里,還要承擔(dān)起「守護人類」的使命,這些很有可能是一種削弱的力量。

      OpenAI 的創(chuàng)始人們,他們想要一個足夠智能但安全的計算機,結(jié)束一段歷史,將人類推入一個難以想象的慷慨時代。

      轉(zhuǎn)折點 2

      與巨頭微軟的親密接觸讓 OpenAI 的口碑走向了另一個方向。

      馬斯克聲討,稱 OpenAI 從想要拯救雨林,變成了木材商。

      叛逃陸續(xù)發(fā)生在曾經(jīng)并肩作戰(zhàn)的老伙計身上。

      研究主管 Dario Amodei 和幾位關(guān)鍵高管離職,創(chuàng)辦了一家名為Anthropic 的競對公司,F(xiàn)在 Claude 系列模型是 GPT *的競爭對手。

      GPT-2、GPT-3 的項目技術(shù)貢獻者 Rewon Child,進入了 Inflection AI。

      在這些人看來,OpenAI 迷失了自己的使命,成了過于商業(yè)化的受害者。

      這是計劃的一部分

      為什么在 GPT-4 已經(jīng)震撼微軟全家數(shù)月之后,才緩緩放出基于 GPT-3.5 的 ChatGPT?

      「迭代部署假設(shè)」(iterative deployment hypothesis)。

      Altman 稱這是戰(zhàn)略的一部分,雖然 OpenAI 內(nèi)部有很多爭議,但他堅持認(rèn)為要讓大眾階梯式地適應(yīng)人工智能,適應(yīng)即將到來的全新的時代。

      「有了 ChatGPT,我們可以引入對話,同時不必把后端功能做得太好,給用戶慢慢適應(yīng)。想一口氣適應(yīng) GPT-4 要難得多!笰ltman 解釋道。

      為奇點的降臨,提供軟著陸。

      Sutskever 的解釋不太一樣,他說,「你會想創(chuàng)造更大更強的智慧體,然后藏在自家地下室里嗎?」

      300 年前的鏡子

      「回顧工業(yè)革命,每個人都會覺得它對世界來說是一件好事,」OpenAI 政策研究院 Sandhini Agarwal 說道,「最初的 50 年真的很痛苦。很多失業(yè)、很多貧困,在這之后世界才適應(yīng)了。」

      OpenAI正在做什么?

      產(chǎn)品本身、商業(yè)化公司、與微軟的關(guān)系、開發(fā)者生態(tài)系統(tǒng)、應(yīng)用商店,還有 AGI 的研究。

      六件事。

      哦,還有投資。

      「這些是不同的文化,事實上,它們與研究任務(wù)是有有沖突的。」以為 AI 行業(yè)的高管對 Levy 說。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。

    即時

    TCL實業(yè)榮獲IFA2024多項大獎,展示全球科技創(chuàng)新力量

    近日,德國柏林國際電子消費品展覽會(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)成功斬獲兩項“IFA全球產(chǎn)品設(shè)計創(chuàng)新大獎”金獎,有力證明了其在全球市場的強大影響力。

    新聞

    敢闖技術(shù)無人區(qū) TCL實業(yè)斬獲多項AWE 2024艾普蘭獎

    近日,中國家電及消費電子博覽會(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項AWE 2024艾普蘭大獎。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。

    3C消費

    “純臻4K 視界煥新”——愛普生4K 3LCD 激光工程投影

    2024年3月12日,由愛普生舉辦的主題為“純臻4K 視界煥新”新品發(fā)布會在上海盛大舉行。

    研究

    2024全球開發(fā)者先鋒大會即將開幕

    由世界人工智能大會組委會、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實驗室、上海臨港經(jīng)濟發(fā)展(集團)有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。