5G確定性工業(yè)基站首商用,工業(yè)互聯(lián)網(wǎng)走上新高度李飛飛團(tuán)隊(duì)前瞻性研究 多模態(tài)AI模型初顯空間智能AI終于邁過這道檻!Livekit 開源模型精準(zhǔn)識別“你是否說完”!DeepSeek開源大模型開發(fā)者之一羅福莉?qū)⒓用诵∶?/a>廣汽詳解旗下首款復(fù)合翼飛行汽車 GOVY AirJet:最高飛行速度可達(dá) 250km/h清華大學(xué)聯(lián)合騰訊出品!ColorFlow:自動給黑白漫畫上色,保持角色一致性Adobe推新AI音頻具Sketch2Sound ,只需哼唱和模仿聲音就能創(chuàng)建音效家庭能源智聯(lián)自由 海辰儲能發(fā)布首套免安裝家庭微網(wǎng)系統(tǒng)HeroESOpenAI發(fā)布o(jì)3:AI 推理能力的重大突破,得分高達(dá)87.5%亞馬遜云科技推出Amazon Q Developer新功能小象超市,摸著美團(tuán)外賣出海E Ink元太科技連三年入選道瓊可持續(xù)雙指數(shù)撬動6000億GTV后,抖音計劃偷襲美團(tuán)大本營AGI Open Network(AON):賦能每個人創(chuàng)建、部署和貨幣化AI Agent貸款利率史上最低了嗎?東融教你看懂歷年啥水平“客服來電”有詐?抖音客服上線“驗(yàn)證助手”助用戶識別詐騙OpenAI新模型GPT-5研發(fā)未達(dá)預(yù)期:成本高昂 效果不佳曝天馬打入果鏈:為蘋果HomePod供應(yīng)LCD屏 每塊屏僅10美元曝OPPO或首發(fā)新款天璣次旗艦芯片 兩大子品牌Q2發(fā)力諾基亞攜手阿聯(lián)酋運(yùn)營商e&,展示全球首個固網(wǎng)游戲端到端網(wǎng)絡(luò)切片方案
  • 首頁 > 云計算頻道 > 大模型

    Meta傳統(tǒng)藝能內(nèi)斗,在大模型上演了

    2023年09月07日 21:00:18   來源:字母榜

      兩個月前,開源大模型Llama 2驚艷四座,如今其發(fā)布者M(jìn)eta在AI領(lǐng)域的發(fā)展卻遭遇著危機(jī)。

      據(jù)The Information,Meta有幾個不同的團(tuán)隊(duì)同時研究AI,在公司策略變化、算力又有限的情況下,內(nèi)部斗爭嚴(yán)重,目前已經(jīng)造成了比較嚴(yán)重的人員流失。

      知情人士透露,內(nèi)部不同團(tuán)隊(duì)開發(fā)互為競品的模型,其中有的項(xiàng)目已經(jīng)被Meta放棄,目前已經(jīng)有很多人辭職。

      今年2月發(fā)表的原始Llama論文的14位作者中,有一半以上已經(jīng)離開了Meta,其中一些人進(jìn)入了其他大公司或初創(chuàng)企業(yè)。例如FAIR(Meta的AI部門)研究主管阿曼德·朱林(Armand Joulin)于5月離開,加入了蘋果;其他有幾位工程師加入了法國初創(chuàng)企業(yè)Mistral AI,該公司今年6月才成立。

      Meta的AI研究實(shí)驗(yàn)室主管喬埃爾·皮諾(Joelle Pineau)在接受采訪時表示:“留住和吸引優(yōu)秀人才可能是我花費(fèi)大部分時間的地方,因?yàn)闆]有優(yōu)秀的研究人員,我什么都做不了。”

      皮諾的話印證著Meta面臨AI人才流失的挑戰(zhàn),“巧婦難為無米之炊”,管理者的大部分時間耗費(fèi)在人員問題上,這對Meta來說是紅色的信號燈。

      去年底,VR大神約翰·卡馬克(John Carmack)辭去Meta的CTO一職,在內(nèi)部信中大篇幅傾倒對這家科技巨頭的不滿:效率低下,只有“5%的GPU利用率”;內(nèi)斗嚴(yán)重,即便他“在這里擁有最高等級的聲音,”,依舊力不從心。

      這是打在全力發(fā)展元宇宙的Meta臉上的一記耳光。

      彼時,該公司完成從Facebook到Meta的品牌重塑已經(jīng)過去一年時間,馬克·扎克伯格(Mark Zuckerberg)貫徹著“以元宇宙為先”的原則,但燒錢不止,收獲不足,外部質(zhì)疑不斷,員工已經(jīng)頗有微辭。一年的時間,Meta元宇宙部門虧損百億美元,其社交虛擬平臺Hrizon Worlds的“小人兒”卻連長個腿都困難。

      如今,盡管扎克伯格仍然表示未來會兩手抓,但Meta已經(jīng)很少提及“元宇宙”,這家科技巨頭似乎已經(jīng)將重心轉(zhuǎn)向AI。

      不管是在元宇宙還是AI領(lǐng)域,Meta都是想要后來而居上,都經(jīng)歷了迅速的策略轉(zhuǎn)變,而AI人才的大幅流失,向Meta的AI野心提出了一個尖銳的問題:Meta趕潮AI,會重蹈元宇宙的覆轍嗎?

      A

      讓我們先來看看Meta內(nèi)部究竟發(fā)生了什么。

      Meta的AI研究工作主要由FAIR部門承擔(dān)。FAIR,也就是Facebook AI Reasearch,從名字里就能看出其“歷史久遠(yuǎn)”,如今母公司早改名Meta。2013年,法國人工智能科學(xué)家楊立昆(Yann LeCunn)接受了Facebook的聘請,成為新成立的FAIR的第一任主管。

      一開始,F(xiàn)AIR實(shí)驗(yàn)室設(shè)置在紐約,但如今,它已經(jīng)在美國紐約和西雅圖、法國巴黎、加拿大蒙特利爾、英國倫敦?fù)碛卸鄠實(shí)驗(yàn)室。

      FAIR成立之初,楊立昆就與扎克伯格達(dá)成了研究和產(chǎn)品分開的原則,F(xiàn)AIR致力于研究項(xiàng)目,將AI應(yīng)用于翻譯語言和推進(jìn)MRI掃描等場景。

      在如今這波熱潮開始之前,F(xiàn)AIR已經(jīng)有致力于大型語言模型的開發(fā)。2022年5月,F(xiàn)AIR的一個美國團(tuán)隊(duì)發(fā)布了OPT-175B,對標(biāo)OpenAI的GPT-3。Meta稱在兩個模型訓(xùn)練期間學(xué)習(xí)的內(nèi)容數(shù)量等級相當(dāng),但OPT-175B的能耗更低。又過了幾個月,同一個團(tuán)隊(duì)開始研發(fā)新的更大的模型,對標(biāo)谷歌的PalM。

      與此同時,F(xiàn)AIR位于巴厘的另一個團(tuán)隊(duì)已經(jīng)開始研發(fā)Llama模型。Llama比OPT模型小,團(tuán)隊(duì)認(rèn)為更小的模型可以更有效地進(jìn)行推理。

      Meta作為科技巨頭,在算力上相比大多數(shù)公司都是有優(yōu)勢的,其之后招募AI人才時,也強(qiáng)調(diào)了這一點(diǎn)。

      但多不代表取之不盡,不同的團(tuán)隊(duì)分別研發(fā)相互競爭的產(chǎn)品,而這些產(chǎn)品又都需要算力支持,誰多誰少,加劇著團(tuán)隊(duì)之間的緊張關(guān)系。

      有知情人士透露,研發(fā)Llama的團(tuán)隊(duì)一度感覺到被忽視了,他們得到的算力比北美研發(fā)OPT的團(tuán)隊(duì)少。

      作為AI研究實(shí)驗(yàn)室的主管,皮諾也承認(rèn)了這一緊張關(guān)系的存在,并表示Meta的計算能力如何分配,由不同業(yè)務(wù)部門的一組領(lǐng)導(dǎo)人每月對齊決定。決策取決于組織的優(yōu)先級,以及項(xiàng)目距離發(fā)布有多遠(yuǎn)。當(dāng)FAIR有團(tuán)隊(duì)對算力分配有異議時,會上報至皮諾這里。

      競爭的展開,令一些人感到不適。知情人士稱,F(xiàn)AIR的一些領(lǐng)導(dǎo)人員對不同團(tuán)隊(duì)同時展開資源有限的類似項(xiàng)目表示質(zhì)疑。

      去年底,OpenAI發(fā)布ChatGPT,事情發(fā)生了變化。Meta領(lǐng)導(dǎo)層的壓力加大,要求將AI納入更多產(chǎn)品中。競爭加劇。

      這種緊張的局勢在今年2月達(dá)到了一個頂點(diǎn),也就是巴黎團(tuán)隊(duì)正式發(fā)布Llama模型的時候。該實(shí)驗(yàn)室的負(fù)責(zé)人在此時離開了Meta,而他的離開導(dǎo)致團(tuán)隊(duì)與遠(yuǎn)在美國的Meta領(lǐng)導(dǎo)層隔離開來,為該實(shí)驗(yàn)室增加了一些不確定性。

      與此同時,OPT團(tuán)隊(duì)也在那數(shù)月來經(jīng)受大大小小的人員流失。

      B

      在這種情況下,Meta做出了一些改變。

      今年2月,Meta成立了一個新團(tuán)隊(duì),專注于為其應(yīng)用程序開發(fā)AIGC(生成式人工智能)技術(shù)。新團(tuán)隊(duì)由蘋果公司前高管艾哈邁德·達(dá)勒(Ahmad Al-Dahle)領(lǐng)導(dǎo),吸納了很多FAIR的成員,其中就包括一個專注于Llama 2研發(fā)的團(tuán)隊(duì)。據(jù)知情人士,Llama 2的研發(fā)團(tuán)隊(duì)召集了有競爭關(guān)系的FAIR實(shí)驗(yàn)室成員。

      Llama發(fā)布之后,獲得了不少好評。幾個月內(nèi),有AI人員利用Llama研發(fā)出了其他開源大模型,如Vina,其功能幾乎與其他公司自主研發(fā)的大模型能力相當(dāng)。

      扎克伯格也表示,隨著開發(fā)者不斷改進(jìn)模型,Meta可以將這些改進(jìn)融入其廣告和消費(fèi)產(chǎn)品中?雌饋,扎克伯格從Llama看到了以開源在AI競爭中打開局面的可能性。

      到了7月,Meta就發(fā)布了Llama 2,8月又發(fā)布了代碼生成版本的Llama版本。

      Llama 2的發(fā)布,成為Meta的高光時刻。覆蓋70億、130億、700億參數(shù)版本,開源,可免費(fèi)用于研究場景和月活7億用戶以下的商業(yè)場景。這與以O(shè)penAI為代表的公司采取的閉源策略形成鮮明對比,AI賽道的競爭升級。在發(fā)布后的一周,Llama 2就收到了15萬次下載請求。

      Llama 2也幾乎成為Meta的轉(zhuǎn)折點(diǎn)。7月底,Meta發(fā)布2023年第二季度財報,在虧損了兩年之后,Meta終于盈利,也是自2021年第四季度以來,Meta的營收增長幅度首次達(dá)到兩位數(shù)。

      其中最出彩的是廣告收入,Meta第二季度的廣告收入高于市場預(yù)期,同比增長了12%至13%。而廣告收入的增長離不開AI的貢獻(xiàn)。扎克伯格在電話會議中表示,現(xiàn)在AI推薦內(nèi)容是Facebook訂閱中增長最快的內(nèi)容項(xiàng):“AI正在通過我們的自動化廣告產(chǎn)品(Meta Advantage)推動廣告發(fā)布。幾乎所有的Meta廣告商都在使用至少一款A(yù)I驅(qū)動的產(chǎn)品。”

      他同時表示,已經(jīng)與微軟就Llama 2開發(fā)達(dá)成合作協(xié)議,Meta也將使用Llama自行開發(fā)一些新產(chǎn)品。

      水面之下,Meta的AI人員持續(xù)流失。

      在對Llama重視的同時,開發(fā)了OPT模型的團(tuán)隊(duì)失利,他們原計劃開發(fā)更大的新模型,但這個項(xiàng)目最終被放棄。皮諾表示,2022年5月發(fā)表的一篇關(guān)于OPT的論文中列出了19位作者,但根據(jù)求職網(wǎng)站LinkedIn展示的信息,其中大約有一半的人已經(jīng)不在Meta工作了。

      整個FAIR也并不好受:隨著新團(tuán)隊(duì)的成立,F(xiàn)AIR的團(tuán)隊(duì)力量被削弱;此外,過去FAIR形成了由研究人員主導(dǎo)的自下而上的文化,其使命是推進(jìn)在AI領(lǐng)域的突破。隨著扎克伯格越來越有意將AI融入產(chǎn)品,F(xiàn)AIR的關(guān)注點(diǎn)在縮小。FAIR已經(jīng)取消了一些不以產(chǎn)品為導(dǎo)向的研究,如蛋白質(zhì)折疊;同時,新成立的AIGC團(tuán)隊(duì)和FAIR之間的項(xiàng)目如何分配也成了問題。

      Meta的資源再多,終究是有限的,同理,AI的人才再多,也終究是有限的。尤其在AI狂潮之下,趕潮的Meta必須平衡內(nèi)部資源,止住人員流失。

      C

      元宇宙和AI,Meta都并非開創(chuàng)者,但入局很早。

      10年前,Meta還叫Facebook,蘋果公司的iPhone開啟一個新的時代,F(xiàn)acebook面臨著移動互聯(lián)網(wǎng)的沖擊。扎克伯格在PC互聯(lián)網(wǎng)的快車道上建立起社交帝國,但他知道必須擁抱變化。

      扎克伯格瞄準(zhǔn)了兩個領(lǐng)域:一是AI,二是VR。

      對于AI領(lǐng)域的重視,以2013年聘請楊立昆、成立FAIR為標(biāo)志,在那之前扎克伯格曾試圖收購DeepMind,但敗給了谷歌。進(jìn)軍VR領(lǐng)域,則以2014年以20億美元高價收購Oculus為標(biāo)志,彼時Oculus連眾籌訂單都還沒交付完。

      2018年開始,F(xiàn)acebook就陷入了一系列丑聞之中,尤其是劍橋分析數(shù)據(jù)泄露丑聞,讓扎克伯格坐上了美國國會證人席上,鏖戰(zhàn)10個小時,回答了關(guān)于數(shù)據(jù)隱私、虛假信息、監(jiān)管等共計600個問題。那一年Facebook股價跌去19%,扎克伯格個人財富縮水上千億元。

      麻煩一直在持續(xù),2020年8月,其旗下Instagram在美國加州法院吃官司,被指控通過采集和存儲超過一億用戶的生物數(shù)據(jù)并從中牟利。

      此外,全球有48億互聯(lián)網(wǎng)用戶,F(xiàn)acebook有30億用戶。Facebook的用戶增長也已經(jīng)見頂。

      Facebook和扎克伯格需要新的出路。而在2020年9月,在收購Oculus并進(jìn)行了多年“改造”之后,F(xiàn)acebook終于交出了Oculus Quest2頭顯,以299美元的價格公開發(fā)售,備受歡迎。

      次年3月,Roblox紐交所上市,打出了元宇宙的概念,市值一度超過480億美元。

      元宇宙的風(fēng)來了,扎克伯格沒有放過它,手握多年前就已經(jīng)開始布局的業(yè)務(wù),F(xiàn)acebook正式更名Meta(取自Metaverse,也就是“元宇宙”一詞),All in元宇宙。Meta很快開放了元宇宙平臺Horizon World,并將Oculus Quest VR頭顯改名為Meta Quest。

      元宇宙如“救命稻草”般被扎克伯格死死抓住,但它卻未能“救命”。相反,Meta在元宇宙上燒錢不斷,收獲不足。到了2022年底OpenAI發(fā)布ChatGPT的時候,Meta股價已經(jīng)在此前一年的時間里下跌74%,負(fù)責(zé)元宇宙項(xiàng)目的Reality Labs部門前9個月虧損94億美元,預(yù)計2023年資本支出高達(dá)390億美元,是2021年的兩倍。Meta的一些大股東已經(jīng)開始憤怒,對于元宇宙策略的質(zhì)疑越來越盛。

      正是在這個節(jié)點(diǎn),卡馬克離開了Meta,并指責(zé)Meta效率低下、內(nèi)部斗爭嚴(yán)重。離開Meta之后,卡馬克投入谷歌的懷抱。

      卡馬克是游戲行業(yè)的傳奇程序員,被譽(yù)為“當(dāng)代第一人稱射擊游戲之父”,在2013年就加入了Oculus,同年Oculus被Meta收購。

      從收購Oculus,到2020年推出Oculus Quest 2,數(shù)年間Meta都在對Oculus進(jìn)行“清洗”。三年間,Oculus創(chuàng)始人帕爾默·拉奇(Palmer Luckey)、高管布倫丹·艾里布(Brendan Iribe)、內(nèi)特·米切爾(Nate Michell)悉數(shù)出局。而其中創(chuàng)始人拉奇和卡馬克過從甚密。

      這一切,卡馬克都親眼見證。離職時所言,也并非卡馬克第一次批評Meta,此前他還表示過Meta在元宇宙豪擲100億美元讓他“感到惡心”。

      元宇宙未能大獲全勝,AI浪潮又席卷全球,甚至比前者影響更加深遠(yuǎn)。Meta迅速動作,基于多年在AI領(lǐng)域的發(fā)展再接再厲,迅速加入了科技巨頭的AI大戰(zhàn)之中,這情形何其相似。

      但危機(jī)也何其相似,正如Meta在發(fā)展元宇宙時有Oculus的歷史遺留問題,如今AI領(lǐng)域的人員流失,也來自FAIR多個實(shí)驗(yàn)室在AI浪潮之前就開始的內(nèi)部拉扯。

      只是這一次,Meta必須得行,畢竟機(jī)會不會一而再再而三的出現(xiàn),元宇宙的苦澀果實(shí)吃一次傷身,吃兩次也許足以致命。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。

    即時

    新聞

    明火炊具市場:三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費(fèi)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實(shí)力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。

    研究

    中國信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標(biāo)識解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標(biāo)識解析專題論壇在沈陽成功舉辦。