拼多多解開了新疆的“包郵絕緣體”封印宏景智駕完成數(shù)億元C輪融資植物生長好幫手:廣明源金線蓮組培燈照亮生長每一步ROG純白系列DIY好物:簡約不失高雅,買它準(zhǔn)沒錯!穩(wěn)扎穩(wěn)打,中影光峰4K 14米 VLED LED電影屏通過DCI認(rèn)證并投入市場安吉爾空間大師亮相IFA 斬獲年度創(chuàng)新產(chǎn)品成果大獎電動自行車強(qiáng)制性“國標(biāo)”再修訂,綠源電動車以創(chuàng)新技術(shù)引領(lǐng)產(chǎn)業(yè)高質(zhì)量發(fā)展輕松籌:十年深耕大健康領(lǐng)域,打造全方位健康保障生態(tài)面對承壓的小家電市場,小熊、蘇泊爾上半年為何一降一增?研發(fā)投入高增、占營收比超5%,科沃斯、石頭科技升高技術(shù)壁壘激光顯示全面“向新”發(fā)展,未來激光電視主機(jī)僅有iPad大小2024年冷年空調(diào)市場總結(jié):規(guī)模下探,結(jié)構(gòu)降級,空調(diào)行業(yè)邁入新周OpenAI o1全方位SOTA登頂lmsys推薦榜!數(shù)學(xué)能力碾壓Claude和谷歌模型,o1-mini并列第一iPhone16系列新品正式發(fā)售 新品爆發(fā)就在抖音電商廣告燒錢過億,70%用戶靠投流,大模型算不過成本賬?PS1經(jīng)典配色!索尼發(fā)布30周年紀(jì)念版PS5、PS5 Pro:限量賣泰順:聚智聚力數(shù)字創(chuàng)客激發(fā)鄉(xiāng)村振興新動能電商12年 ,ALL IN 小紅書,開店3月賣出1100萬Mate 70最受期待!華為三款重磅機(jī)型蓄勢待發(fā)云天勵飛“算力積木”架構(gòu):引領(lǐng)邊緣AI芯片新變革
  • 首頁 > 云計(jì)算頻道 > 大模型

    Meta傳統(tǒng)藝能內(nèi)斗 在大模型上演了

    2023年09月07日 16:32:32   來源:字母榜

      編輯:王靖

      撰文:畢安娣

      兩個月前,開源大模型Llama 2驚艷四座,如今其發(fā)布者M(jìn)eta在AI領(lǐng)域的發(fā)展卻遭遇著危機(jī)。

      據(jù)The Information,Meta有幾個不同的團(tuán)隊(duì)同時(shí)研究AI,在公司策略變化、算力又有限的情況下,內(nèi)部斗爭嚴(yán)重,目前已經(jīng)造成了比較嚴(yán)重的人員流失。

      知情人士透露,內(nèi)部不同團(tuán)隊(duì)開發(fā)互為競品的模型,其中有的項(xiàng)目已經(jīng)被Meta放棄,目前已經(jīng)有很多人辭職。

      今年2月發(fā)表的原始Llama論文的14位作者中,有一半以上已經(jīng)離開了Meta,其中一些人進(jìn)入了其他大公司或初創(chuàng)企業(yè)。例如FAIR(Meta的AI部門)研究主管阿曼德·朱林(Armand Joulin)于5月離開,加入了蘋果;其他有幾位工程師加入了法國初創(chuàng)企業(yè)Mistral AI,該公司今年6月才成立。

      Meta的AI研究實(shí)驗(yàn)室主管喬埃爾·皮諾(Joelle Pineau)在接受采訪時(shí)表示:“留住和吸引優(yōu)秀人才可能是我花費(fèi)大部分時(shí)間的地方,因?yàn)闆]有優(yōu)秀的研究人員,我什么都做不了。”

      皮諾的話印證著Meta面臨AI人才流失的挑戰(zhàn),“巧婦難為無米之炊”,管理者的大部分時(shí)間耗費(fèi)在人員問題上,這對Meta來說是紅色的信號燈。

      去年底,VR大神約翰·卡馬克(John Carmack)辭去Meta的CTO一職,在內(nèi)部信中大篇幅傾倒對這家科技巨頭的不滿:效率低下,只有“5%的GPU利用率”;內(nèi)斗嚴(yán)重,即便他“在這里擁有最高等級的聲音,”,依舊力不從心。

      這是打在全力發(fā)展元宇宙的Meta臉上的一記耳光。

      彼時(shí),該公司完成從Facebook到Meta的品牌重塑已經(jīng)過去一年時(shí)間,馬克·扎克伯格(Mark Zuckerberg)貫徹著“以元宇宙為先”的原則,但燒錢不止,收獲不足,外部質(zhì)疑不斷,員工已經(jīng)頗有微辭。一年的時(shí)間,Meta元宇宙部門虧損百億美元,其社交虛擬平臺Hrizon Worlds的“小人兒”卻連長個腿都困難。

      如今,盡管扎克伯格仍然表示未來會兩手抓,但Meta已經(jīng)很少提及“元宇宙”,這家科技巨頭似乎已經(jīng)將重心轉(zhuǎn)向AI。

      不管是在元宇宙還是AI領(lǐng)域,Meta都是想要后來而居上,都經(jīng)歷了迅速的策略轉(zhuǎn)變,而AI人才的大幅流失,向Meta的AI野心提出了一個尖銳的問題:Meta趕潮AI,會重蹈元宇宙的覆轍嗎?

      A

      讓我們先來看看Meta內(nèi)部究竟發(fā)生了什么。

      Meta的AI研究工作主要由FAIR部門承擔(dān)。FAIR,也就是Facebook AI Reasearch,從名字里就能看出其“歷史久遠(yuǎn)”,如今母公司早改名Meta。2013年,法國人工智能科學(xué)家楊立昆(Yann LeCunn)接受了Facebook的聘請,成為新成立的FAIR的第一任主管。

      一開始,F(xiàn)AIR實(shí)驗(yàn)室設(shè)置在紐約,但如今,它已經(jīng)在美國紐約和西雅圖、法國巴黎、加拿大蒙特利爾、英國倫敦?fù)碛卸鄠實(shí)驗(yàn)室。

      FAIR成立之初,楊立昆就與扎克伯格達(dá)成了研究和產(chǎn)品分開的原則,F(xiàn)AIR致力于研究項(xiàng)目,將AI應(yīng)用于翻譯語言和推進(jìn)MRI掃描等場景。

      在如今這波熱潮開始之前,F(xiàn)AIR已經(jīng)有致力于大型語言模型的開發(fā)。2022年5月,F(xiàn)AIR的一個美國團(tuán)隊(duì)發(fā)布了OPT-175B,對標(biāo)OpenAI的GPT-3。Meta稱在兩個模型訓(xùn)練期間學(xué)習(xí)的內(nèi)容數(shù)量等級相當(dāng),但OPT-175B的能耗更低。又過了幾個月,同一個團(tuán)隊(duì)開始研發(fā)新的更大的模型,對標(biāo)谷歌的PalM。

      與此同時(shí),F(xiàn)AIR位于巴厘的另一個團(tuán)隊(duì)已經(jīng)開始研發(fā)Llama模型。Llama比OPT模型小,團(tuán)隊(duì)認(rèn)為更小的模型可以更有效地進(jìn)行推理。

      Meta作為科技巨頭,在算力上相比大多數(shù)公司都是有優(yōu)勢的,其之后招募AI人才時(shí),也強(qiáng)調(diào)了這一點(diǎn)。

      但多不代表取之不盡,不同的團(tuán)隊(duì)分別研發(fā)相互競爭的產(chǎn)品,而這些產(chǎn)品又都需要算力支持,誰多誰少,加劇著團(tuán)隊(duì)之間的緊張關(guān)系。

      有知情人士透露,研發(fā)Llama的團(tuán)隊(duì)一度感覺到被忽視了,他們得到的算力比北美研發(fā)OPT的團(tuán)隊(duì)少。

      作為AI研究實(shí)驗(yàn)室的主管,皮諾也承認(rèn)了這一緊張關(guān)系的存在,并表示Meta的計(jì)算能力如何分配,由不同業(yè)務(wù)部門的一組領(lǐng)導(dǎo)人每月對齊決定。決策取決于組織的優(yōu)先級,以及項(xiàng)目距離發(fā)布有多遠(yuǎn)。當(dāng)FAIR有團(tuán)隊(duì)對算力分配有異議時(shí),會上報(bào)至皮諾這里。

      競爭的展開,令一些人感到不適。知情人士稱,F(xiàn)AIR的一些領(lǐng)導(dǎo)人員對不同團(tuán)隊(duì)同時(shí)展開資源有限的類似項(xiàng)目表示質(zhì)疑。

      去年底,OpenAI發(fā)布ChatGPT,事情發(fā)生了變化。Meta領(lǐng)導(dǎo)層的壓力加大,要求將AI納入更多產(chǎn)品中。競爭加劇。

      這種緊張的局勢在今年2月達(dá)到了一個頂點(diǎn),也就是巴黎團(tuán)隊(duì)正式發(fā)布Llama模型的時(shí)候。該實(shí)驗(yàn)室的負(fù)責(zé)人在此時(shí)離開了Meta,而他的離開導(dǎo)致團(tuán)隊(duì)與遠(yuǎn)在美國的Meta領(lǐng)導(dǎo)層隔離開來,為該實(shí)驗(yàn)室增加了一些不確定性。

      與此同時(shí),OPT團(tuán)隊(duì)也在那數(shù)月來經(jīng)受大大小小的人員流失。

      B

      在這種情況下,Meta做出了一些改變。

      今年2月,Meta成立了一個新團(tuán)隊(duì),專注于為其應(yīng)用程序開發(fā)AIGC(生成式人工智能)技術(shù)。新團(tuán)隊(duì)由蘋果公司前高管艾哈邁德·達(dá)勒(Ahmad Al-Dahle)領(lǐng)導(dǎo),吸納了很多FAIR的成員,其中就包括一個專注于Llama 2研發(fā)的團(tuán)隊(duì)。據(jù)知情人士,Llama 2的研發(fā)團(tuán)隊(duì)召集了有競爭關(guān)系的FAIR實(shí)驗(yàn)室成員。

      Llama發(fā)布之后,獲得了不少好評。幾個月內(nèi),有AI人員利用Llama研發(fā)出了其他開源大模型,如Vina,其功能幾乎與其他公司自主研發(fā)的大模型能力相當(dāng)。

      扎克伯格也表示,隨著開發(fā)者不斷改進(jìn)模型,Meta可以將這些改進(jìn)融入其廣告和消費(fèi)產(chǎn)品中?雌饋,扎克伯格從Llama看到了以開源在AI競爭中打開局面的可能性。

      到了7月,Meta就發(fā)布了Llama 2,8月又發(fā)布了代碼生成版本的Llama版本。

      Llama 2的發(fā)布,成為Meta的高光時(shí)刻。覆蓋70億、130億、700億參數(shù)版本,開源,可免費(fèi)用于研究場景和月活7億用戶以下的商業(yè)場景。這與以O(shè)penAI為代表的公司采取的閉源策略形成鮮明對比,AI賽道的競爭升級。在發(fā)布后的一周,Llama 2就收到了15萬次下載請求。

      Llama 2也幾乎成為Meta的轉(zhuǎn)折點(diǎn)。7月底,Meta發(fā)布2023年第二季度財(cái)報(bào),在虧損了兩年之后,Meta終于盈利,也是自2021年第四季度以來,Meta的營收增長幅度首次達(dá)到兩位數(shù)。

      其中最出彩的是廣告收入,Meta第二季度的廣告收入高于市場預(yù)期,同比增長了12%至13%。而廣告收入的增長離不開AI的貢獻(xiàn)。扎克伯格在電話會議中表示,現(xiàn)在AI推薦內(nèi)容是Facebook訂閱中增長最快的內(nèi)容項(xiàng):“AI正在通過我們的自動化廣告產(chǎn)品(Meta Advantage)推動廣告發(fā)布。幾乎所有的Meta廣告商都在使用至少一款A(yù)I驅(qū)動的產(chǎn)品。”

      他同時(shí)表示,已經(jīng)與微軟就Llama 2開發(fā)達(dá)成合作協(xié)議,Meta也將使用Llama自行開發(fā)一些新產(chǎn)品。

      水面之下,Meta的AI人員持續(xù)流失。

      在對Llama重視的同時(shí),開發(fā)了OPT模型的團(tuán)隊(duì)失利,他們原計(jì)劃開發(fā)更大的新模型,但這個項(xiàng)目最終被放棄。皮諾表示,2022年5月發(fā)表的一篇關(guān)于OPT的論文中列出了19位作者,但根據(jù)求職網(wǎng)站LinkedIn展示的信息,其中大約有一半的人已經(jīng)不在Meta工作了。

      整個FAIR也并不好受:隨著新團(tuán)隊(duì)的成立,F(xiàn)AIR的團(tuán)隊(duì)力量被削弱;此外,過去FAIR形成了由研究人員主導(dǎo)的自下而上的文化,其使命是推進(jìn)在AI領(lǐng)域的突破。隨著扎克伯格越來越有意將AI融入產(chǎn)品,F(xiàn)AIR的關(guān)注點(diǎn)在縮小。FAIR已經(jīng)取消了一些不以產(chǎn)品為導(dǎo)向的研究,如蛋白質(zhì)折疊;同時(shí),新成立的AIGC團(tuán)隊(duì)和FAIR之間的項(xiàng)目如何分配也成了問題。

      Meta的資源再多,終究是有限的,同理,AI的人才再多,也終究是有限的。尤其在AI狂潮之下,趕潮的Meta必須平衡內(nèi)部資源,止住人員流失。

      C

      元宇宙和AI,Meta都并非開創(chuàng)者,但入局很早。

      10年前,Meta還叫Facebook,蘋果公司的iPhone開啟一個新的時(shí)代,F(xiàn)acebook面臨著移動互聯(lián)網(wǎng)的沖擊。扎克伯格在PC互聯(lián)網(wǎng)的快車道上建立起社交帝國,但他知道必須擁抱變化。

      扎克伯格瞄準(zhǔn)了兩個領(lǐng)域:一是AI,二是VR。

      對于AI領(lǐng)域的重視,以2013年聘請楊立昆、成立FAIR為標(biāo)志,在那之前扎克伯格曾試圖收購DeepMind,但敗給了谷歌。進(jìn)軍VR領(lǐng)域,則以2014年以20億美元高價(jià)收購Oculus為標(biāo)志,彼時(shí)Oculus連眾籌訂單都還沒交付完。

      2018年開始,F(xiàn)acebook就陷入了一系列丑聞之中,尤其是劍橋分析數(shù)據(jù)泄露丑聞,讓扎克伯格坐上了美國國會證人席上,鏖戰(zhàn)10個小時(shí),回答了關(guān)于數(shù)據(jù)隱私、虛假信息、監(jiān)管等共計(jì)600個問題。那一年Facebook股價(jià)跌去19%,扎克伯格個人財(cái)富縮水上千億元。

      麻煩一直在持續(xù),2020年8月,其旗下Instagram在美國加州法院吃官司,被指控通過采集和存儲超過一億用戶的生物數(shù)據(jù)并從中牟利。

      此外,全球有48億互聯(lián)網(wǎng)用戶,F(xiàn)acebook有30億用戶。Facebook的用戶增長也已經(jīng)見頂。

      Facebook和扎克伯格需要新的出路。而在2020年9月,在收購Oculus并進(jìn)行了多年“改造”之后,F(xiàn)acebook終于交出了Oculus Quest2頭顯,以299美元的價(jià)格公開發(fā)售,備受歡迎。

      次年3月,Roblox紐交所上市,打出了元宇宙的概念,市值一度超過480億美元。

      元宇宙的風(fēng)來了,扎克伯格沒有放過它,手握多年前就已經(jīng)開始布局的業(yè)務(wù),F(xiàn)acebook正式更名Meta(取自Metaverse,也就是“元宇宙”一詞),All in元宇宙。Meta很快開放了元宇宙平臺Horizon World,并將Oculus Quest VR頭顯改名為Meta Quest。

      元宇宙如“救命稻草”般被扎克伯格死死抓住,但它卻未能“救命”。相反,Meta在元宇宙上燒錢不斷,收獲不足。到了2022年底OpenAI發(fā)布ChatGPT的時(shí)候,Meta股價(jià)已經(jīng)在此前一年的時(shí)間里下跌74%,負(fù)責(zé)元宇宙項(xiàng)目的Reality Labs部門前9個月虧損94億美元,預(yù)計(jì)2023年資本支出高達(dá)390億美元,是2021年的兩倍。Meta的一些大股東已經(jīng)開始憤怒,對于元宇宙策略的質(zhì)疑越來越盛。

      正是在這個節(jié)點(diǎn),卡馬克離開了Meta,并指責(zé)Meta效率低下、內(nèi)部斗爭嚴(yán)重。離開Meta之后,卡馬克投入谷歌的懷抱。

      卡馬克是游戲行業(yè)的傳奇程序員,被譽(yù)為“當(dāng)代第一人稱射擊游戲之父”,在2013年就加入了Oculus,同年Oculus被Meta收購。

      從收購Oculus,到2020年推出Oculus Quest 2,數(shù)年間Meta都在對Oculus進(jìn)行“清洗”。三年間,Oculus創(chuàng)始人帕爾默·拉奇(Palmer Luckey)、高管布倫丹·艾里布(Brendan Iribe)、內(nèi)特·米切爾(Nate Michell)悉數(shù)出局。而其中創(chuàng)始人拉奇和卡馬克過從甚密。

      這一切,卡馬克都親眼見證。離職時(shí)所言,也并非卡馬克第一次批評Meta,此前他還表示過Meta在元宇宙豪擲100億美元讓他“感到惡心”。

      元宇宙未能大獲全勝,AI浪潮又席卷全球,甚至比前者影響更加深遠(yuǎn)。Meta迅速動作,基于多年在AI領(lǐng)域的發(fā)展再接再厲,迅速加入了科技巨頭的AI大戰(zhàn)之中,這情形何其相似。

      但危機(jī)也何其相似,正如Meta在發(fā)展元宇宙時(shí)有Oculus的歷史遺留問題,如今AI領(lǐng)域的人員流失,也來自FAIR多個實(shí)驗(yàn)室在AI浪潮之前就開始的內(nèi)部拉扯。

      只是這一次,Meta必須得行,畢竟機(jī)會不會一而再再而三的出現(xiàn),元宇宙的苦澀果實(shí)吃一次傷身,吃兩次也許足以致命。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。

    即時(shí)

    TCL實(shí)業(yè)榮獲IFA2024多項(xiàng)大獎,展示全球科技創(chuàng)新力量

    近日,德國柏林國際電子消費(fèi)品展覽會(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計(jì)及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)成功斬獲兩項(xiàng)“IFA全球產(chǎn)品設(shè)計(jì)創(chuàng)新大獎”金獎,有力證明了其在全球市場的強(qiáng)大影響力。

    新聞

    敢闖技術(shù)無人區(qū) TCL實(shí)業(yè)斬獲多項(xiàng)AWE 2024艾普蘭獎

    近日,中國家電及消費(fèi)電子博覽會(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費(fèi)

    “純臻4K 視界煥新”——愛普生4K 3LCD 激光工程投影

    2024年3月12日,由愛普生舉辦的主題為“純臻4K 視界煥新”新品發(fā)布會在上海盛大舉行。

    研究

    2024全球開發(fā)者先鋒大會即將開幕

    由世界人工智能大會組委會、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。