上半年中國AR/VR出貨23.3萬臺,同比下滑了 29.1%IDC:2024 上半年中國 AR / VR 頭顯出貨 23.3 萬臺,同比下滑 29.1%英特爾AI加速器Gaudi3下周發(fā)布,挑戰(zhàn)NVIDIA統(tǒng)治地位!大屏技術(shù)邂逅千年色彩美學(xué)!海信激光電視成為電影《只此青綠》官方合作伙伴OpenAI將最新AI模型o1擴展到企業(yè)和教育領(lǐng)域三星新專利探索AR技術(shù)新應(yīng)用:檢測屏幕指紋殘留,提高手機安全性猛瑪傳奇C1:直播圖傳技術(shù)的革新者JFrog推出首個運行時安全解決方案,實現(xiàn)從代碼到云的全面軟件完整性和可追溯性亞馬遜推出一大波生成式 AI 工具,購物體驗全面升級機器人公司1X推出世界模型Apple Intelligence測試版現(xiàn)已開放革命性AI對話系統(tǒng)Moshi問世:機器也能說人話了?阿里國際推出最新多模態(tài)大模型 Ovis,看菜品就能提供烹飪步驟華為發(fā)布智聯(lián)集成行業(yè)解決方案,助力客戶打造行業(yè)領(lǐng)先的目標(biāo)網(wǎng)絡(luò)AI 3D生成天花板再拉升!清華團隊煉成3D Scaling Law正在逐步覆蓋!騰訊提醒勿為實況圖重裝微信:以免丟失微信聊天記錄iPhone16多款機型破發(fā):最高比官網(wǎng)便宜600元劉積仁不愛“湊熱鬧”,但東軟集團喜歡“追風(fēng)口”快手電商新增近800個“0元開店”類目,推出多項新商入駐權(quán)益年內(nèi)狂攬五項第一,“字節(jié)系大模型”何以后發(fā)先至?
  • 首頁 > 云計算頻道 > 大模型

    Meta傳統(tǒng)藝能內(nèi)斗,在大模型上演了

    2023年09月07日 21:00:18   來源:字母榜

      兩個月前,開源大模型Llama 2驚艷四座,如今其發(fā)布者Meta在AI領(lǐng)域的發(fā)展卻遭遇著危機。

      據(jù)The Information,Meta有幾個不同的團隊同時研究AI,在公司策略變化、算力又有限的情況下,內(nèi)部斗爭嚴(yán)重,目前已經(jīng)造成了比較嚴(yán)重的人員流失。

      知情人士透露,內(nèi)部不同團隊開發(fā)互為競品的模型,其中有的項目已經(jīng)被Meta放棄,目前已經(jīng)有很多人辭職。

      今年2月發(fā)表的原始Llama論文的14位作者中,有一半以上已經(jīng)離開了Meta,其中一些人進入了其他大公司或初創(chuàng)企業(yè)。例如FAIR(Meta的AI部門)研究主管阿曼德·朱林(Armand Joulin)于5月離開,加入了蘋果;其他有幾位工程師加入了法國初創(chuàng)企業(yè)Mistral AI,該公司今年6月才成立。

      Meta的AI研究實驗室主管喬埃爾·皮諾(Joelle Pineau)在接受采訪時表示:“留住和吸引優(yōu)秀人才可能是我花費大部分時間的地方,因為沒有優(yōu)秀的研究人員,我什么都做不了。”

      皮諾的話印證著Meta面臨AI人才流失的挑戰(zhàn),“巧婦難為無米之炊”,管理者的大部分時間耗費在人員問題上,這對Meta來說是紅色的信號燈。

      去年底,VR大神約翰·卡馬克(John Carmack)辭去Meta的CTO一職,在內(nèi)部信中大篇幅傾倒對這家科技巨頭的不滿:效率低下,只有“5%的GPU利用率”;內(nèi)斗嚴(yán)重,即便他“在這里擁有最高等級的聲音,”,依舊力不從心。

      這是打在全力發(fā)展元宇宙的Meta臉上的一記耳光。

      彼時,該公司完成從Facebook到Meta的品牌重塑已經(jīng)過去一年時間,馬克·扎克伯格(Mark Zuckerberg)貫徹著“以元宇宙為先”的原則,但燒錢不止,收獲不足,外部質(zhì)疑不斷,員工已經(jīng)頗有微辭。一年的時間,Meta元宇宙部門虧損百億美元,其社交虛擬平臺Hrizon Worlds的“小人兒”卻連長個腿都困難。

      如今,盡管扎克伯格仍然表示未來會兩手抓,但Meta已經(jīng)很少提及“元宇宙”,這家科技巨頭似乎已經(jīng)將重心轉(zhuǎn)向AI。

      不管是在元宇宙還是AI領(lǐng)域,Meta都是想要后來而居上,都經(jīng)歷了迅速的策略轉(zhuǎn)變,而AI人才的大幅流失,向Meta的AI野心提出了一個尖銳的問題:Meta趕潮AI,會重蹈元宇宙的覆轍嗎?

      A

      讓我們先來看看Meta內(nèi)部究竟發(fā)生了什么。

      Meta的AI研究工作主要由FAIR部門承擔(dān)。FAIR,也就是Facebook AI Reasearch,從名字里就能看出其“歷史久遠(yuǎn)”,如今母公司早改名Meta。2013年,法國人工智能科學(xué)家楊立昆(Yann LeCunn)接受了Facebook的聘請,成為新成立的FAIR的第一任主管。

      一開始,F(xiàn)AIR實驗室設(shè)置在紐約,但如今,它已經(jīng)在美國紐約和西雅圖、法國巴黎、加拿大蒙特利爾、英國倫敦?fù)碛卸鄠實驗室。

      FAIR成立之初,楊立昆就與扎克伯格達成了研究和產(chǎn)品分開的原則,F(xiàn)AIR致力于研究項目,將AI應(yīng)用于翻譯語言和推進MRI掃描等場景。

      在如今這波熱潮開始之前,F(xiàn)AIR已經(jīng)有致力于大型語言模型的開發(fā)。2022年5月,F(xiàn)AIR的一個美國團隊發(fā)布了OPT-175B,對標(biāo)OpenAI的GPT-3。Meta稱在兩個模型訓(xùn)練期間學(xué)習(xí)的內(nèi)容數(shù)量等級相當(dāng),但OPT-175B的能耗更低。又過了幾個月,同一個團隊開始研發(fā)新的更大的模型,對標(biāo)谷歌的PalM。

      與此同時,F(xiàn)AIR位于巴厘的另一個團隊已經(jīng)開始研發(fā)Llama模型。Llama比OPT模型小,團隊認(rèn)為更小的模型可以更有效地進行推理。

      Meta作為科技巨頭,在算力上相比大多數(shù)公司都是有優(yōu)勢的,其之后招募AI人才時,也強調(diào)了這一點。

      但多不代表取之不盡,不同的團隊分別研發(fā)相互競爭的產(chǎn)品,而這些產(chǎn)品又都需要算力支持,誰多誰少,加劇著團隊之間的緊張關(guān)系。

      有知情人士透露,研發(fā)Llama的團隊一度感覺到被忽視了,他們得到的算力比北美研發(fā)OPT的團隊少。

      作為AI研究實驗室的主管,皮諾也承認(rèn)了這一緊張關(guān)系的存在,并表示Meta的計算能力如何分配,由不同業(yè)務(wù)部門的一組領(lǐng)導(dǎo)人每月對齊決定。決策取決于組織的優(yōu)先級,以及項目距離發(fā)布有多遠(yuǎn)。當(dāng)FAIR有團隊對算力分配有異議時,會上報至皮諾這里。

      競爭的展開,令一些人感到不適。知情人士稱,F(xiàn)AIR的一些領(lǐng)導(dǎo)人員對不同團隊同時展開資源有限的類似項目表示質(zhì)疑。

      去年底,OpenAI發(fā)布ChatGPT,事情發(fā)生了變化。Meta領(lǐng)導(dǎo)層的壓力加大,要求將AI納入更多產(chǎn)品中。競爭加劇。

      這種緊張的局勢在今年2月達到了一個頂點,也就是巴黎團隊正式發(fā)布Llama模型的時候。該實驗室的負(fù)責(zé)人在此時離開了Meta,而他的離開導(dǎo)致團隊與遠(yuǎn)在美國的Meta領(lǐng)導(dǎo)層隔離開來,為該實驗室增加了一些不確定性。

      與此同時,OPT團隊也在那數(shù)月來經(jīng)受大大小小的人員流失。

      B

      在這種情況下,Meta做出了一些改變。

      今年2月,Meta成立了一個新團隊,專注于為其應(yīng)用程序開發(fā)AIGC(生成式人工智能)技術(shù)。新團隊由蘋果公司前高管艾哈邁德·達勒(Ahmad Al-Dahle)領(lǐng)導(dǎo),吸納了很多FAIR的成員,其中就包括一個專注于Llama 2研發(fā)的團隊。據(jù)知情人士,Llama 2的研發(fā)團隊召集了有競爭關(guān)系的FAIR實驗室成員。

      Llama發(fā)布之后,獲得了不少好評。幾個月內(nèi),有AI人員利用Llama研發(fā)出了其他開源大模型,如Vina,其功能幾乎與其他公司自主研發(fā)的大模型能力相當(dāng)。

      扎克伯格也表示,隨著開發(fā)者不斷改進模型,Meta可以將這些改進融入其廣告和消費產(chǎn)品中。看起來,扎克伯格從Llama看到了以開源在AI競爭中打開局面的可能性。

      到了7月,Meta就發(fā)布了Llama 2,8月又發(fā)布了代碼生成版本的Llama版本。

      Llama 2的發(fā)布,成為Meta的高光時刻。覆蓋70億、130億、700億參數(shù)版本,開源,可免費用于研究場景和月活7億用戶以下的商業(yè)場景。這與以O(shè)penAI為代表的公司采取的閉源策略形成鮮明對比,AI賽道的競爭升級。在發(fā)布后的一周,Llama 2就收到了15萬次下載請求。

      Llama 2也幾乎成為Meta的轉(zhuǎn)折點。7月底,Meta發(fā)布2023年第二季度財報,在虧損了兩年之后,Meta終于盈利,也是自2021年第四季度以來,Meta的營收增長幅度首次達到兩位數(shù)。

      其中最出彩的是廣告收入,Meta第二季度的廣告收入高于市場預(yù)期,同比增長了12%至13%。而廣告收入的增長離不開AI的貢獻。扎克伯格在電話會議中表示,現(xiàn)在AI推薦內(nèi)容是Facebook訂閱中增長最快的內(nèi)容項:“AI正在通過我們的自動化廣告產(chǎn)品(Meta Advantage)推動廣告發(fā)布。幾乎所有的Meta廣告商都在使用至少一款A(yù)I驅(qū)動的產(chǎn)品。”

      他同時表示,已經(jīng)與微軟就Llama 2開發(fā)達成合作協(xié)議,Meta也將使用Llama自行開發(fā)一些新產(chǎn)品。

      水面之下,Meta的AI人員持續(xù)流失。

      在對Llama重視的同時,開發(fā)了OPT模型的團隊失利,他們原計劃開發(fā)更大的新模型,但這個項目最終被放棄。皮諾表示,2022年5月發(fā)表的一篇關(guān)于OPT的論文中列出了19位作者,但根據(jù)求職網(wǎng)站LinkedIn展示的信息,其中大約有一半的人已經(jīng)不在Meta工作了。

      整個FAIR也并不好受:隨著新團隊的成立,F(xiàn)AIR的團隊力量被削弱;此外,過去FAIR形成了由研究人員主導(dǎo)的自下而上的文化,其使命是推進在AI領(lǐng)域的突破。隨著扎克伯格越來越有意將AI融入產(chǎn)品,F(xiàn)AIR的關(guān)注點在縮小。FAIR已經(jīng)取消了一些不以產(chǎn)品為導(dǎo)向的研究,如蛋白質(zhì)折疊;同時,新成立的AIGC團隊和FAIR之間的項目如何分配也成了問題。

      Meta的資源再多,終究是有限的,同理,AI的人才再多,也終究是有限的。尤其在AI狂潮之下,趕潮的Meta必須平衡內(nèi)部資源,止住人員流失。

      C

      元宇宙和AI,Meta都并非開創(chuàng)者,但入局很早。

      10年前,Meta還叫Facebook,蘋果公司的iPhone開啟一個新的時代,F(xiàn)acebook面臨著移動互聯(lián)網(wǎng)的沖擊。扎克伯格在PC互聯(lián)網(wǎng)的快車道上建立起社交帝國,但他知道必須擁抱變化。

      扎克伯格瞄準(zhǔn)了兩個領(lǐng)域:一是AI,二是VR。

      對于AI領(lǐng)域的重視,以2013年聘請楊立昆、成立FAIR為標(biāo)志,在那之前扎克伯格曾試圖收購DeepMind,但敗給了谷歌。進軍VR領(lǐng)域,則以2014年以20億美元高價收購Oculus為標(biāo)志,彼時Oculus連眾籌訂單都還沒交付完。

      2018年開始,F(xiàn)acebook就陷入了一系列丑聞之中,尤其是劍橋分析數(shù)據(jù)泄露丑聞,讓扎克伯格坐上了美國國會證人席上,鏖戰(zhàn)10個小時,回答了關(guān)于數(shù)據(jù)隱私、虛假信息、監(jiān)管等共計600個問題。那一年Facebook股價跌去19%,扎克伯格個人財富縮水上千億元。

      麻煩一直在持續(xù),2020年8月,其旗下Instagram在美國加州法院吃官司,被指控通過采集和存儲超過一億用戶的生物數(shù)據(jù)并從中牟利。

      此外,全球有48億互聯(lián)網(wǎng)用戶,F(xiàn)acebook有30億用戶。Facebook的用戶增長也已經(jīng)見頂。

      Facebook和扎克伯格需要新的出路。而在2020年9月,在收購Oculus并進行了多年“改造”之后,F(xiàn)acebook終于交出了Oculus Quest2頭顯,以299美元的價格公開發(fā)售,備受歡迎。

      次年3月,Roblox紐交所上市,打出了元宇宙的概念,市值一度超過480億美元。

      元宇宙的風(fēng)來了,扎克伯格沒有放過它,手握多年前就已經(jīng)開始布局的業(yè)務(wù),F(xiàn)acebook正式更名Meta(取自Metaverse,也就是“元宇宙”一詞),All in元宇宙。Meta很快開放了元宇宙平臺Horizon World,并將Oculus Quest VR頭顯改名為Meta Quest。

      元宇宙如“救命稻草”般被扎克伯格死死抓住,但它卻未能“救命”。相反,Meta在元宇宙上燒錢不斷,收獲不足。到了2022年底OpenAI發(fā)布ChatGPT的時候,Meta股價已經(jīng)在此前一年的時間里下跌74%,負(fù)責(zé)元宇宙項目的Reality Labs部門前9個月虧損94億美元,預(yù)計2023年資本支出高達390億美元,是2021年的兩倍。Meta的一些大股東已經(jīng)開始憤怒,對于元宇宙策略的質(zhì)疑越來越盛。

      正是在這個節(jié)點,卡馬克離開了Meta,并指責(zé)Meta效率低下、內(nèi)部斗爭嚴(yán)重。離開Meta之后,卡馬克投入谷歌的懷抱。

      卡馬克是游戲行業(yè)的傳奇程序員,被譽為“當(dāng)代第一人稱射擊游戲之父”,在2013年就加入了Oculus,同年Oculus被Meta收購。

      從收購Oculus,到2020年推出Oculus Quest 2,數(shù)年間Meta都在對Oculus進行“清洗”。三年間,Oculus創(chuàng)始人帕爾默·拉奇(Palmer Luckey)、高管布倫丹·艾里布(Brendan Iribe)、內(nèi)特·米切爾(Nate Michell)悉數(shù)出局。而其中創(chuàng)始人拉奇和卡馬克過從甚密。

      這一切,卡馬克都親眼見證。離職時所言,也并非卡馬克第一次批評Meta,此前他還表示過Meta在元宇宙豪擲100億美元讓他“感到惡心”。

      元宇宙未能大獲全勝,AI浪潮又席卷全球,甚至比前者影響更加深遠(yuǎn)。Meta迅速動作,基于多年在AI領(lǐng)域的發(fā)展再接再厲,迅速加入了科技巨頭的AI大戰(zhàn)之中,這情形何其相似。

      但危機也何其相似,正如Meta在發(fā)展元宇宙時有Oculus的歷史遺留問題,如今AI領(lǐng)域的人員流失,也來自FAIR多個實驗室在AI浪潮之前就開始的內(nèi)部拉扯。

      只是這一次,Meta必須得行,畢竟機會不會一而再再而三的出現(xiàn),元宇宙的苦澀果實吃一次傷身,吃兩次也許足以致命。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。

    即時

    TCL實業(yè)榮獲IFA2024多項大獎,展示全球科技創(chuàng)新力量

    近日,德國柏林國際電子消費品展覽會(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)成功斬獲兩項“IFA全球產(chǎn)品設(shè)計創(chuàng)新大獎”金獎,有力證明了其在全球市場的強大影響力。

    新聞

    敢闖技術(shù)無人區(qū) TCL實業(yè)斬獲多項AWE 2024艾普蘭獎

    近日,中國家電及消費電子博覽會(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項AWE 2024艾普蘭大獎。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。

    3C消費

    “純臻4K 視界煥新”——愛普生4K 3LCD 激光工程投影

    2024年3月12日,由愛普生舉辦的主題為“純臻4K 視界煥新”新品發(fā)布會在上海盛大舉行。

    研究

    2024全球開發(fā)者先鋒大會即將開幕

    由世界人工智能大會組委會、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實驗室、上海臨港經(jīng)濟發(fā)展(集團)有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。