三星沒放棄曲面屏開發(fā)!最新專利曝光暗示有望回歸三大運(yùn)營商11月成績單:用戶數(shù)據(jù)增幅放緩打造下一個(gè)英偉達(dá),孫正義的2026芯片計(jì)劃曝光瞭望2025全球6G技術(shù)發(fā)展趨勢AI時(shí)代云安全新范式,暢捷通智能守護(hù)小微企業(yè)安全上云百川智能發(fā)布全鏈路領(lǐng)域增強(qiáng)金融大模型 Baichuan4-Finance年末家電消費(fèi)觀察:品質(zhì)生活類產(chǎn)品熱賣,將持續(xù)迎來剛需式普及?GPT-5研發(fā)受阻:OpenAI 新一代模型難見突破性進(jìn)展新一代語言模型ModernBERT發(fā)布,RAG等任務(wù)處理速度快四倍、成本低新研究顯示:Anthropic 的 Claude AI 在合作能力上領(lǐng)先于 OpenAI 和谷歌模型谷歌向投資者保證人工智能本月將迎來“驚人”表現(xiàn)多模態(tài)大模型引爆應(yīng)用場景 階躍星辰完成數(shù)億美元融資星動(dòng)紀(jì)元發(fā)布端到端原生機(jī)器人大模型ERA-42 實(shí)現(xiàn)機(jī)器人復(fù)雜場景操作免費(fèi)模式強(qiáng)攻下,快手、抖音用“短劇VIP”反擊?低碳存儲(chǔ)助力算力產(chǎn)業(yè) 富士膠片首次亮相IDC大會(huì)行業(yè)唯一!海爾熱聲熱泵技術(shù)獲全國顛覆性技術(shù)創(chuàng)新大賽最高獎(jiǎng)OPPO A5 Pro首創(chuàng)獵手天線架構(gòu):信號能穿十堵墻一加 Ace 5 Pro首發(fā)電競Wi-Fi芯片G1 帶來「穿墻王」和「搶網(wǎng)王」般的網(wǎng)絡(luò)體驗(yàn)電視市場又出黑馬!TCL同檔Mini LED音畫王P12K,萬象分區(qū)打造超強(qiáng)控光!零下25℃如何取暖?海爾水暖通溫暖驛站亮相冰雪大世界
  • 首頁 > 云計(jì)算頻道 > 大模型

    大模型創(chuàng)業(yè)公司成了「GPU貧民」

    2023年08月31日 15:07:46   來源:微信公眾號:量子位

       一夜醒來,大模型圈都在熱議一個(gè)詞——“GPU貧民”(GPU-Poor)。

      來自行業(yè)分析機(jī)構(gòu)SemiAnalysis的一篇報(bào)告,爆料谷歌擁有的算力資源比OpenAI、Meta、亞馬遜、甲骨文和CoreWeave加起來還要多

      分析師Dylan Patel預(yù)測,谷歌DeepMind聯(lián)手的下一代大模型Gemini,到年底訓(xùn)練量將碾壓(Smash)GPT-4達(dá)到后者5倍

      報(bào)告提出在這種壓倒性的優(yōu)勢面前,大部分創(chuàng)業(yè)公司和開源勢力都成了“GPU貧民”,在用有限的資源苦苦掙扎。

      這個(gè)既扎眼又扎心的說法迅速成為新梗,在行業(yè)里流傳開來。

      巧了,也是同一位作者搞出來的,另外GPT-4內(nèi)部架構(gòu)細(xì)節(jié)大曝光也是他干的。

      被點(diǎn)名的開源扛把子HuggingFace聯(lián)合創(chuàng)始人Julien Chaumond表示:不要小看我們貧民啊。

      也有人代表學(xué)生在線吐槽:金錢上窮,算力上也窮,說的就是我們博士生了。

      正致力于讓手機(jī)跑大模型的知名學(xué)者陳天奇表示,未來每個(gè)人都會(huì)擁有自己的AI助手,其中大多數(shù)人都會(huì)是“GPU貧民”,但不要低估合起來的總量。

      也有不少人認(rèn)為,拋開爭議性的內(nèi)容和大部分內(nèi)容收費(fèi)不談,這篇報(bào)告的免費(fèi)前言部分就是對大模型行業(yè)現(xiàn)狀的一個(gè)很好的批評和總結(jié)。

      01、“GPU貧民”在做無用功

      報(bào)告下筆很不留情,直言很多創(chuàng)業(yè)公司在GPU匱乏情況下花費(fèi)大量時(shí)間精力做的事,都是無用功。

      比如很多人熱衷使用大模型的輸出微調(diào)小模型,然后去刷排行榜,但是評估方法不完善,更注重風(fēng)格而不是準(zhǔn)確性或?qū)嵱眯?/strong>。

      報(bào)告還認(rèn)為各種測量標(biāo)準(zhǔn)不完善的排行榜本身,也是對小公司的誤導(dǎo),由此產(chǎn)生一大批不實(shí)用的模型,對開源運(yùn)動(dòng)也是一種傷害。

      另一方面,GPU貧民們反而對資源的利用效率不高,大多使用密集模型,主要基于開源的羊駝生態(tài)。

      但是OpenAI谷歌這些巨頭已經(jīng)在玩MoE架構(gòu)這樣的稀疏模型,以及利用小模型投機(jī)采樣 (speculative decoding)提高推理效率了,完全是兩個(gè)游戲

      作者希望GPU貧民們不應(yīng)該過度限制模型規(guī)模以及過度量化,而忽視模型質(zhì)量下降。應(yīng)該專注于在共享的基礎(chǔ)設(shè)施上高效地提供微調(diào)模型,減少延遲和內(nèi)存帶寬需求,滿足邊緣計(jì)算的需求。

      看到這里,也有人提出不同意見,認(rèn)為創(chuàng)造性的突破往往正是來自有限制的環(huán)境,這反而是某種優(yōu)勢。

      但Perplexity.AI聯(lián)合創(chuàng)始人Aravind Srinivas認(rèn)為,GPU豐富的組織實(shí)際也會(huì)投資于帶限制條件的研究。

      并且要找到下一個(gè)像Transformer這樣的突破,需要成千上萬次的實(shí)驗(yàn),要求的資源*不低。

      02、“GPU土豪”的游戲怎么玩

      那么GPU平民的另一面,谷歌這個(gè)“GPU土豪”在做什么呢?。

      嚴(yán)格來說,谷歌算力不是GPU而是自家TPU。報(bào)告認(rèn)為雖然TPUv5單體性能不如英偉達(dá)H100,但是谷歌有最高效的基礎(chǔ)設(shè)施架構(gòu)。

      谷歌大腦與DeepMind合并后,聯(lián)手訓(xùn)練對標(biāo)GPT-4的Gemini大模型。

      由前DeepMind兩位研究VPKoray KavukcuogluOriol Vinyals和前谷歌大腦掌門人Jeff Dean共同領(lǐng)導(dǎo)百人團(tuán)隊(duì)。

      根據(jù)多方爆料,Gemini預(yù)計(jì)年內(nèi)就會(huì)發(fā)布,更準(zhǔn)確的來說是美國的秋季范圍之內(nèi)(9月23日-12月21日)。

      Gemini將整合大模型與AI圖像生成的能力,使用Youtube上93.6億分鐘的視頻字幕訓(xùn)練,總數(shù)據(jù)集大小據(jù)估計(jì)是GPT-4的兩倍。

      前DeepMind創(chuàng)始人Hassabis曾透露,Gemini將結(jié)合AlphaGo類型系統(tǒng)的一些能力和“其他非常有趣的創(chuàng)新”。

      另外谷歌創(chuàng)始人布林也一直在親自參與Gemini研發(fā),包括對模型做評估并協(xié)助訓(xùn)練。

      關(guān)于Gemini更具體的消息還不多,但是有人推測也將與GPT-4一樣使用MoE架構(gòu)和投機(jī)采樣技術(shù)。

      8月初Google DeepMind發(fā)表的新論文From Sparse to Soft Mixtures of Experts被認(rèn)為可能與Gemini相關(guān)。

      投機(jī)采樣能在不損失生成質(zhì)量的前提下,讓Transformer大模型獲得2-3倍的推理加速。

      具體來說是讓小模型生成提前生成一些token并讓大模型做評判,如果接受就讓大模型生成下一個(gè)token再重復(fù)*步,如果小模型生成的質(zhì)量不高再換用大模型。

      谷歌一方的投機(jī)采樣論文在2022年11月才發(fā)表,但之前的爆料認(rèn)為GPT-4也用了類似的技術(shù)。

      實(shí)際上投機(jī)采樣技術(shù)的前身Blockwise Parallel Decoding也來自谷歌,作者中包括Transformer作者中的Noam Shazeer。

      Noam Shazeer這個(gè)人在谷歌時(shí)同時(shí)參與了Transformer、MoE和投機(jī)采樣的研究,對今天的大模型來說都至關(guān)重要,另外他還參與了T5、LaMDA和PaLM等多個(gè)大模型研究。

      SemiAnalysis的報(bào)告中還講了他的一個(gè)八卦。

      早在GPT-2時(shí)代Noam Shazeer就在谷歌寫了一份內(nèi)部備忘錄,預(yù)測了未來大模型將以各種方式融入人們的生活,但當(dāng)時(shí)這個(gè)觀點(diǎn)并未被谷歌重視。

      現(xiàn)在看來,他預(yù)測的很多事都在ChatGPT發(fā)布后真實(shí)發(fā)生了。

      不過Noam Shazeer在2021年就離開谷歌創(chuàng)辦了Character.ai,按照這篇報(bào)告的說法,他現(xiàn)在也是“GPU貧民”的一份子。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。

    即時(shí)

    新聞

    明火炊具市場:三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費(fèi)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實(shí)力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡直是創(chuàng)作者們的首選。

    研究

    中國信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標(biāo)識解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會(huì)——工業(yè)互聯(lián)網(wǎng)標(biāo)識解析專題論壇在沈陽成功舉辦。