大模型創(chuàng)業(yè)公司成了「GPU貧民」

　　報(bào)告還認(rèn)為各種測(cè)量標(biāo)準(zhǔn)不完善的排行榜本身，也是對(duì)小公司的誤導(dǎo)，由此產(chǎn)生一大批不實(shí)用的模型，對(duì)開(kāi)源運(yùn)動(dòng)也是一種傷害。

　　另一方面，GPU貧民們反而對(duì)資源的利用效率不高，大多使用密集模型，主要基于開(kāi)源的羊駝生態(tài)。

　　但是OpenAI谷歌這些巨頭已經(jīng)在玩MoE架構(gòu)這樣的稀疏模型，以及利用小模型投機(jī)采樣 (speculative decoding)提高推理效率了，完全是兩個(gè)游戲。

　　作者希望GPU貧民們不應(yīng)該過(guò)度限制模型規(guī)模以及過(guò)度量化，而忽視模型質(zhì)量下降。應(yīng)該專注于在共享的基礎(chǔ)設(shè)施上高效地提供微調(diào)模型，減少延遲和內(nèi)存帶寬需求，滿足邊緣計(jì)算的需求。

　　看到這里，也有人提出不同意見(jiàn)，認(rèn)為創(chuàng)造性的突破往往正是來(lái)自有限制的環(huán)境，這反而是某種優(yōu)勢(shì)。

　　但Perplexity.AI聯(lián)合創(chuàng)始人Aravind Srinivas認(rèn)為，GPU豐富的組織實(shí)際也會(huì)投資于帶限制條件的研究。

　　并且要找到下一個(gè)像Transformer這樣的突破，需要成千上萬(wàn)次的實(shí)驗(yàn)，要求的資源*不低。

　　02、“GPU土豪”的游戲怎么玩

　　那么GPU平民的另一面，谷歌這個(gè)“GPU土豪”在做什么呢?。

　　嚴(yán)格來(lái)說(shuō)，谷歌算力不是GPU而是自家TPU。報(bào)告認(rèn)為雖然TPUv5單體性能不如英偉達(dá)H100，但是谷歌有最高效的基礎(chǔ)設(shè)施架構(gòu)。

　　谷歌大腦與DeepMind合并后，聯(lián)手訓(xùn)練對(duì)標(biāo)GPT-4的Gemini大模型。

　　由前DeepMind兩位研究VPKoray Kavukcuoglu與Oriol Vinyals和前谷歌大腦掌門(mén)人Jeff Dean共同領(lǐng)導(dǎo)百人團(tuán)隊(duì)。

　　根據(jù)多方爆料，Gemini預(yù)計(jì)年內(nèi)就會(huì)發(fā)布，更準(zhǔn)確的來(lái)說(shuō)是美國(guó)的秋季范圍之內(nèi)(9月23日-12月21日)。

　　Gemini將整合大模型與AI圖像生成的能力，使用Youtube上93.6億分鐘的視頻字幕訓(xùn)練，總數(shù)據(jù)集大小據(jù)估計(jì)是GPT-4的兩倍。

　　前DeepMind創(chuàng)始人Hassabis曾透露，Gemini將結(jié)合AlphaGo類(lèi)型系統(tǒng)的一些能力和“其他非常有趣的創(chuàng)新”。

　　另外谷歌創(chuàng)始人布林也一直在親自參與Gemini研發(fā)，包括對(duì)模型做評(píng)估并協(xié)助訓(xùn)練。

　　關(guān)于Gemini更具體的消息還不多，但是有人推測(cè)也將與GPT-4一樣使用MoE架構(gòu)和投機(jī)采樣技術(shù)。

　　8月初Google DeepMind發(fā)表的新論文From Sparse to Soft Mixtures of Experts被認(rèn)為可能與Gemini相關(guān)。

　　投機(jī)采樣能在不損失生成質(zhì)量的前提下，讓Transformer大模型獲得2-3倍的推理加速。

　　具體來(lái)說(shuō)是讓小模型生成提前生成一些token并讓大模型做評(píng)判，如果接受就讓大模型生成下一個(gè)token再重復(fù)*步，如果小模型生成的質(zhì)量不高再換用大模型。

　　谷歌一方的投機(jī)采樣論文在2022年11月才發(fā)表，但之前的爆料認(rèn)為GPT-4也用了類(lèi)似的技術(shù)。

　　實(shí)際上投機(jī)采樣技術(shù)的前身Blockwise Parallel Decoding也來(lái)自谷歌，作者中包括Transformer作者中的Noam Shazeer。

　　Noam Shazeer這個(gè)人在谷歌時(shí)同時(shí)參與了Transformer、MoE和投機(jī)采樣的研究，對(duì)今天的大模型來(lái)說(shuō)都至關(guān)重要，另外他還參與了T5、LaMDA和PaLM等多個(gè)大模型研究。

　　SemiAnalysis的報(bào)告中還講了他的一個(gè)八卦。

　　早在GPT-2時(shí)代Noam Shazeer就在谷歌寫(xiě)了一份內(nèi)部備忘錄，預(yù)測(cè)了未來(lái)大模型將以各種方式融入人們的生活，但當(dāng)時(shí)這個(gè)觀點(diǎn)并未被谷歌重視。

　　現(xiàn)在看來(lái)，他預(yù)測(cè)的很多事都在ChatGPT發(fā)布后真實(shí)發(fā)生了。

　　不過(guò)Noam Shazeer在2021年就離開(kāi)谷歌創(chuàng)辦了Character.ai，按照這篇報(bào)告的說(shuō)法，他現(xiàn)在也是“GPU貧民”的一份子。