大模型的“成本瘦身”運(yùn)動(dòng)

　　數(shù)據(jù)大、參數(shù)量大、算力大，大模型的某些能力才會(huì)“涌現(xiàn)”，這一點(diǎn)在科技圈廣為流傳。

　　做大模型的主流思想是:不要輕易說(shuō)模型“不行”，如果“它還沒(méi)行”，那就做得更大一點(diǎn)。

　　所以，不到一年的時(shí)間，大模型的參數(shù)規(guī)模增長(zhǎng)100倍，如今已經(jīng)突破了萬(wàn)億級(jí)別，資源消耗量巨大，也帶來(lái)了越來(lái)越高的存儲(chǔ)成本、推理成本、運(yùn)維成本、落地成本……以及社會(huì)成本。

　　目前，大模型仍處于商業(yè)化的黎明，如何回收大模型的投入，還存在很多未知數(shù)與不確定，而大模型一直在變大，成了一門(mén)極其燒錢(qián)的生意，背靠微軟的Open AI，2022年就虧損了5.4億美元左右。

　　不斷膨脹的成本，就是一張張真金白銀的賬單，壓在大模型企業(yè)身上的一根根“稻草”。Anthropic的首席執(zhí)行官Dario Amodei最近預(yù)測(cè)，在未來(lái)兩年內(nèi)，他們的模型成本將達(dá)到100億美元。

　　除了企業(yè)自身，社會(huì)也同樣在承擔(dān)大模型的隱形成本。谷歌就曾報(bào)告稱，訓(xùn)練 PaLM 在大約兩個(gè)月內(nèi)耗費(fèi)了大約3.4千瓦時(shí)的電量，相當(dāng)于300個(gè)家庭每年的能源消耗總量。大模型高能耗給環(huán)境帶來(lái)的負(fù)擔(dān)和成本，最終由整個(gè)社會(huì)來(lái)買單的。

　　很顯然，無(wú)論是商業(yè)上、環(huán)境上，比拼模型體量都是不可持續(xù)的。

　　一味求大的時(shí)代，已經(jīng)過(guò)去了。

　　問(wèn)題是，怎么給大模型“減負(fù)”呢?

　　事實(shí)上，通用大模型的頭部廠商，一直都在積極地開(kāi)展“成本瘦身”運(yùn)動(dòng)。

　　比如微軟在Microsoft Build2020上曾公開(kāi)了為GPT-3提供支持的AI supercomputing超級(jí)計(jì)算機(jī)，可以讓AI模型的訓(xùn)練效率比其他平臺(tái)高16倍，更快的訓(xùn)練可以降低時(shí)間成本與風(fēng)險(xiǎn)成本。

　　國(guó)產(chǎn)大模型也不例外。

　　盤(pán)古大模型早在2.0版本中，就嘗試采用稀疏+稠密架構(gòu)，以降低訓(xùn)練成本。文心一言推出一個(gè)月以后，也通過(guò)技術(shù)手段將大模型的推理性能提升近10倍，推理成本降到原來(lái)的十分之一。

　　避免走向臃腫沉重，成為人人都能使用的工具，大模型的“成本瘦身運(yùn)動(dòng)”，勢(shì)在必行。具體怎么實(shí)現(xiàn)?本文就來(lái)談一談這個(gè)問(wèn)題。

　　一口吃不成胖子

　　大模型的哪些成本可以優(yōu)化，哪些成本無(wú)法削減，哪些成本還要進(jìn)一步加大投入?搞清楚這些之前，首先得知道是怎么胖的。才能在保證大模型的性能表現(xiàn)和用戶體驗(yàn)(健康)的前提下，合理且精準(zhǔn)地進(jìn)行“成本瘦身”。

　　簡(jiǎn)單來(lái)說(shuō)，AI三要素——數(shù)據(jù)、算力、算法，仍然是決定大模型成本的最關(guān)鍵因素。

　　先說(shuō)數(shù)據(jù)。Garbage in， garbage out，在大模型時(shí)代依然適用。

　　數(shù)據(jù)質(zhì)量會(huì)直接決定大模型的能力。OpenAI招聘了多位博士來(lái)處理各行業(yè)的專業(yè)數(shù)據(jù)，并找了獨(dú)角獸企業(yè)Scale AI等多家數(shù)據(jù)標(biāo)注公司，給GPT-3進(jìn)行大規(guī)模的數(shù)據(jù)集投喂。同時(shí)，算法模型會(huì)不斷迭代升級(jí)，對(duì)數(shù)據(jù)量的需求會(huì)隨著使用量的上升和性能優(yōu)化而持續(xù)不短的時(shí)間。

　　中文大模型的成本高，一個(gè)主要原因就是，中文數(shù)據(jù)量和質(zhì)量，與英文還存在差距，訓(xùn)練中文大模型，需要采集和處理的中文語(yǔ)言數(shù)據(jù)更多。另一方面，英語(yǔ)語(yǔ)法結(jié)構(gòu)相比中文更簡(jiǎn)單，中文文本的復(fù)雜性和多樣性，有的中文詞匯可以表達(dá)多種含義，語(yǔ)境豐富，上下文理解的歧義多、難度大，也增加了中文模型的訓(xùn)練難度，需要額外的資源來(lái)支撐中文大模型的訓(xùn)練。

　　再說(shuō)算力。

　　大模型的訓(xùn)練、運(yùn)行、服務(wù)、迭代等一整個(gè)全周期，都要計(jì)算和存儲(chǔ)資源。

　　大模型的訓(xùn)練，主打一個(gè)“暴力美學(xué)”，參數(shù)越大，訓(xùn)練所用的計(jì)算資源就越多。GPT-3所使用的超級(jí)計(jì)算機(jī)，包含了一萬(wàn)個(gè)GPU、285000個(gè)處理器內(nèi)核。國(guó)內(nèi)的文心4.0，也是基于飛槳平臺(tái)在萬(wàn)卡集群訓(xùn)練出來(lái)的。

　　這還不算完。大模型在部署后開(kāi)放服務(wù)，隨著使用量的增加，要完成的推理任務(wù)也越來(lái)越多。24小時(shí)進(jìn)行大量的“思考”和“輸出”，這個(gè)推理過(guò)程，也會(huì)持續(xù)消耗計(jì)算資源，就像人腦在處理大量復(fù)雜任務(wù)時(shí)，需要消耗糖原，很容易感到饑餓，得大吃一頓來(lái)補(bǔ)充能量。所以，大模型的推理成本也是很高的。

　　175B的GPT-3部署后的推理至少需要五個(gè)A100GPU，而國(guó)內(nèi)面向全社會(huì)開(kāi)放服務(wù)的大模型，比如文心一言，據(jù)說(shuō)推理成本也是上一代的8-10倍。

　　最后說(shuō)說(shuō)算法。

　　降低大模型對(duì)計(jì)算資源的巨大依賴，一個(gè)主流方案是優(yōu)化模型，在性能不變的基礎(chǔ)上，以更快的推理速度、更小的延遲、更低的資源需求來(lái)運(yùn)行，相當(dāng)于ROI投入產(chǎn)出比更高了，訓(xùn)練、推理環(huán)節(jié)所需要的算力資源，單位成本更低。

　　有多少人工，就有多少智能，沒(méi)有人才不可能搞出真正能打的大模型。算法開(kāi)發(fā)、測(cè)試、迭代、產(chǎn)品化等，都需要大量技術(shù)人才。人力成本究竟高不高，還要看大模型的商業(yè)模式是否穩(wěn)健。

　　學(xué)歷拉滿的人才隊(duì)伍，在研發(fā)階段，是相當(dāng)有競(jìng)爭(zhēng)力的。問(wèn)題在于，怎么掙錢(qián)呢?API調(diào)用或使用量收費(fèi)，一個(gè)token不到一美分，回本盈利可能遙遙無(wú)期;付費(fèi)訂閱(專業(yè)版)，頭部大模型具有虹吸效應(yīng)，大家都會(huì)選擇OpenAI或BATH等大廠，自家大模型能否被用戶接受并愿意付費(fèi)，是未知數(shù);給行業(yè)客戶定制開(kāi)發(fā)，ToB要深入了解行業(yè)，調(diào)研開(kāi)發(fā)測(cè)試迭代，讓年薪幾十上百萬(wàn)的算法工程師，在工地礦山農(nóng)場(chǎng)一待幾個(gè)月，項(xiàng)目的毛利率估計(jì)不會(huì)太好看。

　　所以，一個(gè)大模型能不能成功，不僅僅是靠算法本身的能力，還要看從開(kāi)發(fā)到落地的商業(yè)循環(huán)是否可持續(xù)。

　　管住嘴，邁開(kāi)腿

　　如果我們把大模型的成本“瘦身”，比作一個(gè)希望減去多余贅肉的人，那么這個(gè)目標(biāo)，可以拆解為兩種基本途徑:

　　一是制造“熱量差”。就是管住嘴邁開(kāi)腿，控制投入，減去多余的成本，加速商業(yè)化提高收入，自然就瘦了。

　　二是變成“易瘦體質(zhì)”。充分了解大模型的機(jī)理，用新的架構(gòu)來(lái)解決Transformer注意力機(jī)制的問(wèn)題，擁有“怎么吃都不胖”的體質(zhì)。

　　聽(tīng)起來(lái)，第二種是不是非常有誘惑力呢?

　　不用苦哈哈的控制成本、吸引用戶、定制服務(wù)，輕輕松松躺著掙錢(qián)，還有這種好事兒?確實(shí)。

　　目前，所有的大語(yǔ)言模型都用的Transformer架構(gòu)，而這種架構(gòu)難以處理長(zhǎng)文本及高分辨率圖像，邏輯推理、知識(shí)歸納等就靠“大力出奇跡”，成本高昂。很多基礎(chǔ)原理仍然不清楚，這就導(dǎo)致很多現(xiàn)存問(wèn)題束手無(wú)策，比如“幻覺(jué)”的產(chǎn)生，推理能力有限等。

　　圖靈獎(jiǎng)得主 Yann LeCun就不止一次批評(píng)過(guò)大語(yǔ)言模型的技術(shù)范式，認(rèn)為“LLM 對(duì)世界的理解非常膚淺”，他希望構(gòu)建一個(gè)“世界模型”，先學(xué)習(xí)世界運(yùn)作方式，而后形成一個(gè)內(nèi)部模型，再通過(guò)這個(gè)內(nèi)部模型來(lái)完成各種任務(wù)。除此之外，關(guān)于AGI通用智能還有許多科學(xué)家從各自的研究領(lǐng)域去探討。

　　總結(jié)一下，當(dāng)前的大語(yǔ)言模型，很多原理尚不清晰，技術(shù)仍在變化中。未來(lái)可能會(huì)出現(xiàn)其他技術(shù)范式，顛覆當(dāng)前一味求大的模型，那時(shí)可能就不需要過(guò)高的成本，也就不用痛苦地“瘦身”了。

　　可能你已經(jīng)發(fā)現(xiàn)了，研究底層的原理、找到一種更強(qiáng)大的AGI技術(shù)，這事兒雖然聽(tīng)起來(lái)很酷，但實(shí)在沒(méi)譜，目前還沒(méi)有一個(gè)清晰的時(shí)間表。而這一輪大語(yǔ)言模型的技術(shù)范式，在工程實(shí)踐上是可行的，在產(chǎn)業(yè)中能work的，有提質(zhì)增效的明確效果的。先用起來(lái)，把握住現(xiàn)在，才是科技企業(yè)的當(dāng)務(wù)之急。

　　所以，大模型企業(yè)只能管住嘴、邁開(kāi)腿，盡快控制成本、加速商業(yè)化，制造良性可持續(xù)發(fā)展的“熱量差”。

　　制造“熱量差”的四化運(yùn)動(dòng)

　　那么，究竟該怎么制造“熱量差”呢?綜合目前市面上的主流手段，我們將其總結(jié)為“四化運(yùn)動(dòng)”:數(shù)據(jù)規(guī)�；�、模型壓縮化、計(jì)算高效化、商業(yè)分層化。

　　數(shù)據(jù)規(guī)�；�，是通過(guò)規(guī)模效應(yīng)，來(lái)提高數(shù)據(jù)的邊際效益，獲得最佳性價(jià)比。規(guī)模效應(yīng)主要通過(guò)三種方式來(lái)實(shí)現(xiàn)，一是產(chǎn)業(yè)集中的規(guī)�；�，國(guó)家層面已經(jīng)明確提出，要“加快培育數(shù)據(jù)要素市場(chǎng)”，涉及數(shù)據(jù)生產(chǎn)、采集、存儲(chǔ)、加工、分析、服務(wù)等多個(gè)環(huán)節(jié)，產(chǎn)業(yè)化有助于減少大模型企業(yè)的數(shù)據(jù)成本。二是AI工具的應(yīng)用，減少數(shù)據(jù)工程各個(gè)環(huán)節(jié)的人工參與，加快預(yù)訓(xùn)練數(shù)據(jù)的處理，為模型訓(xùn)練降本提效。三是反饋數(shù)據(jù)的規(guī)�；�。大模型對(duì)微調(diào)數(shù)據(jù)(SFT/RLHF)的需求量和質(zhì)量要求很高，一些更早向全社會(huì)開(kāi)放服務(wù)的大模型，如百度文心一言、商湯“商量SenseChat”、百川智能“百川大模型”、科大訊飛“星火大模型”等，“數(shù)據(jù)飛輪”更早開(kāi)始轉(zhuǎn)動(dòng)，有望更快一步達(dá)到邊際效益最優(yōu)的數(shù)據(jù)規(guī)模。

　　數(shù)據(jù)是有邊際效益的。OpenAl 已經(jīng)可以讓用戶來(lái)決定，是否允許其使用聊天數(shù)據(jù)進(jìn)行訓(xùn)練，也就是說(shuō)，可以不再依賴用戶反饋數(shù)據(jù)了，那么數(shù)據(jù)的存儲(chǔ)和計(jì)算成本自然就能控制住了。

　　模型壓縮化，就是提高模型的性能，以更少的資源實(shí)現(xiàn)更高性能，將資源密集型的大模型，通過(guò)壓縮技術(shù)，轉(zhuǎn)化為更加緊湊高效的版本。類似于將脂肪轉(zhuǎn)化為肌肉，肌肉的密度更大，體重(性能)不變，人卻變瘦(更小)了。

　　目前，大模型壓縮的常見(jiàn)手段，主要有三種:量化、剪枝、知識(shí)蒸餾。

　　量化，相當(dāng)于抽脂，簡(jiǎn)單粗暴但是有效。模型的精度越高，所需要的存儲(chǔ)空間就越大。但在推理時(shí)，其實(shí)并不需要捕捉復(fù)雜模型中十分微小的梯度變化，所以量化可以直接降低模型的參數(shù)精度，“抽”去一部分細(xì)節(jié)性信息，從而減少占用空間，同時(shí)也不過(guò)于降低推理能力。比如以問(wèn)生圖的生成式 AI 模型Stable Diffusion，此前只能在云端運(yùn)行，高通AI Research使用量化技術(shù)，讓模型可以在更低精度水平保持準(zhǔn)確性，首次實(shí)現(xiàn)了在 Android 智能手機(jī)上部署 Stable Diffusion。量化技術(shù)，也在文心、盤(pán)古等國(guó)產(chǎn)大模型中有所應(yīng)用。

　　剪枝，類似“切除手術(shù)”，直接減去一些對(duì)效果沒(méi)什么影響的旁枝，比如大量冗余的結(jié)構(gòu)、神經(jīng)元，這些權(quán)重較小的部分刪減掉，對(duì)模型效果帶來(lái)的影響不大，也減少了模型的大小。當(dāng)然，剪枝是一門(mén)“手藝活兒”，剪枝越精確，給模型準(zhǔn)確率的損失就越小，壓縮效果越好。

　　知識(shí)蒸餾，就是讓大模型“蒸桑拿”，千億模型一通蒸餾，產(chǎn)出若干個(gè)性能接近、結(jié)構(gòu)更簡(jiǎn)的小模型，落地成本更低。挑戰(zhàn)在于，千億規(guī)模的模型蒸餾，也要消耗極高的計(jì)算資源，而且，從千億蒸餾到幾千萬(wàn)，數(shù)據(jù)量差距過(guò)大，容易影響蒸餾的效果。無(wú)損蒸餾，是各大廠商的技術(shù)賽點(diǎn)之一。

　　既然模型壓縮技術(shù)，也會(huì)消耗計(jì)算資源，那么提高算力基礎(chǔ)設(shè)施的計(jì)算效率，就變得格外重要了。

　　計(jì)算高效化，是大模型廠商能夠以更高效益來(lái)提供模型服務(wù)的前提。

　　芯片和計(jì)算集群的性能，是研究和優(yōu)化的重點(diǎn)。微軟云azure專門(mén)為OpenAI打造了適用于AI計(jì)算的超級(jí)計(jì)算機(jī)。國(guó)內(nèi)廠商，百度、華為都擁有自研芯片、深度學(xué)習(xí)框架，可以通過(guò)端到端優(yōu)化來(lái)提升計(jì)算效率，提升大模型的訓(xùn)練速度和推理速度，從而降低訓(xùn)練時(shí)間和成本。

　　而對(duì)于產(chǎn)業(yè)大模型、行業(yè)大模型等非通用大模型來(lái)說(shuō)，規(guī)模效應(yīng)和硬件優(yōu)化技術(shù)有限，自行構(gòu)建和維護(hù)基礎(chǔ)設(shè)施的成本是非常高的，使用云服務(wù)來(lái)訓(xùn)練和部署服務(wù)，是成本更優(yōu)的選擇。

　　歸根結(jié)底，大模型要提升商業(yè)收入，來(lái)達(dá)到優(yōu)化ROI、回收成本的目的。目前，各類大模型的商業(yè)化，體現(xiàn)出了明顯的分層化特點(diǎn)。

　　簡(jiǎn)單來(lái)說(shuō)，就是不同體量、不同功能、不同方向的大模型，商業(yè)化路徑也開(kāi)始涇渭分明。

　　通用大模型，以規(guī)模效益、高價(jià)值市場(chǎng)，為主要目標(biāo)。OpenAI的用戶量巨大，發(fā)展API經(jīng)濟(jì)具有規(guī)模效應(yīng)，前期投入可以隨著業(yè)務(wù)量增長(zhǎng)而被均攤。BATH(百度、阿里、騰訊、華為)等都有各自的云業(yè)務(wù)，積累了較為豐富的行業(yè)服務(wù)經(jīng)驗(yàn)，尤其是金融、礦山、政務(wù)等大型政企的客戶觸達(dá)能力，具備較大的商業(yè)轉(zhuǎn)化潛力，因此除了面向大眾服務(wù)的訂閱模式、商業(yè)版付費(fèi)模式等，也可以開(kāi)展高價(jià)值的ToB項(xiàng)目定制開(kāi)發(fā)。ToB客戶的高要求推動(dòng)模型體驗(yàn)和效果提升，也可以服務(wù)ToC市場(chǎng)，通過(guò)規(guī)�；瘉�(lái)進(jìn)一步攤平成本。

　　行業(yè)大模型，則在主動(dòng)收束產(chǎn)品和業(yè)務(wù)邊界，圍繞核心業(yè)務(wù)和功能，以更少的資源來(lái)開(kāi)發(fā)專精的小模型，在投入和商業(yè)化之間取得一個(gè)很好ROI平衡。比如金融領(lǐng)域，度小滿的“軒轅70B”融入了大量的專業(yè)金融語(yǔ)料，提高對(duì)金融知識(shí)的理解能力，可控性、安全性上滿足金融客戶的特別要求，獲得了上百家金融機(jī)構(gòu)申請(qǐng)?jiān)囉谩?/p>

　　總而言之，大模型并不是只有通用、泛化一條路，千行百業(yè)的私有化、個(gè)性化部署，會(huì)產(chǎn)生價(jià)格、隱私、安全等多方面的決策因素，也帶來(lái)大量的細(xì)分商機(jī)。通用大模型與行業(yè)大模型、專有小模型，分層+合力打開(kāi)商業(yè)化之路。和而不同，考驗(yàn)著產(chǎn)業(yè)鏈上每一個(gè)角色的智慧。

　　為了長(zhǎng)遠(yuǎn)、可持續(xù)的服務(wù)，管住嘴、邁開(kāi)腿，大模型的“成本瘦身”是必經(jīng)之路。

　　這個(gè)過(guò)程或許痛苦，卻會(huì)凝練出一條護(hù)城河，守護(hù)整個(gè)行業(yè)的健康發(fā)展。

　　20世紀(jì)40年代，計(jì)算機(jī)剛剛誕生的時(shí)候，人們驚嘆于這座“機(jī)器怪獸”的龐大身軀，但隨后開(kāi)啟了信息時(shí)代的飛躍。智能手機(jī)剛剛誕生時(shí)，功能機(jī)廠商曾對(duì)它極盡諷刺，沒(méi)想到這種人人皆可觸網(wǎng)的普惠聯(lián)接，推起了移動(dòng)互聯(lián)網(wǎng)的繁榮。

　　隨著大模型越來(lái)越好、成本越來(lái)越低，“人人皆可AI”，也將不再是一個(gè)遙遠(yuǎn)的夢(mèng)。