OPPO A5 Pro首創(chuàng)獵手天線架構(gòu):信號能穿十堵墻一加 Ace 5 Pro首發(fā)電競Wi-Fi芯片G1 帶來「穿墻王」和「搶網(wǎng)王」般的網(wǎng)絡(luò)體驗電視市場又出黑馬!TCL同檔Mini LED音畫王P12K,萬象分區(qū)打造超強控光!零下25℃如何取暖?海爾水暖通溫暖驛站亮相冰雪大世界馬太效應(yīng),強者恒強?——《中國企業(yè)科創(chuàng)力研究報告(2024)》美團年度報告竟然用上了AI和短劇?這下是真出圈了消息稱上汽大眾正開發(fā)三款新車,技術(shù)分別來自小鵬、智己和榮威鴻蒙智行泊車代駕VPD正式開啟全量推送!升級自動泊車/接駕等多項功能華為官方翻新手機最高降價4000元曝蘋果研發(fā)帶Face ID的智能家居門鈴:內(nèi)置自研W-Fi芯片李斌回應(yīng)螢火蟲外觀設(shè)計:看過實車的人都喜歡這個設(shè)計林杰:未來 A 級、A0 級、A00 級車型都將是領(lǐng)克純電的“主場”豐巢存包柜亮相南寧地鐵站,助力城市韌性建設(shè)與智慧出行萬象分區(qū)、絢彩XDR、量子點Pro 2025齊出手,TCL引領(lǐng)觀影體驗新變革!QQ音樂年度聽歌報告發(fā)布:誰是你最喜歡的歌手?OpenAI正式發(fā)布o(jì)3 - 通往AGI的路上,已經(jīng)沒有了任何阻礙「送禮物」難撬動社交電商,微信小店缺的是供給微軟Phi-4封神,14B小模型數(shù)學(xué)擊敗GPT-4o,合成數(shù)據(jù)占比40%,36頁技術(shù)報告出爐2024年結(jié)束,哪里是原創(chuàng)動畫的應(yīng)許之地?深扒一個正被游戲行業(yè)「搶占」的流量帝國
  • 首頁 > 云計算頻道 > 大模型

    大模型的“成本瘦身”運動

    2023年11月03日 14:39:21   來源:腦極體公眾號

      數(shù)據(jù)大、參數(shù)量大、算力大,大模型的某些能力才會“涌現(xiàn)”,這一點在科技圈廣為流傳。

      做大模型的主流思想是:不要輕易說模型“不行”,如果“它還沒行”,那就做得更大一點。

      所以,不到一年的時間,大模型的參數(shù)規(guī)模增長100倍,如今已經(jīng)突破了萬億級別,資源消耗量巨大,也帶來了越來越高的存儲成本、推理成本、運維成本、落地成本……以及社會成本。

      目前,大模型仍處于商業(yè)化的黎明,如何回收大模型的投入,還存在很多未知數(shù)與不確定,而大模型一直在變大,成了一門極其燒錢的生意,背靠微軟的Open AI,2022年就虧損了5.4億美元左右。

      不斷膨脹的成本,就是一張張真金白銀的賬單,壓在大模型企業(yè)身上的一根根“稻草”。Anthropic的首席執(zhí)行官Dario Amodei最近預(yù)測,在未來兩年內(nèi),他們的模型成本將達到100億美元。

      除了企業(yè)自身,社會也同樣在承擔(dān)大模型的隱形成本。谷歌就曾報告稱,訓(xùn)練 PaLM 在大約兩個月內(nèi)耗費了大約3.4千瓦時的電量,相當(dāng)于300個家庭每年的能源消耗總量。大模型高能耗給環(huán)境帶來的負(fù)擔(dān)和成本,最終由整個社會來買單的。

      很顯然,無論是商業(yè)上、環(huán)境上,比拼模型體量都是不可持續(xù)的。

      一味求大的時代,已經(jīng)過去了。

      問題是,怎么給大模型“減負(fù)”呢?

      事實上,通用大模型的頭部廠商,一直都在積極地開展“成本瘦身”運動。

      比如微軟在Microsoft Build2020上曾公開了為GPT-3提供支持的AI supercomputing超級計算機,可以讓AI模型的訓(xùn)練效率比其他平臺高16倍,更快的訓(xùn)練可以降低時間成本與風(fēng)險成本。

      國產(chǎn)大模型也不例外。

      盤古大模型早在2.0版本中,就嘗試采用稀疏+稠密架構(gòu),以降低訓(xùn)練成本。文心一言推出一個月以后,也通過技術(shù)手段將大模型的推理性能提升近10倍,推理成本降到原來的十分之一。

      避免走向臃腫沉重,成為人人都能使用的工具,大模型的“成本瘦身運動”,勢在必行。具體怎么實現(xiàn)?本文就來談一談這個問題。

      一口吃不成胖子

      大模型的哪些成本可以優(yōu)化,哪些成本無法削減,哪些成本還要進一步加大投入?搞清楚這些之前,首先得知道是怎么胖的。才能在保證大模型的性能表現(xiàn)和用戶體驗(健康)的前提下,合理且精準(zhǔn)地進行“成本瘦身”。

      簡單來說,AI三要素——數(shù)據(jù)、算力、算法,仍然是決定大模型成本的最關(guān)鍵因素。

      先說數(shù)據(jù)。Garbage in, garbage out,在大模型時代依然適用。

      數(shù)據(jù)質(zhì)量會直接決定大模型的能力。OpenAI招聘了多位博士來處理各行業(yè)的專業(yè)數(shù)據(jù),并找了獨角獸企業(yè)Scale AI等多家數(shù)據(jù)標(biāo)注公司,給GPT-3進行大規(guī)模的數(shù)據(jù)集投喂。同時,算法模型會不斷迭代升級,對數(shù)據(jù)量的需求會隨著使用量的上升和性能優(yōu)化而持續(xù)不短的時間。

      中文大模型的成本高,一個主要原因就是,中文數(shù)據(jù)量和質(zhì)量,與英文還存在差距,訓(xùn)練中文大模型,需要采集和處理的中文語言數(shù)據(jù)更多。另一方面,英語語法結(jié)構(gòu)相比中文更簡單,中文文本的復(fù)雜性和多樣性,有的中文詞匯可以表達多種含義,語境豐富,上下文理解的歧義多、難度大,也增加了中文模型的訓(xùn)練難度,需要額外的資源來支撐中文大模型的訓(xùn)練。

      再說算力。

      大模型的訓(xùn)練、運行、服務(wù)、迭代等一整個全周期,都要計算和存儲資源。

      大模型的訓(xùn)練,主打一個“暴力美學(xué)”,參數(shù)越大,訓(xùn)練所用的計算資源就越多。GPT-3所使用的超級計算機,包含了一萬個GPU、285000個處理器內(nèi)核。國內(nèi)的文心4.0,也是基于飛槳平臺在萬卡集群訓(xùn)練出來的。

      這還不算完。大模型在部署后開放服務(wù),隨著使用量的增加,要完成的推理任務(wù)也越來越多。24小時進行大量的“思考”和“輸出”,這個推理過程,也會持續(xù)消耗計算資源,就像人腦在處理大量復(fù)雜任務(wù)時,需要消耗糖原,很容易感到饑餓,得大吃一頓來補充能量。所以,大模型的推理成本也是很高的。

      175B的GPT-3部署后的推理至少需要五個A100GPU,而國內(nèi)面向全社會開放服務(wù)的大模型,比如文心一言,據(jù)說推理成本也是上一代的8-10倍。

      最后說說算法。

      降低大模型對計算資源的巨大依賴,一個主流方案是優(yōu)化模型,在性能不變的基礎(chǔ)上,以更快的推理速度、更小的延遲、更低的資源需求來運行,相當(dāng)于ROI投入產(chǎn)出比更高了,訓(xùn)練、推理環(huán)節(jié)所需要的算力資源,單位成本更低。

      有多少人工,就有多少智能,沒有人才不可能搞出真正能打的大模型。算法開發(fā)、測試、迭代、產(chǎn)品化等,都需要大量技術(shù)人才。人力成本究竟高不高,還要看大模型的商業(yè)模式是否穩(wěn)健。

      學(xué)歷拉滿的人才隊伍,在研發(fā)階段,是相當(dāng)有競爭力的。問題在于,怎么掙錢呢?API調(diào)用或使用量收費,一個token不到一美分,回本盈利可能遙遙無期;付費訂閱(專業(yè)版),頭部大模型具有虹吸效應(yīng),大家都會選擇OpenAI或BATH等大廠,自家大模型能否被用戶接受并愿意付費,是未知數(shù);給行業(yè)客戶定制開發(fā),ToB要深入了解行業(yè),調(diào)研開發(fā)測試迭代,讓年薪幾十上百萬的算法工程師,在工地礦山農(nóng)場一待幾個月,項目的毛利率估計不會太好看。

      所以,一個大模型能不能成功,不僅僅是靠算法本身的能力,還要看從開發(fā)到落地的商業(yè)循環(huán)是否可持續(xù)。

      管住嘴,邁開腿

      如果我們把大模型的成本“瘦身”,比作一個希望減去多余贅肉的人,那么這個目標(biāo),可以拆解為兩種基本途徑:

      一是制造“熱量差”。就是管住嘴邁開腿,控制投入,減去多余的成本,加速商業(yè)化提高收入,自然就瘦了。

      二是變成“易瘦體質(zhì)”。充分了解大模型的機理,用新的架構(gòu)來解決Transformer注意力機制的問題,擁有“怎么吃都不胖”的體質(zhì)。

      聽起來,第二種是不是非常有誘惑力呢?

      不用苦哈哈的控制成本、吸引用戶、定制服務(wù),輕輕松松躺著掙錢,還有這種好事兒?確實。

      目前,所有的大語言模型都用的Transformer架構(gòu),而這種架構(gòu)難以處理長文本及高分辨率圖像,邏輯推理、知識歸納等就靠“大力出奇跡”,成本高昂。很多基礎(chǔ)原理仍然不清楚,這就導(dǎo)致很多現(xiàn)存問題束手無策,比如“幻覺”的產(chǎn)生,推理能力有限等。

      圖靈獎得主 Yann LeCun就不止一次批評過大語言模型的技術(shù)范式,認(rèn)為“LLM 對世界的理解非常膚淺”,他希望構(gòu)建一個“世界模型”,先學(xué)習(xí)世界運作方式,而后形成一個內(nèi)部模型,再通過這個內(nèi)部模型來完成各種任務(wù)。除此之外,關(guān)于AGI通用智能還有許多科學(xué)家從各自的研究領(lǐng)域去探討。

      總結(jié)一下,當(dāng)前的大語言模型,很多原理尚不清晰,技術(shù)仍在變化中。未來可能會出現(xiàn)其他技術(shù)范式,顛覆當(dāng)前一味求大的模型,那時可能就不需要過高的成本,也就不用痛苦地“瘦身”了。

      可能你已經(jīng)發(fā)現(xiàn)了,研究底層的原理、找到一種更強大的AGI技術(shù),這事兒雖然聽起來很酷,但實在沒譜,目前還沒有一個清晰的時間表。而這一輪大語言模型的技術(shù)范式,在工程實踐上是可行的,在產(chǎn)業(yè)中能work的,有提質(zhì)增效的明確效果的。先用起來,把握住現(xiàn)在,才是科技企業(yè)的當(dāng)務(wù)之急。

      所以,大模型企業(yè)只能管住嘴、邁開腿,盡快控制成本、加速商業(yè)化,制造良性可持續(xù)發(fā)展的“熱量差”。

      制造“熱量差”的四化運動

      那么,究竟該怎么制造“熱量差”呢?綜合目前市面上的主流手段,我們將其總結(jié)為“四化運動”:數(shù)據(jù)規(guī);、模型壓縮化、計算高效化、商業(yè)分層化。

      數(shù)據(jù)規(guī);,是通過規(guī)模效應(yīng),來提高數(shù)據(jù)的邊際效益,獲得最佳性價比。規(guī)模效應(yīng)主要通過三種方式來實現(xiàn),一是產(chǎn)業(yè)集中的規(guī);,國家層面已經(jīng)明確提出,要“加快培育數(shù)據(jù)要素市場”,涉及數(shù)據(jù)生產(chǎn)、采集、存儲、加工、分析、服務(wù)等多個環(huán)節(jié),產(chǎn)業(yè)化有助于減少大模型企業(yè)的數(shù)據(jù)成本。二是AI工具的應(yīng)用,減少數(shù)據(jù)工程各個環(huán)節(jié)的人工參與,加快預(yù)訓(xùn)練數(shù)據(jù)的處理,為模型訓(xùn)練降本提效。三是反饋數(shù)據(jù)的規(guī);。大模型對微調(diào)數(shù)據(jù)(SFT/RLHF)的需求量和質(zhì)量要求很高,一些更早向全社會開放服務(wù)的大模型,如百度文心一言、商湯“商量SenseChat”、百川智能“百川大模型”、科大訊飛“星火大模型”等,“數(shù)據(jù)飛輪”更早開始轉(zhuǎn)動,有望更快一步達到邊際效益最優(yōu)的數(shù)據(jù)規(guī)模。

      數(shù)據(jù)是有邊際效益的。OpenAl 已經(jīng)可以讓用戶來決定,是否允許其使用聊天數(shù)據(jù)進行訓(xùn)練,也就是說,可以不再依賴用戶反饋數(shù)據(jù)了,那么數(shù)據(jù)的存儲和計算成本自然就能控制住了。

      模型壓縮化,就是提高模型的性能,以更少的資源實現(xiàn)更高性能,將資源密集型的大模型,通過壓縮技術(shù),轉(zhuǎn)化為更加緊湊高效的版本。類似于將脂肪轉(zhuǎn)化為肌肉,肌肉的密度更大,體重(性能)不變,人卻變瘦(更小)了。

      目前,大模型壓縮的常見手段,主要有三種:量化、剪枝、知識蒸餾。

      量化,相當(dāng)于抽脂,簡單粗暴但是有效。模型的精度越高,所需要的存儲空間就越大。但在推理時,其實并不需要捕捉復(fù)雜模型中十分微小的梯度變化,所以量化可以直接降低模型的參數(shù)精度,“抽”去一部分細(xì)節(jié)性信息,從而減少占用空間,同時也不過于降低推理能力。比如以問生圖的生成式 AI 模型Stable Diffusion,此前只能在云端運行,高通AI Research使用量化技術(shù),讓模型可以在更低精度水平保持準(zhǔn)確性,首次實現(xiàn)了在 Android 智能手機上部署 Stable Diffusion。量化技術(shù),也在文心、盤古等國產(chǎn)大模型中有所應(yīng)用。

      剪枝,類似“切除手術(shù)”,直接減去一些對效果沒什么影響的旁枝,比如大量冗余的結(jié)構(gòu)、神經(jīng)元,這些權(quán)重較小的部分刪減掉,對模型效果帶來的影響不大,也減少了模型的大小。當(dāng)然,剪枝是一門“手藝活兒”,剪枝越精確,給模型準(zhǔn)確率的損失就越小,壓縮效果越好。

      知識蒸餾,就是讓大模型“蒸桑拿”,千億模型一通蒸餾,產(chǎn)出若干個性能接近、結(jié)構(gòu)更簡的小模型,落地成本更低。挑戰(zhàn)在于,千億規(guī)模的模型蒸餾,也要消耗極高的計算資源,而且,從千億蒸餾到幾千萬,數(shù)據(jù)量差距過大,容易影響蒸餾的效果。無損蒸餾,是各大廠商的技術(shù)賽點之一。

      既然模型壓縮技術(shù),也會消耗計算資源,那么提高算力基礎(chǔ)設(shè)施的計算效率,就變得格外重要了。

      計算高效化,是大模型廠商能夠以更高效益來提供模型服務(wù)的前提。

      芯片和計算集群的性能,是研究和優(yōu)化的重點。微軟云azure專門為OpenAI打造了適用于AI計算的超級計算機。國內(nèi)廠商,百度、華為都擁有自研芯片、深度學(xué)習(xí)框架,可以通過端到端優(yōu)化來提升計算效率,提升大模型的訓(xùn)練速度和推理速度,從而降低訓(xùn)練時間和成本。

      而對于產(chǎn)業(yè)大模型、行業(yè)大模型等非通用大模型來說,規(guī)模效應(yīng)和硬件優(yōu)化技術(shù)有限,自行構(gòu)建和維護基礎(chǔ)設(shè)施的成本是非常高的,使用云服務(wù)來訓(xùn)練和部署服務(wù),是成本更優(yōu)的選擇。

      歸根結(jié)底,大模型要提升商業(yè)收入,來達到優(yōu)化ROI、回收成本的目的。目前,各類大模型的商業(yè)化,體現(xiàn)出了明顯的分層化特點。

      簡單來說,就是不同體量、不同功能、不同方向的大模型,商業(yè)化路徑也開始涇渭分明。

      通用大模型,以規(guī)模效益、高價值市場,為主要目標(biāo)。OpenAI的用戶量巨大,發(fā)展API經(jīng)濟具有規(guī)模效應(yīng),前期投入可以隨著業(yè)務(wù)量增長而被均攤。BATH(百度、阿里、騰訊、華為)等都有各自的云業(yè)務(wù),積累了較為豐富的行業(yè)服務(wù)經(jīng)驗,尤其是金融、礦山、政務(wù)等大型政企的客戶觸達能力,具備較大的商業(yè)轉(zhuǎn)化潛力,因此除了面向大眾服務(wù)的訂閱模式、商業(yè)版付費模式等,也可以開展高價值的ToB項目定制開發(fā)。ToB客戶的高要求推動模型體驗和效果提升,也可以服務(wù)ToC市場,通過規(guī);瘉磉M一步攤平成本。

      行業(yè)大模型,則在主動收束產(chǎn)品和業(yè)務(wù)邊界,圍繞核心業(yè)務(wù)和功能,以更少的資源來開發(fā)專精的小模型,在投入和商業(yè)化之間取得一個很好ROI平衡。比如金融領(lǐng)域,度小滿的“軒轅70B”融入了大量的專業(yè)金融語料,提高對金融知識的理解能力,可控性、安全性上滿足金融客戶的特別要求,獲得了上百家金融機構(gòu)申請試用。

      總而言之,大模型并不是只有通用、泛化一條路,千行百業(yè)的私有化、個性化部署,會產(chǎn)生價格、隱私、安全等多方面的決策因素,也帶來大量的細(xì)分商機。通用大模型與行業(yè)大模型、專有小模型,分層+合力打開商業(yè)化之路。和而不同,考驗著產(chǎn)業(yè)鏈上每一個角色的智慧。

      為了長遠(yuǎn)、可持續(xù)的服務(wù),管住嘴、邁開腿,大模型的“成本瘦身”是必經(jīng)之路。

      這個過程或許痛苦,卻會凝練出一條護城河,守護整個行業(yè)的健康發(fā)展。

      20世紀(jì)40年代,計算機剛剛誕生的時候,人們驚嘆于這座“機器怪獸”的龐大身軀,但隨后開啟了信息時代的飛躍。智能手機剛剛誕生時,功能機廠商曾對它極盡諷刺,沒想到這種人人皆可觸網(wǎng)的普惠聯(lián)接,推起了移動互聯(lián)網(wǎng)的繁榮。

      隨著大模型越來越好、成本越來越低,“人人皆可AI”,也將不再是一個遙遠(yuǎn)的夢。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。

    即時

    新聞

    明火炊具市場:三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。

    3C消費

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。

    研究

    中國信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標(biāo)識解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標(biāo)識解析專題論壇在沈陽成功舉辦。