端側(cè)AI，如何化解國內(nèi)算力之困？

　　解決了算力之困后，端側(cè)大模型將有可能*引爆本輪AI革命的盈利點(diǎn)。

　　算力和數(shù)據(jù)的天花板，決定了本輪的AI熱潮究竟能走多遠(yuǎn)。

　　但不幸的是，對(duì)國內(nèi)而言，其中的算力天花板，離“到頂”已經(jīng)越來越近。

　　就在8月初，美簽署最新行政令，禁止美國對(duì)中國計(jì)算機(jī)芯片等敏感技術(shù)進(jìn)行一些新投資，重點(diǎn)將在限制美國資本對(duì)于中國半導(dǎo)體設(shè)計(jì)軟件和制造硬件的投資。

　　此消息一出，不少人頓感：國內(nèi)算力危矣!

　　而機(jī)警的大廠，也開始了各自未雨綢繆的準(zhǔn)備。

　　《金融時(shí)報(bào)》的一篇報(bào)道稱，國內(nèi)包括阿里、字節(jié)在內(nèi)的科技巨頭，已經(jīng)訂購50億美元的英偉達(dá)的A800芯片，來面對(duì)訓(xùn)練大語言模型需要的算力挑戰(zhàn)。

　　按照此前媒體報(bào)道，目前中國企業(yè)GPU芯片持有量超過1萬枚的不超過5家，擁有1萬枚A100的至多1家。

　　那么，在愈發(fā)緊張的算力之下，中國AI的前途、命運(yùn)將如何發(fā)展?

　　短期來看，算力之困對(duì)于業(yè)內(nèi)，似乎是個(gè)無解的問題。然而，技術(shù)的發(fā)展，有時(shí)就像生物的進(jìn)化，當(dāng)一種技術(shù)在面臨“生存挑戰(zhàn)”時(shí)，也會(huì)由于選擇壓力而發(fā)生一系列的突變。

　　而對(duì)國內(nèi)而言，這樣的突變方向，也許就是分散于各個(gè)終端里的端側(cè)大模型。

　　1

　　端側(cè)大模型，如何解算力之困？

　　端側(cè)大模型的發(fā)展，對(duì)國內(nèi)算力突圍有著怎樣的意義?這還得從目前云計(jì)算的需求說起。

　　當(dāng)下，面對(duì)大模型高昂的算力成本，許多致力于涉足AI領(lǐng)域，但卻算力匱乏的企業(yè)，往往都選擇了租用云算力的方式，來滿足訓(xùn)練需求。

　　在此背景下，昇騰AI集群這樣的云服務(wù)平臺(tái)也趁勢(shì)而起，成為了孵化國內(nèi)各個(gè)大模型的“母工廠”。

　　然而，即使是云計(jì)算本身，也需要大量的GPU支撐。

　　如果云服務(wù)商無法獲取足夠的GPU資源，那么它們也無法為國內(nèi)AI企業(yè)提供高效、可靠的云計(jì)算服務(wù)。

　　而端側(cè)AI最重要的意義，就在于分擔(dān)了目前國內(nèi)云計(jì)算的壓力。

　　倘若我們將十幾億分散的智能手機(jī)，當(dāng)成了一個(gè)個(gè)潛在的、擁有大量閑置算力的移動(dòng)計(jì)算單元，那么部署在手機(jī)中的端側(cè)AI，就能在這些設(shè)備閑置時(shí)間里，將這些碎片化、分布式算力利用起來，產(chǎn)生頗為可觀的規(guī)模效應(yīng)。

　　具體來說，聯(lián)邦計(jì)算，就是這樣為人熟知的分布式計(jì)算方式之一。

　　所謂聯(lián)邦計(jì)算，簡而言之，就是在數(shù)據(jù)源(例如用戶設(shè)備)上進(jìn)行模型的局部訓(xùn)練，然后將這些局部模型的參數(shù)或更新聚合到中央服務(wù)器上，形成一個(gè)“全局模型”。

　　相比于集中式的訓(xùn)練，這種分布式的方式可以更好地利用各個(gè)設(shè)備的計(jì)算能力，降低中央服務(wù)器的算力需求。

　　在這樣的過程中，依靠終端設(shè)備(例如手機(jī))的龐大數(shù)量規(guī)模，每個(gè)“全局模型”的訓(xùn)練成本，在無意中便被不斷攤薄了。

　　因?yàn)槊總�(gè)“小模型”的訓(xùn)練只需要消耗端側(cè)設(shè)備的計(jì)算資源，而不需要傳輸大量的原始數(shù)據(jù)到云端。這樣，就可以節(jié)省網(wǎng)絡(luò)帶寬和云端存儲(chǔ)空間，也可以減少云端服務(wù)器的計(jì)算壓力。

　　更重要的是，與云端GPU這類高成本的訓(xùn)練方式相比，由于端側(cè)AI芯片往往是針對(duì)特定的AI應(yīng)用和算法，進(jìn)行優(yōu)化和定制，因此其往往有著相對(duì)更明確的“回血”途徑。

　　例如，前段時(shí)間，爆火的妙鴨相機(jī)，大家應(yīng)該都聽說了。在其最受追捧的初期，成千上萬的用戶涌進(jìn)應(yīng)用中，高峰期一度有4000-5000人排隊(duì)，需要等待10多個(gè)小時(shí)才能出片。

　　之后，是阿里云進(jìn)行了緊急擴(kuò)容，才勉強(qiáng)應(yīng)對(duì)了這暴漲數(shù)百倍的算力需求。

　　但倘若用戶不用在云端等待，而是直接在本地，或者通過端云協(xié)同的方式，就能實(shí)現(xiàn)這樣的生成效果呢?

　　一種可能的方式，是先在端側(cè)生成低分辨率的圖片，之后再上傳到云端，用較少的資源對(duì)圖片進(jìn)行清晰化處理。

　　如此一來，既降低了云端算力的負(fù)擔(dān)，又在一定程度上保障了生成的質(zhì)量、效率。

　　在當(dāng)下的AI應(yīng)用開發(fā)中，開發(fā)者不僅需要支付云端大模型API接口的成本，還得自己租用服務(wù)器，保證密鑰安全。

　　如果是文字生成類AI，文字量大的話，相應(yīng)的token也是一筆不小的開支。

　　而隨著算力門檻的降低，眾多AI應(yīng)用的開發(fā)者，將不再被云端算力的成本所縛，而只需調(diào)用端側(cè)大模型提供的開放API，就可以快速開發(fā)各類AI應(yīng)用。

　　在此基礎(chǔ)上，一個(gè)開放的、多樣化的AI應(yīng)用生態(tài)，就隨著端側(cè)大模型的普及，而應(yīng)運(yùn)而生了。

　　2

　　以“偏”補(bǔ)“全”的端側(cè)芯片

　　AI應(yīng)用井噴的時(shí)代似乎近在眼前，但要想讓每臺(tái)手機(jī)都標(biāo)配一個(gè)大模型，前面還有道難以回避的門檻——硬件基礎(chǔ)。

　　由于芯片架構(gòu)不同，在端側(cè)部署時(shí)，往往需要對(duì)模型網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行一通修改才能勉強(qiáng)“上車”。

　　具體來說，目前GPT這類主流AI所使用的Transformer架構(gòu)，往往部署于云端服務(wù)器。

　　這是因?yàn)镚PU對(duì)于MHA結(jié)構(gòu)(Transformer中的多頭注意力機(jī)制)計(jì)算支持更友好。而端側(cè)AI的芯片，則主要側(cè)重于CNN(卷積神經(jīng)網(wǎng)絡(luò))的結(jié)構(gòu)。

　　如果將前者強(qiáng)行轉(zhuǎn)移到端側(cè)，帶來的一個(gè)明顯問題，就是模型精度下降。

　　那么有沒有什么辦法，能讓大模型在進(jìn)行端側(cè)化改造的同時(shí)，仍能保證其精度呢?

　　愛芯元智推出的端側(cè)芯片AX650N，似乎提供了一個(gè)可能的路線。

　　AX650N芯片擁有自研混合精度NPU和愛芯智眸AI-ISP兩大核心技術(shù)，其對(duì)Transformer結(jié)構(gòu)的網(wǎng)絡(luò)進(jìn)行了專門的優(yōu)化，在其NPU中增加了專門用于自注意力計(jì)算的單元，可以大幅提升Transformer網(wǎng)絡(luò)的運(yùn)行速度和準(zhǔn)確率。

　　憑借著這類針對(duì)端側(cè)的優(yōu)化技術(shù)，AX650N已經(jīng)做到了在端側(cè)部署原版Swin Transformer只需要5分鐘，而跑起私有模型，只要1個(gè)小時(shí)就能搞定。

　　但盡管如此，受限于架構(gòu)和內(nèi)存，這樣的優(yōu)化，僅僅只是針對(duì)視覺大模型方向而言的，因?yàn)閺挠布�算力上來說，端側(cè)AI芯片，始終難以做到GPU芯片那樣“面面俱到”的通用性、兼容性。

　　既然如此，國內(nèi)的大模型之困，是否就指望不上它了?

　　其實(shí)不然，從量的角度來講，邊緣側(cè)、端側(cè)的需求一定比云側(cè)更大，畢竟邊緣側(cè)、端側(cè)設(shè)備會(huì)更多。

　　而在這眾多的需求中，只要使用了大模型的終端(如手機(jī)、智能音箱)，能做到兩點(diǎn)，那么國內(nèi)大模型在應(yīng)用層，就有盤活的可能。

　　其中*點(diǎn)，就是夠降低人們獲取信息、知識(shí)的成本。

　　倘若以后人們打開手機(jī)或者其他終端，就能獲得一個(gè)諸如私人醫(yī)生和律師、廚師的AI助理，能為我們提供成本低廉、快速的咨詢服務(wù)，那么人們就會(huì)對(duì)其產(chǎn)生依賴。

　　因?yàn)閺男袨閷W(xué)上來說，人總歸是有惰性的。

　　雖然目前的某些律所，也能為人們提供免費(fèi)的咨詢服務(wù)，但這其中卻包含了無形的時(shí)間成本、溝通成本。

　　正如互聯(lián)網(wǎng)出現(xiàn)后，雖然人們?nèi)阅芡ㄟ^紙制地圖進(jìn)行導(dǎo)航，但大部分人卻再也離不開手機(jī)上的定位功能一樣。

　　從某種程度上說，壓縮了各種知識(shí)、智能的端側(cè)模型，將會(huì)重復(fù)這一過程。

　　第二點(diǎn)，則是個(gè)性化功能的普及。

　　在“前AI時(shí)代”，個(gè)性化定制的大規(guī)模推廣，是一件不可想象的事。

　　在沒有AI技術(shù)支持的情況下，實(shí)現(xiàn)個(gè)性化定制通常需要大量的人力和時(shí)間投入。為每個(gè)用戶提供個(gè)性化的產(chǎn)品或服務(wù)，往往需要大量的人工處理。

　　然而，隨著本輪AI革命的到來，人們已經(jīng)在應(yīng)用層，看到了AI用于個(gè)性化、定制化服務(wù)的可能。

　　例如character.Ai一類的應(yīng)用，支持用戶根據(jù)自己的需求、偏好，量身定制一個(gè)“AI伴侶”。

　　試想一下，倘若這樣的定制化服務(wù)進(jìn)入到了端側(cè)，端側(cè)大模型就能不斷收集用戶數(shù)據(jù)，再進(jìn)行反饋、訓(xùn)練，并最終打造出一個(gè)*的、貼身的AI助手。

　　而這樣量身定制的體驗(yàn)，顯然比大規(guī)模的標(biāo)準(zhǔn)化服務(wù)，更具吸引力。

　　3

　　總結(jié)

　　盡管在模型規(guī)模、性能等方面，端側(cè)大模型目前還遠(yuǎn)無法與云端大模型相比，但分布式的算力格局，以及龐大的規(guī)模效應(yīng)，都將大大降低目前國內(nèi)云端算力的負(fù)擔(dān)。

　　而在算力成本降低之后，大量基于API接口的AI應(yīng)用，也得以通過一個(gè)個(gè)部署在本地的端側(cè)大模型不斷涌現(xiàn)。

　　在應(yīng)用大爆發(fā)的背景下，一些捕捉到先機(jī)的應(yīng)用，就會(huì)基于端側(cè)大模型實(shí)時(shí)響應(yīng)、個(gè)性化定制的功能，引爆本輪AI革命真正的盈利點(diǎn)。

　　而這，正是無數(shù)人在這股AI浪潮中苦苦追尋的。