DeepSeek后更大的機(jī)遇：AI端側(cè)推理創(chuàng)新 | 智在終端

　　本文來(lái)自于微信公眾號(hào) 量子位，作者:明敏 魚(yú)羊。

　　每年開(kāi)春的“新機(jī)潮”，今年出盡風(fēng)頭的是DeepSeek。

　　一時(shí)之間，幾乎所有主流消費(fèi)終端廠都在短時(shí)間內(nèi)完成DeepSeek的接入。

　　榮耀、OPPO、魅族、vivo、小米紛紛官宣自家AI助理上線(xiàn)DeepSeek-R1及其滿(mǎn)血版;甚至OPPO今年新發(fā)的旗艦大折疊Find N5，也強(qiáng)調(diào)了對(duì)DeepSeek的支持。

　　另一個(gè)被掀起鯰魚(yú)效應(yīng)的是車(chē)圈。

　　一個(gè)月內(nèi)，吉利、比亞迪、奇瑞、嵐圖、長(zhǎng)城、理想等超過(guò)20家車(chē)企宣布接入DeepSeek，形成汽車(chē)與AI加速融合的一個(gè)切面。

　　熱潮之下是技術(shù)洪流不斷向前涌動(dòng)——

　　AI正在進(jìn)入推理創(chuàng)新時(shí)代。

　　如此趨勢(shì)認(rèn)知來(lái)自高通。DeepSeek效應(yīng)從AI領(lǐng)域向外輻射，從算法創(chuàng)新逐漸演變成對(duì)每個(gè)人生活工作的潛在影響。

　　輻射普羅大眾，消費(fèi)終端是關(guān)鍵橋梁。

　　由此，在當(dāng)下節(jié)點(diǎn)，一份對(duì)AI端側(cè)趨勢(shì)的梳理就變得尤為重要。高通最新發(fā)布的白皮書(shū)《AI變革正在推動(dòng)終端推理創(chuàng)新》，已梳理出四大趨勢(shì):

　　先進(jìn)AI小模型已具有卓越性能

　　模型參數(shù)規(guī)模正在快速縮小

　　開(kāi)發(fā)者能夠在邊緣側(cè)打造更豐富的應(yīng)用

　　AI正在成為新的UI

　　透過(guò)這份行業(yè)分析，AI推理之于終端將產(chǎn)生哪些影響?也就有更明了了。

　　量子位，贊267

　　AI正在進(jìn)入推理創(chuàng)新時(shí)代

　　最首要的問(wèn)題，DeepSeek這條“鯰魚(yú)”究竟改變了什么?

　　之于行業(yè)內(nèi)，大模型端側(cè)趨勢(shì)早已是暗流涌動(dòng)。在ChatGPT爆火后，高通就提出了混合AI的概念。

　　它強(qiáng)調(diào)，隨著生成式AI不斷發(fā)展，AI處理必須分布在云側(cè)和終端進(jìn)行，才能實(shí)現(xiàn)AI的規(guī)�；瘮U(kuò)展并發(fā)揮其最大潛能。它幾乎適用于所有生成式AI應(yīng)用和終端領(lǐng)域，包括手機(jī)、筆記本電腦、XR頭顯、汽車(chē)和物聯(lián)網(wǎng)。

　　從當(dāng)時(shí)來(lái)看，節(jié)省成本是推動(dòng)混合AI架構(gòu)的主要因素之一。一次AI問(wèn)答所需的成本是傳統(tǒng)搜索的1000倍，混合AI能夠通過(guò)和終端設(shè)備協(xié)同算力的方式，降低云端計(jì)算的成本。同時(shí)兼顧個(gè)性化、隱私保護(hù)等需求。

　　這也造成了部分AI體驗(yàn)被閹割的問(wèn)題。由于當(dāng)時(shí)推理Scaling Law(語(yǔ)言模型中的規(guī)模化法則行為)尚未被提出，模型能力與參數(shù)規(guī)模呈強(qiáng)烈正相關(guān)，盡管廠商們也陸續(xù)推出小型號(hào)模型適應(yīng)端側(cè)需求，但性能和精度水平仍舊受到限制。

　　在實(shí)際進(jìn)展上，高通在過(guò)去幾年先后發(fā)布的第三代驍龍8、驍龍X Elite和驍龍8至尊版等平臺(tái)上，開(kāi)始強(qiáng)化終端芯片對(duì)生成式AI能力的支持。手機(jī)、PC廠商們?cè)诖嘶�礎(chǔ)上進(jìn)一步發(fā)力，陸續(xù)推出本地支持AI能力的新機(jī)，AI端側(cè)應(yīng)用迎來(lái)一波小趨勢(shì)，不僅手機(jī)助手都更加智能化，也衍生出AI一鍵消除路人、AI語(yǔ)音通話(huà)總結(jié)等原生AI端側(cè)應(yīng)用。

　　可以說(shuō)，在過(guò)去幾年，端側(cè)AI已搭建好初步的框架和地基。若有更強(qiáng)勁的東風(fēng)，這股新趨勢(shì)便將進(jìn)一步爆發(fā)。

　　高通技術(shù)公司高級(jí)副總裁兼技術(shù)規(guī)劃和邊緣解決方案業(yè)務(wù)總經(jīng)理馬德嘉(Durga Malladi)近期的采訪(fǎng)，進(jìn)一步驗(yàn)證了外界的猜測(cè):

　　我們?cè)谌ツ?1月份的時(shí)候已經(jīng)做出了這樣的預(yù)判，會(huì)有越來(lái)越多的高質(zhì)量模型在搭載驍龍平臺(tái)的終端側(cè)運(yùn)行，讓開(kāi)發(fā)者能夠在邊緣側(cè)打造更豐富的應(yīng)用。

　　果然，在2025年，推理模型DeepSeek-R1這股東風(fēng)到來(lái)。它從模型層面為困擾端側(cè)AI已久的成本問(wèn)題，提供了全新解決思路。

　　通過(guò)使用思維鏈推理數(shù)據(jù)和非推理數(shù)據(jù)微調(diào)，并進(jìn)行蒸餾，DeepSeek-R1實(shí)現(xiàn)了將推理能力賦予到小規(guī)模稠密模型上。

　　這意味著，高質(zhì)量且小規(guī)模的模型并非不可能實(shí)現(xiàn)。DeepSeek一聲驚雷過(guò)后，這樣的模型只可能比人們預(yù)想中的還要多、還要實(shí)惠。

　　由此，高通對(duì)當(dāng)下趨勢(shì)進(jìn)行梳理，在白皮書(shū)給出四大值得參考的方向。一方面是為了在發(fā)展中總結(jié)經(jīng)驗(yàn)，另一方面也是與行業(yè)一起探討前路方向。

　　其中，第一點(diǎn)被提及的還是快速進(jìn)化的AI模型。

　　現(xiàn)如今，不僅模型質(zhì)量在進(jìn)一步提高，開(kāi)發(fā)方式其實(shí)也在變得更便捷。

　　經(jīng)過(guò)多年探索，目前AI領(lǐng)域內(nèi)針對(duì)不同模型需求，已經(jīng)形成了諸多范式。

　　比如針大規(guī)模模型，可以使用MoE(混合專(zhuān)家模型)、SSM(狀態(tài)空間模型)等架構(gòu)來(lái)降低計(jì)算開(kāi)銷(xiāo)，同時(shí)保證模型質(zhì)量;使用思維鏈和自我驗(yàn)證等，能夠大幅提升模型在數(shù)學(xué)、編碼、推理等方面能力;對(duì)于小模型，蒸餾技術(shù)的普遍應(yīng)用能夠讓大模型“教學(xué)”小模型，保持準(zhǔn)確性的同時(shí)遷移知識(shí)，進(jìn)一步降低開(kāi)發(fā)難度，一定程度上避免重復(fù)造輪子。

　　其次，從全行業(yè)范圍看，模型參數(shù)規(guī)模正在快速縮小。

　　量化、剪枝、蒸餾等技術(shù)下，大模型的性能可以很好遷移到小模型上。

　　基于通義千問(wèn)模型和Llama模型的DeepSeek蒸餾版本，在GPQA基準(zhǔn)測(cè)試中，與GPT-4o、Claude3.5Sonnet和GPT-o1mini等先進(jìn)模型相比，取得了相似或更高的分?jǐn)?shù)。

　　此外，讓模型更“濃縮精華”也是正在發(fā)生的趨勢(shì)。根據(jù)Epoch AI整理的數(shù)據(jù)，2024年發(fā)布的大規(guī)模AI模型中，超過(guò)75%的模型參數(shù)在千億規(guī)模以下。

　　第三，高質(zhì)量模型激增，開(kāi)發(fā)者有了更多選擇，邊緣側(cè)的AI應(yīng)用正在滲透到普通用戶(hù)的日常用機(jī)習(xí)慣中。

　　比如文檔摘要、AI圖像生成和編輯以及實(shí)時(shí)語(yǔ)言翻譯，已經(jīng)成為如今AI手機(jī)上的常見(jiàn)功能。影像方面更是可以利用AI進(jìn)行計(jì)算攝影、物體識(shí)別和場(chǎng)景優(yōu)化。

　　這些都得益于AI推理在終端側(cè)的廣泛普及。

　　由此更進(jìn)一步，AI正在成為新的UI。

　　隨著大模型入駐手機(jī)、PC，傳統(tǒng)的屏幕交互正在被變革、顛覆，個(gè)性化多模態(tài)AI智能體可以簡(jiǎn)化人機(jī)交互流程，高效地跨越各種應(yīng)用完成任務(wù)。

　　比如榮耀去年火出圈的“一句話(huà)點(diǎn)咖啡”，就是一個(gè)例子。

　　當(dāng)然還不止于手機(jī)、PC、汽車(chē)等消費(fèi)級(jí)終端，未來(lái)在機(jī)器人、無(wú)人機(jī)以及其他自主設(shè)備上，AI也有望實(shí)現(xiàn)實(shí)時(shí)決策，在動(dòng)態(tài)的真實(shí)環(huán)境中實(shí)現(xiàn)精確交互。

　　綜上，隨著AI進(jìn)入推理時(shí)代，終端側(cè)的創(chuàng)新與應(yīng)用落地被進(jìn)一步激發(fā)，AI格局甚至都將就此發(fā)生改變。

　　那么問(wèn)題來(lái)了——

　　AI推理時(shí)代需要什么?

　　DeepSeek-R1的蒸餾模型，在問(wèn)世不到兩周時(shí)間內(nèi)就被爭(zhēng)相接入各種終端，令不少業(yè)內(nèi)人士都驚嘆不已。

　　而在DeepSeek之外，值得關(guān)注的是，大部分接入的終端產(chǎn)品都是“高通芯”。

　　關(guān)鍵的一點(diǎn)是，在DeepSeek攪動(dòng)風(fēng)云之前，高通就已經(jīng)進(jìn)行了前瞻預(yù)判:AI計(jì)算處理將從云端向邊緣側(cè)擴(kuò)展。

　　2023年5月，高通發(fā)布了《混合AI是AI的未來(lái)》白皮書(shū)，其中提到:

　　AI處理必須分布在云端和終端進(jìn)行，才能實(shí)現(xiàn)AI的規(guī)�；瘮U(kuò)展并發(fā)揮其最大潛能。

　　而決定進(jìn)程的影響因素包括:終端能力、性能需求、隱私和安全需求，以及商業(yè)模式等諸多因素。

　　簡(jiǎn)單歸納，核心回到3個(gè)問(wèn)題:

　　硬件設(shè)計(jì)是否能滿(mǎn)足模型對(duì)終端算力的需求?

　　相比云端模型，終端“小”模型是否足夠好，足夠多，足夠便宜?

　　打通軟硬件的AI Infra(人工智能基礎(chǔ)設(shè)施，連接算力和應(yīng)用的AI中間層)是否完備，終端側(cè)的生態(tài)系統(tǒng)是否健全?

　　圍繞這3點(diǎn)，再回溯高通這兩年以來(lái)的技術(shù)布局，不難看出，高通在終端AI領(lǐng)域，再次引領(lǐng)了時(shí)代之先。

　　首先，是高性能、高能效的芯片設(shè)計(jì)。

　　高通長(zhǎng)期致力于開(kāi)發(fā)定制CPU、NPU、GPU和低功耗子系統(tǒng)，同時(shí)擁有封裝技術(shù)和熱設(shè)計(jì)的技術(shù)專(zhuān)長(zhǎng)，構(gòu)成了其行業(yè)領(lǐng)先系統(tǒng)級(jí)芯片(SoC)產(chǎn)品的基礎(chǔ)。

　　這些SoC能夠直接在終端側(cè)提供高性能、高能效的AI推理。

　　比如，驍龍8至尊版除了在對(duì)AI最為關(guān)鍵的NPU上帶來(lái)一系列升級(jí)，在CPU和GPU上同樣做了不少文章，以更加充分地釋放SoC的AI能力。

　　包括引入自研Oryon CPU，應(yīng)對(duì)對(duì)時(shí)延敏感的AI任務(wù)，比如實(shí)時(shí)翻譯、AI助手命令響應(yīng)等，并負(fù)責(zé)將AI任務(wù)分配到其他核心上。

　　而驍龍8至尊版的Hexagon NPU，目前已經(jīng)可以支持70+ Tokens/秒、4K上下文的生成能力;并為應(yīng)對(duì)多模態(tài)AI任務(wù)增加了額外的內(nèi)核。

　　又比如驍龍X系列平臺(tái)，其專(zhuān)為實(shí)現(xiàn)高性能、高能效的生成式AI推理而打造的NPU核心，對(duì)定義全新AI PC品類(lèi)發(fā)揮了關(guān)鍵作用。

　　其次，是覆蓋所有關(guān)鍵邊緣細(xì)分領(lǐng)域的可擴(kuò)展性。

　　不僅是手機(jī)、PC，在XR頭顯和眼鏡、智能汽車(chē)，以及工業(yè)互聯(lián)網(wǎng)等諸多終端場(chǎng)景中，高通的身影無(wú)處不在，并代表著最先進(jìn)的技術(shù)水平。

　　而在所有這些場(chǎng)景中，高通始終在更加積極、極致地融入、提升AI能力。

　　比如在本屆MWC上，高通發(fā)布高通躍龍第四代固定無(wú)線(xiàn)接入(FWA)平臺(tái)至尊版，基于高通X85打造，支持長(zhǎng)達(dá)14公里的毫米波遠(yuǎn)程通信——

　　高通提到，毫米波覆蓋范圍的擴(kuò)大得益于AI優(yōu)化和AI輔助波束選擇技術(shù)。

　　而其流量分類(lèi)和智能網(wǎng)絡(luò)選擇等AI功能，也是基于X85這顆5G AI處理器的AI能力實(shí)現(xiàn)的。

　　又比如驍龍數(shù)字底盤(pán)解決方案，在其情境感知智能座艙系統(tǒng)中使用終端側(cè)AI，旨在增強(qiáng)汽車(chē)安全和駕駛體驗(yàn)。該系統(tǒng)利用先進(jìn)攝像頭、生物識(shí)別、環(huán)境傳感器以及先進(jìn)的多模態(tài)AI網(wǎng)絡(luò)，提供根據(jù)駕駛員狀態(tài)和環(huán)境條件而調(diào)整的實(shí)時(shí)反饋和功能。

　　針對(duì)自動(dòng)駕駛和輔助駕駛系統(tǒng)，高通開(kāi)發(fā)了端到端架構(gòu)，利用大規(guī)模訓(xùn)練數(shù)據(jù)集，基于真實(shí)世界數(shù)據(jù)和AI增強(qiáng)數(shù)據(jù)的快速再訓(xùn)練、OTA更新以及包括車(chē)內(nèi)多模態(tài)AI模型和因果推理在內(nèi)的先進(jìn)軟件棧，應(yīng)對(duì)現(xiàn)代自動(dòng)駕駛和輔助駕駛的復(fù)雜性。

　　目前，高通的硬件和軟件解決方案已賦能數(shù)十億智能手機(jī)、汽車(chē)、XR頭顯和眼鏡、PC以及工業(yè)物聯(lián)網(wǎng)等終端，為廣泛行業(yè)帶來(lái)高性能、經(jīng)濟(jì)實(shí)惠、快速響應(yīng)和關(guān)注隱私的變革性AI體驗(yàn)。

　　值得關(guān)注的是，硬件之外，通過(guò)高通AI軟件棧、高通AI Hub和開(kāi)發(fā)者協(xié)作，高通已構(gòu)建起完備的生態(tài)系統(tǒng)策略，面向不同邊緣終端領(lǐng)域的模型部署提供工具、框架和SDK，賦能開(kāi)發(fā)者在邊緣側(cè)加速AI智能體和應(yīng)用的落地。

　　也可以這樣理解——通過(guò)高通生態(tài)的支持，開(kāi)發(fā)者面向不同平臺(tái)進(jìn)行重復(fù)開(kāi)發(fā)時(shí)，只需一次開(kāi)發(fā)，即可輕松實(shí)現(xiàn)跨多平臺(tái)高效部署。

　　毫無(wú)疑問(wèn)，大模型從云端擴(kuò)展到終端的過(guò)程中，蘊(yùn)藏著巨大的機(jī)會(huì)——

　　甚至可以說(shuō)，這是這場(chǎng)“模力時(shí)代”變革之中，能最快觸達(dá)最多人群、引發(fā)新爆點(diǎn)的應(yīng)用領(lǐng)域之一。

　　而機(jī)會(huì)總是率先青睞有準(zhǔn)備的人，每一次技術(shù)變革中，引領(lǐng)潮流的都是有更長(zhǎng)遠(yuǎn)預(yù)判，以及孜孜不倦深耕、賦能行業(yè)未來(lái)的企業(yè)、團(tuán)隊(duì)。

　　現(xiàn)在，在AI推理創(chuàng)新時(shí)代的開(kāi)端，以高通為代表的技術(shù)上游已經(jīng)站上潮頭，亮出越來(lái)越令外界驚喜的手牌，推動(dòng)著整個(gè)行業(yè)加速發(fā)展。

　　更多的創(chuàng)新創(chuàng)造，正在涌流。

　　至少終端側(cè)的智能新可能，已經(jīng)在2025，初現(xiàn)曙光。