高通驍龍：端側(cè)AI 啟幕移動(dòng)智能“芯”時(shí)代

　　在移動(dòng)AI這條道路的探索上，高通既是啟蒙者，又是見(jiàn)證者。

　　無(wú)論是小米澎湃OS、OriginOS 4還是ColorOS 14，如果你關(guān)注過(guò)最近這段時(shí)間國(guó)內(nèi)主流手機(jī)品牌集中發(fā)布的新版系統(tǒng)，會(huì)發(fā)現(xiàn)AI已經(jīng)成為發(fā)布會(huì)PPT上“躲不開(kāi)，繞不過(guò)”的關(guān)鍵詞，而且屬于提及頻率最高的那一檔。實(shí)際上，這還不是最“過(guò)分”的，在今年Google I/O大會(huì)上以劈柴哥Sundar Pichai為代表的一眾高管，在短短的2個(gè)小時(shí)主題演講中就提及了超過(guò)140次AI，頻率高達(dá)平均1.17次/分鐘，在官網(wǎng)上，Google甚至將新一代Pixel 8系列言簡(jiǎn)意賅地稱(chēng)為“由Google AI與最好的Pixel相機(jī)打造的最強(qiáng)大、最貼心的Pixel手機(jī)”。

　　突然間，屬于智能手機(jī)的移動(dòng)AI時(shí)代到來(lái)了。

　　當(dāng)然如果細(xì)究的話，今年手機(jī)廠商們口中的“AI”與往年消費(fèi)者偶爾聽(tīng)到或者在相機(jī)界面里看到的那些“AI”還不太一樣，今年的AI專(zhuān)指“AI大模型”這個(gè)隨ChatGPT火到已經(jīng)泛濫的概念，是一種基于生成式AI技術(shù)的大語(yǔ)言/大視覺(jué)模型，主要用于圖文相關(guān)的自然語(yǔ)義理解、處理乃至于創(chuàng)作生成——即與AI大模型概念同樣大熱的AIGC概念。換句話說(shuō)，這陣AI風(fēng)潮本質(zhì)上是手機(jī)廠商集中落地AI大模型所引起的市場(chǎng)“躁動(dòng)”，而點(diǎn)燃這份躁動(dòng)的正是以第三代驍龍8為代表的新一代移動(dòng)SoC平臺(tái)，它們?yōu)锳I大模型落地移動(dòng)端掃清了最為關(guān)鍵的一道硬件障礙，也填上了移動(dòng)設(shè)備真正邁入AI時(shí)代最后一塊拼圖。

　　從看照片到大模型 移動(dòng)AI的演進(jìn)之路

　　盡管許多消費(fèi)者今年才對(duì)移動(dòng)端的AI有所耳聞，但其實(shí)AI在移動(dòng)端的應(yīng)用探索已經(jīng)持續(xù)了很多年，以高通為例，早在十年前也就是2013年就推出了名聲大噪的AI芯片Zeroth和SNN架構(gòu)——彼時(shí)高通也同步提出了神經(jīng)處理單元(NPU)的概念，2014年高通進(jìn)一步收購(gòu)了AI圖像識(shí)別技術(shù)公司Euvision進(jìn)一步探索AI在移動(dòng)端的潛在用例，并在隨后將源于Zeroth的AI加速架構(gòu)引入了2015年推出的驍龍820移動(dòng)平臺(tái)的設(shè)計(jì)之中，以此奠定了驍龍系列高通AI引擎的基礎(chǔ)，高通內(nèi)部也將驍龍820視為搭載高通“第一代AI引擎”的移動(dòng)平臺(tái)。不過(guò)彼時(shí)移動(dòng)SoC市場(chǎng)還未流行AI的說(shuō)法，高通也未進(jìn)行過(guò)這方面的宣傳，所以這就造成了當(dāng)2018年NPU概念興起之后，許多消費(fèi)者產(chǎn)生了此時(shí)高通才在移動(dòng)AI賽道上發(fā)力的“錯(cuò)覺(jué)”，但實(shí)際上，高通早在2007年就啟動(dòng)了首個(gè)AI研究項(xiàng)目，掐指一算，從懵懂獨(dú)行到行合趨同，高通在AI上探索已經(jīng)歷經(jīng)十七載，基本完整覆蓋了整個(gè)智能手機(jī)發(fā)展史。

　　所以，在移動(dòng)AI這條道路上，高通既是啟蒙者，又是見(jiàn)證者。

　　說(shuō)到這里，我們也可以從AI這一概念在移動(dòng)端的經(jīng)歷窺知移動(dòng)AI發(fā)展之路上最大的阻礙——缺乏用例。相信不少消費(fèi)者在2019年前后通過(guò)NPU的大名，或者沖著看似相當(dāng)美好的AI宣傳入手了新機(jī)，但在系統(tǒng)中卻難以發(fā)現(xiàn)AI存在的蹤跡，印象中還有廠商趁著當(dāng)時(shí)歌曲《卡路里》的熱度絞盡腦汁推出了類(lèi)似“識(shí)食物得卡路里”的比較尷尬的AI功能，這也導(dǎo)致當(dāng)初諸多探索的AI功能中，似乎只有相機(jī)的AI場(chǎng)景識(shí)別留存至今。行業(yè)最初在移動(dòng)AI用例上的探索主要集中在機(jī)器視覺(jué)與圖像識(shí)別，但也正因如此導(dǎo)致曲高寡，以至于無(wú)法貼近用戶(hù)日常生活而一直不得要領(lǐng)。

　　但以ChatGPT為代表的生成式AI帶來(lái)了顛覆性的變革，讓行業(yè)看到了AI大模型所蘊(yùn)含的潛力。AI大模型其中的AI指代的自然是人工智能，而這個(gè)人工智能則是由深度學(xué)習(xí)算法和人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練而出的;大模型則是大語(yǔ)言模型，之所以被稱(chēng)為“大”模型，是因?yàn)檫@類(lèi)模型參數(shù)規(guī)模經(jīng)常數(shù)以?xún)|計(jì)，而語(yǔ)言模型就是通過(guò)大量參數(shù)預(yù)訓(xùn)練的自然語(yǔ)言處理模型，以生成式AI實(shí)現(xiàn)文字的生成、總結(jié)、改寫(xiě)、搜索、回答、聚類(lèi)、分類(lèi)等復(fù)雜目標(biāo)。簡(jiǎn)單來(lái)說(shuō)，AI大模型就像《猩球崛起》中給予凱撒智力的“ALZ-112”一樣，有著賦予機(jī)器自然語(yǔ)義理解——也就是聽(tīng)懂人話的能力，當(dāng)一臺(tái)可以連接互聯(lián)網(wǎng)的手機(jī)能聽(tīng)懂對(duì)話與你交流的時(shí)候……它的能力上限大多時(shí)間只會(huì)與產(chǎn)品經(jīng)理的想象力邊界掛鉤了，這時(shí)如何將“大”模型裝進(jìn)用戶(hù)的“小”手機(jī)中，就成為AI賦能移動(dòng)端最大的阻礙，而第三代驍龍8移動(dòng)平臺(tái)正是為此而來(lái)。

　　第三代驍龍8 啟幕2024移動(dòng)AI元年

　　目前將AI大模型“塞入”移動(dòng)端目前的主流做法是云側(cè)大模型，即用戶(hù)輸入通過(guò)云端模型處理后返回結(jié)果，優(yōu)點(diǎn)是對(duì)輸入硬件并無(wú)要求，也可以利用參數(shù)量級(jí)較大的模型，ChatGPT、文心一言、Stable Diffusion等一眾知名大模型的to C接口均基于此。但云側(cè)大模型會(huì)有2個(gè)問(wèn)題，一是全程基于網(wǎng)絡(luò)最終效果受限于用戶(hù)的連接狀況，這對(duì)于主打?qū)υ捙c理解場(chǎng)景的AI大模型而言是一個(gè)相當(dāng)大的不穩(wěn)定因素，二是不利于用戶(hù)隱私安全，數(shù)據(jù)上云本身就是用戶(hù)十分抗拒的事情，如果加以限制又會(huì)阻止AI理解用戶(hù)，缺乏個(gè)性化。最簡(jiǎn)單的一個(gè)例子就是你可以讓云側(cè)大模型為你推薦全球米其林榜單，但卻無(wú)法在不上傳位置信息的情況下推薦離自己最近的高評(píng)分餐廳。

　　被形容為“外置器官”的智能手機(jī)本身就是用戶(hù)個(gè)人的一部分，如果讓這個(gè)“器官”變?yōu)?ldquo;大腦”，前途不可限量。也正因如此，端側(cè)AI大模型的需求呼之欲出，甚至被視為有可能最先“引爆”這一輪AI大模型的殺手級(jí)場(chǎng)景。基于這些考量，高通在2023服貿(mào)會(huì)上發(fā)布了《混合AI是AI的未來(lái)》白皮書(shū)，提出了混合AI的概念——即云端結(jié)合，移動(dòng)端在接入云側(cè)大模型的同時(shí)，也有必要具備終端側(cè)運(yùn)行大模型的能力，這樣才能分利用手機(jī)上的全部數(shù)據(jù)，借助用戶(hù)個(gè)人數(shù)據(jù)持續(xù)微調(diào)這類(lèi)神經(jīng)網(wǎng)絡(luò)，能夠帶來(lái)更深入的意圖理解和更加個(gè)性化的復(fù)雜場(chǎng)景服務(wù)。也就是說(shuō)，云側(cè)大模型的通識(shí)能力要有，端側(cè)大模型的個(gè)性化能力也要有，這樣才稱(chēng)得上是健全。

　　而第三代驍龍8移動(dòng)平臺(tái)正是新一代移動(dòng)SoC端側(cè)AI大模型的領(lǐng)導(dǎo)者之一。高通多年來(lái)一直在探索生成式AI，不僅在年初就演示了首次在Android設(shè)備上跑通Stable Diffusion，生成AI圖像用時(shí)僅15秒，在2023驍龍峰會(huì)上，這個(gè)時(shí)間被進(jìn)一步壓縮至0.6秒內(nèi)——低到了一個(gè)很不可思議的數(shù)量級(jí)。這不僅是同類(lèi)產(chǎn)品中是最快，甚至也可以嵌入相機(jī)應(yīng)用無(wú)縫使用中，高通觀察到用戶(hù)拍攝間等待閾值為1-2秒，如果運(yùn)行一次模型需要15秒就失去了實(shí)用價(jià)值，但如果以0.6秒就可以實(shí)現(xiàn)一次運(yùn)行，就可以讓用戶(hù)真正地?zé)o成本地去使用它。

　　之所以能實(shí)現(xiàn)如此迅速的生成速度，一方面是因?yàn)榈谌�代驍�?搭載的全新AI引擎實(shí)現(xiàn)了性能與能效飛躍，搭載了史上最快的高通Hexagon NPU，比上一代推理速度快98%，每瓦特性能提升40%，支持大模型參數(shù)規(guī)格從年初的10億量級(jí)暴增10倍至100億，可以以20個(gè)Token/s的速度進(jìn)行AI大模型的生成。高通傳感器中樞也引入了下一代微型NPU，將AI性能提升至前代的3.5倍，內(nèi)存提升30%，在第三代驍龍8的加持下接入大語(yǔ)言模型的AI助手能夠與高通傳感器中樞協(xié)同工作，利用位置和活動(dòng)數(shù)據(jù)等信息，結(jié)合情境提供個(gè)性化的回答。

　　第三代驍龍8之所能提供終端側(cè)運(yùn)行AI大模型的能力，除了本身就極為強(qiáng)悍的AI能力之外，還得益于高通對(duì)端側(cè)AI大模型發(fā)展的觀察、理解與深度參與，一方面是因?yàn)槟Ｐ妥兊糜鷣?lái)愈好，比如高通發(fā)現(xiàn)擁有130億參數(shù)的Meta Llama 2模型的表現(xiàn)其實(shí)并不遜色于擁有1750億參數(shù)的ChatGPT-3模型，這也意味著強(qiáng)大的生成式AI模型正不斷縮小;另一方面高通一直在利用INT4模型進(jìn)行數(shù)據(jù)推理，通過(guò)INT模型進(jìn)行量化是因?yàn)樗�的量化效果和效率相比常�?jiàn)的浮點(diǎn)模型更出色，將擁有70億參數(shù)的模型量化至INT4模型，與將相同參數(shù)規(guī)模的模型量化至16FP或32FP浮點(diǎn)模型相比，能夠有效降低內(nèi)存帶寬占用，讓AI大模型推理更契合移動(dòng)端的高能效低功耗需求。

　　可以預(yù)見(jiàn)的是，2024年，AI能力——無(wú)論是算力規(guī)模、每瓦性能、Token生成速度還是調(diào)通LLM/LVM的參數(shù)量級(jí)——都將加入移動(dòng)SoC“核心規(guī)格”的定義之中。

　　從硬件到軟件 驍龍AI的生態(tài)閉環(huán)

　　有了以第三代驍龍8為代表的新一代移動(dòng)平臺(tái)作為端側(cè)AI大模型支撐，國(guó)內(nèi)各家早已備好且多次刷榜的自研大模型終于得以落地終端，小米澎湃OS迎來(lái)了史上最強(qiáng)的小愛(ài)同學(xué)大模型，OriginOS 4得以端側(cè)加載10億與70億參數(shù)的藍(lán)心大模型，ColorOS 14也迎來(lái)了AndesGPT全新加持。各家對(duì)于AI大模型的具體用例百花齊放，包括但不限于支持自然語(yǔ)義理解的語(yǔ)音助手、實(shí)時(shí)字幕、文檔總結(jié)、自動(dòng)生成腦圖、超能搜索、閃速摳圖、文案生成、風(fēng)格化圖片、照片背景替換、圖片識(shí)別、圖片生成等等等等……端側(cè)AI大模型可以把用戶(hù)從繁瑣重復(fù)的日常操作中解放出來(lái)，云側(cè)大模型可以基于龐大的模型參數(shù)消弭認(rèn)知差距，填平通識(shí)溝壑，讓用戶(hù)以好的狀態(tài)投入更具創(chuàng)新性的工作之中，這才是人類(lèi)擅長(zhǎng)的事情，這也是生成式AI的真正力量。

　　為了推動(dòng)端側(cè)AI大模型的普及與混合AI愿景的實(shí)現(xiàn)，高通早在去年就推出了高通AI軟件棧，這是一套旨在幫助開(kāi)發(fā)者一次編寫(xiě)、隨處運(yùn)行，實(shí)現(xiàn)規(guī)�；�部署的開(kāi)發(fā)工具。高通AI軟件棧全面支持主流AI框架，還集成了推理軟件開(kāi)發(fā)包，比如高通神經(jīng)網(wǎng)絡(luò)處理SDK。支持最新編程語(yǔ)言、虛擬平臺(tái)和編譯器，在底層系統(tǒng)軟件集成了基礎(chǔ)的實(shí)時(shí)操作系統(tǒng)(RTOS)、系統(tǒng)接口和驅(qū)動(dòng)程序，還支持廣泛的操作系統(tǒng)，以及用于部署和監(jiān)控的基礎(chǔ)設(shè)施。高通AI軟件棧還集成了開(kāi)發(fā)工具高通AI Studio，支持從模型設(shè)計(jì)到優(yōu)化、部署和分析的完整工作流。它將高通提供的全部工具集成到一個(gè)圖形用戶(hù)界面，并利用可視化工具以簡(jiǎn)化開(kāi)發(fā)者體驗(yàn)， 支持開(kāi)發(fā)者實(shí)時(shí)查看模型開(kāi)發(fā)進(jìn)度，這其中包括高通AI模型增效工具包(AIMET)、AI模型增效工具包模型庫(kù)、模型分析器和神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索。

　　AI軟件生態(tài)之外，多設(shè)備協(xié)同也是端側(cè)AI體驗(yàn)的進(jìn)一步延伸，對(duì)此，高通擁有一個(gè)無(wú)可比擬的優(yōu)勢(shì)——數(shù)十億計(jì)的高通與驍龍平臺(tái)保有量，而且智能手機(jī)之外還涵蓋了汽車(chē)中控、XR、AR、PC以及物聯(lián)網(wǎng)設(shè)備，其中針對(duì)XR設(shè)備的全新XR2和AR1片均支持了眼鏡側(cè)AI，第一代高通S7音頻系列平臺(tái)甚至實(shí)現(xiàn)了超過(guò)100倍的端側(cè)AI性能提升，每年還有數(shù)億臺(tái)搭載驍龍和高通平臺(tái)的終端設(shè)備進(jìn)入市場(chǎng)。高通也為Android廠商與用戶(hù)帶來(lái)了全新的Snapdragon Seamless跨平臺(tái)互聯(lián)技術(shù)，可實(shí)現(xiàn)多臺(tái)終端跨多個(gè)操作系統(tǒng)無(wú)縫連接，共享外設(shè)和數(shù)據(jù)。包括微軟、Android團(tuán)隊(duì)、小米、華碩、榮耀、聯(lián)想和OPPO在內(nèi)的公司正與高通合作，打造Snapdragon Seamless賦能的多終端體驗(yàn)，Snapdragon Seamless示范用例描繪了相當(dāng)未來(lái)的智能體驗(yàn)，包括鼠標(biāo)和鍵盤(pán)可在PC、手機(jī)和平板電腦上無(wú)縫使用，文件和窗口可在不同類(lèi)型的終端間拖放，耳塞可根據(jù)音源的優(yōu)先級(jí)進(jìn)行智能切換，XR可為智能手機(jī)提供擴(kuò)展功能等等。

　　總的來(lái)說(shuō)，圍繞第三代驍龍8移動(dòng)平臺(tái)，高通構(gòu)建了一套完整的AI生態(tài)體系，包括性能領(lǐng)先的端側(cè)AI引擎搭建的硬件閉環(huán)，幫助開(kāi)發(fā)者實(shí)現(xiàn)一次編寫(xiě)規(guī)�；�部署的高通AI軟件棧的軟件生態(tài)，以及挖掘以十億計(jì)的設(shè)備保有量潛在能力的高通Seamless互聯(lián)協(xié)議。這一套先進(jìn)硬件為基石，軟件生態(tài)為框架，并輔以跨品牌跨平臺(tái)互聯(lián)協(xié)議填充細(xì)節(jié)的端側(cè)AI生態(tài)，是高通在移動(dòng)端端側(cè)AI領(lǐng)域獨(dú)一無(wú)二的生態(tài)優(yōu)勢(shì)，而在即將到來(lái)的移動(dòng)端AI新浪潮中，高通將以此成為啟幕移動(dòng)智能“芯”時(shí)代的重要參與者。

　　(本文轉(zhuǎn)載自Vetrax囂張衛(wèi)視 微博文章)