高通驍龍：端側(cè)AI 啟幕移動智能“芯”時代

　　在移動AI這條道路的探索上，高通既是啟蒙者，又是見證者。

　　無論是小米澎湃OS、OriginOS 4還是ColorOS 14，如果你關(guān)注過最近這段時間國內(nèi)主流手機品牌集中發(fā)布的新版系統(tǒng)，會發(fā)現(xiàn)AI已經(jīng)成為發(fā)布會PPT上“躲不開，繞不過”的關(guān)鍵詞，而且屬于提及頻率最高的那一檔。實際上，這還不是最“過分”的，在今年Google I/O大會上以劈柴哥Sundar Pichai為代表的一眾高管，在短短的2個小時主題演講中就提及了超過140次AI，頻率高達平均1.17次/分鐘，在官網(wǎng)上，Google甚至將新一代Pixel 8系列言簡意賅地稱為“由Google AI與最好的Pixel相機打造的最強大、最貼心的Pixel手機”。

　　突然間，屬于智能手機的移動AI時代到來了。

　　當然如果細究的話，今年手機廠商們口中的“AI”與往年消費者偶爾聽到或者在相機界面里看到的那些“AI”還不太一樣，今年的AI專指“AI大模型”這個隨ChatGPT火到已經(jīng)泛濫的概念，是一種基于生成式AI技術(shù)的大語言/大視覺模型，主要用于圖文相關(guān)的自然語義理解、處理乃至于創(chuàng)作生成——即與AI大模型概念同樣大熱的AIGC概念。換句話說，這陣AI風潮本質(zhì)上是手機廠商集中落地AI大模型所引起的市場“躁動”，而點燃這份躁動的正是以第三代驍龍8為代表的新一代移動SoC平臺，它們?yōu)锳I大模型落地移動端掃清了最為關(guān)鍵的一道硬件障礙，也填上了移動設(shè)備真正邁入AI時代最后一塊拼圖。

　　從看照片到大模型 移動AI的演進之路

　　盡管許多消費者今年才對移動端的AI有所耳聞，但其實AI在移動端的應用探索已經(jīng)持續(xù)了很多年，以高通為例，早在十年前也就是2013年就推出了名聲大噪的AI芯片Zeroth和SNN架構(gòu)——彼時高通也同步提出了神經(jīng)處理單元(NPU)的概念，2014年高通進一步收購了AI圖像識別技術(shù)公司Euvision進一步探索AI在移動端的潛在用例，并在隨后將源于Zeroth的AI加速架構(gòu)引入了2015年推出的驍龍820移動平臺的設(shè)計之中，以此奠定了驍龍系列高通AI引擎的基礎(chǔ)，高通內(nèi)部也將驍龍820視為搭載高通“第一代AI引擎”的移動平臺。不過彼時移動SoC市場還未流行AI的說法，高通也未進行過這方面的宣傳，所以這就造成了當2018年NPU概念興起之后，許多消費者產(chǎn)生了此時高通才在移動AI賽道上發(fā)力的“錯覺”，但實際上，高通早在2007年就啟動了首個AI研究項目，掐指一算，從懵懂獨行到行合趨同，高通在AI上探索已經(jīng)歷經(jīng)十七載，基本完整覆蓋了整個智能手機發(fā)展史。

　　所以，在移動AI這條道路上，高通既是啟蒙者，又是見證者。

　　說到這里，我們也可以從AI這一概念在移動端的經(jīng)歷窺知移動AI發(fā)展之路上最大的阻礙——缺乏用例。相信不少消費者在2019年前后通過NPU的大名，或者沖著看似相當美好的AI宣傳入手了新機，但在系統(tǒng)中卻難以發(fā)現(xiàn)AI存在的蹤跡，印象中還有廠商趁著當時歌曲《卡路里》的熱度絞盡腦汁推出了類似“識食物得卡路里”的比較尷尬的AI功能，這也導致當初諸多探索的AI功能中，似乎只有相機的AI場景識別留存至今。行業(yè)最初在移動AI用例上的探索主要集中在機器視覺與圖像識別，但也正因如此導致曲高寡，以至于無法貼近用戶日常生活而一直不得要領(lǐng)。

　　但以ChatGPT為代表的生成式AI帶來了顛覆性的變革，讓行業(yè)看到了AI大模型所蘊含的潛力。AI大模型其中的AI指代的自然是人工智能，而這個人工智能則是由深度學習算法和人工神經(jīng)網(wǎng)絡訓練而出的;大模型則是大語言模型，之所以被稱為“大”模型，是因為這類模型參數(shù)規(guī)模經(jīng)常數(shù)以億計，而語言模型就是通過大量參數(shù)預訓練的自然語言處理模型，以生成式AI實現(xiàn)文字的生成、總結(jié)、改寫、搜索、回答、聚類、分類等復雜目標。簡單來說，AI大模型就像《猩球崛起》中給予凱撒智力的“ALZ-112”一樣，有著賦予機器自然語義理解——也就是聽懂人話的能力，當一臺可以連接互聯(lián)網(wǎng)的手機能聽懂對話與你交流的時候……它的能力上限大多時間只會與產(chǎn)品經(jīng)理的想象力邊界掛鉤了，這時如何將“大”模型裝進用戶的“小”手機中，就成為AI賦能移動端最大的阻礙，而第三代驍龍8移動平臺正是為此而來。

　　第三代驍龍8 啟幕2024移動AI元年

　　目前將AI大模型“塞入”移動端目前的主流做法是云側(cè)大模型，即用戶輸入通過云端模型處理后返回結(jié)果，優(yōu)點是對輸入硬件并無要求，也可以利用參數(shù)量級較大的模型，ChatGPT、文心一言、Stable Diffusion等一眾知名大模型的to C接口均基于此。但云側(cè)大模型會有2個問題，一是全程基于網(wǎng)絡最終效果受限于用戶的連接狀況，這對于主打?qū)υ捙c理解場景的AI大模型而言是一個相當大的不穩(wěn)定因素，二是不利于用戶隱私安全，數(shù)據(jù)上云本身就是用戶十分抗拒的事情，如果加以限制又會阻止AI理解用戶，缺乏個性化。最簡單的一個例子就是你可以讓云側(cè)大模型為你推薦全球米其林榜單，但卻無法在不上傳位置信息的情況下推薦離自己最近的高評分餐廳。

　　被形容為“外置器官”的智能手機本身就是用戶個人的一部分，如果讓這個“器官”變?yōu)?ldquo;大腦”，前途不可限量。也正因如此，端側(cè)AI大模型的需求呼之欲出，甚至被視為有可能最先“引爆”這一輪AI大模型的殺手級場景�；�于這些考量，高通在2023服貿(mào)會上發(fā)布了《混合AI是AI的未來》白皮書，提出了混合AI的概念——即云端結(jié)合，移動端在接入云側(cè)大模型的同時，也有必要具備終端側(cè)運行大模型的能力，這樣才能分利用手機上的全部數(shù)據(jù)，借助用戶個人數(shù)據(jù)持續(xù)微調(diào)這類神經(jīng)網(wǎng)絡，能夠帶來更深入的意圖理解和更加個性化的復雜場景服務。也就是說，云側(cè)大模型的通識能力要有，端側(cè)大模型的個性化能力也要有，這樣才稱得上是健全。

　　而第三代驍龍8移動平臺正是新一代移動SoC端側(cè)AI大模型的領(lǐng)導者之一。高通多年來一直在探索生成式AI，不僅在年初就演示了首次在Android設(shè)備上跑通Stable Diffusion，生成AI圖像用時僅15秒，在2023驍龍峰會上，這個時間被進一步壓縮至0.6秒內(nèi)——低到了一個很不可思議的數(shù)量級。這不僅是同類產(chǎn)品中是最快，甚至也可以嵌入相機應用無縫使用中，高通觀察到用戶拍攝間等待閾值為1-2秒，如果運行一次模型需要15秒就失去了實用價值，但如果以0.6秒就可以實現(xiàn)一次運行，就可以讓用戶真正地無成本地去使用它。

　　之所以能實現(xiàn)如此迅速的生成速度，一方面是因為第三代驍龍8搭載的全新AI引擎實現(xiàn)了性能與能效飛躍，搭載了史上最快的高通Hexagon NPU，比上一代推理速度快98%，每瓦特性能提升40%，支持大模型參數(shù)規(guī)格從年初的10億量級暴增10倍至100億，可以以20個Token/s的速度進行AI大模型的生成。高通傳感器中樞也引入了下一代微型NPU，將AI性能提升至前代的3.5倍，內(nèi)存提升30%，在第三代驍龍8的加持下接入大語言模型的AI助手能夠與高通傳感器中樞協(xié)同工作，利用位置和活動數(shù)據(jù)等信息，結(jié)合情境提供個性化的回答。

　　第三代驍龍8之所能提供終端側(cè)運行AI大模型的能力，除了本身就極為強悍的AI能力之外，還得益于高通對端側(cè)AI大模型發(fā)展的觀察、理解與深度參與，一方面是因為模型變得愈來愈好，比如高通發(fā)現(xiàn)擁有130億參數(shù)的Meta Llama 2模型的表現(xiàn)其實并不遜色于擁有1750億參數(shù)的ChatGPT-3模型，這也意味著強大的生成式AI模型正不斷縮小;另一方面高通一直在利用INT4模型進行數(shù)據(jù)推理，通過INT模型進行量化是因為它的量化效果和效率相比常見的浮點模型更出色，將擁有70億參數(shù)的模型量化至INT4模型，與將相同參數(shù)規(guī)模的模型量化至16FP或32FP浮點模型相比，能夠有效降低內(nèi)存帶寬占用，讓AI大模型推理更契合移動端的高能效低功耗需求。

　　可以預見的是，2024年，AI能力——無論是算力規(guī)模、每瓦性能、Token生成速度還是調(diào)通LLM/LVM的參數(shù)量級——都將加入移動SoC“核心規(guī)格”的定義之中。

　　從硬件到軟件 驍龍AI的生態(tài)閉環(huán)

　　有了以第三代驍龍8為代表的新一代移動平臺作為端側(cè)AI大模型支撐，國內(nèi)各家早已備好且多次刷榜的自研大模型終于得以落地終端，小米澎湃OS迎來了史上最強的小愛同學大模型，OriginOS 4得以端側(cè)加載10億與70億參數(shù)的藍心大模型，ColorOS 14也迎來了AndesGPT全新加持。各家對于AI大模型的具體用例百花齊放，包括但不限于支持自然語義理解的語音助手、實時字幕、文檔總結(jié)、自動生成腦圖、超能搜索、閃速摳圖、文案生成、風格化圖片、照片背景替換、圖片識別、圖片生成等等等等……端側(cè)AI大模型可以把用戶從繁瑣重復的日常操作中解放出來，云側(cè)大模型可以基于龐大的模型參數(shù)消弭認知差距，填平通識溝壑，讓用戶以好的狀態(tài)投入更具創(chuàng)新性的工作之中，這才是人類擅長的事情，這也是生成式AI的真正力量。

　　為了推動端側(cè)AI大模型的普及與混合AI愿景的實現(xiàn)，高通早在去年就推出了高通AI軟件棧，這是一套旨在幫助開發(fā)者一次編寫、隨處運行，實現(xiàn)規(guī)�；�部署的開發(fā)工具。高通AI軟件棧全面支持主流AI框架，還集成了推理軟件開發(fā)包，比如高通神經(jīng)網(wǎng)絡處理SDK。支持最新編程語言、虛擬平臺和編譯器，在底層系統(tǒng)軟件集成了基礎(chǔ)的實時操作系統(tǒng)(RTOS)、系統(tǒng)接口和驅(qū)動程序，還支持廣泛的操作系統(tǒng)，以及用于部署和監(jiān)控的基礎(chǔ)設(shè)施。高通AI軟件棧還集成了開發(fā)工具高通AI Studio，支持從模型設(shè)計到優(yōu)化、部署和分析的完整工作流。它將高通提供的全部工具集成到一個圖形用戶界面，并利用可視化工具以簡化開發(fā)者體驗， 支持開發(fā)者實時查看模型開發(fā)進度，這其中包括高通AI模型增效工具包(AIMET)、AI模型增效工具包模型庫、模型分析器和神經(jīng)網(wǎng)絡架構(gòu)搜索。

　　AI軟件生態(tài)之外，多設(shè)備協(xié)同也是端側(cè)AI體驗的進一步延伸，對此，高通擁有一個無可比擬的優(yōu)勢——數(shù)十億計的高通與驍龍平臺保有量，而且智能手機之外還涵蓋了汽車中控、XR、AR、PC以及物聯(lián)網(wǎng)設(shè)備，其中針對XR設(shè)備的全新XR2和AR1片均支持了眼鏡側(cè)AI，第一代高通S7音頻系列平臺甚至實現(xiàn)了超過100倍的端側(cè)AI性能提升，每年還有數(shù)億臺搭載驍龍和高通平臺的終端設(shè)備進入市場。高通也為Android廠商與用戶帶來了全新的Snapdragon Seamless跨平臺互聯(lián)技術(shù)，可實現(xiàn)多臺終端跨多個操作系統(tǒng)無縫連接，共享外設(shè)和數(shù)據(jù)。包括微軟、Android團隊、小米、華碩、榮耀、聯(lián)想和OPPO在內(nèi)的公司正與高通合作，打造Snapdragon Seamless賦能的多終端體驗，Snapdragon Seamless示范用例描繪了相當未來的智能體驗，包括鼠標和鍵盤可在PC、手機和平板電腦上無縫使用，文件和窗口可在不同類型的終端間拖放，耳塞可根據(jù)音源的優(yōu)先級進行智能切換，XR可為智能手機提供擴展功能等等。

　　總的來說，圍繞第三代驍龍8移動平臺，高通構(gòu)建了一套完整的AI生態(tài)體系，包括性能領(lǐng)先的端側(cè)AI引擎搭建的硬件閉環(huán)，幫助開發(fā)者實現(xiàn)一次編寫規(guī)�；�部署的高通AI軟件棧的軟件生態(tài)，以及挖掘以十億計的設(shè)備保有量潛在能力的高通Seamless互聯(lián)協(xié)議。這一套先進硬件為基石，軟件生態(tài)為框架，并輔以跨品牌跨平臺互聯(lián)協(xié)議填充細節(jié)的端側(cè)AI生態(tài)，是高通在移動端端側(cè)AI領(lǐng)域獨一無二的生態(tài)優(yōu)勢，而在即將到來的移動端AI新浪潮中，高通將以此成為啟幕移動智能“芯”時代的重要參與者。

　　(本文轉(zhuǎn)載自Vetrax囂張衛(wèi)視 微博文章)