撬走端側(cè)AI普及的最后一塊「絆腳石」

　　“現(xiàn)在聽到AI時(shí)代要來了，就像是聽到了‘狼來了’。”AI開發(fā)者小王對(duì)于AI普及的論調(diào)早已習(xí)以為常。

　　“AI產(chǎn)品開發(fā)不僅門檻高，還很難移植到不同產(chǎn)品中，AI何時(shí)才能普及?”

　　目前AI普及還有最后一塊絆腳石。

　　早在兩三年前，能夠給AI普及提供底層動(dòng)力的端側(cè)AI芯片公司就意識(shí)到，鮮有公司能夠把自家“新鮮出爐”的AI芯片真正投入使用。

　　經(jīng)過幾年的努力，AI已經(jīng)變得越來越“聰明”，能夠讓攝像頭理解鏡頭捕捉到的畫面，讓麥克風(fēng)理解用戶說話的內(nèi)容，讓音箱能夠和用戶進(jìn)行多輪自然對(duì)話。

　　但AI要廣泛落地，依然是一項(xiàng)艱深的工作。

　　由于用途和形態(tài)的不同，不同AI終端對(duì)性能、功耗、精度等各項(xiàng)指標(biāo)需求各不相同。

　　開發(fā)者要想讓AI形成“戰(zhàn)斗力”，需要針對(duì)各個(gè)場(chǎng)景做單獨(dú)優(yōu)化，這就很難快速?gòu)?fù)制。不僅讓開發(fā)者深陷開發(fā)泥潭，也讓AI在更廣闊的應(yīng)用場(chǎng)景下陷入“有彈無槍”的窘境，難以做到真正普及。

　　而真正能夠推動(dòng)AI在終端爆發(fā)的，是“一次開發(fā)，多處運(yùn)行”的統(tǒng)一開發(fā)平臺(tái)。

　　統(tǒng)一開發(fā)平臺(tái)不僅能夠?qū)�AI開發(fā)者救出“泥潭”，還讓AI沖進(jìn)了元宇宙。

　　AI起跑，先賽出頭「狼」

　　AI沒能在過去幾十年間被一遍又一遍喊AI來了，上演《狼來了》的故事，一個(gè)核心原因是技術(shù)還不夠成熟。

　　AI的第三次浪潮得益于深度學(xué)習(xí)技術(shù)的興起，隨著深度學(xué)習(xí)算法的演進(jìn)，很快遇到了算力不足的挑戰(zhàn)。因此，想要推動(dòng)AI的發(fā)展和普及，首先需要有足夠強(qiáng)大的AI芯片，先賽出有足夠硬實(shí)力的頭狼。

　　2017年前后，掀起了研發(fā)AI芯片的熱潮。

　　由于深度學(xué)習(xí)的算法還不夠成熟，加之應(yīng)用場(chǎng)景的不明確，想要快速定義出一款合適的AI芯片面臨挑戰(zhàn)，特別是面向應(yīng)用場(chǎng)景豐富的端側(cè)AI處理器。

　　場(chǎng)景和需求更加明確的智能手機(jī)擁有率先落地AI技術(shù)的先天優(yōu)勢(shì)，將AI應(yīng)用于拍照，給手機(jī)用上智能語音助手，不僅能提升用戶的使用體驗(yàn)，還能給手機(jī)增加新的賣點(diǎn)，于是，手機(jī)芯片處理器公司間燃起了一場(chǎng)AI競(jìng)速賽。

　　一時(shí)間，蘇黎世聯(lián)邦理工學(xué)院(ETH)的AI-Benchmark榜單成為了各大手機(jī)處理器廠商展現(xiàn)真正實(shí)力的陣地，上演著你方唱罷我方登場(chǎng)的激烈角逐。

　　歷經(jīng)幾年的比拼，真正有實(shí)力的AI領(lǐng)導(dǎo)者留在了AI-Benchmark的顯眼位置。

　　查看AI-Benchmark的最新排行榜，雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))發(fā)現(xiàn)榜單排名前九的手機(jī)都搭載了高通的第一代驍龍8移動(dòng)平臺(tái)。

　　第一代驍龍8平臺(tái)霸榜AI-Benchmark并不讓人意外，這款最新的旗艦移動(dòng)平臺(tái)搭載的是高通最新的第七代AI引擎，推理速度是前代的4倍，能效提升70%。

　　其實(shí)，高通第六代AI引擎的AI性能已經(jīng)高達(dá)26TOPS，遠(yuǎn)超同級(jí)別水平，在端側(cè)AI處理器中屬于頂尖水平。當(dāng)然，集成高通第七代AI引擎的第一代驍龍8能夠霸榜的關(guān)鍵不僅僅是高性能。

　　高通公司產(chǎn)品管理副總裁 Ziad Asghar在2022世界人工智能大會(huì)上說，“在既定功耗下完成更多的AI處理對(duì)邊緣側(cè)AI運(yùn)行至關(guān)重要。從高通第六代AI引擎發(fā)展到高通第七代AI引擎，兩年時(shí)間內(nèi)，我們?cè)诩榷ü�耗下將AI能力提升了一倍以上，這正是AI在終端側(cè)發(fā)揮其能力的關(guān)鍵。”

　　霸榜AI-Benchmark，也是高通在AI領(lǐng)域耕耘十余年實(shí)力的體現(xiàn)。

　　經(jīng)過幾年的快速迭代，AI邊緣芯片的性能已經(jīng)足夠滿足應(yīng)用需求，真正阻礙AI普及的其實(shí)是軟件。

　　要普及AI，先拯救泥潭中的開發(fā)者

　　“我們?cè)O(shè)計(jì)出的AI芯片，大部分客戶還沒有能力用起來。”這是多家AI芯片公司兩年前就遇到的困難，也是AI普及的難題所在。

　　沒有完整軟件棧，面對(duì)豐富多樣的應(yīng)用場(chǎng)景，無論是AI硬件和軟件的提供者，還是AI應(yīng)用的開發(fā)者，都面對(duì)著AI產(chǎn)品高門檻的難題，好不容易開發(fā)出一個(gè)應(yīng)用，也很難部署到其他應(yīng)用，開發(fā)者深陷泥潭。

　　“不同形態(tài)的AI終端產(chǎn)品，對(duì)AI性能、功耗、精度的需求大不相同。”Ziad Asghar說，“我們的解決方案需要支持從500毫瓦的性能水平擴(kuò)展到15瓦特、甚至200瓦特的性能水平。不同形態(tài)產(chǎn)品所需的深度學(xué)習(xí)架構(gòu)和算子也差異巨大，例如，面向移動(dòng)領(lǐng)域需要使用生成模型，面向計(jì)算領(lǐng)域需要使用Transformer模型，面向汽車ADAS需要激光雷達(dá)模型。”

　　曠視科技聯(lián)合創(chuàng)始人、CTO 唐文斌也在2022世界人工智能大會(huì)期間表示，“現(xiàn)階段的AI，一個(gè)核心的挑戰(zhàn)在于應(yīng)用場(chǎng)景碎片化導(dǎo)致算法多樣化。算法多樣化，一方面意味著需要規(guī)�；�生產(chǎn)大量算法，另一方面需要考慮如何低成本生產(chǎn)每個(gè)算法。”

　　高通第七代AI引擎中的Hexagon處理器可以調(diào)整加速器和內(nèi)存組件，滿足不同智能手機(jī)的需求。面向云端、汽車等對(duì)性能需求更高的場(chǎng)景，可以拼接多個(gè)Hexagon處理器滿足瓦級(jí)性能需求。

　　硬件的靈活，結(jié)合完整易用的軟件，才能真正解決AI的挑戰(zhàn)。

　　“AI芯片軟件棧的開發(fā)有兩個(gè)核心挑戰(zhàn)。”一位AI芯片行業(yè)資深從業(yè)者對(duì)雷峰網(wǎng)表示，“一方面，與設(shè)計(jì)一款新的CPU不同，AI芯片大都采用獨(dú)特的指令集和架構(gòu)，沒有可以借鑒的編譯器等軟件。另一方面，AI的算法還在不斷演進(jìn)，軟件想要適配難度也更大。”

　　誰能率先推出完整統(tǒng)一的AI軟件棧，就能率先把AI開發(fā)者救出泥潭。今年6月推出的高通AI軟件棧產(chǎn)品組合，實(shí)現(xiàn)了AI里程碑的跨越。

　　Ziad Asghar說：“完整的高通AI軟件棧產(chǎn)品組合無疑是一項(xiàng)巨大突破，它將推動(dòng)OEM廠商和開發(fā)者的AI開發(fā)。我們很高興借助這一全新產(chǎn)品組合進(jìn)一步擴(kuò)展高通公司的統(tǒng)一技術(shù)路線圖，并擴(kuò)大在智能網(wǎng)聯(lián)邊緣的領(lǐng)先優(yōu)勢(shì)。”

　　高通AI軟件棧支持包括TensorFlow、PyTorch和ONNX在內(nèi)的不同AI框架與主流運(yùn)行時(shí)(Runtimes)，還有開發(fā)者庫與服務(wù)、系統(tǒng)軟件、工具和編譯器，能夠讓任何面向單一終端開發(fā)的AI特性輕松部署到其它終端。

　　比如，借助高通AI軟件棧，可以將一個(gè)原本面向手持設(shè)備的面部識(shí)別功能，遷移至汽車、PC或安防攝像頭等其他終端。

　　完整的AI軟件棧的構(gòu)建難度十分巨大。從離硬件最近的編譯器和庫，到幫助開發(fā)者高效實(shí)現(xiàn)更多應(yīng)用的Runtimes，再到上層的AI框架，每一層的軟件構(gòu)建都考驗(yàn)著提供商的能力以及資源的投入。

　　Ziad Asghar強(qiáng)調(diào)，“高通完整的AI軟件棧對(duì)我們的客戶而言是一個(gè)巨大的優(yōu)勢(shì)，他們可以根據(jù)實(shí)際需求進(jìn)行模型開發(fā)和優(yōu)化。”

　　完整的AI軟件棧有兩個(gè)層面的重要價(jià)值，首先要實(shí)現(xiàn)對(duì)開發(fā)者的適用性，這就需要支持所有框架，AI runtimes，提供開發(fā)者庫、編譯器，支持所有操作系統(tǒng);還有就是易用性。

　　AI軟件棧的易用也可以從兩個(gè)維度去看，一個(gè)提升性能和開發(fā)效率，另一個(gè)是“一次開發(fā)，隨處運(yùn)行。”

　　高通AI軟件棧產(chǎn)品組合中的一系列工具套件，包括高通AI模型增效工具包(AIMET)、AI開發(fā)圖形用戶界面(GUI)、用于增強(qiáng)量化與優(yōu)化的模型分析器以及神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索(NAS)能夠幫助開發(fā)者更快開發(fā)出更能滿足實(shí)際應(yīng)用需求的產(chǎn)品。

　　AI模型增效工具提供模型量化和壓縮等技術(shù)，能夠幫助開發(fā)者搭建體積更小、能效更高的模型。數(shù)據(jù)顯示，借助AIMET工具，將MobileNet-v2、ResNet-50和Deeplabv3模型從FP32轉(zhuǎn)化為INT8模型，精度損失不到1%，能效提升16倍。

　　另外，高通與谷歌合作的NAS也已經(jīng)取得成果。Ziad Asghar介紹，“在移動(dòng)端的自然語言處理方面，我們?cè)诓挥绊懢�度的情況下將時(shí)延降低了13%。在汽車的物體檢測(cè)用例中，我們將模型的時(shí)延改善了13%，同時(shí)精度提升1.3%，對(duì)于特定的汽車用例這是巨大的優(yōu)勢(shì)。”

　　有了完整的AI軟件棧，AI開發(fā)者已經(jīng)被從泥潭中拯救出一半，真正好用的AI軟件棧還能實(shí)現(xiàn)“一次開發(fā)，隨處運(yùn)行”，將開發(fā)者完全從泥潭中拯救出來，向無處不在的AI目標(biāo)邁進(jìn)。

　　高通AI軟件棧支持諸多SDK，包括面向汽車ADAS解決方案的Snapdragon Ride SDK，面向物聯(lián)網(wǎng)的高通智能多媒體SDK，以及Snapdragon Spaces XR開發(fā)者平臺(tái)，這為建立統(tǒng)一SDK提供了基礎(chǔ)，也為實(shí)現(xiàn)開發(fā)者“一次開發(fā)，隨處運(yùn)行”的夢(mèng)想打下了基礎(chǔ)。

　　Ziad Asghar 指出，“要實(shí)現(xiàn)任何面向單一終端開發(fā)的AI特性都可在其他終端上輕松部署，包括編譯器、調(diào)度器、硬件調(diào)試，以及模型的準(zhǔn)備和優(yōu)化，軟件能充分利用硬件資源等都非常重要，我們需要確保這些組成部分能夠共同協(xié)作實(shí)現(xiàn)高效運(yùn)行。”

　　AI已經(jīng)成為元宇宙中的「基建」

　　高通AI軟件棧能夠讓一次開發(fā)，就可以應(yīng)用到手機(jī)、物聯(lián)網(wǎng)、汽車、XR、移動(dòng)PC等不同形態(tài)產(chǎn)品，這足以表明，終端和邊緣AI的時(shí)代真要來了。

　　作為AI業(yè)界的領(lǐng)導(dǎo)者，高通不僅要在現(xiàn)實(shí)世界中實(shí)現(xiàn)AI無處不在的目標(biāo)，還要讓AI在元宇宙中也發(fā)揮作用。

　　高通公司總裁兼CEO安蒙在2022世界人工智能大會(huì)的演講中指出，元宇宙是互聯(lián)網(wǎng)的未來，即空間互聯(lián)網(wǎng)。元宇宙需要學(xué)習(xí)和適應(yīng)不斷變化的環(huán)境及用戶偏好，而AI對(duì)于塑造用戶體驗(yàn)至關(guān)重要。

　　元宇宙將視覺體驗(yàn)從第三人稱平面升級(jí)到第一人稱3D視角，讓人們獲得更豐富的信息，并且擴(kuò)寬了交互的邊界，提供了觸覺等新的交互方式。

　　例如，元宇宙中需要具備對(duì)手部、眼球和位置的追蹤，以及情境理解和感知等功能。為了提高用戶虛擬化身的精確度，提升用戶本人和其他參與者的體驗(yàn)，AI將應(yīng)用于掃描信息和圖像的分析，從而打造高度逼真的虛擬化身。

　　另外，AI還將推動(dòng)感知算法、3D渲染和重建技術(shù)的發(fā)展，以構(gòu)建令人驚嘆的逼真環(huán)境。

　　顯然，元宇宙將產(chǎn)生海量數(shù)據(jù)，無法所有都在云端處理，這就需要AI處理拓展至邊緣側(cè)，情境豐富的數(shù)據(jù)在邊緣側(cè)產(chǎn)生，分布式智能應(yīng)用應(yīng)運(yùn)而生。將5G與邊緣AI的完美結(jié)合，能夠支持邊緣側(cè)產(chǎn)生的情境豐富的數(shù)據(jù)近乎實(shí)時(shí)地分享給其它終端和云端，為元宇宙中的全新應(yīng)用、服務(wù)、環(huán)境和體驗(yàn)提供支撐。

　　端側(cè)AI也有顯著的優(yōu)勢(shì)，包括安全性、保護(hù)隱私，能有與邊緣和云端的AI，共同給使用者創(chuàng)造元宇宙的全新體驗(yàn)。

　　第三次的AI浪潮下，AI硬件的完備以及完整AI軟件棧的推出，AI開發(fā)者已經(jīng)具備“一次開發(fā)，隨處運(yùn)行”的基礎(chǔ)，在可以預(yù)見的未來，AI將迅速在XR、PC、汽車等領(lǐng)域快速普及，讓現(xiàn)有的產(chǎn)品擁有全新的體驗(yàn)。

　　有觀點(diǎn)認(rèn)為，2022年人工智能帶動(dòng)行業(yè)應(yīng)用綜合解決方案服務(wù)的市場(chǎng)規(guī)模將達(dá)到2萬億。信息技術(shù)研究和分析的公司Gartner一份報(bào)告指出，5G是推動(dòng)邊緣計(jì)算發(fā)展的重要原因之一。

　　作為AI和5G領(lǐng)導(dǎo)者的高通，正在將AI和5G作為元宇宙的基建，為我們打造一個(gè)更具科技感的未來，創(chuàng)造無限可能。