聯(lián)發(fā)科天璣AI開發(fā)套件：加速生成式AI大模型終端部署，一天搞定！

　　最近，主題為“AI予萬物”的聯(lián)發(fā)科天璣開發(fā)者大會(huì)2024(MDDC)在深圳成功舉辦。眾多移動(dòng)生態(tài)領(lǐng)域的領(lǐng)先廠商與開發(fā)者匯聚一堂，共同探討端側(cè)生成式AI技術(shù)及生成式AI手機(jī)的未來發(fā)展，并分享了天璣AI生態(tài)戰(zhàn)略與終端生成式AI應(yīng)用開發(fā)一站式解決方案——“天璣AI開發(fā)套件”。此外，聯(lián)發(fā)科攜手業(yè)界生態(tài)伙伴共同發(fā)布《生成式AI手機(jī)產(chǎn)業(yè)白皮書》，并針對(duì)全球開發(fā)者推出“天璣AI先鋒計(jì)劃”。這一舉措既為生成式AI手機(jī)的定義與發(fā)展提供了新的思考與期待，也整合了產(chǎn)業(yè)各方資源，為全球開發(fā)者提供優(yōu)質(zhì)平臺(tái)與資源，助力全場(chǎng)景生成式AI應(yīng)用的普及與發(fā)展。

　　當(dāng)前生成式AI應(yīng)用的體驗(yàn)升級(jí)已成為行業(yè)和用戶的共同期待，智能終端是生成式AI普及的關(guān)鍵載體。智能手機(jī)憑借移動(dòng)便攜性、個(gè)人專屬化、多模態(tài)感知以及強(qiáng)勁的AI算力和通信功能，毫無疑問將成為端側(cè)生成式AI應(yīng)用落地的最佳選擇。伴隨生成式AI與智能手機(jī)融合加速，智能手機(jī)迎來了繼觸控屏幕之后的又一個(gè)革新機(jī)遇，在聯(lián)發(fā)科等行業(yè)先行者的推動(dòng)下，屬于“生成式AI手機(jī)”的時(shí)代已經(jīng)到來。

　　天璣AI先鋒計(jì)劃啟動(dòng)，助力開發(fā)者打造創(chuàng)新用戶體驗(yàn)

　　目前，由于生成式AI模型積累不足、硬件多樣移植難度大、開發(fā)界面不統(tǒng)一等問題，生成式AI普及仍面臨由點(diǎn)向面發(fā)展的巨大挑戰(zhàn)。為促進(jìn)產(chǎn)業(yè)共創(chuàng)實(shí)現(xiàn)生態(tài)共贏，聯(lián)發(fā)科在天璣開發(fā)者大會(huì)上聯(lián)合阿里云、百川智能、傳音、零一萬物、OPPO、榮耀、vivo、小米面向全球開發(fā)者啟動(dòng)“天璣AI先鋒計(jì)劃”，提供基于模型化、算力化和軟硬件等方面的開發(fā)資源和支持，并提供廣泛的商業(yè)機(jī)遇。通過天璣AI先鋒計(jì)劃，開發(fā)者可以充分發(fā)揮天璣移動(dòng)平臺(tái)的優(yōu)勢(shì)，加速端側(cè)生成式AI應(yīng)用的開發(fā)與落地，為用戶打造獨(dú)具創(chuàng)新的AI體驗(yàn)。

　　為實(shí)現(xiàn)這一長(zhǎng)期計(jì)劃和全場(chǎng)景生成式AI愿景，聯(lián)發(fā)科在大會(huì)上提出了天璣生態(tài)戰(zhàn)略，從芯片、模型、應(yīng)用三個(gè)層面，聯(lián)合產(chǎn)業(yè)伙伴和開發(fā)者共同探索端側(cè)AI技術(shù)路線，推進(jìn)顛覆性的端側(cè)AI應(yīng)用和服務(wù)創(chuàng)新。

　　聯(lián)合產(chǎn)業(yè)伙伴發(fā)布《生成式AI手機(jī)產(chǎn)業(yè)白皮書》，共同定義“生成式AI手機(jī)”

　　在天璣開發(fā)者大會(huì)上，聯(lián)發(fā)科聯(lián)合Counterpoint并攜手阿里云通義千問、百川大模型、虎牙、酷狗音樂、零一萬物、OPPO、Soul、騰訊AI Lab、騰訊混元、vivo行業(yè)頭部伙伴聯(lián)合發(fā)布《生成式AI手機(jī)產(chǎn)業(yè)白皮書》，共同定義了“生成式AI手機(jī)”的概念和典型特征�！栋灼�書》提到：生成式AI手機(jī)是利用大規(guī)模、預(yù)訓(xùn)練的生成式AI模型，實(shí)現(xiàn)多模態(tài)內(nèi)容生成、情境感知，并具備不斷增強(qiáng)的類人能力。生成式AI手機(jī)開啟了智能手機(jī)發(fā)展的新周期，長(zhǎng)遠(yuǎn)看，智能手機(jī)將會(huì)發(fā)展為移動(dòng)智能體。

　　同時(shí)，《白皮書》這樣定義了生成式AI手機(jī)的典型特征：在未來，生成式AI手機(jī)將具備強(qiáng)大的AI算力，支持大模型的本地部署，或是通過云端協(xié)同的方式執(zhí)行復(fù)雜的生成式AI任務(wù)，無需完全依賴云端服務(wù)器。同時(shí)將具備多模態(tài)能力，處理文本、圖像、語音等多種形式的內(nèi)容輸入，以生成各種形式的輸出，確保流暢、無縫的用戶體驗(yàn)，設(shè)備能夠以自然而直觀的交互方式，快速響應(yīng)用戶的請(qǐng)求。而為了實(shí)現(xiàn)這一目標(biāo)，生成式AI手機(jī)將需要強(qiáng)大的硬件支持，包括但不限于基于領(lǐng)先工藝和先進(jìn)架構(gòu)設(shè)計(jì)的移動(dòng)計(jì)算平臺(tái)，集成或者獨(dú)立的神經(jīng)網(wǎng)絡(luò)運(yùn)算單元(如APU/NPU/TPU)，大容量和高帶寬的內(nèi)存，以及穩(wěn)定和高速的連接，硬件級(jí)和系統(tǒng)級(jí)的安全防御。

　　從《白皮書》中可以預(yù)見，未來的手機(jī)將成為一個(gè)能夠理解并預(yù)測(cè)用戶需求、提供創(chuàng)造性解決方案的智能伙伴，搭載多個(gè)AI智能體的生成式AI手機(jī)將成為用戶訪問數(shù)字生態(tài)的超級(jí)入口，端側(cè)的AI應(yīng)用將進(jìn)入人們?nèi)粘Ｉ�活的�?gòu)物、旅游、游戲等場(chǎng)景，扮演購(gòu)物達(dá)人、私人顧問、互動(dòng)NPC等專屬角色，實(shí)現(xiàn)用戶體驗(yàn)的優(yōu)化與飛躍。

　　天璣AI開發(fā)套件，為廣大開發(fā)者提供“快、全、強(qiáng)、易”的專業(yè)開發(fā)體驗(yàn)

　　很多開發(fā)者都面臨著終端生成式AI應(yīng)用開發(fā)起步期的多元挑戰(zhàn)，聯(lián)發(fā)科不僅研發(fā)出領(lǐng)先的天璣芯片，更重要的是，幫助開發(fā)者在搭載天璣芯片的終端上打造出更具創(chuàng)新性的生成式AI用戶體驗(yàn)，從而推動(dòng)整個(gè)AI新生態(tài)的繁榮與發(fā)展。會(huì)上，聯(lián)發(fā)科隆重推出了“天璣AI開發(fā)套件”，為廣大開發(fā)者提供終端生成式AI應(yīng)用開發(fā)的一站式解決方案。天璣AI開發(fā)套件包含四大模塊，包括快速高效的GenAI最佳實(shí)踐、覆蓋全球主流大模型的GenAI Model Hub、高效提升性能的GenAI優(yōu)化技術(shù)和Neuron Studio一站式視覺化開發(fā)環(huán)境等四大模塊，為廣大開發(fā)者提供“快、全、強(qiáng)、易”的專業(yè)開發(fā)體驗(yàn)，賦能終端生成式AI應(yīng)用開發(fā)全流程。

　　其中，GenAI 最佳實(shí)踐，它可以提升大模型的終端部署速度，從原先的數(shù)周加速到一天即可完成部署。在模型的量化、編譯、推理方面，為開發(fā)者提供先進(jìn)的INT4量化技術(shù)、內(nèi)存壓縮技術(shù)、Token加速技術(shù)、最優(yōu)緩存配置，還可以開放端側(cè)部署源碼。讓開發(fā)者在與時(shí)間賽跑的創(chuàng)新競(jìng)賽中，搶得先機(jī)，更好地把握創(chuàng)新機(jī)遇。

　　全面的GenAI Model Hub ，是聯(lián)發(fā)科為開發(fā)者打造的模型庫，目前已適配包括：Meta Llama、百川大模型、阿里云通義千問在內(nèi)的全球主流大模型。開發(fā)者可以輕松獲取并使用這些不斷新增的大模型，進(jìn)而大幅降低模型部署的難度和復(fù)雜性。

　　強(qiáng)大的GenAI優(yōu)化技術(shù)，是生成式AI應(yīng)用體驗(yàn)的關(guān)鍵。目前已導(dǎo)入了多項(xiàng)業(yè)界最新、最快的軟件優(yōu)化技術(shù)，包括“推測(cè)解碼加速”和“LoRA Fusion”等等，可顯著提升AI應(yīng)用的生成速度，功能包所占用的存儲(chǔ)空間也可以大幅減少。

　　易用的Neuron Studio 集成開發(fā)環(huán)境，跳出傳統(tǒng)的代碼開發(fā)環(huán)境，可為開發(fā)者提供高度集成的，一站式、可視化開發(fā)環(huán)境 ，帶來“所見即所得”般更易用的開發(fā)體驗(yàn)，讓開發(fā)過程變得更加直觀、易用。

　　目前天璣AI開發(fā)套件，已覆蓋包括智能手機(jī)、智能汽車、物聯(lián)網(wǎng)、個(gè)人電腦等智能終端設(shè)備，推動(dòng)這些領(lǐng)域的AI應(yīng)用快速創(chuàng)新和落地。

　　從應(yīng)用落地成果來看，聯(lián)發(fā)科憑借其優(yōu)秀的AI平臺(tái)能力，已攜手阿里云通義千問、Cocos、Honor of Kings、虎牙直播、酷狗音樂、美圖、全民K歌、RWKV、Soul、騰訊AI Lab、小紅書等數(shù)十家生態(tài)伙伴共創(chuàng)體驗(yàn)更精彩的生成式AI應(yīng)用。

　　天璣9300+全大核旗艦亮相，AI芯更強(qiáng)

　　本屆MDDC2024上，聯(lián)發(fā)科還重磅發(fā)布旗艦5G生成式AI移動(dòng)平臺(tái)天璣9300+，以先進(jìn)架構(gòu)和強(qiáng)勁算力為生成式AI手機(jī)提供硬件支持。天璣9300+率先支持AI推測(cè)解碼加速技術(shù)，同時(shí)支持天璣AI LoRA Fusion 2.0技術(shù)，為用戶帶來高速和個(gè)性化的生成式AI體驗(yàn)。天璣9300+還支持AI框架ExecuTorch，可加速端側(cè)生成式AI應(yīng)用的開發(fā)進(jìn)程。此外，這款旗艦芯支持多種前沿主流AI大模型，包括阿里云通義千問大模型、百川大模型、文心大模型、谷歌Gemini Nano、零一萬物終端大模型、Meta Llama 2 & Llama 3等。用一句話概括天璣9300+就是，不僅擁有卓越的全大核性能和低功耗設(shè)計(jì)，還具備多項(xiàng)業(yè)界領(lǐng)先的生成式AI技術(shù)，以及聯(lián)發(fā)科與生態(tài)伙伴共創(chuàng)的優(yōu)質(zhì)游戲體驗(yàn)，無疑是當(dāng)下生成式AI手機(jī)的最優(yōu)選擇。

　　顯然，聯(lián)發(fā)科的天璣生態(tài)戰(zhàn)略凸顯出卓越的前瞻性、技術(shù)領(lǐng)先地位以及顯著的產(chǎn)品優(yōu)勢(shì)。通過參與天璣開發(fā)者大會(huì)，聯(lián)發(fā)科從生成式AI產(chǎn)業(yè)的先驅(qū)及參與者，躍升為該領(lǐng)域發(fā)展的引領(lǐng)者。全方位推動(dòng)生成式AI在終端側(cè)的廣泛普及和持續(xù)發(fā)展，攜手產(chǎn)業(yè)合作伙伴共同開創(chuàng)生成式AI的新生態(tài)。