OPPO正式發(fā)布安第斯大模型 未來將打造人人可用、個性專屬的大模型生態(tài)

　　11月16日,2023OPPO開發(fā)者大會在上海世博中心舉行,會上OPPO正式發(fā)布了自主訓(xùn)練的個性專屬大模型與智能體——安第斯大模型(AndesGPT)。

　　AndesGPT以“端云協(xié)同”為基礎(chǔ)架構(gòu)設(shè)計思路,推出從十億至千億以上多種不同參數(shù)規(guī)模的模型規(guī)格,能夠基于“端云分工、端云互補(bǔ)、端云協(xié)作”等方式,靈活支撐多元化的應(yīng)用場景。AndesGPT著重強(qiáng)調(diào)了“對話增強(qiáng)、個性專屬、端云協(xié)同”三個層面的技術(shù)特性�？梢�,OPPO在大模型賽道上已有一些自己的思路。

　　發(fā)布會上,OPPO提出如今是“技術(shù)驅(qū)動體驗的時代”,認(rèn)為大模型將全面革新智能終端交互體驗,并朝這個方向不斷為用戶帶來優(yōu)質(zhì)的體驗。同時,在技術(shù)能力的加強(qiáng)方面,OPPO將布局大模型前瞻技術(shù),聯(lián)合中國科技大學(xué)成立的智能計算聯(lián)合實驗室,已將大模型作為核心技術(shù)研究方向。同時,OPPO還將開源智能體(Agent)框架,支持智能體的高效孵化、托管與應(yīng)用。

　　AI賽道進(jìn)入全面競爭,AndesGPT會為每個人堅定而來

　　這一系列的大動作的宣布,也再次印證了當(dāng)下大模型的全面競爭時代。

　　發(fā)布會先從“智能體驗”切入,強(qiáng)調(diào)“更有用、更專業(yè)、更專屬”。比如,跟隨ColorOS 14一起發(fā)布的全新小布,就內(nèi)置了豐富的智能體,不同的智能體為用戶提供不同的場景體驗。

　　這個思路下,OPPO給出了AndesGPT的目標(biāo):為每個人打造有用的大模型及智能體,并且也將開源智能體框架,打造一站式的“智能體開發(fā)平臺”。

　　據(jù)介紹,AndesGPT有三大類規(guī)格:AndesGPT-Tiny、AndesGPT-Turbo 和AndesGPT-Titan,可涵蓋十億至千億以上多種不同參數(shù)規(guī)模的模型規(guī)格,并根據(jù)不同場景智能調(diào)度。在AndesGPT的網(wǎng)絡(luò)架構(gòu)中,OPPO也提出了兩個組合創(chuàng)新:“RoPE 位置編碼探索base最優(yōu)值”——來極大提升上下文擴(kuò)展能力,還有“GQA 結(jié)合復(fù)雜移動窗口加速訓(xùn)練和推理”——來實現(xiàn) O(Nd)的線性復(fù)雜度。

　　四大核心能力凸顯,AndesGPT賦能多個大模型應(yīng)用場景

　　AndesGPT將核心能力聚焦在知識、記憶、工具和創(chuàng)作四大方向。

　　在知識能力上,AndesGPT提供了“融合知識庫、知識圖譜及通用搜索,提供更專業(yè)的問答”的能力,同時也通過“自動識別知識依賴模塊、準(zhǔn)確判別引入外部知識實際、引?精準(zhǔn)召回機(jī)制”來將外部知識與模型融合生成結(jié)果,降低“幻覺”的產(chǎn)生。

　　在記憶能力上,AndesGPT具備了長時記憶機(jī)制,可以?持?限?度的上下文。長時記憶主要包括用戶交互過程中產(chǎn)生的交互歷史、個人數(shù)據(jù),以及從中提取的結(jié)構(gòu)化信息等。為了解決長時記憶引入的首字推理時長的問題,OPPO?研了名為SwappedAttention的機(jī)制。

　　這個機(jī)制有一定的領(lǐng)先性和原創(chuàng)性,相對PagedAttention,在PagedAttention基礎(chǔ)上做了技術(shù)的演進(jìn)和擴(kuò)展。

　　比如在首字生成場景,需要對歷史序列進(jìn)行編碼計算,當(dāng)歷史序列較長時,容易出現(xiàn)計算瓶頸,表現(xiàn)為首字計算耗時長,并發(fā)度低。SwappedAttention可緩存歷史KV值,大幅降低首字計算量。并使用GPU顯存、主機(jī)內(nèi)存、GDS連接外部存儲等多層級緩存方式,根據(jù)緩存時長、對話頻率等策略進(jìn)行分級存儲與交換。

　　在實際應(yīng)用中,如常見的“多輪對話場景“中,隨著聊天輪次累積,Prompt越來越長,每個Query的首字時耗越來越長。SwappedAttention可以緩存歷史KV值至多級緩存中,有效減少對話時首字推理時間,使得用戶獲得更快的系統(tǒng)響應(yīng)。

　　在“FileChat文檔對話場景”中,SwappedAttention可以讀取歷史計算好的KV值信息,避免長文本的KV值重計算,大量減少計算開銷,縮短首字推理時間,并且可以提升首字計算的并發(fā)度;在非首字的推理過程中,SwappedAttention可以動態(tài)壓縮KV值,進(jìn)一步降低顯存占用,提升整體吞吐。

　　在工具使用上,AndesGPT在訓(xùn)練階段引入代碼和長文本進(jìn)?強(qiáng)化訓(xùn)練,并通過指令構(gòu)建和微調(diào),提升模型遵循指令的效果。同時還?持“系統(tǒng)設(shè)置、一方應(yīng)用、三方服務(wù)、代碼解釋器”等各類?具。

　　在創(chuàng)作能力上,除了不斷提升的“對話”能力,AndesGPT還具備“文生圖、圖生圖、中國風(fēng)、高清壁紙”等能力,并且已經(jīng)全流程支持音樂生成。此前小布剛發(fā)布的單曲《專屬于你:小布永相伴》,其歌詞、旋律、音色等元素均由AndesGPT生成。

　　篤定端與云的協(xié)同,AndesGPT有條不紊地展開大模型未來之路

　　AndesGPT通過端云協(xié)同的設(shè)計,來為用戶提供智能化服務(wù):端側(cè)解決方案的優(yōu)勢非常明顯,能夠提升針對任務(wù)執(zhí)行、降級應(yīng)答等場景,提升極端場景下的可用性;同時在云端,OPPO同樣提供可信的大模型服務(wù),會結(jié)合機(jī)密計算技術(shù),構(gòu)建加密、可信通道,充分保障用戶隱私。

　　不久前,OPPO也與聯(lián)發(fā)科宣布“共建輕量化大模型端側(cè)部署方案”,能夠看到OPPO從底層來構(gòu)建“端云協(xié)同、全棧優(yōu)化”的充分思考和周到考慮,正不斷為未來技術(shù)發(fā)展做好扎實鋪墊。

　　聯(lián)想到剛剛過去的OPPO Find N3新機(jī)發(fā)布,幾個“天花板”級別的“安全隱私”設(shè)計確實讓人心動,可見OPPO一直在安全領(lǐng)域下功夫,想必大模型領(lǐng)域的安全可信也會有自己獨特的技術(shù)積累,為用戶的數(shù)據(jù)保駕護(hù)航。

　　不畏蜀道難,“閃著中國AI生態(tài)希望之火”的官宣發(fā)布

　　從這次干貨滿滿的發(fā)布會可以看出,OPPO做大模型有自己的思考,期望將大模型落到實處、并搭建一個人人可參與的大模型應(yīng)用生態(tài)。大模型之難不僅在“算力、數(shù)據(jù)、算法”等,搭起來只是完成了一部分,更在如何落地于每個人的“個性化需求”和“便捷可用、可定制”,而智能體的開源便是OPPO找到的關(guān)鍵一環(huán)。

　　也許,OPPO 早早地看到了大模型應(yīng)用生態(tài)不可替代的重要作用,才會以全局化的努力在 AndesGPT 正式發(fā)布的當(dāng)下就明確提出這樣一個長期主義的思路。這也將持續(xù)成為未來OPPO在大模型發(fā)展之路上的底層思考。

　　與本次一起發(fā)布的ColorOS14聯(lián)系起來看,就會發(fā)現(xiàn),AndesGPT賦能整體ColorOS?態(tài),為OPPO的整體科技化與智能化助力,也已是必然的路徑選擇。AndesGPT作為驅(qū)動OPPO公司AI戰(zhàn)略的核心引擎,全面賦能OPPO智慧終端只是時間問題。

　　技術(shù)之火會因為眾人的加入而勃發(fā)。也許不遠(yuǎn)的未來,就能看到一個欣欣向榮的,OPPO與廣大開發(fā)者?起打造的大模型應(yīng)用?態(tài)。