鴻蒙4里的大模型，能否撐起華為的野心？

　　本文來(lái)自于微信公眾號(hào) AI新智能(ID:alpAIworks)，作者:舉大名耳。

　　一個(gè)以大模型作為終極操作系統(tǒng)(AIOS)的AI時(shí)代，終將會(huì)統(tǒng)合分裂的物聯(lián)網(wǎng)市場(chǎng)。

　　這幾天，關(guān)于鴻蒙4的文章、報(bào)道，可謂沸沸揚(yáng)揚(yáng)。

　　一時(shí)間，就算是不關(guān)注AI賽道的人，都聽(tīng)說(shuō)了這個(gè)新系統(tǒng)里有個(gè)大模型，它大致相當(dāng)于被升級(jí)、強(qiáng)化后的Siri。

　　比如能幫你生成點(diǎn)文章摘要、圖片，或是自動(dòng)訂個(gè)酒店什么的。

　　但是，華為的野心，可不止是在手機(jī)里干點(diǎn)生成圖片、文字的小花活。

　　人家可是把萬(wàn)物互聯(lián)的夢(mèng)想，都寄托在了這個(gè)小小的AI之上了呢。

　　具體來(lái)說(shuō)，就是以手機(jī)上的大模型為起點(diǎn)，不斷將智能化技術(shù)擴(kuò)散到智能家居、智能汽車(chē)、甚至是智能城市之上。

　　如此，最后就能形成一個(gè)“萬(wàn)物互聯(lián)”的超級(jí)終端。

　　其實(shí)，這不只是華為的野心，蘋(píng)果、高通、榮耀等大廠都進(jìn)行了類(lèi)似的布局。

　　畢竟，大模型與終端的結(jié)合，是下一階段AI戰(zhàn)場(chǎng)必爭(zhēng)的陣地。

　　然而，要知道，現(xiàn)在有點(diǎn)競(jìng)爭(zhēng)力的通用大模型，體量和參數(shù)，往往都是一千億規(guī)模往上的。

　　要想把這么一坨“龐然大物”塞進(jìn)小小的手機(jī)，還要能保證性能，絕非易事。

　　如果關(guān)鍵的技術(shù)問(wèn)題沒(méi)處理好，大模型終端化的夢(mèng)想，最終將難免會(huì)淪為鏡花水月。

　　1

　　可靠性問(wèn)題

　　要讓大模型進(jìn)入終端，首先要解決的問(wèn)題之一，就是輸出的可靠性問(wèn)題。

　　畢竟，任何使用過(guò)大模型的人，幾乎都見(jiàn)識(shí)過(guò)各種各樣的幻覺(jué)和謬誤，而這樣的幻覺(jué)一旦出現(xiàn)在終端側(cè)，產(chǎn)生的損失和后果，往往比處理“案頭工作”時(shí)要嚴(yán)重得多。

　　例如，在鴻蒙4的發(fā)布會(huì)上，華為就介紹到:大模型AI小藝，會(huì)根據(jù)你的地點(diǎn)數(shù)據(jù)等信息為你個(gè)性化推薦信息。

　　以出國(guó)旅行為例，在出發(fā)前小藝會(huì)提醒你出行信息，出發(fā)后小藝會(huì)給你推薦翻譯等實(shí)用功能，到目的地后，則會(huì)展示當(dāng)?shù)氐拿朗澈偷攸c(diǎn)導(dǎo)航。

　　然而，倘若處理不好可信、可控問(wèn)題，一個(gè)可能出現(xiàn)的情況是:由于信息過(guò)時(shí)或錯(cuò)誤，小藝告訴了你一個(gè)已經(jīng)變遷或不存在的地點(diǎn)。不知情的你被“帶偏”后，才恍然自己走了不少冤枉路。

　　同樣地，在智能駕駛領(lǐng)域，倘若車(chē)輛上的大模型在終端側(cè)輸出不可靠，就會(huì)導(dǎo)致規(guī)劃決策結(jié)果出現(xiàn)不合理、不符合交通規(guī)則的情況，影響車(chē)輛的行駛效率和安全性。

　　類(lèi)似的情況，如果出現(xiàn)在2B端，只要存在1%的偏差，都將給企業(yè)埋下風(fēng)險(xiǎn)的種子，成為落地的門(mén)檻。

　　目前，關(guān)于大模型可信、可控方面的問(wèn)題，學(xué)術(shù)界沒(méi)有完美解，只能在各個(gè)環(huán)節(jié)逐步逼近。

　　但有一點(diǎn)卻是業(yè)內(nèi)的共識(shí)，那就是:預(yù)訓(xùn)練數(shù)據(jù)越多、越廣，就越可以提高大模型的泛化能力和魯棒性，從而減少生成幻覺(jué)和錯(cuò)誤的可能性。

　　在之前披露的信息中，華為對(duì)外宣稱(chēng)自身的盤(pán)古大模型涉及項(xiàng)目超過(guò)1000個(gè)，除了學(xué)習(xí)大量通用知識(shí)外，盤(pán)古還深耕金融、政務(wù)、氣象、醫(yī)療、健康、互聯(lián)網(wǎng)、教育等行業(yè)，每個(gè)行業(yè)數(shù)據(jù)量超過(guò)500億tokens。

　　從數(shù)據(jù)層面來(lái)看，可謂涵蓋面甚廣。

　　但需要注意的是，盤(pán)古大模型實(shí)際上分為了四個(gè)版本，分別是100億參數(shù)、380億參數(shù)、710億參數(shù)和1000億參數(shù)。

　　考慮到手機(jī)的硬件性能和運(yùn)行環(huán)境，鴻蒙4中搭載的，很有可能是100億參數(shù)版本的盤(pán)古大模型。

　　想在這100億的數(shù)據(jù)規(guī)模上，保障大模型的準(zhǔn)確性、可靠性，可能嗎?

　　對(duì)于這個(gè)問(wèn)題，華為有兩種可能的解決方案:

　　首先一種，是直接將鴻蒙4中的大模型，變成一個(gè)看似通用的“專(zhuān)用”大模型。

　　這樣的思路，其實(shí)是一種小而精的策略。

　　因?yàn)樵谀承┨囟▓?chǎng)景，預(yù)訓(xùn)練數(shù)據(jù)的質(zhì)量和相關(guān)性，遠(yuǎn)比其數(shù)量和范圍要重要得多。

　　具體到手機(jī)方面，由于人們使用手機(jī)的場(chǎng)景、用途，都是相對(duì)比較固定的，例如查天氣、導(dǎo)航、訂外賣(mài)、訂酒店等，因此華為可以根據(jù)這些特定的“手機(jī)場(chǎng)景”，針對(duì)性地搜集相應(yīng)的高質(zhì)量數(shù)據(jù)。

　　而經(jīng)由這種高質(zhì)量、高相關(guān)性數(shù)據(jù)訓(xùn)練出來(lái)的緊湊型語(yǔ)言模型，有可能在特定任務(wù)和場(chǎng)景上表現(xiàn)得比大參數(shù)模型更出色。

　　而第二種方式，則是通過(guò)“壓縮”的方式，在不犧牲性能和精度的情況下，降低模型的參數(shù)。

　　2

　　化大為小

　　可以說(shuō)，壓縮功力的強(qiáng)弱，直接關(guān)系到了端側(cè)大模型的可靠性、質(zhì)量。也是大模型走向端側(cè)的必要條件。

　　因?yàn)橹挥邪涯Ｐ蛪嚎s到了完全能在終端側(cè)運(yùn)行，擺脫云端計(jì)算的地步，大模型才能適應(yīng)更多對(duì)延遲性要求高的邊緣場(chǎng)景。

　　例如，智能汽車(chē)對(duì)于模型運(yùn)行的可靠性和延遲要就非常高，在實(shí)時(shí)變化的路況中，如果在云端運(yùn)行大模型，并且使用網(wǎng)絡(luò)把結(jié)果傳送到終端，肯定無(wú)法滿足智能汽車(chē)的需求。同時(shí)，完全終端化、本地化的運(yùn)行方式，也是出于對(duì)用戶數(shù)據(jù)、隱私方面的一種考慮。

　　這也是為什么，頗為重視隱私的蘋(píng)果，也宣布自己將要發(fā)布的AppleGPT將采取完全本地化的方式運(yùn)行。

　　同樣地，在鴻蒙4上，華為表示AI“小藝”相關(guān)的數(shù)據(jù)和學(xué)習(xí)的都是在端側(cè)推理，以保障用戶的安全和隱私。

　　既然“壓縮”是大模型終端化的必要條件，那么目前在這方面，華為和其他大廠的差距究竟如何呢?

　　在之前的WAIC大會(huì)上，高通展示的手機(jī)大模型，已經(jīng)能做到在安卓手機(jī)上，直接運(yùn)行參數(shù)規(guī)模超過(guò)10億的StableDiffusion，而且生成效果也還過(guò)得去。

　　而這背后，靠的正是不俗的模型壓縮能力。

　　通過(guò)量化、壓縮、條件計(jì)算、神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索和編譯，高通在不犧牲太多精度的前提下對(duì)AI模型進(jìn)行了縮減。

　　比如在在量化方面，高通將FP32模型量化壓縮到INT4模型，實(shí)現(xiàn)了64倍內(nèi)存和計(jì)算能效提升。

　　在這方面，華為自身的昇騰模型壓縮工具，也提供了一系列的模型壓縮方法，根據(jù)量化方法不同，分為基于calibration的量化和基于retrain的量化。

　　而上述兩種量化方法，根據(jù)量化對(duì)象不同，分為權(quán)重量化和數(shù)據(jù)量化。

　　而具體來(lái)說(shuō)，權(quán)重量化對(duì)模型影響不大，而數(shù)據(jù)量化對(duì)模型影響比較大。

　　這樣的影響，可以用一個(gè)形象的比喻來(lái)說(shuō)明:

　　壓縮大模型就像切西瓜，而權(quán)重量化就像是把西瓜的種子變成整數(shù)，數(shù)據(jù)量化就像是把西瓜的果肉和果汁變成整數(shù)。

　　一般人吃西瓜的時(shí)候，更在乎的往往是果肉，而不是種子。

　　同理，權(quán)重是模型的一部分，但不是最重要的部分，我們運(yùn)行模型的時(shí)候，主要關(guān)注的是輸入輸出數(shù)據(jù)的準(zhǔn)確性和多少。

　　也正因如此，在用戶可感知到的范圍內(nèi)，權(quán)重量化對(duì)模型性能的影響是較小的。

　　而這也是為什么，谷歌、騰訊、百度等在將模型壓縮技術(shù)結(jié)合到移動(dòng)端時(shí)，使用的也大多是權(quán)重量化。

　　例如騰訊提出的NCNN和MNN模型，主要就是存儲(chǔ)模型中各層的權(quán)重值。ncnn模型中含有擴(kuò)展字段，用于兼容不同權(quán)重值的存儲(chǔ)方式。

　　在科技發(fā)展的路徑上，有一條真理，那就是:正確、合理的技術(shù)，往往都存在著一種趨同化的“最優(yōu)解”，很少會(huì)存在什么“秘技”。

　　說(shuō)到這里，問(wèn)題來(lái)了:既然在可預(yù)見(jiàn)的未來(lái)，各個(gè)大廠在模型壓縮、量化方面的技術(shù)，大體上都是趨同、相近的，那么在這場(chǎng)“終端AI”競(jìng)賽中，真正決定性的制勝因素，究竟是什么?

　　3

　　總結(jié)

　　在終端大模型的較量中，除了模型壓縮、端側(cè)芯片外，最主要的因素，就剩下了終端軟件生態(tài)的搭建。

　　由于端側(cè)芯片實(shí)在是一個(gè)太大的話題，受于篇幅所限，此處不再贅述，將來(lái)會(huì)單獨(dú)用一整篇的內(nèi)容加以分析。

　　這里主要重點(diǎn)說(shuō)下終端軟件生態(tài)。

　　一個(gè)可以預(yù)見(jiàn)的未來(lái)是:由于終端設(shè)備的多樣性，碎片性，將來(lái)的終端大模型，必定會(huì)出現(xiàn)針對(duì)不同應(yīng)用場(chǎng)景的“智能助理”。

　　例如，音箱中的智能助理，可以幫助我們管理智能家居;在工作場(chǎng)合，耳機(jī)中的智能助理可以作為秘書(shū)幫助處理會(huì)議紀(jì)要等工作。

　　在這種情況下，誰(shuí)若能率先取得多模態(tài)方向上的突破，針對(duì)不同場(chǎng)景微調(diào)，提供多樣化、專(zhuān)屬化的智能助理，誰(shuí)就能在終端大模型的長(zhǎng)跑中，處于領(lǐng)先優(yōu)勢(shì)。

　　此外，考慮到手機(jī)、智能家居等終端設(shè)備，具有很強(qiáng)的“私有性”，因此，如何根據(jù)用戶的個(gè)人喜好和使用習(xí)慣，進(jìn)行自適應(yīng)學(xué)習(xí)，并提供個(gè)性化的建議和服務(wù)，就成了終端大模型能否長(zhǎng)期陪伴用戶的關(guān)鍵因素。

　　而倘若上述問(wèn)題，都得到了較好的解決，那么一個(gè)以大模型作為終極操作系統(tǒng)（AIOS）的AI時(shí)代，就遲早會(huì)到來(lái)。

　　到了那時(shí)，分散、割裂、碎片化的物聯(lián)網(wǎng)應(yīng)用市場(chǎng)，也終將被大模型AIOS統(tǒng)合。