行業(yè)唯一!海爾熱聲熱泵技術(shù)獲全國(guó)顛覆性技術(shù)創(chuàng)新大賽最高獎(jiǎng)OPPO A5 Pro首創(chuàng)獵手天線架構(gòu):信號(hào)能穿十堵墻一加 Ace 5 Pro首發(fā)電競(jìng)Wi-Fi芯片G1 帶來(lái)「穿墻王」和「搶網(wǎng)王」般的網(wǎng)絡(luò)體驗(yàn)電視市場(chǎng)又出黑馬!TCL同檔Mini LED音畫王P12K,萬(wàn)象分區(qū)打造超強(qiáng)控光!零下25℃如何取暖?海爾水暖通溫暖驛站亮相冰雪大世界馬太效應(yīng),強(qiáng)者恒強(qiáng)?——《中國(guó)企業(yè)科創(chuàng)力研究報(bào)告(2024)》美團(tuán)年度報(bào)告竟然用上了AI和短。窟@下是真出圈了消息稱上汽大眾正開(kāi)發(fā)三款新車,技術(shù)分別來(lái)自小鵬、智己和榮威鴻蒙智行泊車代駕VPD正式開(kāi)啟全量推送!升級(jí)自動(dòng)泊車/接駕等多項(xiàng)功能華為官方翻新手機(jī)最高降價(jià)4000元曝蘋果研發(fā)帶Face ID的智能家居門鈴:內(nèi)置自研W-Fi芯片李斌回應(yīng)螢火蟲(chóng)外觀設(shè)計(jì):看過(guò)實(shí)車的人都喜歡這個(gè)設(shè)計(jì)林杰:未來(lái) A 級(jí)、A0 級(jí)、A00 級(jí)車型都將是領(lǐng)克純電的“主場(chǎng)”豐巢存包柜亮相南寧地鐵站,助力城市韌性建設(shè)與智慧出行萬(wàn)象分區(qū)、絢彩XDR、量子點(diǎn)Pro 2025齊出手,TCL引領(lǐng)觀影體驗(yàn)新變革!QQ音樂(lè)年度聽(tīng)歌報(bào)告發(fā)布:誰(shuí)是你最喜歡的歌手?OpenAI正式發(fā)布o(jì)3 - 通往AGI的路上,已經(jīng)沒(méi)有了任何阻礙「送禮物」難撬動(dòng)社交電商,微信小店缺的是供給微軟Phi-4封神,14B小模型數(shù)學(xué)擊敗GPT-4o,合成數(shù)據(jù)占比40%,36頁(yè)技術(shù)報(bào)告出爐2024年結(jié)束,哪里是原創(chuàng)動(dòng)畫的應(yīng)許之地?
  • 首頁(yè) > 云計(jì)算頻道 > 大模型

    異軍突起的小模型,有多大想象空間?

    2023年12月18日 15:40:57   來(lái)源:AI新智能公眾號(hào)

      本文來(lái)自于微信公眾號(hào) AI新智能(ID:alpAIworks),作者:舉大名耳。

      大模型之戰(zhàn)進(jìn)入到今日,許多開(kāi)發(fā)者都面臨著一個(gè)共同的挑戰(zhàn):如何在保證高性能的同時(shí),降低資源和算力的需求?

      這一困境在端側(cè)應(yīng)用尤為明顯,因?yàn)樵S多設(shè)備和應(yīng)用場(chǎng)景對(duì)計(jì)算能力和存儲(chǔ)空間有嚴(yán)格的限制。這無(wú)疑大大制約了大模型在各種設(shè)備和場(chǎng)景中的普及。

      如何突破這一桎梏,實(shí)現(xiàn)性能與資源的完美平衡,從而打開(kāi)潛在的市場(chǎng)?

      近期,一些小型模型,如Mistral AI推出的Mixtral8x7B和微軟發(fā)布的Phi-2,提供了一個(gè)可能的解決方案。

      這些小模型在參數(shù)規(guī)模上相對(duì)較小,但在性能上卻表現(xiàn)出了驚人的實(shí)力,甚至在某些方面超越了Llama2等規(guī)模更大的競(jìng)爭(zhēng)對(duì)手。

      而這也意味著,套在很多場(chǎng)景上的“參數(shù)枷鎖”,也將有望被打破。一個(gè)新的增量市場(chǎng),已經(jīng)呼之欲出。

      1

      以小博大

      從技術(shù)上說(shuō),Mistral 和Phi-2的特點(diǎn)就是一個(gè)詞:短小精悍。

      Mistral8x7B由來(lái)自歐洲的Mistral AI打造,采用了稀疏混合專家模型(SMoE)技術(shù),結(jié)合了多個(gè)針對(duì)特定任務(wù)訓(xùn)練的較小模型,提高了運(yùn)行效率。

      在許多基準(zhǔn)測(cè)試中,Mistral8x7B的性能已經(jīng)達(dá)到甚至超越了規(guī)模是其25倍的Llama270B。

      而微軟推出的Phi-2雖然規(guī)模更小(僅27億參數(shù)),但得益于“教科書(shū)質(zhì)量”數(shù)據(jù)的訓(xùn)練,以及學(xué)習(xí)其他模型傳遞的洞見(jiàn)的技術(shù),目前已在某些基準(zhǔn)測(cè)試中超過(guò)了更大的模型,如70億參數(shù)的Mistral和130億參數(shù)的Llama2。

      Mistral7B在所有基準(zhǔn)測(cè)試中超越了Llama213B

      那么,這些異軍突起的小模型,將會(huì)給已進(jìn)入“平臺(tái)期”的模型層,帶來(lái)怎樣新的想象?

      具體來(lái)說(shuō),針對(duì)目前大模型的種種局限,小模型至少在兩個(gè)方面實(shí)現(xiàn)了逆襲。

      其中一個(gè)方面,就是其橫向擴(kuò)展了模型的使用范圍,打開(kāi)了之前因資源、算力而被束縛的市場(chǎng)。

      以手機(jī)市場(chǎng)為例,根據(jù)Statista的數(shù)據(jù),2021年全球智能手機(jī)用戶數(shù)量已達(dá)到約39億。

      然而,小打開(kāi)手機(jī)大模型的市場(chǎng),卻絕非易事。

      由于手機(jī)設(shè)備上的內(nèi)存和計(jì)算能力有限,為了平衡內(nèi)存占用、執(zhí)行速度和功耗,目前手機(jī)廠商普遍采用端云協(xié)同的解決方案,但這并非長(zhǎng)遠(yuǎn)之計(jì)。

      對(duì)于手機(jī)廠商來(lái)說(shuō),使用云端資源會(huì)產(chǎn)生額外的成本。隨著用戶規(guī)模的擴(kuò)大,這些成本可能會(huì)不斷增加,從而限制了其盈利規(guī)模的上限。

      因此,最好的選擇,就是能讓手機(jī)在本地就能運(yùn)行一款參數(shù)不大,但性能又能與云端大模型媲美的小模型。

      同樣地,在一些需要快速部署,實(shí)現(xiàn)實(shí)時(shí)響應(yīng)的邊緣場(chǎng)景,例如自動(dòng)駕駛、物聯(lián)網(wǎng)(IoT)中,實(shí)時(shí)決策和數(shù)據(jù)處理就顯得至關(guān)重要。

      根據(jù)ResearchAndMarkets的報(bào)告,全球自動(dòng)駕駛汽車市場(chǎng)規(guī)模在2020年達(dá)到了約558億美元。預(yù)計(jì)到2027年,這一數(shù)字將增長(zhǎng)至約5,260億美元。

      目前的車載計(jì)算平臺(tái),如英偉達(dá)的DRIVE AGX Orin,計(jì)算能力是254TOPS(每秒254萬(wàn)億次操作),在高速公路等相對(duì)簡(jiǎn)單的場(chǎng)景中,由于數(shù)據(jù)量和計(jì)算復(fù)雜度較低,其算力并不是很吃緊。

      然而,在更復(fù)雜的城市駕駛場(chǎng)景中,自動(dòng)駕駛系統(tǒng)需要處理更多、更復(fù)雜的數(shù)據(jù)和任務(wù),如實(shí)時(shí)檢測(cè)和識(shí)別各種障礙物、預(yù)測(cè)其他道路用戶的行為、規(guī)劃安全路徑等。

      在這種情況下,有限的算力,就會(huì)限制自動(dòng)駕駛的進(jìn)一步普及。

      Mistral和Phi-2這類小模型由于其較小的模型體積和較低的計(jì)算需求,可以在這些有限資源下高效運(yùn)行。

      因?yàn)檐囕d系統(tǒng)需要在有限的能源和散熱條件下運(yùn)行,而較低的計(jì)算需求還有助于提高處理速度,實(shí)現(xiàn)實(shí)時(shí)決策和響應(yīng)。

      這一點(diǎn)對(duì)于推動(dòng)自動(dòng)駕駛和智能座艙技術(shù)的發(fā)展具有重要意義。

      2

      通向Agent之路

      除了打通原先被限制的市場(chǎng)外,Mistral和Phi-2這類小模型的另一大逆襲之處,就是其與Agent的關(guān)系。

      Mistral AI的CEO Arthur Mensch曾言:讓模型變小一定會(huì)有助于Agents 的開(kāi)發(fā)和應(yīng)用。

      而在模型層鮮有重大突破的今天,越來(lái)越多的人已經(jīng)意識(shí)到:Agent就是大模型的未來(lái)。

      對(duì)比AI與人類的交互模式,目前已從過(guò)去的嵌入式工具型AI(例如Siri)向助理型AI發(fā)展,目前的各類AI Copilot不再是機(jī)械地完成人類指令,而是可以自動(dòng)化地完成各種人類工作流,

      如果說(shuō)Copilot這類生成式AI是“副駕駛”,那么Agent則可以算得上一個(gè)初級(jí)的“主駕駛”。

      比爾·蓋茨曾言:在計(jì)算行業(yè)中,平臺(tái)是應(yīng)用程序和服務(wù)構(gòu)建的基礎(chǔ)技術(shù)。Android、iOS 和Windows都是平臺(tái)的例子。而Agent將成為下一個(gè)平臺(tái)。

      到了那時(shí),要?jiǎng)?chuàng)建一個(gè)新的應(yīng)用或服務(wù),你不需要掌握編程或圖形設(shè)計(jì)技能。Agent將能夠幫助處理幾乎所領(lǐng)域的事務(wù)。

      那么Arthur Mensch為什么會(huì)斷言小模型一定會(huì)有助于Agents的開(kāi)發(fā)和應(yīng)用?

      這里主要有兩個(gè)原因:一是推理成本,二是模型復(fù)雜度。

      在推理成本方面,除了絕對(duì)數(shù)值外(即每1000個(gè)Token的成本),更重要的,是模型的推理預(yù)算與實(shí)際效能之比。

      從目前的情況來(lái)看,Mixtral擁有46.7B的總參數(shù)量,但每個(gè)token只使用12.9B參數(shù),也就是說(shuō),Mixtral的實(shí)際執(zhí)行速度和所需的成本和一個(gè)12.9B的模型相當(dāng)。

      下圖展示了官方公布的模型生成質(zhì)量與推理消耗成本的關(guān)系,與Llama2相比,Mistral7B和Mixtral8x7B表現(xiàn)出自己高能效的優(yōu)勢(shì)。

      這意味著,與大模型相比,在保持高效能的情況下,Mixtral這類小模型通常需要更少的計(jì)算資源和時(shí)間來(lái)進(jìn)行推理,因此更加適合用于實(shí)時(shí)交互和在線學(xué)習(xí)。

      其次,小模型也有助于Agents的開(kāi)發(fā)和應(yīng)用,因?yàn)樗鼈兺ǔ>哂懈偷哪P蛷?fù)雜度,更容易被理解和調(diào)試。

      Arthur Mensch對(duì)此談到:當(dāng)人們走向一個(gè)Agents和AI交互的世界,系統(tǒng)的復(fù)雜性也會(huì)因此大幅增加。這種高度復(fù)雜的情境可能導(dǎo)致崩潰(Collapse),即機(jī)器學(xué)習(xí)中的一種一切都停滯不前的狀態(tài),如果沒(méi)有足夠的自組織和解決問(wèn)題的意愿,人們可能無(wú)法有效地應(yīng)對(duì)和管理這些挑戰(zhàn)。

      為了解決這個(gè)問(wèn)題,需要在設(shè)計(jì)和實(shí)現(xiàn)AI系統(tǒng)時(shí)充分考慮系統(tǒng)的可擴(kuò)展性、模塊化和可解釋性。

      而小模型通常具有更簡(jiǎn)單的結(jié)構(gòu)和更少的參數(shù),這使得具有更好的可調(diào)試性,從而便于讓開(kāi)發(fā)人員更容易理解和控制模型的性能,從而更快地將Agents推向市場(chǎng)。

      3

      新的勝出者

      在模型層市場(chǎng)被少數(shù)頭部企業(yè)左右的當(dāng)下,小模型的出現(xiàn),無(wú)疑為市場(chǎng)打開(kāi)了新的可能。

      從總的態(tài)勢(shì)來(lái)說(shuō),之后的模型層競(jìng)爭(zhēng)中,小模型可能會(huì)對(duì)大模型形成一種“農(nóng)村包圍城市”的態(tài)勢(shì)。

      “農(nóng)村”象征著小模型主要占據(jù)的應(yīng)用領(lǐng)域。這些領(lǐng)域通常包括資源受限的環(huán)境,如物聯(lián)網(wǎng)設(shè)備、智能家居、移動(dòng)設(shè)備和邊緣計(jì)算場(chǎng)景。

      在這些領(lǐng)域,小模型的靈活性、低成本和低能耗等特點(diǎn)使它們具有競(jìng)爭(zhēng)優(yōu)勢(shì)。此外,小模型在定制化和遷移學(xué)習(xí)方面的優(yōu)勢(shì),使它們能夠更好地適應(yīng)各種細(xì)分市場(chǎng)和特定任務(wù)。

      “城市”則象征著大模型主要占據(jù)的應(yīng)用領(lǐng)域。這些領(lǐng)域通常包括計(jì)算資源豐富、對(duì)性能要求較高的場(chǎng)景,如數(shù)據(jù)中心、云計(jì)算和高性能計(jì)算環(huán)境。

      在這樣的態(tài)勢(shì)下,憑借著細(xì)分市場(chǎng)的優(yōu)勢(shì),以及開(kāi)源社區(qū)的協(xié)作和共創(chuàng),小模型在性能上會(huì)不斷迭代,并逐漸對(duì)大模型主導(dǎo)的領(lǐng)域形成一種“鉗制”的優(yōu)勢(shì)。

      這種關(guān)系,類似于農(nóng)村為城市提供糧食等資源,維持城市的正常運(yùn)行。在AI領(lǐng)域,大模型在特定領(lǐng)域的優(yōu)化和提升,將愈發(fā)難以脫離小模型提供的實(shí)踐場(chǎng)景和技術(shù)支持。

      而面對(duì)這樣的態(tài)勢(shì),頭部的大模型企業(yè),自然也不甘被鉗制,因此,這些大廠可能的應(yīng)對(duì)之策之一,是通過(guò)蒸餾(Distillation)或者合成數(shù)據(jù)(Synthetic data generation)等技術(shù)來(lái)訓(xùn)練出質(zhì)量更高的小模型。

      或者更簡(jiǎn)單粗暴一些,直接將小模型團(tuán)隊(duì)收購(gòu)、兼并,為己所用。

      在這樣的情況下,未來(lái)小模型領(lǐng)域,怎樣的企業(yè)更有可能勝出?

      就大小模型的差異而言,小模型并不像大模型一樣,需要龐大的算力、數(shù)據(jù)作為支撐,在這個(gè)領(lǐng)域,更考驗(yàn)的是對(duì)技術(shù)的理解,以及深厚的理論基礎(chǔ)。

      因此,將來(lái)在小模型領(lǐng)域,更有可能脫穎而出的團(tuán)隊(duì),應(yīng)該會(huì)是那些具有強(qiáng)大學(xué)術(shù)、技術(shù)背景,且一線研究者、技術(shù)人員具有更大話語(yǔ)權(quán)的企業(yè)。

      例如這次的Mixtral的團(tuán)隊(duì)Mixtral AI, 就是由DeepMind和Meta的三位青年科學(xué)家建立。

      聯(lián)創(chuàng)三人,Arthur Mensch,CEO,前DeepMind研究科學(xué)家;Guillaume Lample,首席科學(xué)家,前Meta研究科學(xué)家,Llama項(xiàng)目帶頭;Timothee Lacroix,CTO,前Llama工程帶頭。

      在創(chuàng)立Mistral前,Arthur Mensch在DeepMind任職,并主導(dǎo)了LLM、RAG、多模態(tài)三個(gè)領(lǐng)域最重要的論文,十分全能。

      對(duì)一線研究者而言,唯有自由地踐行自己的技術(shù)構(gòu)想,在初期不過(guò)多地被資本干涉與左右,才更有可能做出亮眼的成果。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。

    即時(shí)

    新聞

    明火炊具市場(chǎng):三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來(lái)都要半個(gè)月了,現(xiàn)在方便多了!”打開(kāi)“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費(fèi)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實(shí)力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來(lái)實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡(jiǎn)直是創(chuàng)作者們的首選。

    研究

    中國(guó)信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會(huì)——工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析專題論壇在沈陽(yáng)成功舉辦。