三星沒(méi)放棄曲面屏開發(fā)!最新專利曝光暗示有望回歸三大運(yùn)營(yíng)商11月成績(jī)單:用戶數(shù)據(jù)增幅放緩打造下一個(gè)英偉達(dá),孫正義的2026芯片計(jì)劃曝光瞭望2025全球6G技術(shù)發(fā)展趨勢(shì)AI時(shí)代云安全新范式,暢捷通智能守護(hù)小微企業(yè)安全上云百川智能發(fā)布全鏈路領(lǐng)域增強(qiáng)金融大模型 Baichuan4-Finance年末家電消費(fèi)觀察:品質(zhì)生活類產(chǎn)品熱賣,將持續(xù)迎來(lái)剛需式普及?GPT-5研發(fā)受阻:OpenAI 新一代模型難見(jiàn)突破性進(jìn)展新一代語(yǔ)言模型ModernBERT發(fā)布,RAG等任務(wù)處理速度快四倍、成本低新研究顯示:Anthropic 的 Claude AI 在合作能力上領(lǐng)先于 OpenAI 和谷歌模型谷歌向投資者保證人工智能本月將迎來(lái)“驚人”表現(xiàn)多模態(tài)大模型引爆應(yīng)用場(chǎng)景 階躍星辰完成數(shù)億美元融資星動(dòng)紀(jì)元發(fā)布端到端原生機(jī)器人大模型ERA-42 實(shí)現(xiàn)機(jī)器人復(fù)雜場(chǎng)景操作免費(fèi)模式強(qiáng)攻下,快手、抖音用“短劇VIP”反擊?低碳存儲(chǔ)助力算力產(chǎn)業(yè) 富士膠片首次亮相IDC大會(huì)行業(yè)唯一!海爾熱聲熱泵技術(shù)獲全國(guó)顛覆性技術(shù)創(chuàng)新大賽最高獎(jiǎng)OPPO A5 Pro首創(chuàng)獵手天線架構(gòu):信號(hào)能穿十堵墻一加 Ace 5 Pro首發(fā)電競(jìng)Wi-Fi芯片G1 帶來(lái)「穿墻王」和「搶網(wǎng)王」般的網(wǎng)絡(luò)體驗(yàn)電視市場(chǎng)又出黑馬!TCL同檔Mini LED音畫王P12K,萬(wàn)象分區(qū)打造超強(qiáng)控光!零下25℃如何取暖?海爾水暖通溫暖驛站亮相冰雪大世界
  • 首頁(yè) > 云計(jì)算頻道 > 大模型

    Kimi開源底層推理框架,1小時(shí)GitHub攬星1.2k

    2024年11月29日 10:16:36   來(lái)源:量子位公眾號(hào)

      什么?Kimi底層推理架構(gòu)剛剛宣布:開!源!了!

      你沒(méi)聽錯(cuò),就是那個(gè)承載了Kimi線上80%以上流量的架構(gòu)。

      大約幾小時(shí)前,月之暗面Kimi聯(lián)合清華大學(xué)等機(jī)構(gòu),開源了大模型推理架構(gòu)Mooncake

      根據(jù)官方介紹,本次開源將采用分階段的方式:

      逐步開源高性能KVCache多級(jí)緩存Mooncake Store的實(shí)現(xiàn),同時(shí)針對(duì)各類推理引擎和底層存儲(chǔ)/傳輸資源進(jìn)行兼容。

      其中傳輸引擎Transfer Engine現(xiàn)在已經(jīng)在GitHub全球開源。

      可以看到,Mooncake一經(jīng)開源,已在GitHub狂攬1.2k star。

      其最終開源目標(biāo)是,為大模型時(shí)代打造一種新型高性能內(nèi)存語(yǔ)義存儲(chǔ)的標(biāo)準(zhǔn)接口,并提供參考實(shí)現(xiàn)方案。

      月之暗面Kimi工程副總裁許欣然表示:

      通過(guò)與清華大學(xué)MADSys實(shí)驗(yàn)室緊密合作,我們共同打造了分離式大模型推理架構(gòu)Mooncake,實(shí)現(xiàn)推理資源的極致優(yōu)化。

      Mooncake不僅提升了Kimi的用戶體驗(yàn),降低了成本,還為處理長(zhǎng)文本和高并發(fā)需求提供了有效的解決方案。

      我們相信,通過(guò)與產(chǎn)學(xué)研機(jī)構(gòu)開源合作,可以推動(dòng)整個(gè)行業(yè)向更高效的推理平臺(tái)方向發(fā)展。

      實(shí)際上,這個(gè)項(xiàng)目早在今年6月就已啟動(dòng),當(dāng)時(shí)已受到業(yè)內(nèi)廣泛關(guān)注——

      大模型推理架構(gòu)Mooncake

      今年6月,月之暗面和清華大學(xué)MADSys實(shí)驗(yàn)室聯(lián)合發(fā)布了Kimi底層的Mooncake推理系統(tǒng)設(shè)計(jì)方案。

      在這篇名為《Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving》的論文中,作者詳細(xì)介紹了Mooncake這種系統(tǒng)架構(gòu)。

      該系統(tǒng)基于以KVCache為中心的PD分離和以存換算架構(gòu),大幅度提升了推理吞吐。

      具體而言,Mooncake采用以KVCache為中心的解耦架構(gòu),將預(yù)填充集群與解碼集群分離,并充分利用GPU集群中未充分利用的CPU、DRAM和SSD資源,實(shí)現(xiàn)KVCache的解耦緩存。

      其核心在于以KVCache為中心的調(diào)度程序:

      在最大化整體有效吞吐量和滿足與延遲相關(guān)的服務(wù)級(jí)別目標(biāo) (SLO) 要求之間取得平衡

      當(dāng)面對(duì)流量高峰期時(shí),Mooncake通過(guò)早期拒絕策略和預(yù)測(cè)未來(lái)負(fù)載的方法,來(lái)處理超載問(wèn)題。

      早期拒絕策略(Early Rejection Policy)

      簡(jiǎn)單說(shuō),其核心思想是在請(qǐng)求實(shí)際開始處理之前,根據(jù)當(dāng)前系統(tǒng)的負(fù)載情況預(yù)測(cè)是否有足夠的資源來(lái)處理新的請(qǐng)求。

      如果預(yù)測(cè)結(jié)果表明系統(tǒng)資源不足以保證請(qǐng)求的及時(shí)處理,系統(tǒng)就會(huì)在請(qǐng)求到達(dá)之前予以拒絕,從而避免了無(wú)效的資源占用和不必要的延遲。

      預(yù)測(cè)未來(lái)負(fù)載(Predicting Future Load)

      在Mooncake中,系統(tǒng)需要能夠預(yù)測(cè)在未來(lái)一段時(shí)間內(nèi)的負(fù)載情況,以便做出更準(zhǔn)確的接受或拒絕請(qǐng)求的決策。

      如何實(shí)現(xiàn)呢??

      通常來(lái)說(shuō),這種預(yù)測(cè)會(huì)基于當(dāng)前的請(qǐng)求模式、系統(tǒng)的資源使用情況以及歷史數(shù)據(jù)等信息。

      再通過(guò)對(duì)信息的進(jìn)一步分析建模,Mooncake就能夠估計(jì)接下來(lái)的請(qǐng)求處理需求,并據(jù)此調(diào)整其調(diào)度策略。

      論文實(shí)驗(yàn)結(jié)果顯示,與基線方法相比,Mooncake在某些模擬場(chǎng)景中可以實(shí)現(xiàn)高達(dá)525%的吞吐量提升,同時(shí)遵守SLO(與延遲相關(guān)的服務(wù)級(jí)別目標(biāo))。

      在實(shí)際工作負(fù)載下,Mooncake使Kimi能夠處理75%以上的請(qǐng)求。

      而且據(jù)許欣然在其他場(chǎng)合透露:

      目前這套系統(tǒng)承載了Kimi線上80%以上的流量。

      而現(xiàn)在,為了進(jìn)一步加速該技術(shù)框架的應(yīng)用與推廣,Kimi聯(lián)合清華大學(xué)等機(jī)構(gòu)共同發(fā)布開源項(xiàng)目Mooncake。

      參與開源的首批陣容包括:

      AISoft、阿里云、華為存儲(chǔ)、面壁智能、趨境科技等。

      可以說(shuō),云計(jì)算、存儲(chǔ)、AI模型玩家等產(chǎn)學(xué)研力量都聚齊了。

      據(jù)悉,Mooncake開源項(xiàng)目從論文延伸,以超大規(guī)模KVCache緩存池為中心,通過(guò)以存換算的創(chuàng)新理念大幅度減少算力開銷,顯著提升了推理吞吐量。

      目前Mooncake技術(shù)框架已正式開源上線,官方還表示:

      歡迎更多企業(yè)和研究機(jī)構(gòu)加入Mooncake項(xiàng)目共建,共同探索更加高效和先進(jìn)的模型推理系統(tǒng)架構(gòu)創(chuàng)新,讓基于大模型技術(shù)的AI助手等產(chǎn)品,持續(xù)惠及更廣泛人群。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。

    即時(shí)

    新聞

    明火炊具市場(chǎng):三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來(lái)都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費(fèi)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實(shí)力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來(lái)實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡(jiǎn)直是創(chuàng)作者們的首選。

    研究

    中國(guó)信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會(huì)——工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析專題論壇在沈陽(yáng)成功舉辦。