“客服來電”有詐?抖音客服上線“驗(yàn)證助手”助用戶識別詐騙OpenAI新模型GPT-5研發(fā)未達(dá)預(yù)期:成本高昂 效果不佳曝天馬打入果鏈:為蘋果HomePod供應(yīng)LCD屏 每塊屏僅10美元曝OPPO或首發(fā)新款天璣次旗艦芯片 兩大子品牌Q2發(fā)力諾基亞攜手阿聯(lián)酋運(yùn)營商e&,展示全球首個(gè)固網(wǎng)游戲端到端網(wǎng)絡(luò)切片方案零下25℃制熱26℃!海爾水暖通黑科技亮相冰雪大世界三星沒放棄曲面屏開發(fā)!最新專利曝光暗示有望回歸三大運(yùn)營商11月成績單:用戶數(shù)據(jù)增幅放緩打造下一個(gè)英偉達(dá),孫正義的2026芯片計(jì)劃曝光瞭望2025全球6G技術(shù)發(fā)展趨勢AI時(shí)代云安全新范式,暢捷通智能守護(hù)小微企業(yè)安全上云百川智能發(fā)布全鏈路領(lǐng)域增強(qiáng)金融大模型 Baichuan4-Finance年末家電消費(fèi)觀察:品質(zhì)生活類產(chǎn)品熱賣,將持續(xù)迎來剛需式普及?GPT-5研發(fā)受阻:OpenAI 新一代模型難見突破性進(jìn)展新一代語言模型ModernBERT發(fā)布,RAG等任務(wù)處理速度快四倍、成本低新研究顯示:Anthropic 的 Claude AI 在合作能力上領(lǐng)先于 OpenAI 和谷歌模型谷歌向投資者保證人工智能本月將迎來“驚人”表現(xiàn)多模態(tài)大模型引爆應(yīng)用場景 階躍星辰完成數(shù)億美元融資星動紀(jì)元發(fā)布端到端原生機(jī)器人大模型ERA-42 實(shí)現(xiàn)機(jī)器人復(fù)雜場景操作免費(fèi)模式強(qiáng)攻下,快手、抖音用“短劇VIP”反擊?
  • 首頁 > 云計(jì)算頻道 > 大模型

    騰訊披露大模型訓(xùn)練方法:Angel框架升級 效率提升2.6倍

    2023年11月28日 16:29:28   來源:站長之家

      在當(dāng)前大模型參數(shù)規(guī)模呈指數(shù)級增長的情況下,騰訊近日披露了混元大模型訓(xùn)練的最新方法,通過升級自研機(jī)器學(xué)習(xí)框架Angel,成功提升大模型訓(xùn)練效率。這一升級使得千億級大模型訓(xùn)練可以節(jié)省高達(dá)50%的算力成本,為應(yīng)對算力緊缺提供了有力支持。Angel框架的升級不僅僅在于提高效率,還支持單任務(wù)萬卡級別超大規(guī)模訓(xùn)練,進(jìn)一步提升了騰訊云HCC大模型專屬算力集群的性能和效率。

      為了進(jìn)一步提高大模型的訓(xùn)練和推理效率,騰訊自研了機(jī)器學(xué)習(xí)訓(xùn)練框架AngelPTM。在存儲方面,AngelPTM采用多維度的并行計(jì)算,包括數(shù)據(jù)并行、模型并行、流水并行和序列并行。

      此外,通過在ZeRO-Cache的基礎(chǔ)上引入統(tǒng)一視角技術(shù),將顯存和主存打通,有效擴(kuò)展了顯存容量,提升了單機(jī)存儲容量達(dá)90%。在通訊方面,騰訊通過軟硬件結(jié)合的方式解決,構(gòu)建了3.2T RDMA網(wǎng)絡(luò)來拓寬帶寬,同時(shí)在框架軟件層面做GPU拓?fù)涓兄,?shí)現(xiàn)了負(fù)載均衡的流水并行。為了確保穩(wěn)定性,騰訊對基礎(chǔ)設(shè)施的網(wǎng)絡(luò)、硬件、存儲、云原生調(diào)度都進(jìn)行了監(jiān)控,并實(shí)施了自動續(xù)訓(xùn)和系統(tǒng)容錯(cuò)。

      此外,為解決推理成本不斷上升的問題,騰訊推出了大模型推理框架AngelHCF。通過擴(kuò)展并行能力和關(guān)鍵能力的優(yōu)化,包括Embedding共享、Attention算子優(yōu)化、Paged Attention優(yōu)化等方式,提高了推理性能,相較于主流框架,AngelHCF的推理速度提高了1.3倍。這一框架在騰訊混元大模型文生圖的應(yīng)用中,將推理耗時(shí)從原本的10秒縮短至3至4秒。

      騰訊不僅僅在大模型訓(xùn)練方面取得了顯著的效率提升,還在推理階段取得了實(shí)質(zhì)性的優(yōu)化。這一系列技術(shù)提升已經(jīng)在騰訊云上得以開放,為用戶提供更優(yōu)的訓(xùn)練和推理加速能力,同時(shí)支持客戶一站式訓(xùn)練精調(diào),打造專屬智能應(yīng)用。騰訊內(nèi)部已有超過300項(xiàng)業(yè)務(wù)和應(yīng)用場景接入騰訊混元大模型內(nèi)測,涵蓋了文本總結(jié)、摘要、創(chuàng)作、翻譯、代碼等多個(gè)領(lǐng)域,這標(biāo)志著整個(gè)生產(chǎn)鏈路的全面升級,從模型研發(fā)到應(yīng)用落地形成了一站式的平臺,進(jìn)一步推動了大模型應(yīng)用的發(fā)展。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。

    即時(shí)

    新聞

    明火炊具市場:三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費(fèi)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實(shí)力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡直是創(chuàng)作者們的首選。

    研究

    中國信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標(biāo)識解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標(biāo)識解析專題論壇在沈陽成功舉辦。