大模型爆發(fā)倒逼算力升級，火山引擎分享“AI全棧云”經(jīng)驗

　　AI大模型的爆發(fā)式增長，正驅(qū)動著算力需求不斷升級，云基礎(chǔ)設(shè)施在集群建設(shè)和管理、性能、穩(wěn)定性等方面都面臨著嚴峻挑戰(zhàn)。

　　火山引擎基于字節(jié)跳動在大模型領(lǐng)域的實踐沉淀，帶來更高性價比的算力資源和一站式資源服務(wù)，持續(xù)助力企業(yè) AI 轉(zhuǎn)型落地。8月21日，2024火山引擎AI創(chuàng)新巡展上海站活動成功舉辦，火山引擎云基礎(chǔ)產(chǎn)品負責(zé)人羅浩發(fā)表演講，詳細介紹了面對算力需求的升級，火山引擎的具體應(yīng)對方法和措施。

　　羅浩表示，早在2019年，火山引擎已經(jīng)觀察到了由Transformer帶來的更大規(guī)模算力需求。并且隨著算力大規(guī)模爆發(fā)式增長，也帶來了計算模式的變化，計算從“單節(jié)點模式”向“集群模式”演化。

　　為了滿足AI領(lǐng)域的算力增長，火山引擎首先打造更新的基礎(chǔ)設(shè)施，如新一代GPU型算力，以及能夠容納這些算力的新一代機房等。

　　在此基礎(chǔ)上，則是打造新一代互聯(lián)技術(shù)，將多達數(shù)十萬個計算節(jié)點互聯(lián)起來，支持近似線性加速比。

　　羅浩介紹，由于不同算力資源池的節(jié)點閾值不同，當(dāng)小于8個節(jié)點的時候，調(diào)度都在一臺服務(wù)器內(nèi)部完成，但當(dāng)節(jié)點大于500的時候，可能就需要跨機架調(diào)度，而當(dāng)節(jié)點大于1000或更多時，需要跨兩至三層的交換機調(diào)度，所涉及到的網(wǎng)絡(luò)架構(gòu)管理內(nèi)容，包括通信協(xié)議、擁塞控制等等，其性能挑戰(zhàn)的難度將逐步增大。

　　因此，隨著AI大模型的爆發(fā)，任務(wù)已從單節(jié)點來到多節(jié)點，甚至達到萬卡規(guī)模，故障域也變得更大。

　　如此大的故障域中，如何在當(dāng)某個節(jié)點發(fā)生故障時能快速識別問題，及時剔除故障節(jié)點，節(jié)省計算成本，就存在相當(dāng)嚴峻的挑戰(zhàn)。

　　火山引擎云基礎(chǔ)產(chǎn)品負責(zé)人羅浩

　　因此火山引擎提出“AI全棧云”，包含三個方面。

　　一、集中使用資源和算力。最大程度上避免由于分布式數(shù)據(jù)中心建設(shè)帶來的算力孤島和存儲孤島問題。

　　二、所有的IaaS層產(chǎn)品、PaaS層產(chǎn)品、數(shù)據(jù)產(chǎn)品、安全產(chǎn)品甚至推薦算法還有AI產(chǎn)品，都在同一朵云上，采用同樣的軟件架構(gòu)、通信協(xié)議，使得數(shù)據(jù)流動、業(yè)務(wù)通信保持最高效的，同時也更加安全。

　　三、大算力資源池建設(shè)和自研硬件，以及自研網(wǎng)絡(luò)通信協(xié)議、擁塞控制算法等能力相結(jié)合，實現(xiàn)規(guī)模更大、性能更強、穩(wěn)定性更高和成本更優(yōu)。

　　羅浩表示，目前火山引擎能夠做到在分鐘級別調(diào)度千卡規(guī)模資源池，以應(yīng)對彈性任務(wù)�；ヂ�(lián)能力方面，單機互聯(lián)能力已經(jīng)從800G提升到了3.2T，增長了4倍。同時火山引擎還提供覆蓋全球的網(wǎng)絡(luò)，能夠支持2TB/秒吞吐并行文件存儲。

　　在高可用方面，火山引擎做了充分的壓測左移體系，會在批量機器交付之前，抽樣比較大的集群同時部署上容器、虛擬機、物理機進行測試，確保高可用性。擁有這樣的壓測能力，即可快速發(fā)現(xiàn)問題，結(jié)合冷遷移技術(shù)，將故障節(jié)點在離線狀態(tài)或在線狀態(tài)剝離出去，使得任務(wù)持續(xù)運行。

　　成本方面，火山引擎除對大規(guī)模算力資源池集中使用之外，對于loadbook、DevOps等短期任務(wù)，只會用單張卡或0.5張卡，提供更加靈活、更小粒度的資源使用方式。同時，火山引擎的網(wǎng)絡(luò)負載均衡還能夠感知到訓(xùn)練推理體系里的KV Cache、過熱導(dǎo)致的調(diào)度不均勻問題，達到更高的調(diào)度效能。

　　在存儲方面，除VPFS超大規(guī)模、超大性能存儲之外，火山引擎還提供LAS緩沖層、CFS、TOS分層性價比更高的存儲。

　　羅浩表示，火山引擎基于字節(jié)跳動在大模型領(lǐng)域的實踐沉淀，以技術(shù)驅(qū)動的極致性價比讓大模型人人用得起，陪伴客戶一起成長。未來，火山引擎全棧 AI 服務(wù)將持續(xù)助力企業(yè) AI 轉(zhuǎn)型落地，激發(fā)業(yè)務(wù)增長潛能。(作者：唐明)