華為天才少年透露研究課題，背后存儲團隊發(fā)布兩大新品，均面向大模型

　　招*秀的人才，打最硬的仗，出手即打破傳統(tǒng)。

　　這就是華為最新揭秘的大模型領域最新動作，劍指AI存儲，一口氣發(fā)布兩產(chǎn)品：

　　OceanStor A310深度學習數(shù)據(jù)湖存儲與FusionCube A3000訓/推超融合一體機，性能密度刷新業(yè)界紀錄。

　　它們由華為數(shù)據(jù)存儲團隊推出，華為“天才少年”張霽正是其中一員。

　　2020年，博士畢業(yè)于華中科技大學的張霽，以“天才少年”身份入職華為、加入數(shù)據(jù)存儲產(chǎn)品線。如今是華為蘇黎世研究所數(shù)據(jù)存儲首席科學家。

　　在發(fā)布會上，他還進一步揭開華為天才少年的神秘面紗，透露了自己正在推進的工作：

　　圍繞以數(shù)據(jù)為中心的未來存儲架構(gòu)關(guān)鍵技術(shù)，包括向量存儲、數(shù)據(jù)方艙、近存計算、新應用場景下的數(shù)據(jù)存儲新格式、硬件加速等。

　　顯然，不只是大模型本身，在大模型相關(guān)的數(shù)據(jù)、存儲等領域，華為也早已開始積極布局，啟用最*人才。

　　而面對大模型時代的數(shù)據(jù)存儲問題，華為作為存儲市場頭部廠商，究竟如何看待?

　　從最新發(fā)布的兩款產(chǎn)品中，就能窺見答案。

　　面向大模型的存儲應該長啥樣?

　　此次發(fā)布的新品有兩款，分別是：

　　OceanStor A310深度學習數(shù)據(jù)湖存儲

　　FusionCube A3000訓/推超融合一體機

　　雖然都是面向AI大模型，但是兩款新品對應的具體場景有所不同。

　　首先來看OceanStor A310，它面向基礎/行業(yè)大模型數(shù)據(jù)湖場景，可以貫穿AI全流程，同時也具備面向HPC(高性能計算)、大數(shù)據(jù)的同源數(shù)據(jù)分析能力。

　　它不光性能強大，而且支持混合負載、多協(xié)議無損融合互通、近存計算等，可極大程度上提升效率。

　　具體性能方面，OceanStor A310支持單框5U 96閃存盤，帶寬可達400GB/s。通俗理解，就是每秒鐘能傳200多部高清電影。

　　IOPS(每秒進行讀寫操作的次數(shù))能達到1200萬。

　　由此OceanStor A310的性能密度也達到了目前全球最高：

　　每U帶寬性能達到80GB/s及每U的IOPS達到240萬，均達到業(yè)界標桿1.6倍;

　　每U容量密度為19盤位，達到業(yè)界標桿1.5倍。

　　而且OceanStor A310具備*水平擴展能力，*支持4096節(jié)點擴展。

　　可以實現(xiàn)對AI全流程海量數(shù)據(jù)管理(從數(shù)據(jù)歸集、預處理到模型訓練、推理應用);實現(xiàn)數(shù)據(jù)0拷貝，全流程效率提升60%。

　　除此之外，OceanStor A310還通過存儲內(nèi)置算力，減少無效數(shù)據(jù)傳輸。實現(xiàn)數(shù)據(jù)編織，也就是通過全局文件系統(tǒng)GFS來支持AI大模型分散在各處的原始數(shù)據(jù)，實現(xiàn)跨系統(tǒng)、跨地域、跨多云的全局統(tǒng)一數(shù)據(jù)調(diào)度，簡化數(shù)據(jù)歸集流程。

　　基于近存計算，OceanStor A310還能通過內(nèi)嵌算力實現(xiàn)數(shù)據(jù)預處理，避免數(shù)據(jù)在傳統(tǒng)的系統(tǒng)當中存儲、服務器、GPU之間的無效搬移，降低服務器等待時間，預處理效率提升至少30%。

　　另外，OceanStor A310能直接使用到當下的HPC中，如果之后企業(yè)需要將系統(tǒng)升級到面向大模型時，就不再需要數(shù)據(jù)搬遷。

　　再來看FusionCube A3000訓/推超融合一體機。

　　相對而言，它面向的場景是行業(yè)大模型訓練、推理一體化，主打降低企業(yè)使用AI大模型的門檻。

　　它主要針對百億級模型的應用，當然也可以水平擴展后支持更大規(guī)模模型。

　　內(nèi)置的存儲節(jié)點是華為的OceanStor A300高性能存儲節(jié)點。它雙控支持180萬IOPS、50GB/s帶寬。

　　結(jié)合訓/推節(jié)點、交換設備、AI平臺軟件與管理運維軟件一起，F(xiàn)usionCube A3000可以實現(xiàn)一站式交付、開箱即用。2個小時內(nèi)可完成部署、5秒故障檢測、5分鐘故障恢復。

　　在實現(xiàn)邊緣部署多場景的訓練/推理應用業(yè)務的同時，它也能定期對模型進行調(diào)優(yōu)。

　　通過高性能容器實現(xiàn)多個模型訓練推理任務共享GPU，F(xiàn)usionCube A3000將資源利用率從40%提升至70%以上，能夠很好支持多應用融合調(diào)度和管理、不同大小模型融合調(diào)度。

　　商業(yè)模式方面，F(xiàn)usionCube A3000有兩種選擇。

　　其一是基于華為自研的OceanStor A300高性能存儲節(jié)點、網(wǎng)絡、昇騰計算與管理運維軟件，即華為昇騰一站式方案;另外也支持第三方一站式方案，可以集成第三方的GPU服務器、網(wǎng)絡節(jié)點以及AI的平臺軟件。

　　以上就是華為最新面向AI存儲發(fā)布的新品。

　　此外在模型層，他們還聯(lián)合了訊飛星火、ChatGLM、紫東·太初等大模型伙伴共建生態(tài)。

　　但華為的雄心不止于此，在發(fā)布會現(xiàn)場，華為數(shù)據(jù)存儲產(chǎn)品線總裁周躍峰特意和華為天才少年張霽，聊了聊華為存儲未來的事。

　　據(jù)張霽介紹，為了應對當下大模型提出的數(shù)據(jù)歸集新挑戰(zhàn)，他及所在團隊正在研究一種名為“數(shù)據(jù)方艙”的技術(shù)。

　　這種技術(shù)實現(xiàn)了讓數(shù)據(jù)和它的相關(guān)憑證、隱私、權(quán)限等信息一起流轉(zhuǎn)，當數(shù)據(jù)達到數(shù)據(jù)歸集地后，進入方艙執(zhí)行和保護，從而保證數(shù)據(jù)的安全。

　　周躍峰博士透露，這一技術(shù)目前正在和中信銀行、云上貴州等客戶做聯(lián)合的技術(shù)創(chuàng)新和實踐。

　　此外，為了應對AI大模型快速接入數(shù)據(jù)的需求，張霽等也在基于“萬物皆可向量”的理念，研究向量存儲技術(shù)。

　　他表示目前這種技術(shù)還處于早期萌芽階段，但是發(fā)展迅速，華為已做了非常前沿的布局。比如他們聯(lián)合華為海思硬件團隊一起，在近存計算方面做了很多攻關(guān)，利用軟硬協(xié)同的方式加速向量檢索。同時華為也在和蘇黎世聯(lián)邦理工大學等*高校合作。

　　目前，張霽與其團隊正在瑞士蘇黎世研究所與蘇黎世聯(lián)邦理工大學Onur Mutlu教授等*科學家們開展研究與合作。

　　Onur Mutlu教授曾帶領團隊榮獲2022年奧林帕斯獎，這一獎項頒給全球在數(shù)據(jù)存儲領域取得突破性貢獻的科研工作者。

　　正如張霽所說，他們的目標是希望在以數(shù)據(jù)為中心的體系結(jié)構(gòu)變革背景下，利用算法和架構(gòu)協(xié)同的方式，釋放數(shù)據(jù)的真正價值，卸載部分GPU、CPU的算力，節(jié)省無效數(shù)據(jù)搬移產(chǎn)生的能耗，從而最終推動數(shù)據(jù)新范式的快速發(fā)展。

　　所以，為什么是以數(shù)據(jù)為中心?華為存儲看到了哪些行業(yè)趨勢?以及在大模型趨勢下，華為為何如此重視存儲問題?

　　存儲：大模型生態(tài)的重要一環(huán)

　　在大模型時代下，有這樣一句話廣為流傳：數(shù)據(jù)以及數(shù)據(jù)質(zhì)量的高度，決定著人工智能智力的高度。

　　的確，大模型所謂的“大”，核心體現(xiàn)就在數(shù)據(jù)方面。

　　當下企業(yè)開發(fā)及實施大模型面對的幾大挑戰(zhàn)也都與數(shù)據(jù)有關(guān)：

　　數(shù)據(jù)準備時間長

　　訓練集加載效率低

　　訓練易中斷

　　企業(yè)實施門檻高

　　首先在數(shù)據(jù)準備階段，往往需要從跨地域的多個數(shù)據(jù)源拷貝PB級原始數(shù)據(jù)。原始數(shù)據(jù)經(jīng)常是多種格式、協(xié)議，導致這一流程一般十分復雜。

　　接著，爬取好的數(shù)據(jù)在訓練前需要進行清洗、去重、過濾、加工。

　　相較于傳統(tǒng)單模態(tài)小模型，多模態(tài)大模型所需的訓練數(shù)據(jù)量是其1000倍以上。一個百TB級大模型數(shù)據(jù)集，預處理時間將超過10天。

　　其次在訓練階段，大模型訓練參數(shù)、訓練數(shù)據(jù)集呈指數(shù)級增加，其中包含海量小文件。而當前小文件加載速度不足100MB/s，效率不高。

　　另外大模型頻繁的參數(shù)調(diào)優(yōu)、網(wǎng)絡不穩(wěn)定、服務器故障等多種因素，導致訓練過程平均約2天就會出現(xiàn)一次中斷，需要Checkpoints機制來確保訓練退回到某一點，而不是初始點。

　　但這種恢復往往也需要1天以上時間，直接導致大模型訓練周期拉長。而面對單次10TB的數(shù)據(jù)量和未來小時級的頻度要求，減少Checkpoints恢復時間也是一個需要解決的問題。

　　最后一方面挑戰(zhàn)來自大模型應用。

　　在應用門檻上，系統(tǒng)搭建難、資源調(diào)度等對于很多企業(yè)來說還是太難了，企業(yè)傳統(tǒng)的IT系統(tǒng)GPU資源利用率通常不到40%。

　　更何況目前趨勢還要求企業(yè)盡可能快速更新大模型知識數(shù)據(jù)，快速完成推理。

　　那么該如何解決這些問題？

　　華為已經(jīng)給出了一種答案，從存儲入手。

　　華為數(shù)據(jù)存儲產(chǎn)品線總裁周躍峰博士表示，數(shù)據(jù)中心三大件“計算、存儲和網(wǎng)絡”，密不可分、可以互補。

　　華為分布式存儲領域副總裁韓振興更是給出了明確觀點：加強存力建設可以加速AI訓練。

　　得出這樣的結(jié)論，華為表示主要看到了技術(shù)、行業(yè)等多方面趨勢。

　　首先在技術(shù)方面，大模型時代下，馮·諾依曼架構(gòu)難以滿足當下需求。

　　它要求數(shù)據(jù)在計算、訓練或推理過程中發(fā)生非常多搬移動作。在數(shù)據(jù)量非常龐大的情況下，這樣操作不合適。

　　周躍峰博士表示，比爾·蓋茨在很久以前說給一臺電腦128k的內(nèi)存，它能做所有事。

　　但是當下情況顯然不是如此，數(shù)據(jù)量還在不斷增加，存儲與計算的增配需求差異隨之擴大，這時存儲資源和計算資源就需要拆分成獨立模塊建設，以實現(xiàn)靈活擴展并提高資源利用率，因此計算架構(gòu)需要發(fā)生改變。

　　這也就是近年比較火熱的“存算分離”概念，在存和算之間做出更好的劃分，這樣才能實現(xiàn)更高效的計算、匹配海量數(shù)據(jù)下的大架構(gòu)創(chuàng)新。

　　大模型時代下數(shù)據(jù)量*增加，如果構(gòu)建充足的存力讓數(shù)據(jù)能快速在各個環(huán)節(jié)流轉(zhuǎn)，可以充分利用算力、提高訓練效率。比如華為在AI存儲新品中強調(diào)的近存計算，正是這樣來互補算力。

　　再來看行業(yè)方面。

　　海量數(shù)據(jù)預處理是當下面臨的一大挑戰(zhàn)。

　　周躍峰觀察到，有人提出用訓練的GPU資源去處理這部分任務，“但這樣會給GPU提出更高要求，更何況目前還面臨供應問題。”

　　目前國內(nèi)的存算基礎設施建設中，算力中心建設相對完善，但在存力建設方面仍然短缺。這就導致在數(shù)據(jù)預處理等階段中，為了等待數(shù)據(jù)處理，算力閑置的情況，造成資源浪費。

　　所以當下需要去重視存力，以在行業(yè)內(nèi)形成一個*的存算比。

　　此外，華為還觀察到對于一些中小企業(yè)、科研院所、大學對訓練AI大模型有著很大的需求，他們對存力設施搭建，還提出了更加簡易、靈活的要求。

　　由此也就不難理解，為什么華為在大模型趨勢下會錨定存儲方向發(fā)力，而且率先推出OceanStor A310和FusionCube A3000。

　　而且對于AI大模型的存力需求，華為看到的時間也更加早。

　　據(jù)透露，兩款產(chǎn)品的籌備研發(fā)都是在2、3年前就已經(jīng)啟動的，當時千億級參數(shù)大模型才剛剛問世不久。

　　并且除了推出自家新存儲產(chǎn)品外，華為格外強調(diào)了生態(tài)建設。

　　正所謂：獨行快，眾行遠。

　　華為表示，在提供AI存儲的過程中，堅持硬件及軟件生態(tài)的開放。

　　硬件方面，華為未來會全面支持業(yè)界主流CPU/GPU廠商設備，做好性能適配與調(diào)優(yōu)，并提供不同形態(tài)硬件的統(tǒng)一管理能力，兼容用戶現(xiàn)有硬件生態(tài)。

　　軟件方面，廣泛與業(yè)界優(yōu)秀軟件伙伴合作，提前完成方案適配調(diào)優(yōu);模型層支持業(yè)界主流的通用大模型軟件，同時支持面向具體應用場景的垂直行業(yè)模型入駐;平臺服務層支持主流AI開放平臺軟件和AI服務鏈軟件，包括昇思MindSpore、PyTorch等;IAAS層開放支持第三方容器軟件和開源K8S。

　　一言以蔽之，當下的最新動作，是華為存儲在大模型時代下掀開的*頁。

　　所以，如今已經(jīng)站在起跑線上的華為，究竟如何看待大模型時代下的存儲?

　　中國不重視存力，AI會被制約

　　大模型趨勢演進到當下，“百模大戰(zhàn)”、算力焦慮先后成為業(yè)內(nèi)的熱議話題。

　　還有一大基石，則是數(shù)據(jù)，如今也已被逐漸推至臺前。

　　周躍峰博士分享到，對于ChatGPT來說，英文數(shù)據(jù)訓練的效率要比中文高。

　　原因不在于中文不適合科學語言表達，而是數(shù)字化時代下，被記錄下來的中文資料遠遠少于英文資料。

　　所以周躍峰提出：如果中國不重視存力，將會對未來我們挖掘人工智能潛力、發(fā)展人工智能產(chǎn)業(yè)，造成巨大制約。

　　如果更進一步解釋的話，他認為機器和人一樣，它需要有腦力，即算力;還要知道方法論，即算法。

　　回顧人類從猿猴發(fā)展到智慧人類的過程中，文字的產(chǎn)生讓人類文明飛速發(fā)展。

　　如果對應來看，機器的數(shù)據(jù)可以堪比人類發(fā)展史中的文字。

　　因為有了文字后，信息得以被記錄、交流和傳承，人類開始可以自我學習和進化。機器也是一樣的，如果世界沒有被數(shù)據(jù)記錄下來、讓機器去讀，它也只是一個冰冷的機器而已。

　　總之，大模型趨勢下，關(guān)于數(shù)據(jù)、計算、存儲都正在經(jīng)歷一輪新變革。

　　高性能計算的“木桶效應”，使得用上了先進的芯片，并不代表具備先進算力，計算、存儲、網(wǎng)絡三個環(huán)節(jié)缺一不可。

　　由此也就不難理解，華為為什么要在進軍大模型領域后，率先在存儲領域布局。

　　只有從基礎入手，才能走得更穩(wěn)，走得更遠。