浪潮信息：一群工程師怎么去“煉丹”

　　誕生30多年的服務(wù)器產(chǎn)業(yè)被認(rèn)為已相當(dāng)成熟，但伴隨人工智能疾風(fēng)驟雨般的發(fā)展，作為算力的重要承載者，服務(wù)器產(chǎn)業(yè)的創(chuàng)新并不乏力，也不只局限在半導(dǎo)體上，業(yè)界目前還有非常多的問題要沉淀下來研究，尤其是針對(duì)基礎(chǔ)技術(shù)的量化分析。

　　文|趙艷秋

　　編|石兆

　　在不少人看來，已經(jīng)誕生30多年的服務(wù)器產(chǎn)業(yè)已相當(dāng)成熟，幾乎就是CPU、內(nèi)存和硬盤三大件的“組裝”，行業(yè)的創(chuàng)新焦點(diǎn)也集中在解決CPU處理器、GPU、FPGA、ASIC加速器的半導(dǎo)體問題上。不過，業(yè)內(nèi)人士并不認(rèn)可這樣的說法。

　　服務(wù)器產(chǎn)業(yè)并不是創(chuàng)新乏力了，創(chuàng)新也不只局限在半導(dǎo)體上。“進(jìn)入智算時(shí)代，服務(wù)器在基礎(chǔ)架構(gòu)等方面還有非常多的問題需要沉淀下來研究，找到解決之道。”浪潮信息技術(shù)研發(fā)部副總經(jīng)理吳安告訴數(shù)智前線，“尤其是針對(duì)基礎(chǔ)技術(shù)的量化分析上，有大量工作要做。”

　　最近，伴隨業(yè)界全新一代、對(duì)多元算力支持最廣泛的算力平臺(tái)G7的推出，一些服務(wù)器行業(yè)最新的創(chuàng)新動(dòng)向浮出水面。

　　01

　　一個(gè)黑盒子和它的數(shù)學(xué)模型

　　實(shí)際上，最近幾年，伴隨人工智能疾風(fēng)驟雨般的發(fā)展，服務(wù)器行業(yè)作為算力的重要承載者，一直在疾行中。全球最先進(jìn)、最高速率、最大算力的服務(wù)器平臺(tái)，在以最快速度投入到人工智能研發(fā)應(yīng)用上。去年11月底，ChatGPT推出后，更是引爆全網(wǎng)，業(yè)界認(rèn)為這是一個(gè)百年不遇、類似工業(yè)革命的產(chǎn)業(yè)革命。不僅大公司，大量行業(yè)公司和中小企業(yè)也投身通用大模型或?qū)�屬大模型，這更是加重了對(duì)算力創(chuàng)新的要求。

　　“早年我們覺得一個(gè)計(jì)算集群有幾百張GPU卡已經(jīng)不錯(cuò)了，但現(xiàn)在我們看到一個(gè)集群有數(shù)萬張GPU卡，這是不可想象的。GPU卡之間的網(wǎng)絡(luò)連接帶寬也在往400G、800G上跑，整個(gè)網(wǎng)絡(luò)的構(gòu)建極為復(fù)雜。”吳安說。人工智能，尤其大模型需要先進(jìn)算力的支撐。數(shù)智前線觀察，業(yè)界如百度、阿里、網(wǎng)易等，在對(duì)外公布大模型時(shí)，都會(huì)重點(diǎn)談及計(jì)算集群的創(chuàng)新和保障，足見其困難度和關(guān)鍵性。

　　由于這些GPU卡算力龐大，功耗已達(dá)到600瓦以上，再往后一張卡的功率可能要到1000瓦以上，這意味著現(xiàn)在一臺(tái)10千瓦的GPU機(jī)器，將來甚至可能達(dá)到20千瓦的功率，由此引發(fā)的問題和挑戰(zhàn)也是前所未見的。

　　其實(shí)在ChatGPT問世前的幾年，高密度、高功耗的算力，已給產(chǎn)業(yè)帶來挑戰(zhàn)。比如，面對(duì)高功耗，一種散熱方案是提升服務(wù)器的風(fēng)扇轉(zhuǎn)速。但在2019年前后，業(yè)界幾乎同時(shí)遇到一個(gè)問題，就是風(fēng)扇一旦轉(zhuǎn)起來，服務(wù)器硬盤性能就可能下降 ，甚至?xí)�掉線，影響了存儲(chǔ)密度的提升。一系列實(shí)驗(yàn)后，大家最終鎖定，由于風(fēng)扇轉(zhuǎn)速已超過了頂級(jí)跑車的發(fā)動(dòng)機(jī)轉(zhuǎn)速，達(dá)到每分鐘2~3萬轉(zhuǎn)，風(fēng)扇聲音的能量大到已經(jīng)影響硬盤了。

　　實(shí)際上，汽車在行駛中也有噪音和振動(dòng)干擾問題，被稱為NVH(noise vibration harshness)。整車約有1/3的故障與車輛的NVH有關(guān)，但其背后原因很難定位，汽車工程師經(jīng)常把NVH稱為玄學(xué) 。

　　在服務(wù)器行業(yè)，國際開源計(jì)算社區(qū)OCP組織成員FaceBook(現(xiàn)為Meta公司)、微軟、戴爾、浪潮信息、希捷、西部數(shù)據(jù)，還有類似BOYD的散熱風(fēng)扇等供應(yīng)商，共同發(fā)起了Storage Vibration(存儲(chǔ)設(shè)備振動(dòng))項(xiàng)目，期望制定行業(yè)通用的標(biāo)準(zhǔn)并設(shè)計(jì)檢測工具，以期在硬盤容量、功耗、風(fēng)扇三方博弈中找到新的平衡點(diǎn)。

　　2021年，浪潮信息在OCP大會(huì)上，首次分享了在這一領(lǐng)域的突破性工作——分發(fā)浪潮信息硬盤敏感度專家模型，找到了聲壓影響硬盤讀寫性能的內(nèi)在機(jī)理，提出了數(shù)學(xué)模型。此前，因?yàn)檫@是一個(gè)極為復(fù)雜的系統(tǒng)性問題，業(yè)界無人用理論和計(jì)算揭示其中隱藏的原理和關(guān)系�，F(xiàn)在，黑盒子被打開了。

　　“這個(gè)工作前后歷經(jīng)長達(dá)四五年時(shí)間，開展了大量分析驗(yàn)證，也有一些靈感的涌現(xiàn)。”浪潮信息結(jié)構(gòu)專家王羽茜告訴數(shù)智前線，比如在構(gòu)建模型過程中，如何去做量綱變化，就是團(tuán)隊(duì)“靈光一現(xiàn)想到了一個(gè)數(shù)學(xué)公式”。

　　今年5月，在浪潮信息推出的全新一代服務(wù)器平臺(tái)G7中，為解決NVH難題而開發(fā)的專家系統(tǒng)，就是這一平臺(tái)中諸多創(chuàng)新中的一個(gè)。據(jù)悉，G7平臺(tái)支持x86、ARM等8種通用處理器和51種加速芯片，是目前業(yè)界算力支持最廣泛的平臺(tái)。

　　“如何去做量化分析，開發(fā)整套專家系統(tǒng)，就是我們未來的工作。”王羽茜說，“這樣我們就可以去利用它，對(duì)算力平臺(tái)進(jìn)行極致化設(shè)計(jì)。”

　　02

　　一群結(jié)構(gòu)工程師四五年的跨界探索

　　這樣的量化分析，已經(jīng)與人工智能密不可分。

　　實(shí)際上，在浪潮信息內(nèi)部，王恩東院士及管理層也在加強(qiáng)包括研發(fā)、制造、服務(wù)等業(yè)務(wù)在內(nèi)的智能化。智能化已成為改進(jìn)企業(yè)生產(chǎn)力和解決問題的重要路徑。

　　比如，解決服務(wù)器的NVH問題，是一件極為復(fù)雜的事。對(duì)于普通人來說，并不知道當(dāng)下服務(wù)器已發(fā)展到怎樣精密的程度——像硬盤磁頭的微小結(jié)構(gòu)，甚至要在顯微鏡下放大1000倍才能看到。一個(gè)聲音進(jìn)去后，可能引發(fā)一個(gè)極微小部件的共振，產(chǎn)生納米級(jí)偏移，都會(huì)導(dǎo)致硬盤不能準(zhǔn)確讀寫。而且，服務(wù)器內(nèi)部是一個(gè)多物理場，涉及結(jié)構(gòu)場、聲場、磁場等。多物理場耦合，加劇了問題的復(fù)雜度。

　　“我們?cè)诤暧^上看到的硬盤性能損失，在微觀上可以說是絲絲相扣的。”王羽茜說，這真是牽一發(fā)而動(dòng)全身。在這種情況下，需要用數(shù)據(jù)構(gòu)建數(shù)學(xué)模型，提煉出共性的東西，才能找到問題的解決之道。

　　為此，工程師們先是測量市場上不同硬盤、在不同噪聲下的性能損失，構(gòu)建數(shù)學(xué)模型。同時(shí)，配合專門設(shè)計(jì)的“硬盤假體”，采集服務(wù)器主流機(jī)箱內(nèi)的噪音和振動(dòng)敏感度數(shù)據(jù)。這些采集到的機(jī)箱頻譜，再與硬盤敏感度模型匹配，計(jì)算出硬盤內(nèi)部的共振頻率以及由此產(chǎn)生的損失率。

　　“通過數(shù)據(jù)積累和不停的訓(xùn)練迭代，模型的精度從最早40%，逐步提升到80%、90%。”吳安稱，“這樣，不需要等機(jī)箱開發(fā)出來，就能通過這套專家系統(tǒng)預(yù)估，主流供應(yīng)鏈上的硬盤與機(jī)箱的適配度是不是ok，從而可對(duì)服務(wù)器系統(tǒng)展開多維度、多層次的優(yōu)化設(shè)計(jì)。”

　　‍

　　在這個(gè)項(xiàng)目中，參與研發(fā)的是一群富有經(jīng)驗(yàn)的結(jié)構(gòu)工程師，但他們面對(duì)的是一個(gè)跨越流體動(dòng)力學(xué)、聲學(xué)、結(jié)構(gòu)振動(dòng)學(xué)等多個(gè)學(xué)科的前沿項(xiàng)目，不僅要尋找底層機(jī)理，還要搭建測量數(shù)據(jù)的軟硬件系統(tǒng)，最終要構(gòu)建人工智能模型，訓(xùn)練迭代完成“煉丹”。

　　在這個(gè)過程中，工程師從最傳統(tǒng)的研究振動(dòng)的“正弦波”入手，經(jīng)歷各種實(shí)驗(yàn)，最終拋棄傳統(tǒng)思路，找到最適合的噪聲帶寬。而在構(gòu)建數(shù)學(xué)模型過程中，王羽茜回憶，他們從最初“一個(gè)喇叭，一個(gè)麥克風(fēng)，一部電腦”的簡陋實(shí)驗(yàn)設(shè)備起步，逐步與業(yè)界專業(yè)公司合作，搭建了高精度聲音控制系統(tǒng)，最終才找到聲音與硬盤性能之間的精確的數(shù)學(xué)規(guī)律。

　　在G7平臺(tái)上另一個(gè)服務(wù)器“聽音診斷”的創(chuàng)新中，基于浪潮信息積累的200個(gè)小時(shí)的服務(wù)器聲學(xué)數(shù)據(jù)庫，以及以往多年的服務(wù)器故障信息數(shù)據(jù)，工程師搭建出風(fēng)扇故障預(yù)測模型。服務(wù)器可通過內(nèi)部麥克風(fēng)陣列、音頻處理芯片，采集系統(tǒng)的多維噪音，然后基于主板上BMC芯片中的風(fēng)扇故障智能診斷模型進(jìn)行分析診斷，僅需10秒鐘“聽音”，就可預(yù)警風(fēng)扇故障狀態(tài)，精準(zhǔn)度達(dá)95%。

　　在智能化方向上，浪潮信息于2021年發(fā)布了大語言模型源1.0，目前還在不斷研發(fā)升級(jí)中。這是一個(gè)開源的大語言模型，除了為中小客戶提供大模型平臺(tái)外，在浪潮信息內(nèi)部也在落地應(yīng)用。

　　吳安告訴數(shù)智前線，比如在服務(wù)方面，浪潮信息基于“源”大模型打造了專家級(jí)數(shù)據(jù)中心智能客服“源曉服”。目前，“源曉服”覆蓋浪潮信息8大產(chǎn)品線的服務(wù)問題，問題覆蓋率達(dá)到92%。其中，針對(duì)數(shù)據(jù)中心常見的技術(shù)問題，如系統(tǒng)安裝、Raid配置、部件異常等問題，“源曉服”的解決率高達(dá)80%，可將復(fù)雜技術(shù)咨詢問題的業(yè)務(wù)處理時(shí)長降低65%，提升浪潮信息整體服務(wù)效率達(dá)160%。

　　03

　　研發(fā)體系的變革

　　在服務(wù)器行業(yè)研發(fā)向更深層次的發(fā)展中，浪潮信息的研發(fā)體系也發(fā)生了較大變革。

　　之前很多年是圍繞項(xiàng)目，實(shí)行煙囪式管理，“來一個(gè)項(xiàng)目，開發(fā)一個(gè)項(xiàng)目”，現(xiàn)在則是平臺(tái)化開發(fā)模式，平臺(tái)解決共性技術(shù)，不僅高效，也保障了質(zhì)量。針對(duì)重要的固件、散熱、結(jié)構(gòu)、互聯(lián)等共性問題，公司成立了約十個(gè)能力中心，向下又細(xì)分為幾十甚至上百個(gè)技術(shù)方向。

　　值得注意的是，浪潮信息從工程師團(tuán)隊(duì)專門剝離成立了架構(gòu)師團(tuán)隊(duì)，主要作用是進(jìn)行頂層規(guī)劃。吳安介紹，最近幾年，無論大型的機(jī)架式服務(wù)器，AI服務(wù)器，還是邊緣服務(wù)器，都在強(qiáng)調(diào)多元算力融合。為了實(shí)現(xiàn)這樣的平臺(tái)系統(tǒng)，需要從邏輯設(shè)計(jì)、體系架構(gòu)層面，研究如何充分解耦，“這是一個(gè)很難的問題”，其中最重要的是有好的頂層設(shè)計(jì)。

　　“這樣的研發(fā)體系，包括系統(tǒng)架構(gòu)的理念，支撐我們?cè)谟邢拶Y源、有限時(shí)間中，實(shí)現(xiàn)業(yè)界最豐富的多元融合算力平臺(tái)。”吳安稱。本質(zhì)上，多元算力融合是一個(gè)平臺(tái)來容納多元算力。“如果沒有一個(gè)很好的平臺(tái)性開發(fā)，是無法實(shí)現(xiàn)的。”

　　而在這兩年中，浪潮信息管理團(tuán)隊(duì)又發(fā)現(xiàn)，如果把一些預(yù)研技術(shù)或前瞻技術(shù)都放在產(chǎn)品開發(fā)團(tuán)隊(duì)中，就不能保障投入資源的持續(xù)性和穩(wěn)定性。“一旦有大訂單，產(chǎn)品開發(fā)的優(yōu)先級(jí)一定是高的。”

　　為了避免顧此失彼，浪潮信息又成立了技術(shù)研發(fā)部和一個(gè)體系結(jié)構(gòu)部，分別負(fù)責(zé)預(yù)研和前沿技術(shù)研發(fā)。“這就變成了一個(gè)異步開發(fā)技術(shù)體系，既保證了對(duì)前瞻技術(shù)的洞察和識(shí)別，領(lǐng)跑每一個(gè)技術(shù)方向，又不會(huì)影響產(chǎn)品的開發(fā)效率。”

　　而上述針對(duì)NVH問題的研發(fā)和服務(wù)器風(fēng)扇智能聽音診斷模型，就出自技術(shù)研發(fā)部的團(tuán)隊(duì)。這些前沿技術(shù)完成研發(fā)，以合理的性價(jià)比投入到G7平臺(tái)中，為客戶提供差異化功能。

　　在研發(fā)上，對(duì)開放組織的戰(zhàn)略投入也被視為關(guān)鍵一環(huán)。浪潮信息從投入國內(nèi)的開放組織ODCC，到擔(dān)任OCP(開放計(jì)算項(xiàng)目)中國區(qū)主席，再到成為最新OCTC(開發(fā)計(jì)算標(biāo)準(zhǔn)工作委員會(huì))的主要?jiǎng)?chuàng)始成員之一，一直采取了開放的技術(shù)策略。

　　“基于開放組織，可以獲取非常多的合作資源和機(jī)會(huì)，還可以同業(yè)界一起思考和提出未來產(chǎn)業(yè)方向，聯(lián)合孵化項(xiàng)目。”吳安說，“尤其是現(xiàn)在研發(fā)越來越向深度和精細(xì)化方向發(fā)展，這樣的開放合作極為關(guān)鍵。”

　　比如，在NVH的研發(fā)過程中，OCP開放組織在其中扮演了重要角色。“OCP匯聚了全球相關(guān)公司，整個(gè)供應(yīng)鏈上的專家，我們與他們交換了很多想法，也讓我們看到這個(gè)事情的價(jià)值，驅(qū)動(dòng)我們繼續(xù)往下走。”王羽茜說。同時(shí)，OCP也通過集思廣益，統(tǒng)一了硬盤假體——那個(gè)能采集噪音和振動(dòng)的設(shè)備，為NVH問題的解決鋪路。

　　在浪潮信息實(shí)驗(yàn)室平臺(tái)建設(shè)上，也融入了開放合作的思路。它融合了產(chǎn)學(xué)研多個(gè)領(lǐng)域的專家，聚集了不少產(chǎn)學(xué)研結(jié)合的資源和方向，像與頂尖高校和研究機(jī)構(gòu)展開合作，尤其在服務(wù)器領(lǐng)域，這些合作幾乎是獨(dú)一無二的，浪潮信息團(tuán)隊(duì)也因此在“煉丹”過程中獲得了更寬視野。