HPC走出全新路線：《開(kāi)放架構(gòu)HPC技術(shù)與生態(tài)白皮書》注解

　　數(shù)字經(jīng)濟(jì)大時(shí)代，創(chuàng)新驅(qū)動(dòng)大環(huán)境，HPC已不再是陽(yáng)春白雪，而受到越來(lái)越多人的關(guān)注。

　　HPC，即High Performance Computing，高性能計(jì)算。對(duì)普通人來(lái)說(shuō)，沒(méi)有聽(tīng)過(guò)HPC，但肯定都聽(tīng)過(guò)超級(jí)計(jì)算機(jī)，它就是HPC的主要實(shí)現(xiàn)方式之一。

　　對(duì)越來(lái)越需要高復(fù)雜度計(jì)算的學(xué)界與產(chǎn)業(yè)界來(lái)說(shuō)，HPC的重要性不言而喻。

　　最近，2022 CCF全國(guó)高性能計(jì)算學(xué)術(shù)年會(huì)(CCF HPC China 2022)在線上舉辦，吸引了國(guó)內(nèi)外學(xué)界、產(chǎn)業(yè)界眾多專家、從業(yè)者參會(huì)。

　　CCF HPC China是HPC領(lǐng)域全球最有影響力的三大超算盛會(huì)，另外兩家分別是德國(guó)的ISC超算盛會(huì)、美國(guó)的SC超算盛會(huì)。

　　最前沿的學(xué)術(shù)成果匯聚與交流，為HPC的發(fā)展再添了一把火。

　　這次會(huì)上，《開(kāi)放架構(gòu) HPC 技術(shù)與生態(tài)白皮書》(以下簡(jiǎn)稱“白皮書”)發(fā)布，有關(guān)全球HPC最新發(fā)展?fàn)顩r與發(fā)展動(dòng)向被闡明。

　　值得注意的是，ARM指令集兼容架構(gòu)登上HPC舞臺(tái)，展示出“皇冠上的明珠”般璀璨的光芒。

　　ARM指令集兼容的HPC進(jìn)入全球大發(fā)展時(shí)代

　　從時(shí)間上看，HPC并不是新的字眼，畢竟超級(jí)計(jì)算機(jī)的發(fā)展已經(jīng)有數(shù)十年了。但HPC始終保持著旺盛的活力。

　　如今的HPC，在算力上已經(jīng)進(jìn)入了E級(jí)時(shí)代。

　　這個(gè)時(shí)代與過(guò)去有著顯著的不同：

　　ARM 指令集兼容的架構(gòu)成為HPC的主要路線之一，用于支撐起E級(jí)算力的要求。

　　HPC的計(jì)算芯片也從過(guò)去十幾年基于一種或幾種完全封閉的指令集，走向由不同廠家生產(chǎn)、但指令集能夠兼容的產(chǎn)品所構(gòu)成。

　　“ARM”成為一種共同遵循的標(biāo)準(zhǔn)，而不具體指代某個(gè)下場(chǎng)參與HPC的產(chǎn)品。

　　HPC的參與者變得更加自主，HPC的實(shí)現(xiàn)方式也能夠創(chuàng)新頻出。

　　于是，指令集兼容、差異化實(shí)現(xiàn)、可自由演進(jìn)，這種架構(gòu)也就是白皮書提到的“開(kāi)放架構(gòu)”，能夠百花齊放，不斷適應(yīng)市場(chǎng)需要。

　　如同生物界的進(jìn)化，HPC這種走向“開(kāi)放架構(gòu)”的進(jìn)化，也是“自然選擇”的結(jié)果。白皮書提到，廠家、生態(tài)及產(chǎn)業(yè)鏈伙伴持續(xù)多年的戰(zhàn)略定位、技術(shù)與投資，造就了ARM指令集兼容HPC的繁榮。

　　這背后的動(dòng)因，是ARM 指令集在HPC方面相對(duì)傳統(tǒng)架構(gòu)有明顯的優(yōu)勢(shì)。

　　芯片性能不斷提高且更多核心支持的特點(diǎn)更適合HPC大規(guī)模并行的發(fā)展趨勢(shì)，同樣的體積能部署更多的算力，魚和熊掌兼得;

　　完善的指令集在HPC的特殊工作負(fù)載上有優(yōu)勢(shì)，且加強(qiáng)了對(duì)矢量、矩陣計(jì)算等工作的支持;

　　訪存性能更強(qiáng)，計(jì)算足夠優(yōu)秀還不忘與其他配套設(shè)施打好配合;

　　……

　　當(dāng)然，專門的安全模塊所帶來(lái)的安全性同樣十分重要。

　　全球主要算力高地，都在將ARM 指令集兼容架構(gòu)融入到國(guó)家高性能計(jì)算建設(shè)戰(zhàn)略當(dāng)中：

　　無(wú)論中國(guó)的高性能專項(xiàng)，還是日本 FLAGSHIP 2020 計(jì)劃，以及歐洲的EuroHPC計(jì)劃，都做了基于ARM指令集的超算系統(tǒng)。美國(guó)的Venado等超級(jí)計(jì)算機(jī)也宣告ARM指令集兼容成為美國(guó)超算建設(shè)的一個(gè)方向之一。

　　ARM指令集兼容的HPC，正在高歌猛進(jìn)。

　　從技術(shù)、生態(tài)到產(chǎn)業(yè)落地，中國(guó)HPC再現(xiàn)全產(chǎn)業(yè)鏈優(yōu)勢(shì)

　　短短十年間，憑借全產(chǎn)業(yè)鏈優(yōu)勢(shì)，中國(guó)在很多前沿技術(shù)上由跟隨者變成了探索者。

　　在ARM指令集兼容的HPC這里，這一優(yōu)勢(shì)再度彰顯。

　　從白皮書來(lái)看，無(wú)論是技術(shù)創(chuàng)新、生態(tài)共建還是產(chǎn)業(yè)落地，中國(guó)在HPC的新發(fā)展方向上都表現(xiàn)出全面進(jìn)發(fā)的態(tài)勢(shì)。

　　有底層的技術(shù)發(fā)展驅(qū)動(dòng)力，有生態(tài)平臺(tái)推動(dòng)枝繁葉茂，有產(chǎn)業(yè)落地讓價(jià)值坐實(shí)最終反饋到技術(shù)與生態(tài)，全鏈條形成了一個(gè)不斷自增強(qiáng)的發(fā)展循環(huán)。

　　首先，在技術(shù)上，ARM 指令集兼容HPC所需要的多層次內(nèi)容已經(jīng)趨近完善，一個(gè)從行業(yè)宏觀視角看的“全棧”技術(shù)體系在走向成熟。

　　硬件方面，國(guó)內(nèi)基于 ARM 指令集兼容架構(gòu)的服務(wù)器芯片廠商出現(xiàn)了包括華為的鯤鵬、飛騰、阿里平頭哥等在內(nèi)的典型廠商。

　　系統(tǒng)層，國(guó)內(nèi)擁有openEuler開(kāi)源操作系統(tǒng)、銀河麒麟等操作系統(tǒng)，對(duì)鯤鵬、飛騰芯片已經(jīng)實(shí)現(xiàn)了很好的適配，并在行業(yè)得到了廣泛應(yīng)用。

　　編譯層，華為的畢昇編譯器面向鯤鵬處理器進(jìn)行了深度優(yōu)化，實(shí)現(xiàn)了較高的性能，此外，國(guó)防科大編譯團(tuán)隊(duì)的“天鷹編譯系統(tǒng)”則專門面向飛騰處理器進(jìn)行了優(yōu)化。它們?cè)谀芰ι弦呀?jīng)能夠?qū)��?biāo)在國(guó)內(nèi)外服務(wù)器領(lǐng)域應(yīng)用廣泛的亞馬遜編譯器、Ampere 編譯器等。

　　平臺(tái)層，國(guó)內(nèi)目前代表產(chǎn)品有鯤鵬應(yīng)用使能套件 Kunpeng BoostKit 和鯤鵬開(kāi)發(fā)套件 Kunpeng DevKit，前者主要幫助開(kāi)發(fā)者實(shí)現(xiàn)應(yīng)用的極致性能，讓各種場(chǎng)景的開(kāi)發(fā)者都能獲得特定的、與硬件性能匹配的增益;后者主要幫助開(kāi)發(fā)者實(shí)現(xiàn)極簡(jiǎn)開(kāi)發(fā)，開(kāi)發(fā)出鯤鵬親和的高性能軟件，加速原生開(kāi)發(fā)效率。

　　在最后的應(yīng)用層，面向電磁仿真、材料計(jì)算、分子動(dòng)力學(xué)、生物信息、計(jì)算物理、氣候氣象、金融分析等不同領(lǐng)域，不同的行業(yè)應(yīng)用不斷產(chǎn)生。

　　例如，在氣候海洋領(lǐng)域，典型開(kāi)源軟件WRF已經(jīng)在基于飛騰處理器的天河系統(tǒng)、基于鯤鵬處理器的HPC系統(tǒng)上運(yùn)行，有效幫助氣候預(yù)測(cè)、規(guī)避氣象災(zāi)害。

　　在醫(yī)學(xué)影像領(lǐng)域，鯤鵬平臺(tái)已適配常用圖像處理軟件，隨著醫(yī)學(xué)影像庫(kù)的數(shù)據(jù)規(guī)模達(dá)到 TB 級(jí)，HPC將發(fā)揮重要價(jià)值。

　　其次，在生態(tài)上，越來(lái)越多的產(chǎn)業(yè)伙伴在加入屬于中國(guó)的ARM指令集兼容HPC陣營(yíng)當(dāng)中，這反過(guò)來(lái)又推動(dòng)HPC的新趨勢(shì)在中國(guó)加速落地。

　　目前華為、飛騰兩家廠商的產(chǎn)品已經(jīng)收獲了越來(lái)越多的合作伙伴，為開(kāi)放架構(gòu)HPC的廣泛應(yīng)用做好了準(zhǔn)備。

　　其中，基于鯤鵬芯片的TaiShan系列服務(wù)器就推出有專門面向HPC的高性能型，全球已經(jīng)有 10 家整機(jī)廠商基于鯤鵬芯片推出自由品牌服務(wù)器，應(yīng)用在制造、交通、交通、金融等不同領(lǐng)域。

　　飛騰用于商業(yè) HPC 的服務(wù)器芯片達(dá)到了3款，背靠著企業(yè)本身超4500+生態(tài)伙伴與300余家集成商，在ARM 指令集兼容HPC領(lǐng)域同樣大有可為。

　　隨著華為將openEuler歐拉貢獻(xiàn)出去，更多的生態(tài)伙伴還在共同推動(dòng)HPC基礎(chǔ)軟件的完善。

　　目前為止，面向企業(yè)級(jí)的開(kāi)源操作系統(tǒng)歐拉已經(jīng)構(gòu)建起擁有全球開(kāi)發(fā)者積極參與的操作系統(tǒng)開(kāi)源社區(qū)，代碼倉(cāng)庫(kù)逼近1萬(wàn)，貢獻(xiàn)者超1.2萬(wàn)，社區(qū)用戶已突破100萬(wàn)。在這樣的基礎(chǔ)之上，歐拉累計(jì)裝機(jī)量達(dá)到245萬(wàn)套，在服務(wù)器操作系統(tǒng)的新增市場(chǎng)份額不斷提升，為HPC的發(fā)展提供了更優(yōu)的操作系統(tǒng)選擇。

　　另外，麒麟軟件等數(shù)十家基礎(chǔ)軟硬件企業(yè)、非營(yíng)利性組織、社團(tuán)組織、高等院校、科研機(jī)構(gòu)和個(gè)人開(kāi)發(fā)者共同創(chuàng)立了開(kāi)源社區(qū) OpenKyling，這個(gè)社區(qū)也正在推動(dòng)其 ARM指令集兼容架構(gòu)上的開(kāi)放操作系統(tǒng)發(fā)布。

　　最后，是廣泛的市場(chǎng)讓ARM指令集兼容HPC能夠快速證明自己、產(chǎn)生價(jià)值，從而反哺技術(shù)與生態(tài)，更好地前行。

　　白皮書顯示，在中國(guó)，ARM 指令集兼容架構(gòu)已在多種類型的頭部客戶獲得深入成熟使用。

　　在高校，典型如上海交通大學(xué)上線了國(guó)內(nèi)高校首個(gè)基于鯤鵬的校級(jí)HPC系統(tǒng)，采用雙路鯤鵬處理器作為節(jié)點(diǎn)，為用戶提供18 款常用的高性能計(jì)算軟件，覆蓋材料科學(xué)、生命科學(xué)、大氣科學(xué)和流體力學(xué) 4 大HPC應(yīng)用領(lǐng)域，2021年4月開(kāi)放至今服務(wù)了74 個(gè)課題組，計(jì)算作業(yè)數(shù)量超 100 萬(wàn)個(gè)。

　　在超算中心方面，國(guó)家超級(jí)計(jì)算濟(jì)南中心、天津中心、長(zhǎng)沙中心及武漢超算中心等都建設(shè)有基于鯤鵬處理的系統(tǒng)。

　　在制造業(yè)，某制造企業(yè)借助華為鯤鵬高性能解決方案擴(kuò)容 HPC 仿真系統(tǒng)，滿足了業(yè)務(wù)高速擴(kuò)展下的研發(fā)效率提升需求，縮短產(chǎn)品開(kāi)發(fā)周期、提升產(chǎn)品質(zhì)量、降低設(shè)計(jì)成本。在運(yùn)營(yíng)商賽道，浙江移動(dòng)的大數(shù)據(jù)平臺(tái)充分發(fā)揮ARM 指令集兼容架構(gòu)的鯤鵬優(yōu)勢(shì)，打破了數(shù)據(jù)分析耗時(shí)瓶頸，提升了整體性能。

　　此外，在金融業(yè)，飛騰的ARM指令集兼容集群在金融業(yè)得到了廣泛應(yīng)用，滿足了行業(yè)深刻的去IOE需要。

　　幾乎在所有需要計(jì)算的產(chǎn)業(yè)領(lǐng)域，都在出現(xiàn)ARM指令集兼容HPC的蹤跡，并以其實(shí)際價(jià)值獲得了廣泛認(rèn)同。

　　ARM指令集兼容，讓HPC走出全新路線

　　ARM指令集兼容，是HPC技術(shù)的一次“變調(diào)”。前述所有內(nèi)容，都在表明HPC產(chǎn)業(yè)界在這方面已經(jīng)做好了充分的準(zhǔn)備，只待更多玩家的加入。

　　對(duì)HPC領(lǐng)域的參與者來(lái)說(shuō)，下一步，在生態(tài)開(kāi)放、技術(shù)自主的理念下，加入到ARM指令集兼容HPC路徑上來(lái)，共同推動(dòng)這一生態(tài)加速發(fā)展、實(shí)現(xiàn)共贏，將成為更好的選擇。