“九省通衢達(dá)天下,超算之光耀楚天”,9月24日至26日,第20屆CCF全國高性能計算學(xué)術(shù)年會(CCF HPC China 2024)在武漢市中國光谷科技會展中心盛大舉行。大會由中國計算機(jī)學(xué)會主辦,中國計算機(jī)學(xué)會高性能計算專業(yè)委員會、華中科技大學(xué)、上海交通大學(xué)承辦,中國地質(zhì)大學(xué)(武漢)、北京并行科技股份有限公司協(xié)辦。
以“華章廿載 新質(zhì)未來”為主題,本屆大會由12位院士領(lǐng)銜,攜手來自算力領(lǐng)域的400多位頂尖學(xué)者,進(jìn)行學(xué)術(shù)交流和專題分享。大會還舉辦了30場主題論壇,以及30余場豐富多彩的周邊活動,在進(jìn)行前沿技術(shù)交流的同時,最大程度地為參會者提供互動學(xué)習(xí)的機(jī)會。大會參會人數(shù)突破4000人,再創(chuàng)新高。
憶往昔崢嶸歲月 向未來新質(zhì)產(chǎn)業(yè)
廿載崢嶸歲月,超算舊貌換新顏。CCF HPC China創(chuàng)辦于2005年,今年已經(jīng)是第20屆。它已成為與美國SC超算大會、德國ISC超算大會并駕齊驅(qū)的高性能計算領(lǐng)域全球最具影響力的三大超算盛會之一。這20年來,中國計算機(jī)學(xué)會高性能計算專業(yè)委員會(以下簡稱“高專委”)通過CCF HPC China這樣一個學(xué)術(shù)平臺,為學(xué)術(shù)界與產(chǎn)業(yè)界,同時也為高性能計算的用戶與國外學(xué)術(shù)同行,搭建了一個專業(yè)、高端、廣泛的交流平臺,有效促進(jìn)了中國高性能計算機(jī)事業(yè)的快速發(fā)展。2024年,中國高性能計算迎來深研人工智能與新質(zhì)生產(chǎn)力和算力產(chǎn)業(yè)間緊密關(guān)系的重要契機(jī)。作為一屆繼往開來的行業(yè)頂級盛會,CCF HPC China致力于通過廣泛交流與合作,為行業(yè)開疆拓土增添新勢能。
進(jìn)入AIGC新時代,人工智能應(yīng)用需要不斷夯實(shí)算力底座。作為引領(lǐng)未來發(fā)展的關(guān)鍵力量,算力也是構(gòu)成新質(zhì)生產(chǎn)力的重要部分。面對新的科技革命與產(chǎn)業(yè)變革,新質(zhì)生產(chǎn)力是一種更高效、更先進(jìn)的生產(chǎn)發(fā)展模式。它關(guān)注的不僅僅是“新”,更重要的是實(shí)現(xiàn)“生產(chǎn)力”的躍升與結(jié)構(gòu)的優(yōu)化。高性能計算為人工智能、云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)等提供了強(qiáng)大的計算能力,為新質(zhì)生產(chǎn)力的打造鋪就了一條“高速路”。本次CCF HPC China是一場為新質(zhì)生產(chǎn)力賦能,并加速其價值釋放的大會,通過匯聚和展示前沿學(xué)術(shù)成果、創(chuàng)新技術(shù)應(yīng)用、拓展業(yè)務(wù)場景、發(fā)展壯大生態(tài),推動我國高性能計算產(chǎn)業(yè)邁上新臺階。
2023年,湖北省人工智能核心產(chǎn)業(yè)規(guī)模超過700億元,同比增長30%以上。“AI+”進(jìn)一步催生了算力多元化供給。以《武漢市推進(jìn)算力基礎(chǔ)設(shè)施及應(yīng)用產(chǎn)業(yè)高質(zhì)量發(fā)展行動方案(2024—2025年)》為指引,武漢正通過匯聚本地乃至全國的通算、智算、超算,打通算力上下游供需鏈,推進(jìn)算力服務(wù)產(chǎn)業(yè)高質(zhì)量發(fā)展。本屆CCF HPC China落戶武漢,對于推動武漢構(gòu)建“國家中部算力基地”將起到積極作用。CCF HPC China就是一場連接與轉(zhuǎn)換的大會,讓新型、強(qiáng)大的算力更好地服務(wù)武漢經(jīng)濟(jì)發(fā)展與城市現(xiàn)代化產(chǎn)業(yè)體系建設(shè)。
CCF HPC China是一個扎根中國、享譽(yù)國際的盛會。有了20年的積淀,在勵志圖新的高專委帶領(lǐng)下,匯聚全球高性能計算相關(guān)圖靈獎獲得者、戈登貝爾獎獲得者,國內(nèi)外院士、國際協(xié)會Fellow、權(quán)威專家,以及資深學(xué)者、企業(yè)精英等龐大的專家資源,覆蓋科研、教育、企業(yè)、機(jī)構(gòu)及各行各業(yè)的受眾群體,CCF HPC China對于打造全球化、高端化、開放化的高性能計算技術(shù)、學(xué)術(shù)共享交流平臺更有信心和底氣。
繼往開來 互聯(lián)世界
圖注:中國計算機(jī)學(xué)會(CCF)副理事長金海教授
9月24日上午,CCF HPC China 2024隆重開幕,中國計算機(jī)學(xué)會(CCF)副理事長金海教授主持了大會開幕式。
CCF理事長、中國科學(xué)院計算技術(shù)研究所學(xué)術(shù)委員會主任、中國工程院孫凝暉院士代表主辦方在大會上致辭。他表示,20年彈指一揮間,中國高性能計算產(chǎn)業(yè)取得了長足進(jìn)步,已經(jīng)達(dá)到世界一流水平。展望未來,高性能計算要繼續(xù)發(fā)揮“火車頭”的作用,通過不斷加強(qiáng)學(xué)術(shù)與產(chǎn)業(yè)交流,持續(xù)提升技術(shù)水平,促進(jìn)對外合作與交流,引領(lǐng)智算時代未來技術(shù)的發(fā)展。
圖注:中國科協(xié)副主席、華中科技大學(xué)校長、中國工程院尤政院士
高性能計算被譽(yù)為計算機(jī)科學(xué)工程的皇冠,是國家實(shí)力的重要象征。作為承辦方代表,中國科協(xié)副主席、華中科技大學(xué)校長、中國工程院尤政院士在致辭中表示:“本屆大會大力推進(jìn)科技創(chuàng)新,匯聚前沿學(xué)術(shù)成果,展現(xiàn)最新的應(yīng)用技術(shù),促進(jìn)超算技術(shù)應(yīng)用生態(tài)和科技產(chǎn)業(yè)的轉(zhuǎn)型升級。近20年來,我國在高性能計算領(lǐng)域取得的進(jìn)展,鼓舞了我們的士氣,使我們對未來高性能計算的發(fā)展充滿自信。”
圖注:中國計算機(jī)學(xué)會秘書長唐衛(wèi)清
回憶起CCF HPC China過去20年的發(fā)展歷程,中國計算機(jī)學(xué)會秘書長唐衛(wèi)清感慨萬千。如今,CCF HPC China已經(jīng)是高專委所有會議活動中參與人數(shù)最多、展覽規(guī)模最大、參與廠商數(shù)量最多、影響力最大的會議。近幾年,中國計算機(jī)學(xué)會的發(fā)展也很快,今年會員有望超過12萬,這其中也有高專委的重要貢獻(xiàn)。除了服務(wù)會員,在沈陽、成都、西安、珠海等地設(shè)立更多辦事機(jī)構(gòu)以外,中國計算機(jī)學(xué)會還設(shè)置了大量服務(wù)機(jī)構(gòu)、項目機(jī)構(gòu),總數(shù)達(dá)到283個,服務(wù)能力得到大幅提升。未來,中國計算機(jī)學(xué)會還將重點(diǎn)提升學(xué)術(shù)會議的質(zhì)量,做好服務(wù)工作,實(shí)現(xiàn)國際化發(fā)展。
圖注:高通量以太網(wǎng)聯(lián)盟主席,阿里云智能集團(tuán)研發(fā)副總裁、基礎(chǔ)設(shè)施網(wǎng)絡(luò)負(fù)責(zé)人蔡德忠
隨著人工智能應(yīng)用的深入發(fā)展,大系統(tǒng)互連網(wǎng)絡(luò)所連通的重心逐漸從CPU向GPU轉(zhuǎn)移。如何設(shè)計網(wǎng)絡(luò)協(xié)議,如何營造產(chǎn)業(yè)生態(tài),以應(yīng)對這樣的戰(zhàn)略重心轉(zhuǎn)移,這便是高通量以太網(wǎng)(ETH+)聯(lián)盟成立的初衷與未來工作的目標(biāo)。在大會上,聯(lián)盟隆重發(fā)布了高通量以太網(wǎng)協(xié)議1.0。今后,聯(lián)盟將按照年度大版本、半年度小版本的演進(jìn)規(guī)則,持續(xù)推動高通量以太網(wǎng)協(xié)議不斷完善。高通量以太網(wǎng)聯(lián)盟主席,阿里云智能集團(tuán)研發(fā)副總裁、基礎(chǔ)設(shè)施網(wǎng)絡(luò)負(fù)責(zé)人蔡德忠展示了高通量以太網(wǎng)協(xié)議未來的發(fā)展路線圖,同時表示,AI智算將重新定義網(wǎng)絡(luò)架構(gòu),而基于以太網(wǎng)的互連方案將成為行業(yè)主流。
抓核心關(guān)鍵問題 從基礎(chǔ)層面突破
圖注:CCF高性能計算專業(yè)委員會主任 上海交通大學(xué)副校長管海兵教授
CCF高性能計算專業(yè)委員會主任管海兵副校長主持了接下來的大會報告環(huán)節(jié)。
圖注:中國工程院院士,國家數(shù)字交換系統(tǒng)工程技術(shù)研究中心主任,復(fù)旦大學(xué)大數(shù)據(jù)研究院院長,教授、博士生導(dǎo)師鄔江興
中國工程院院士,國家數(shù)字交換系統(tǒng)工程技術(shù)研究中心主任,復(fù)旦大學(xué)大數(shù)據(jù)研究院院長,教授、博士生導(dǎo)師鄔江興在《開辟先進(jìn)計算新路徑》的報告中深入分析了當(dāng)前先進(jìn)計算面臨的主要挑戰(zhàn),尤其是在數(shù)據(jù)處理、存儲、搬移等方面的瓶頸,以及計算系統(tǒng)整體效率低下、能耗不可持續(xù)和計算安全問題日益突出的現(xiàn)狀。面對全球數(shù)據(jù)量的指數(shù)級增長和對計算性能的需求,傳統(tǒng)單一架構(gòu)已經(jīng)很難滿足多樣化的需求,而用電力拼算力的范式也具有不可持續(xù)性。為有效解決上述問題,鄔江興院士提出了基于“必要多樣性定律”的變革性策略,強(qiáng)調(diào)“通過多樣性應(yīng)對多樣性”,同時提升系統(tǒng)的適應(yīng)能力。具體來說,就是通過引入領(lǐng)域?qū)S密浻布䥇f(xié)同計算(擬態(tài)計算)和軟件定義晶上系統(tǒng)(SDSoW)的創(chuàng)新路徑,同時兼顧高效能、高靈活性和高性能的計算需求;通過軟硬件協(xié)同與資源池化的動態(tài)聚合,實(shí)現(xiàn)對多任務(wù)、多算法、多資源的動態(tài)響應(yīng),最終提供一種能夠應(yīng)對未來智能時代需求的綠色、智能和安全的計算新范式。這一創(chuàng)新路徑為智能計算時代的系統(tǒng)優(yōu)化、資源利用和計算安全提供了新的思路與方向。
圖注:中國工程院院士、華中科技大學(xué)李培根教授
當(dāng)前,制造業(yè)企業(yè)對于人工智能、深度學(xué)習(xí)以及大模型都十分關(guān)注。但是,制造業(yè)企業(yè)面臨的最大挑戰(zhàn)是缺少對基礎(chǔ)性問題的深入探究和認(rèn)知。中國工程院院士、華中科技大學(xué)李培根教授在主題為《“AI+制造”的幾個基礎(chǔ)問題》的報告中明確指出,下一代智能制造需要關(guān)注以下五個重要問題:第一,明確數(shù)據(jù)是基礎(chǔ),打造以數(shù)據(jù)為中心的人工智能,并且企業(yè)要增強(qiáng)從海量數(shù)據(jù)中獲取有價值信息的能力;第二,從歷史數(shù)據(jù)中挖掘洞見,不要忽視那些看似影響不大的特征數(shù)據(jù),只有這樣才能根據(jù)各種微弱信號,更好地理解制造的高維空間;第三,在數(shù)字智能時代,制造的“匠心”體現(xiàn)在數(shù)據(jù)上面,即對數(shù)據(jù)的敏感、對數(shù)據(jù)背后本質(zhì)問題的體悟等;第四,物理空間(車間)需要實(shí)現(xiàn)IT與OT的融合;第五,大模型應(yīng)用的關(guān)鍵之一就是需要智能代理,它有可能顛覆軟件開發(fā)和應(yīng)用的模式,從為工程師、管理者建立個人智能代理,到實(shí)現(xiàn)工業(yè)元宇宙,基于智能代理建立人機(jī)協(xié)同模式至關(guān)重要。李培根教授表示,為解決上述問題,需要IT各個領(lǐng)域的學(xué)者專家提供易于操作的方法和平臺。
圖注:華為鯤鵬高性能計算首席架構(gòu)師丁肇輝
隨著高性能計算應(yīng)用的快速發(fā)展,出現(xiàn)了多樣性應(yīng)用負(fù)載融合、處理器架構(gòu)加速融合與多樣化等新趨勢。在《協(xié)同產(chǎn)業(yè)創(chuàng)新,發(fā)展高性能計算新生態(tài)》的主題演講中,華為鯤鵬高性能計算首席架構(gòu)師丁肇輝介紹了華為針對高性能計算的易用性、實(shí)用性和開放性的思考和實(shí)踐。華為的理念是面向行業(yè),協(xié)同產(chǎn)業(yè)創(chuàng)新,共建新生態(tài),為客戶提供開放、易用、實(shí)用的高性能計算系統(tǒng)。在過去這些年中,華為一直堅持自主創(chuàng)新關(guān)鍵根技術(shù);完善高性能計算基礎(chǔ)軟件、調(diào)度軟件和工具鏈;同時與伙伴聯(lián)合創(chuàng)新,帶動產(chǎn)業(yè)匯聚和發(fā)展,共建生態(tài)、賦能行業(yè)創(chuàng)新,已完成5000多款高性能計算軟件適配及優(yōu)化,并在氣象、生命科學(xué)、先進(jìn)制造、教育科研等關(guān)鍵行業(yè)大規(guī)模應(yīng)用。為此,華為打造了一套端到端的從軟件到硬件的解決方案:軟件主要包括面向應(yīng)用加速的科學(xué)計算套件、作業(yè)調(diào)度及集群管理軟件多瑙套件、歐拉操作系統(tǒng)、開發(fā)遷移工具DevKit等;硬件主要是圍繞著鯤鵬處理器提供多種形態(tài)的服務(wù)器,以及OceanStor Pacific存儲、網(wǎng)絡(luò)等。
跨界融合 創(chuàng)新應(yīng)用
圖注:CCF高性能計算專業(yè)委員會副主任張云泉研究員
上午后半場的大會報告環(huán)節(jié)由CCF高性能計算專業(yè)委員會副主任張云泉研究員主持。
圖注:中國科學(xué)院院士、廣東省智能科學(xué)與技術(shù)研究院院長張旭
“類腦智能算力作為智能時代的新生產(chǎn)力,將給智能技術(shù)乃至人類社會帶來巨大變革。”中國科學(xué)院院士、廣東省智能科學(xué)與技術(shù)研究院院長張旭如是說。他在題為《智能時代的類腦智能研究》的報告中解析了大腦這一最為復(fù)雜的信息和智能系統(tǒng),它將啟迪類腦智能理論和類腦智能技術(shù),即腦科學(xué)/神經(jīng)科學(xué)啟發(fā)的智能理論和技術(shù)。在智能時代,腦科學(xué)研究的多學(xué)科交叉研究范式,促使類腦智能計算等類腦智能研究領(lǐng)域加入腦科學(xué)。張旭院士表示,類腦計算正成為腦科學(xué)研究的一種新范式,借鑒腦處理信息和學(xué)習(xí)的基本原理發(fā)展高能效、高速和智能的新型類腦計算系統(tǒng),利用發(fā)展的類腦計算系統(tǒng)可以加速發(fā)展腦模擬和數(shù)字大腦,促進(jìn)理解大腦運(yùn)行機(jī)制和治療腦疾病,發(fā)展數(shù)字腦科學(xué)和腦醫(yī)學(xué)。新近出現(xiàn)的脈沖神經(jīng)網(wǎng)絡(luò)智能處理器為構(gòu)建大規(guī)模類腦智能計算系統(tǒng)奠定了基礎(chǔ)。展望未來,類腦超級算力極可能超過人類大腦算力,影響智能科技變革和人類社會發(fā)展。
圖注:中國科學(xué)院院士、大連理工大學(xué)教授、工業(yè)裝備結(jié)構(gòu)分析優(yōu)化與CAE軟件全國重點(diǎn)實(shí)驗(yàn)副主任、中國力學(xué)學(xué)會副理事長郭旭
計算力學(xué)是力學(xué)當(dāng)中比較古老的一門分支學(xué)科,在數(shù)智化時代,它也面臨著轉(zhuǎn)型升級的挑戰(zhàn)。中國科學(xué)院院士、大連理工大學(xué)教授、工業(yè)裝備結(jié)構(gòu)分析優(yōu)化與CAE軟件全國重點(diǎn)實(shí)驗(yàn)副主任、中國力學(xué)學(xué)會副理事長郭旭在《智算力學(xué)-數(shù)智時代的計算力學(xué)》的報告中談到,現(xiàn)在所說的現(xiàn)代力學(xué),將電子計算機(jī)與力學(xué)工作結(jié)合起來,這就與高性能計算產(chǎn)生了非常密切的聯(lián)系,因?yàn)橹挥羞M(jìn)行高性能計算,才能獲得高性能計算力學(xué)的方法,才能產(chǎn)生高性能相關(guān)算法的效能。面對力學(xué)建模的復(fù)雜性以及建模的主觀性導(dǎo)致的計算難以進(jìn)行等情況,必須對研究范式進(jìn)行創(chuàng)新。以數(shù)理為基石,再加上人工智能的增強(qiáng),就可以突破CAE軟件計算能力的維數(shù)災(zāi)難。在數(shù)智時代,計算力學(xué)也需要提升,升級為智算力學(xué)。“如果不與人工智能、大數(shù)據(jù)等先進(jìn)的計算范式相結(jié)合,計算力學(xué)就不能稱之為現(xiàn)代力學(xué)。”郭旭院士表示,“在這樣的指導(dǎo)思想下,我們提出了智算力學(xué)的概念,即以力學(xué)數(shù)據(jù)智能科學(xué)為基礎(chǔ),利用先進(jìn)算力解決科學(xué)、技術(shù)和工程中力學(xué)問題的理論方法和工具體系。智算力學(xué)是計算力學(xué)在數(shù)智時代的升級和演進(jìn)。”
圖注:中國科學(xué)院院士、國防科技大學(xué)教授、中國計算機(jī)學(xué)會(CCF)會士王懷民
圖注:國防科技大學(xué)副研究員馮大為
中國科學(xué)院院士、國防科技大學(xué)教授、中國計算機(jī)學(xué)會(CCF)會士王懷民與國防科技大學(xué)副研究員馮大為聯(lián)袂奉獻(xiàn)了主題為《從計算到智能:以材料科學(xué)為案例》的報告。在智能計算時代,AI for Science不僅推動了基礎(chǔ)科學(xué)研究的進(jìn)步,也為高性能計算與人工智能技術(shù)的發(fā)展帶來了新的機(jī)遇與挑戰(zhàn)。如何結(jié)合科學(xué)研究的具體應(yīng)用場景,充分發(fā)揮高性能計算與人工智能在大數(shù)據(jù)分析、仿真計算、智能預(yù)測、實(shí)驗(yàn)輔助方面的潛力,是當(dāng)前AI for Science落地應(yīng)用關(guān)注的重點(diǎn)。王懷民院士表示,超算與智算既有聯(lián)系,也有區(qū)別。兩者的互補(bǔ)性意味著,超算與智算融合,支持未來的科學(xué)研究,前景十分廣闊。馮大為從人工智能對高性能科學(xué)計算的賦能案例入手,圍繞材料科學(xué)研究應(yīng)用場景,詳細(xì)地介紹了基于中國算力網(wǎng)所開展的算力、模型、實(shí)驗(yàn)等方面的探索,并以大模型賦能材料科學(xué)研究為案例,剖析了相關(guān)研究實(shí)踐與未來的挑戰(zhàn)。
“過去40年,世界高性能計算技術(shù)取得了驚人的發(fā)展。令人欣慰的是,我國高性能計算事業(yè)‘跟上了’世界的步伐,成為國際高性能計算領(lǐng)域不容忽視的重要一極。”王懷民院士表示,“但在今天十分復(fù)雜的國際科技競爭背景下,支撐中國高質(zhì)量發(fā)展,我們不能僅僅滿足于‘跟上了、咬住了’。在高性能計算內(nèi)涵日益豐富的今天,我們要把握時代機(jī)遇,從跟隨者變?yōu)橐I(lǐng)者,這是新一代高性能計算創(chuàng)業(yè)者的使命。”
澎湃算力 “算”出新質(zhì)生產(chǎn)力
圖注:CCF高性能計算專業(yè)委員會秘書長譚光明研究員
24日下午,多位院士出席的大會報告環(huán)節(jié)同樣精彩。CCF高性能計算專業(yè)委員會秘書長譚光明研究員主持了上半場的演講。
圖注:中國工程院院士、中國科學(xué)院計算技術(shù)研究所研究員李國杰
算力網(wǎng)要發(fā)揮智能時代基礎(chǔ)設(shè)施的作用,所以它應(yīng)該像瀏覽器、微信一樣實(shí)現(xiàn)全民普及應(yīng)用。一項新技術(shù)要普及,一定要有“殺手級”應(yīng)用。從現(xiàn)在來看,AIPC和AI手機(jī)可能會成為在全民中普及的智能化的個人助理,將來也許就會形成算力網(wǎng)絡(luò)真實(shí)的需求。讓算力通過網(wǎng)絡(luò)服務(wù)更多的人,讓廣大用戶從算力網(wǎng)中得到實(shí)際的好處,才能讓算力網(wǎng)快速發(fā)展起來。現(xiàn)在不同的單位都在算力網(wǎng)方面做了不同的努力,關(guān)鍵是如何將這些研究與實(shí)踐形成合力。中國工程院院士、中國科學(xué)院計算技術(shù)研究所研究員李國杰發(fā)表了主題為《關(guān)于算力網(wǎng)的元思考》的報告。他表示,大模型預(yù)訓(xùn)練是目前對算力的主要需求,但廣域分布式計算并不適合做大模型的訓(xùn)練,依靠多個小的智算中心,通過分布式計算來訓(xùn)練大模型未必是出路。算力網(wǎng)研究需要有與網(wǎng)頁類似的核心抽象,將“超鏈接”發(fā)展為“超任務(wù)”。理論上的抽象不是性能的漸進(jìn)式改善或SOTA刷榜,而是首先要取得定性研究的突破。
圖注:華為網(wǎng)絡(luò)技術(shù)實(shí)驗(yàn)室首席科學(xué)家徐小飛
在主題為《AI集群通信技術(shù)體系設(shè)計》的演講中,華為網(wǎng)絡(luò)技術(shù)實(shí)驗(yàn)室首席科學(xué)家徐小飛指出,當(dāng)前,AI集群中對于通信性能的優(yōu)化往往集中在單點(diǎn)技術(shù)上,未能形成合力。徐小飛從充分發(fā)揮算效的角度,詳細(xì)分享了系統(tǒng)性設(shè)計AI集群通信技術(shù)體系的實(shí)踐,以及涵蓋控制面和數(shù)據(jù)面各分層的關(guān)鍵技術(shù)和演進(jìn)路線。在實(shí)踐中,應(yīng)根據(jù)AI流量的特征,多措并舉,比如通過網(wǎng)絡(luò)均衡技術(shù)、鏈路層的創(chuàng)新算法以及原端的映射控制算法等,盡可能地縮短通信時間,讓計算少等待。華為創(chuàng)新了非均勻布魯克算法,有效減少了通信的步長。這一方法應(yīng)用于客戶的實(shí)際項目中,在8000卡集群中,實(shí)測性能相比傳統(tǒng)算法提升了70%。針對分層通信不對稱的問題,華為創(chuàng)新性地基于虛擬卡號實(shí)現(xiàn)不同域算法的拼接,可以將性能提升30%至66%。模型的快速發(fā)展,需要更加靈活的連接去適配。但是傳統(tǒng)的物理連接通常是很難改變的。為此,華為在持續(xù)探索基于OXC物理器件,再配合TP算法,實(shí)現(xiàn)動態(tài)的拓?fù)湔{(diào)整。
圖注:阿里云智能集團(tuán)副總裁、彈性計算負(fù)責(zé)人和存儲負(fù)責(zé)人吳結(jié)生
今天,眾多產(chǎn)業(yè)龍頭企業(yè)以及科學(xué)研究項目通過云計算來滿足業(yè)務(wù)對計算和存儲規(guī)模擴(kuò)展的需求,未來每一家公司都將成為數(shù)據(jù)+AI的公司,云計算一直在踐行 Scaling Law。阿里云智能集團(tuán)副總裁、彈性計算負(fù)責(zé)人和存儲負(fù)責(zé)人吳結(jié)生在題為《AI驅(qū)動,阿里云高性能計算的創(chuàng)新和發(fā)展》的演講中表示,目前超過50%的國內(nèi)大模型創(chuàng)業(yè)公司、超過80%的科技公司在使用阿里云。面對多樣化的高性能計算負(fù)載,阿里云建設(shè)了一個完整的高性能計算的產(chǎn)品矩陣,通過靈駿智算集群滿足極致緊耦合的負(fù)載需求,通過彈性高性能計算EHPC滿足緊耦合應(yīng)用負(fù)載需求,通過EHPC Instant來滿足松耦合的負(fù)載需求。目前這些方案已產(chǎn)生生成式AI、自動駕駛、生命科學(xué)、能源、制造、科學(xué)計算等領(lǐng)域的落地案例,這背后也離不開阿里云持續(xù)的技術(shù)創(chuàng)新,包括磐久AI計算服務(wù)器、高性能存儲CPFS、云基礎(chǔ)設(shè)施服務(wù)器芯片CIPU、高性能網(wǎng)絡(luò)HPN 7.0、彈性RDMA的連接能力、網(wǎng)絡(luò)拓?fù)涓兄鹊取?/p>
圖注:北京并行科技股份有限公司董事長陳健
毋庸置疑,人工智能將引領(lǐng)新一輪工業(yè)革命,而大模型技術(shù)是驅(qū)動本輪人工智能浪潮的關(guān)鍵支撐。在《基于大模型【應(yīng)用運(yùn)行特征】的算力產(chǎn)品選型分析和性能優(yōu)化》的演講中,北京并行科技股份有限公司董事長陳健表示,大模型訓(xùn)練是超算應(yīng)用,而超算系統(tǒng)設(shè)計需要考慮計算、訪存、高速互連等協(xié)同設(shè)計,避免出現(xiàn)“木桶”短板,這樣才能更好地為大模型訓(xùn)練提供高效的算力支撐。同時,受參數(shù)規(guī)模、并行方法等多種因素影響,不同的算力模型訓(xùn)練應(yīng)用運(yùn)行特征不盡相同,這就要求基于具體的應(yīng)用運(yùn)行特征進(jìn)行設(shè)計,選擇與之相適應(yīng)的超算架構(gòu)算力產(chǎn)品平臺,從而更精確、更高效地提升大模型的訓(xùn)練性能。陳健從超算架構(gòu)算力平臺出發(fā),圍繞如何提升大模型訓(xùn)練和推理性能,抽絲剝繭,介紹了具體的方法與實(shí)施方案。并行科技將推出“算海計劃二期”,與內(nèi)蒙古算力基地合作建設(shè)10萬卡單一大集群,計劃于2025年10月開始對外運(yùn)營。
AI+ 向“新”而行
圖注:CCF高性能計算專業(yè)委員會副主任翟季冬教授
下午后半場的大會報告環(huán)節(jié)由CCF高性能計算專業(yè)委員會副主任翟季冬教授主持。
圖注:聯(lián)想中國基礎(chǔ)設(shè)施業(yè)務(wù)群戰(zhàn)略管理總監(jiān)黃山
聯(lián)想對于大模型未來的應(yīng)用前景持樂觀態(tài)度。為滿足人工智能應(yīng)用需求,我國正持續(xù)大力投入智算算力建設(shè)。截至2024年5月,我國已建成運(yùn)營的算力規(guī)模達(dá)到104 EFLOPS。在主題為《“筑基新質(zhì)算力 縱橫數(shù)字未來”——聯(lián)想異構(gòu)智算平臺介紹》的演講中,聯(lián)想中國基礎(chǔ)設(shè)施業(yè)務(wù)群戰(zhàn)略管理總監(jiān)黃山談到,我國新型算力建設(shè)正走向規(guī);投嘣悩(gòu),在此過程中面臨的最大挑戰(zhàn)主要表現(xiàn)在軟硬件兼容性、互操作性設(shè)計復(fù)雜,智算算力利用率低,故障診斷與恢復(fù)是提升SLA的制約因素,制冷技術(shù)還需要持續(xù)升級等。聯(lián)想通過打造萬全異構(gòu)智算平臺,構(gòu)建支持AI全場景、高性能的存力,提供多架構(gòu)、低延遲的運(yùn)力,以及建設(shè)異構(gòu)智算產(chǎn)業(yè)生態(tài)聯(lián)盟等方式和手段,推動新質(zhì)算力發(fā)展,加速算力價值的躍遷。
圖注:中國工程院院士、華中科技大學(xué)教授、國家數(shù)字建造技術(shù)創(chuàng)新中心首席科學(xué)家丁烈云
中國工程院院士、華中科技大學(xué)教授、國家數(shù)字建造技術(shù)創(chuàng)新中心首席科學(xué)家丁烈云做了主題為《AI重塑建筑未來》的報告。他表示,Al將為建筑產(chǎn)業(yè)的轉(zhuǎn)型升級帶來革命性的變化。建筑設(shè)計并不是靠畫出來的,而是由模型算出來的,這就要求必須實(shí)現(xiàn)數(shù)理邏輯與形式邏輯的統(tǒng)一。未來,建筑生產(chǎn)不再是粗放式的建筑施工,而是可以像造汽車那樣造房子,即通過模塊化、一體化、自動化、智能化,在工廠實(shí)現(xiàn)提前預(yù)裝。在實(shí)踐過程中,丁烈云院士不僅僅將智能技術(shù)用于建筑設(shè)計領(lǐng)域,還在醫(yī)療健康甚至體育等領(lǐng)域進(jìn)行廣泛嘗試,并且都取得了非常好的效果。AI將改變未來,建筑產(chǎn)品不只是鋼筋混凝土形成的物質(zhì)產(chǎn)品,也是可以改變?nèi)藗兩罘绞降慕ㄖ悄芙K端。
圖注:清華大學(xué)計算機(jī)系陳文光教授
清華大學(xué)計算機(jī)系陳文光教授在主題為《在國產(chǎn)超算和智算平臺上進(jìn)行大模型訓(xùn)練》的報告中談到,以GPT為代表的大規(guī)模預(yù)訓(xùn)練模型正展現(xiàn)出豐富的生成能力,并且在各行各業(yè)中實(shí)現(xiàn)了重要的應(yīng)用。當(dāng)前,國內(nèi)外的大部分預(yù)訓(xùn)練模型都是在英偉達(dá)的平臺上開展的。陳文光教授有的放矢,分析了國產(chǎn)超算和智能算力平臺面臨的挑戰(zhàn),以及相關(guān)計算機(jī)系統(tǒng)技術(shù)的進(jìn)展,并且介紹了在兩個國產(chǎn)平臺上訓(xùn)練千億參數(shù)稠密模型和百萬億參數(shù)稀疏模型的經(jīng)歷。實(shí)踐證明,國產(chǎn)超算和智能算力平臺可以支持大模型的訓(xùn)練,但也存在局限性,最大瓶頸在于單芯片的峰值算力,雖然通過軟件優(yōu)化可以在一定程度得到緩解,但并不能完全彌補(bǔ)差距。國產(chǎn)平臺還需要再接再厲,更上一層樓。
超算之光 持續(xù)閃耀
三天的大會內(nèi)容精彩紛呈,除主論壇以及主題論壇、專題論壇、企業(yè)論壇以外,還將揭曉CCF HPC China2024超算年度最佳應(yīng)用、CCF高性能計算博士學(xué)位論文激勵計劃等,同時現(xiàn)場還將舉辦大規(guī)模的展覽展示。包括光明網(wǎng)、環(huán)球網(wǎng)、中國科學(xué)報社、科技日報、中國工業(yè)報社等在內(nèi)的百余家行業(yè)知名媒體,將全方位報道大會盛況,揭示高性能計算最新發(fā)展趨勢,展現(xiàn)諸多創(chuàng)新成果。
進(jìn)入數(shù)智化新時代,人工智能的快速發(fā)展要求算力基礎(chǔ)設(shè)施建設(shè)再快一些、再堅實(shí)一些,同時要求多元化算力服務(wù)能夠更具性價比、更容易實(shí)現(xiàn)統(tǒng)一調(diào)度與管理。這既賦予了中國計算機(jī)學(xué)會高性能計算專業(yè)委員會、CCF HPC China等更重要的歷史使命,也對其今后的工作和發(fā)展提出了更高要求。
繼往開來、創(chuàng)新提升、引領(lǐng)國際,讓CCF HPC China成為釋放高性能計算之力,賦能新質(zhì)生產(chǎn)力發(fā)展的重要平臺。
行業(yè)峰會、企業(yè)新品動態(tài)更新、媒體邀約請發(fā)郵件至news#citnews.com.cn(把#換成@)。
京東11.11采銷直播探廠為消費(fèi)者揭開答案。近日,京東3C數(shù)碼采銷走進(jìn)武漢攀升工廠、合肥聯(lián)想工廠和科大訊飛展廳,通過直播帶貨廠商爆款產(chǎn)品,并為消費(fèi)者帶來超值低價與福利。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標(biāo)識解析專題論壇在沈陽成功舉辦。