星云Clustar首席科學(xué)家胡水海應(yīng)邀出席HPC-AI論壇發(fā)表演講

　　第十六屆高性能計(jì)算峰會(huì)(簡(jiǎn)稱CCF HPC CHINA 2020)于9月28日-30日線上線下同步召開。星云Clustar首席科學(xué)家胡水海受邀在HPC-AI論壇發(fā)表“高性能聯(lián)邦機(jī)器學(xué)習(xí)異構(gòu)系統(tǒng)”主題演講。

　　CCF HPC CHINA 2020是全球高性能計(jì)算領(lǐng)域最具影響力的三大盛會(huì)之一，大會(huì)旨在通過(guò)匯聚前沿學(xué)術(shù)成果、展示創(chuàng)新應(yīng)用技術(shù)、交流創(chuàng)造行業(yè)價(jià)值，促進(jìn)超算技術(shù)應(yīng)用生態(tài)與產(chǎn)業(yè)數(shù)字化升級(jí)轉(zhuǎn)型，打造一個(gè)全球化開放式HPC交流共享平臺(tái)。

　　眾所周知，AI領(lǐng)域目前存在比較嚴(yán)重的數(shù)據(jù)孤島問(wèn)題。雖然每個(gè)機(jī)構(gòu)都有數(shù)據(jù)，但這些數(shù)據(jù)是互相割裂的，相互之間并不能連接。胡水海在演講中表示，“隨著國(guó)內(nèi)外針對(duì)各領(lǐng)域數(shù)據(jù)安全和用戶隱私保護(hù)的法律密集出臺(tái)，直接聚合多方原始數(shù)據(jù)進(jìn)行使用的行為被明令禁止，這使得數(shù)據(jù)形成一個(gè)個(gè)孤島，而聯(lián)邦學(xué)習(xí)的出現(xiàn)為打破數(shù)據(jù)孤島提供了一個(gè)好的方案。有了聯(lián)邦學(xué)習(xí)，無(wú)論是醫(yī)院、銀行或其他企業(yè)組織機(jī)構(gòu)、還是個(gè)人的終端設(shè)備，在聯(lián)合發(fā)揮數(shù)據(jù)價(jià)值時(shí)，可以不用交換存儲(chǔ)在本地的原始數(shù)據(jù)，只需要通過(guò)模型相互學(xué)習(xí)即可得到與全量數(shù)據(jù)模型一樣的結(jié)果。”

　　聯(lián)邦學(xué)習(xí)連接數(shù)據(jù)孤島

　　實(shí)現(xiàn)聯(lián)邦學(xué)習(xí)這種神奇效果的關(guān)鍵技術(shù)是同態(tài)加密計(jì)算，即直接對(duì)密文進(jìn)行處理，得到的結(jié)果仍然是加密的，且對(duì)密文直接進(jìn)行處理，解密后跟對(duì)明文進(jìn)行處理后的結(jié)果相同，其使用范圍非常廣，顯著的缺陷就是性能太低，目前通常采用部分同態(tài)加密這種性能勉強(qiáng)能接受的折中方式，但計(jì)算量依然是明文計(jì)算量的上百倍，且數(shù)據(jù)傳輸總量也比傳統(tǒng)機(jī)器學(xué)習(xí)大100到1000倍。

　　面對(duì)巨大的密文計(jì)算量和傳輸量挑戰(zhàn)，胡水海提到了星云Clustar設(shè)計(jì)的一種高性能聯(lián)邦機(jī)器學(xué)習(xí)異構(gòu)系統(tǒng)，“這個(gè)系統(tǒng)最上層是應(yīng)用層，通過(guò)調(diào)用下面的聯(lián)邦學(xué)習(xí)算法庫(kù)和安全協(xié)議庫(kù)，開發(fā)者可以在上面開發(fā)各種聯(lián)邦學(xué)習(xí)應(yīng)用。在這之下，我們有兩個(gè)模塊用來(lái)指出聯(lián)邦學(xué)習(xí)高性能計(jì)算和通信，包括聯(lián)邦學(xué)習(xí)異構(gòu)計(jì)算模塊和聯(lián)邦學(xué)習(xí)通信模塊。聯(lián)邦學(xué)習(xí)異構(gòu)計(jì)算模塊可以支持使用各類異構(gòu)硬件，包括GPU、FPGA、專用ASIC芯片等，來(lái)加速聯(lián)邦學(xué)習(xí)中的安全計(jì)算。聯(lián)邦學(xué)習(xí)通信模塊主要使用RDMA高性能網(wǎng)絡(luò)以及一些專門設(shè)計(jì)的網(wǎng)絡(luò)技術(shù)來(lái)加速聯(lián)邦學(xué)習(xí)數(shù)據(jù)傳輸。

　　高性能聯(lián)邦機(jī)器學(xué)習(xí)異構(gòu)系統(tǒng)設(shè)計(jì)框架圖

　　胡水海還表示，異構(gòu)計(jì)算適合加速高度并行、重復(fù)的輕量級(jí)、批量化海量數(shù)據(jù)、密集型計(jì)算任務(wù)，因此非常適合聯(lián)邦學(xué)習(xí)加速，但同時(shí)也面臨異構(gòu)計(jì)算硬件通常不直接支持大整數(shù)運(yùn)算、涉及大量的模冪運(yùn)算、高速緩存非常有限等挑戰(zhàn)�；�于此，星云Clustar設(shè)計(jì)了基于分治思想做元素級(jí)并行、平方乘算法 + 蒙哥馬利算法、中國(guó)剩余定理減小中間計(jì)算結(jié)果3種優(yōu)化手段來(lái)最大化異構(gòu)硬件對(duì)聯(lián)邦學(xué)習(xí)計(jì)算的加速。經(jīng)過(guò)三種優(yōu)化手段后，GPU為聯(lián)邦學(xué)習(xí)帶來(lái)了差不多6倍的加速比，對(duì)于計(jì)算相對(duì)簡(jiǎn)單的密態(tài)乘法和密態(tài)加法，GPU為聯(lián)邦學(xué)習(xí)分別帶來(lái)了30倍以上和400倍以上的加速比。

　　異構(gòu)加速聯(lián)邦學(xué)習(xí)評(píng)測(cè)結(jié)果 – GPU vs CPU

　　最后，胡水海介紹了星云Clustar面向數(shù)據(jù)中心內(nèi)部不同機(jī)構(gòu)間通信和不同機(jī)構(gòu)的數(shù)據(jù)中心跨區(qū)域通信兩大場(chǎng)景的探索成果，“針對(duì)數(shù)據(jù)中心內(nèi)場(chǎng)景，我們采用的解決方案是通過(guò)RDMA網(wǎng)絡(luò)技術(shù)優(yōu)化兩點(diǎn)間通信，然后通過(guò)動(dòng)態(tài)參數(shù)聚合模型優(yōu)化多點(diǎn)間通信加速聯(lián)邦學(xué)習(xí)通信。對(duì)于跨區(qū)域通信場(chǎng)景，我們?cè)谔剿髟O(shè)計(jì)一種機(jī)器學(xué)習(xí)專用的網(wǎng)絡(luò)傳輸協(xié)議，在高延遲、高丟包率網(wǎng)絡(luò)環(huán)境下加速聯(lián)邦學(xué)習(xí)通信。”

　　近年來(lái)，聯(lián)邦學(xué)習(xí)技術(shù)作為有效解決數(shù)據(jù)孤島分布問(wèn)題的主流技術(shù)之一備受關(guān)注，聯(lián)邦機(jī)器學(xué)習(xí)異構(gòu)系統(tǒng)為解決聯(lián)邦學(xué)習(xí)計(jì)算與傳輸問(wèn)題提供了新的技術(shù)思路。星云Clustar作為國(guó)內(nèi)率先開展隱私計(jì)算技術(shù)實(shí)現(xiàn)與應(yīng)用探索的公司，未來(lái)將繼續(xù)以高性能網(wǎng)絡(luò)和聯(lián)邦學(xué)習(xí)技術(shù)助力人工智能產(chǎn)業(yè)發(fā)展與技術(shù)突破，深掘聯(lián)邦學(xué)習(xí)落地場(chǎng)景的可能性，推進(jìn)聯(lián)邦學(xué)習(xí)帶來(lái)的技術(shù)紅利落地于各行業(yè)領(lǐng)域，幫助企業(yè)與機(jī)構(gòu)的多方數(shù)據(jù)安全合作更具可得性。