星云Clustar首席科學(xué)家胡水海應(yīng)邀出席HPC-AI論壇發(fā)表演講

　　第十六屆高性能計算峰會(簡稱CCF HPC CHINA 2020)于9月28日-30日線上線下同步召開。星云Clustar首席科學(xué)家胡水海受邀在HPC-AI論壇發(fā)表“高性能聯(lián)邦機器學(xué)習(xí)異構(gòu)系統(tǒng)”主題演講。

　　CCF HPC CHINA 2020是全球高性能計算領(lǐng)域最具影響力的三大盛會之一，大會旨在通過匯聚前沿學(xué)術(shù)成果、展示創(chuàng)新應(yīng)用技術(shù)、交流創(chuàng)造行業(yè)價值，促進超算技術(shù)應(yīng)用生態(tài)與產(chǎn)業(yè)數(shù)字化升級轉(zhuǎn)型，打造一個全球化開放式HPC交流共享平臺。

　　眾所周知，AI領(lǐng)域目前存在比較嚴(yán)重的數(shù)據(jù)孤島問題。雖然每個機構(gòu)都有數(shù)據(jù)，但這些數(shù)據(jù)是互相割裂的，相互之間并不能連接。胡水海在演講中表示，“隨著國內(nèi)外針對各領(lǐng)域數(shù)據(jù)安全和用戶隱私保護的法律密集出臺，直接聚合多方原始數(shù)據(jù)進行使用的行為被明令禁止，這使得數(shù)據(jù)形成一個個孤島，而聯(lián)邦學(xué)習(xí)的出現(xiàn)為打破數(shù)據(jù)孤島提供了一個好的方案。有了聯(lián)邦學(xué)習(xí)，無論是醫(yī)院、銀行或其他企業(yè)組織機構(gòu)、還是個人的終端設(shè)備，在聯(lián)合發(fā)揮數(shù)據(jù)價值時，可以不用交換存儲在本地的原始數(shù)據(jù)，只需要通過模型相互學(xué)習(xí)即可得到與全量數(shù)據(jù)模型一樣的結(jié)果。”

　　聯(lián)邦學(xué)習(xí)連接數(shù)據(jù)孤島

　　實現(xiàn)聯(lián)邦學(xué)習(xí)這種神奇效果的關(guān)鍵技術(shù)是同態(tài)加密計算，即直接對密文進行處理，得到的結(jié)果仍然是加密的，且對密文直接進行處理，解密后跟對明文進行處理后的結(jié)果相同，其使用范圍非常廣，顯著的缺陷就是性能太低，目前通常采用部分同態(tài)加密這種性能勉強能接受的折中方式，但計算量依然是明文計算量的上百倍，且數(shù)據(jù)傳輸總量也比傳統(tǒng)機器學(xué)習(xí)大100到1000倍。

　　面對巨大的密文計算量和傳輸量挑戰(zhàn)，胡水海提到了星云Clustar設(shè)計的一種高性能聯(lián)邦機器學(xué)習(xí)異構(gòu)系統(tǒng)，“這個系統(tǒng)最上層是應(yīng)用層，通過調(diào)用下面的聯(lián)邦學(xué)習(xí)算法庫和安全協(xié)議庫，開發(fā)者可以在上面開發(fā)各種聯(lián)邦學(xué)習(xí)應(yīng)用。在這之下，我們有兩個模塊用來指出聯(lián)邦學(xué)習(xí)高性能計算和通信，包括聯(lián)邦學(xué)習(xí)異構(gòu)計算模塊和聯(lián)邦學(xué)習(xí)通信模塊。聯(lián)邦學(xué)習(xí)異構(gòu)計算模塊可以支持使用各類異構(gòu)硬件，包括GPU、FPGA、專用ASIC芯片等，來加速聯(lián)邦學(xué)習(xí)中的安全計算。聯(lián)邦學(xué)習(xí)通信模塊主要使用RDMA高性能網(wǎng)絡(luò)以及一些專門設(shè)計的網(wǎng)絡(luò)技術(shù)來加速聯(lián)邦學(xué)習(xí)數(shù)據(jù)傳輸。

　　高性能聯(lián)邦機器學(xué)習(xí)異構(gòu)系統(tǒng)設(shè)計框架圖

　　胡水海還表示，異構(gòu)計算適合加速高度并行、重復(fù)的輕量級、批量化海量數(shù)據(jù)、密集型計算任務(wù)，因此非常適合聯(lián)邦學(xué)習(xí)加速，但同時也面臨異構(gòu)計算硬件通常不直接支持大整數(shù)運算、涉及大量的模冪運算、高速緩存非常有限等挑戰(zhàn)�；�于此，星云Clustar設(shè)計了基于分治思想做元素級并行、平方乘算法 + 蒙哥馬利算法、中國剩余定理減小中間計算結(jié)果3種優(yōu)化手段來最大化異構(gòu)硬件對聯(lián)邦學(xué)習(xí)計算的加速。經(jīng)過三種優(yōu)化手段后，GPU為聯(lián)邦學(xué)習(xí)帶來了差不多6倍的加速比，對于計算相對簡單的密態(tài)乘法和密態(tài)加法，GPU為聯(lián)邦學(xué)習(xí)分別帶來了30倍以上和400倍以上的加速比。

　　異構(gòu)加速聯(lián)邦學(xué)習(xí)評測結(jié)果 – GPU vs CPU

　　最后，胡水海介紹了星云Clustar面向數(shù)據(jù)中心內(nèi)部不同機構(gòu)間通信和不同機構(gòu)的數(shù)據(jù)中心跨區(qū)域通信兩大場景的探索成果，“針對數(shù)據(jù)中心內(nèi)場景，我們采用的解決方案是通過RDMA網(wǎng)絡(luò)技術(shù)優(yōu)化兩點間通信，然后通過動態(tài)參數(shù)聚合模型優(yōu)化多點間通信加速聯(lián)邦學(xué)習(xí)通信。對于跨區(qū)域通信場景，我們在探索設(shè)計一種機器學(xué)習(xí)專用的網(wǎng)絡(luò)傳輸協(xié)議，在高延遲、高丟包率網(wǎng)絡(luò)環(huán)境下加速聯(lián)邦學(xué)習(xí)通信。”

　　近年來，聯(lián)邦學(xué)習(xí)技術(shù)作為有效解決數(shù)據(jù)孤島分布問題的主流技術(shù)之一備受關(guān)注，聯(lián)邦機器學(xué)習(xí)異構(gòu)系統(tǒng)為解決聯(lián)邦學(xué)習(xí)計算與傳輸問題提供了新的技術(shù)思路。星云Clustar作為國內(nèi)率先開展隱私計算技術(shù)實現(xiàn)與應(yīng)用探索的公司，未來將繼續(xù)以高性能網(wǎng)絡(luò)和聯(lián)邦學(xué)習(xí)技術(shù)助力人工智能產(chǎn)業(yè)發(fā)展與技術(shù)突破，深掘聯(lián)邦學(xué)習(xí)落地場景的可能性，推進聯(lián)邦學(xué)習(xí)帶來的技術(shù)紅利落地于各行業(yè)領(lǐng)域，幫助企業(yè)與機構(gòu)的多方數(shù)據(jù)安全合作更具可得性。