昆侖芯×飛槳：共創(chuàng)智能計(jì)算“芯”生態(tài)

　　WAVE SUMMIT 2022深度學(xué)習(xí)開發(fā)者峰會(huì)上周圓滿落幕，來自產(chǎn)學(xué)研界的專家學(xué)者和資深A(yù)I工程師在七大平行論壇帶來了精彩的技術(shù)分享。 本次峰會(huì)專設(shè)【智能硬核 生態(tài)共創(chuàng)】平行論壇，昆侖芯科技生物計(jì)算研發(fā)總監(jiān)鄭煥鑫受邀參會(huì)，并進(jìn)行“昆侖芯×飛槳：共創(chuàng)智能計(jì)算‘芯’生態(tài)”的主題演講。

　　昆侖芯適配百度飛槳等主流框架，支持推理和訓(xùn)練場景，生態(tài)建設(shè)正在逐漸完備，已在豐富的業(yè)務(wù)場景落地。作為國內(nèi)人工智能芯片領(lǐng)域的先行者，昆侖芯科技依托團(tuán)隊(duì)多年耕耘芯片和智能計(jì)算領(lǐng)域的行業(yè)影響力，致力于攜手上下游合作伙伴，打造智能計(jì)算“芯”生態(tài)。

　　以下內(nèi)容來自演講實(shí)錄：

　　大家好，我是來自昆侖芯科技的鄭煥鑫。

　　昆侖芯科技是一家AI芯片公司，2021年4月完成了獨(dú)立融資，首輪估值約130億元。公司前身是百度智能芯片及架構(gòu)部，在實(shí)際業(yè)務(wù)場景中深耕AI加速領(lǐng)域已十余年，是一家在體系結(jié)構(gòu)、芯片實(shí)現(xiàn)、軟件系統(tǒng)和場景應(yīng)用均有深厚積累的AI芯片企業(yè)。

　　昆侖芯科技研發(fā)實(shí)力雄厚，團(tuán)隊(duì)成員擁有全球頂尖學(xué)術(shù)背景，并提出了100%自研的通用AI計(jì)算處理器核心架構(gòu)昆侖芯XPU，研究成果也在Hot Chips、ISSCC等國際頂級(jí)學(xué)術(shù)會(huì)議中成功發(fā)表。

　　在落地實(shí)現(xiàn)上，昆侖芯1代在百度搜索引擎、小度等業(yè)務(wù)中部署超過2萬片，是國內(nèi)唯一一款經(jīng)歷過互聯(lián)網(wǎng)大規(guī)模核心算法考驗(yàn)的云端AI芯片產(chǎn)品。昆侖芯2代采用7nm制程，也已于2021年8月量產(chǎn)。更先進(jìn)的昆侖芯3代、自動(dòng)駕駛芯片等多個(gè)產(chǎn)品均已啟動(dòng)研發(fā)。

　　隨著AI越來越普及，其依托的算力需求也越來越大。在這個(gè)時(shí)代背景下，昆侖芯的愿景是“成為劃時(shí)代，全球領(lǐng)先的智能計(jì)算公司”，為AI發(fā)展提供算力賦能。

　　昆侖芯在AI芯片上經(jīng)歷了超過10年的發(fā)展歷程。我們?cè)?011年啟動(dòng)FPGA AI加速器項(xiàng)目，到2015年部署5000片，2017年部署超過12000片，是業(yè)界最大的量;2017年發(fā)布自研架構(gòu)昆侖芯XPU;2018年啟動(dòng)昆侖芯;2020年昆侖芯1代大規(guī)模部署;2021年昆侖芯2代量產(chǎn)。

　　昆侖芯軟硬件架構(gòu)及兩代產(chǎn)品

　　不同于GPU的發(fā)展歷程，昆侖芯1代在AI發(fā)展相對(duì)成熟的時(shí)候量產(chǎn)，在設(shè)計(jì)階段就更好地理解了AI場景，提供了更多的加速計(jì)算單元，并且保留了足夠的通用計(jì)算單元，最終達(dá)到了更好的性價(jià)比。

　　這是我們的昆侖芯XPU架構(gòu)：SDNN-軟件定義神經(jīng)網(wǎng)絡(luò)引擎，是我們自研的核心張量計(jì)算單元，用于加速卷積和矩陣乘法;Cluster為我們的通用計(jì)算部件;我們也是國內(nèi)業(yè)界率先支持GDDR6的廠商之一;我們的Shared Memory片上共享內(nèi)存，有力保證了計(jì)算單元的高并發(fā)、低時(shí)延訪問;提供高達(dá)200GB/s的片間互聯(lián)帶寬，有效提升了大規(guī)模分布式訓(xùn)練中的數(shù)據(jù)傳輸效率，減少通訊延時(shí);支持PCIe第四代接口，雙向帶寬可達(dá)到64GB/s。

　　這是我們的軟件架構(gòu)圖：在應(yīng)用層，我們支持訓(xùn)練、推理以及科學(xué)計(jì)算;在框架層，除了深度合作的PaddlePaddle，還支持TensorFlow，PyTorch等;我們提供了豐富的SDK，包括編輯器、圖引擎、高性能算子庫、高性能通訊庫，以及驅(qū)動(dòng);在環(huán)境部署上，我們支持公有云服務(wù)、智算中心、智能邊緣設(shè)備等。

　　這是我們的產(chǎn)品研發(fā)路線，昆侖芯1代采用14nm工藝，昆侖芯2代采用7nm工藝，此外我們的昆侖芯3代、昆侖芯4代都在研發(fā)路徑中。

　　昆侖芯1代產(chǎn)品包括兩種形式，其中K100是K200的算力一半版本，主要用在邊緣端。昆侖芯2代產(chǎn)品中，R200 AI加速卡主要用于推理，支持INT8/INT16/INT32/FP16/FP32等精度，非常值得一提的是昆侖芯R200 AI加速卡支持視頻編解碼能力;R480-X8 AI加速器組是我們的單機(jī)8卡訓(xùn)練方案，提供200GB/s的片間互聯(lián)帶寬。

　　概括起來，昆侖芯2代有如下特點(diǎn)：

　　1.通用計(jì)算能力顯著增強(qiáng)，可靈活支持AI算法的演進(jìn)，提升資源投入效用;

　　2.硬件虛擬化，提升AI算力資源的利用率;

　　3.高性能分布式AI系統(tǒng)，加速AI數(shù)據(jù)并行和模型并行中的高速數(shù)據(jù)交換。

　　介紹完硬件參數(shù)，我們看看昆侖芯的軟件參數(shù)。以R200 AI加速卡為例，相比較于業(yè)界主流產(chǎn)品，典型AI負(fù)載性能提升1.5倍左右，其中GEMM矩陣乘法性能為1.7倍，BERT典型自然語言處理性能加速比為1.4倍。對(duì)Transformer類有同樣的效果;Yolov3，Yolov5性能加速1.3倍;ResNet50視覺分類算法加速1.2倍。

　　昆侖芯AI算力賦能千行百業(yè)

　　昆侖芯科技前身為百度智能芯片及架構(gòu)部，天然對(duì)互聯(lián)網(wǎng)AI應(yīng)用有深入了解。以百度搜索場景為例，我們實(shí)現(xiàn)了過萬片的部署，與飛槳聯(lián)合優(yōu)化模型：DeepFM、Wide&Deep。此外，我們?cè)诎�括百度在�?nèi)的多家互聯(lián)網(wǎng)公司上均有不錯(cuò)的落地表現(xiàn)

　　在智能城市領(lǐng)域，萬級(jí)別攝像機(jī)收集視頻流，通過芯片編解碼獲取圖片，對(duì)圖片進(jìn)行人臉檢索以及比對(duì)。該場景主要是以CV類算法為主，我們和飛槳聯(lián)合優(yōu)化模型包括：ResNet50、MobileNet-v3、Unet、Yolov3-DarkNet53、SSD-ResNet34 。

　　工業(yè)質(zhì)檢場景，高清工業(yè)相機(jī)拍攝零件照片進(jìn)行質(zhì)量檢測(cè)。搭載國產(chǎn)AI算力機(jī)的質(zhì)檢設(shè)備替代人工質(zhì)檢，大大節(jié)省了人力，14個(gè)月即可收回成本。同時(shí)，“5G+AI+工業(yè)互聯(lián)網(wǎng)”解決方案大大提高了整廠的智能化水平，幫助企業(yè)降低損耗，提升約10%的良品率。在這個(gè)方向上，我們和飛槳聯(lián)合開發(fā)了Yolov3-DarkNet53、SSD-ResNet34。

　　在目前國內(nèi)前沿的生物計(jì)算領(lǐng)域，我們也對(duì)基因測(cè)序算法Blast以及蛋白質(zhì)折疊預(yù)測(cè)算法進(jìn)行了硬件適配，并取得了不錯(cuò)的加速比。

　　綜上，我們?cè)诨ヂ?lián)網(wǎng)、智慧城市、智慧工業(yè)、生物計(jì)算、智慧金融、智慧政務(wù)、智算中心以及智慧交通等各行業(yè) AI 應(yīng)用落地場景中均提供了多種解決方案。

　　總結(jié)來看，昆侖芯科技最獨(dú)特優(yōu)勢(shì)在于：在百度搜索引擎、小度等業(yè)務(wù)中部署超過2萬片，是國內(nèi)唯一一款經(jīng)歷了互聯(lián)網(wǎng)大規(guī)模核心算法考驗(yàn)的云端AI芯片，產(chǎn)品的可用性、可靠性、穩(wěn)定性、魯棒性得到了驗(yàn)證，也證明了團(tuán)隊(duì)在芯片架構(gòu)、軟件棧、工程化系統(tǒng)層級(jí)的技術(shù)實(shí)力。此外，昆侖芯靈活支持多個(gè)AI場景，如視覺、語音、NLP和推薦等;不僅如此，昆侖芯也支持HPC、生物計(jì)算等算法的加速。