騰訊云副總裁劉煜宏：騰訊大數(shù)據(jù)日實時計算量超200萬億

　　在11月4日的2021騰訊數(shù)字生態(tài)大會的Techo Day技術峰會上，騰訊云副總裁、騰訊數(shù)據(jù)平臺部副總經(jīng)理劉煜宏透露，截至目前，騰訊大數(shù)據(jù)的日實時計算量已經(jīng)超過200萬億，在線模型訓練維度達到1萬億，大數(shù)據(jù)平臺算力1000萬核，日離線分析任務數(shù)1500萬，量級位居國內(nèi)第一。騰訊大數(shù)據(jù)和AI繼續(xù)在國內(nèi)保持領先優(yōu)勢。

　　劉煜宏表示：“企業(yè)數(shù)字化正在全面加速，企業(yè)對云服務的需求也在不斷增加，騰訊云在大數(shù)據(jù)和AI領域既要尋求技術突破，又要能把這些技術突破轉(zhuǎn)為產(chǎn)品和服務，讓技術真正落地為行業(yè)服務，才能讓技術產(chǎn)生價值。”

　　騰訊云副總裁、騰訊數(shù)據(jù)平臺部副總經(jīng)理劉煜宏

　　構建企業(yè)數(shù)據(jù)連接器，助力企業(yè)更高效挖掘數(shù)據(jù)價值

　　隨著全球經(jīng)濟數(shù)字化轉(zhuǎn)型的加快,企業(yè)對大數(shù)據(jù)的需求也日益強烈，復雜場景、規(guī)模成本和數(shù)據(jù)安全等問題都對大數(shù)據(jù)業(yè)務發(fā)展提出了新挑戰(zhàn)。比如用戶的超大規(guī)模數(shù)據(jù)需要更高的調(diào)度性能;元數(shù)據(jù)、小文件數(shù)的膨脹也會帶來資源碎片過多存儲效率下降、平臺規(guī)模龐大運維定位復雜等問題。

　　針對這些痛點，騰訊大數(shù)據(jù)在技術上實現(xiàn)多個突破，比如借助“自適應計算+數(shù)據(jù)編排”能力可以屏蔽復雜底層，簡化使用，用最優(yōu)執(zhí)行引擎解耦計算與存儲;“Caelus離在線混部+平臺大腦”可以讓資源得到充分利用，節(jié)省運營成本，通過資源削峰填谷，讓平臺運行更加智能化;“PowerFL安全聯(lián)合計算”的3072bit高強度數(shù)據(jù)加密，則可以在保護隱私的同時實現(xiàn)數(shù)據(jù)協(xié)作。

　　在技術實現(xiàn)突破的同時，騰訊云也基于自身在大數(shù)據(jù)的基礎產(chǎn)品能力、數(shù)據(jù)中臺能力、數(shù)據(jù)應用能力，構建連通業(yè)務與數(shù)據(jù)資產(chǎn)的企業(yè)數(shù)據(jù)連接器，幫助教育、金融、政務等多個行業(yè)更深入、更高效地挖掘數(shù)據(jù)價值。

　　以國內(nèi)某教育平臺來說，在大數(shù)據(jù)使用時有明顯痛點，首先是擴容響應滯后，尤其短期有大量計算資源需求時;其次是資源利用率低，不同時段資源用量存在波峰波谷，在離線計算資源無法靈活調(diào)度;并且自建大數(shù)據(jù)成本高，不僅會為開發(fā)、運維帶來高成本，技術難度也大�；�于此，騰訊云大數(shù)據(jù)通過云原生混合算力調(diào)度，讓離在線技術助力該平臺成本節(jié)約及效能提升。最終，在云原生存算分離技術、云原生混合算力調(diào)度技術、云原生分析加速技術的加持下，在線資源利用率提升了100%，固定算力降低了5000核，10分鐘計算資源拉起能力也提升至了20000核。

　　在另一個銀行案例中，數(shù)據(jù)孤島嚴重、存儲成本高、數(shù)據(jù)不標準且質(zhì)量低成為了客戶痛點，騰訊云以TBDS為基礎的金融數(shù)據(jù)湖解決方案，幫助客戶消除數(shù)據(jù)孤島，做好數(shù)據(jù)治理，讓該客戶超50家分支機構建設了規(guī)模超1000節(jié)點的統(tǒng)一的大數(shù)據(jù)平臺，清洗治理的數(shù)據(jù)量超20PB，提升了數(shù)據(jù)質(zhì)量和價值。

　　劉煜宏表示，騰訊云大數(shù)據(jù)源于開源，也積極回饋開源。騰訊大數(shù)據(jù)從2014年就開始開源，目前主導或捐贈了6個項目，為社區(qū)貢獻超過800萬行代碼，培養(yǎng)了近100位或PMC或Committer成員。今天，騰訊大數(shù)據(jù)正式開源Caelus和FireStorm兩大項目，把騰訊大數(shù)據(jù)在在離線混部、計算加速等技術突破的成果與所有開發(fā)者分享。

　　用AI技術為產(chǎn)業(yè)賦能，構建開放、可持續(xù)的生態(tài)

　　騰訊云大數(shù)據(jù)通過深耕應用拓展了產(chǎn)業(yè)創(chuàng)新的邊界，騰訊云AI則正在通過技術突破助力全領域智能，讓數(shù)字技術與現(xiàn)實世界深度融合。據(jù)劉煜宏介紹，騰訊云AI技術如今已經(jīng)實現(xiàn)了由騰訊優(yōu)圖、AI Lab、WeChat AI、騰訊多媒體實驗室、騰訊云小微為技術支撐底座，騰訊云TI平臺、騰訊云小微對話式AI平臺為開發(fā)平臺，結(jié)合各行業(yè)的需求和行業(yè)經(jīng)驗，沉淀了工業(yè)AI中臺、媒體AI中臺、政務AI中臺等解決方案，為泛政府、泛互聯(lián)網(wǎng)、工業(yè)、企業(yè)AI、金融、傳媒、出行、家居等不同領域提供行業(yè)應用。

　　目前，騰訊在計算機視覺領域有超過100項原子能力、超過6500個全球?qū)＠�，發(fā)表在全球頂會論文800余篇，專利及論文數(shù)量位居中國互聯(lián)網(wǎng)公司第一，并多次刷新世界紀錄。

　　在語音AI領域也在不斷突破。比如騰訊語音智能，業(yè)務首創(chuàng)基于DNN全鏈路方案，可以對于回聲消除，聲音定位，語音分離，去混響及波束增強進行一體化處理技術。實車測試，在同時存在車外噪聲，車內(nèi)廣播及后排干擾人聲的復雜條件下，大幅提升語音去回聲，降噪，分離整體性能，識別準確率由10%~50%提升至90%以上。云小微數(shù)智人則可以實現(xiàn)多模態(tài)人機交互，多維度為客戶賦能，助力行業(yè)客戶打造有智能、有形象、可交互的數(shù)字分身。

　　今年8月，騰訊云和生態(tài)伙伴慧眼科技聯(lián)合打造的騰慧飛瞳AI質(zhì)檢儀正式發(fā)布。該產(chǎn)品針對目前3C結(jié)構件外觀檢測準確性差、效率低等難題，創(chuàng)造性的采用一站式智能化解決方案，突破制造業(yè)外觀檢測自動化的瓶頸問題，大幅提升檢測效率，解放質(zhì)檢人力、優(yōu)化成本。借助前沿的AI能力，3C零部件制造商富馳高科原來利用人工進行的質(zhì)檢工作，現(xiàn)在借助騰慧飛瞳AI質(zhì)檢儀僅需幾秒就能完成對目標零件360度無死角的采圖、分析、分類的工作，速度提升10倍，并且在10多臺設備持續(xù)滿載生產(chǎn)的情況下，項目可以每年為富馳節(jié)省人力成本數(shù)千萬元，檢測的質(zhì)量也得到明顯提高。

　　另一個AI技術加持的案例是騰訊云智媒體AI中臺，它從“媒體+AI”應用的實際需求出發(fā)，依托騰訊內(nèi)部諸多優(yōu)秀團隊的AI技術與最佳實踐，為媒體全業(yè)務流程打造應用服務。騰訊云智媒體AI中臺覆蓋多模態(tài)內(nèi)容結(jié)構化、智能轉(zhuǎn)碼、超分、老片修復、視頻質(zhì)檢等多維度應用，此外，可在平臺層提供智能推理、智能訓練、算法調(diào)度、可視化編排等能力，支持第三方算法、數(shù)據(jù)、應用接入，方便業(yè)務側(cè)的快速創(chuàng)新。使用后，可以讓媒體業(yè)務系統(tǒng)開發(fā)效率提升70%，場景貼合度提升50%，人員操作人效提升60%。

　　未來，騰訊云將繼續(xù)打造開放包容大數(shù)據(jù)和AI生態(tài)，攜手更多行業(yè)合作伙伴，共同建設繁榮的云端應用生態(tài)，推動企業(yè)數(shù)字化、智能化進程。