云時代的雙11數(shù)據(jù)庫技術黑科技大揭秘

　　2018年1月19日，阿里巴巴數(shù)據(jù)庫事業(yè)部聯(lián)合技術戰(zhàn)略部在阿里西溪園區(qū)總部，也是雙11技術的發(fā)源地，舉辦了一場線下《雙11數(shù)據(jù)庫技術峰會》，超過100名企業(yè)CTO、CIO和數(shù)據(jù)架構師到場參加，現(xiàn)場座無虛席。

　　阿里巴巴集團數(shù)據(jù)庫技術總負責人、阿里研究員張瑞做了開場分享。張瑞2005年加入阿里，前兩天剛剛滿13周年，親歷了阿里整個數(shù)據(jù)庫技術的變遷和發(fā)展。數(shù)據(jù)庫理論在上世紀70年代被提出，Oracle抓住了機會，推出了基于磁盤設計的數(shù)據(jù)庫。后來，F(xiàn)lash技術成熟、PC上CPU能力增強，在這兩個背后推手下，阿里完成了去IOE的數(shù)據(jù)庫架構升級。隨著互聯(lián)網(wǎng)技術快速發(fā)展，分布式大數(shù)據(jù)也開始沖擊著傳統(tǒng)的關系型數(shù)據(jù)庫。一直以來，雙11是阿里技術的助推劑，阿里通過分布式數(shù)據(jù)庫中間件擴展已經(jīng)能較好地支持雙十一活動，這個背景下，從2016年阿里巴巴開始思考需要的下一代的數(shù)據(jù)庫到底是什么?一個是已經(jīng)成熟的分布式架構，一個是今天與云結合的很緊密的存儲計算分離技術。雙11極端的壓力下還要優(yōu)化成本，希望用原來1/10的成本把性能再提升10倍，今天新的硬件也在快速發(fā)展，包括內(nèi)存、FPGA、更高效的網(wǎng)絡等等。站在當下看未來，數(shù)據(jù)庫現(xiàn)在又到了技術的最前沿，各種技術百花齊放。最后，張瑞表示，希望和在座的各位一起來探索未來十年數(shù)據(jù)庫的改變與突破。

　　阿里資深專家佳毅帶來雙11黑科技分享《數(shù)據(jù)庫優(yōu)化之路》。他提到，雙11數(shù)據(jù)庫面臨三大挑戰(zhàn)：數(shù)據(jù)強一致的問題、性能問題、成本問題。今年使用阿里新一代數(shù)據(jù)庫X-DB來應對這些挑戰(zhàn)。X-DB底層使用自研高性能Paxos基礎組件X-Paxos，借此解決數(shù)據(jù)強一致的問題。對于性能和成本，底層使用Batching 和Pipelining技術來大大提升數(shù)據(jù)庫的事務處理能力。同時佳毅也分享了通過ESDB、X-KV等技術解決各種復雜的性能問題，通過容器化與存儲計算分離讓數(shù)據(jù)庫做到極致彈性，最后佳毅分享了阿里巴巴正在通過CloudDBA產(chǎn)品大大降低DBA服務人力成本的問題。

　　玄慚是云上的數(shù)據(jù)庫性能優(yōu)化高級專家，同時也是歷年雙十一RDS的技術保障負責人，他的分享是《云數(shù)據(jù)庫RDS雙11最佳實踐》。當使用云上的RDS需要支撐類似雙11這樣的大型活動的時候，玄慚分享了如何從參數(shù)優(yōu)化、鏈路訪問、性能優(yōu)化、彈性擴容、架構設計，這五個方面去優(yōu)化數(shù)據(jù)庫，應對高并發(fā)的訪問。

　　IoT是當前最熱門的技術趨勢之一，大量IoT設備產(chǎn)生的時序數(shù)據(jù)該如何存儲?在接下來阿里時序數(shù)據(jù)庫高級專家悠你的分享中，以一個典型的工業(yè)IoT案例-風電場為案例，介紹了如何使用云端的高性能時序數(shù)據(jù)庫HiTSDB來存儲大量的時序數(shù)據(jù)存儲。同時介紹了HiTSDB在時序數(shù)據(jù)處理上的主要優(yōu)勢，包括聚合查詢、實時響應、海量數(shù)據(jù)存儲等方面的優(yōu)秀技術成果。

　　下午的第一場由阿里資深專家斗佛帶來《企業(yè)數(shù)據(jù)安全管理最佳實踐》。一直以來，由于數(shù)據(jù)訪問的隨意，給企業(yè)數(shù)據(jù)帶來非常大的泄露風險，甚至也出現(xiàn)過很多次企業(yè)的CEO或者CIO為此而被迫辭職的情況發(fā)生。硬件損壞、軟件bug、內(nèi)部數(shù)據(jù)泄露等等都是企業(yè)數(shù)據(jù)安全的挑戰(zhàn)。斗佛介紹了阿里巴巴數(shù)據(jù)安全解決方案如何解決這些問題。同時他透露，對應的阿里云上即將商業(yè)化的“數(shù)據(jù)管理DMS企業(yè)版”將把阿里內(nèi)部的經(jīng)驗賦能給所有云上的用戶。

　　從08年開始，阿里巴巴內(nèi)部就開始了分庫分表技術的探索，10年來，在內(nèi)部沉淀的分庫分表數(shù)據(jù)庫中間件產(chǎn)品叫TDDL，對應的在云上的產(chǎn)品為DRDS。這一次，阿里分布式數(shù)據(jù)庫技術專家夢實給大家?guī)�來了全新一代的DRDS引擎，帶了數(shù)倍的性能提升、更復雜的SQL能力、更具可讀性的優(yōu)化器執(zhí)行計劃等。他還透漏了一個重磅消息，新一代引擎將很快發(fā)布，并且在今年會對外完全開源。

　　阿里OLAP數(shù)據(jù)庫高級專家知數(shù)在《分析型數(shù)據(jù)庫AnalyticDB2.0雙11實踐》中為大家介紹了如何使用實時分析型數(shù)據(jù)庫ADS來解決一些在線OLAP型業(yè)務問題。比較典型的場景包括營銷管理、推薦、預測、安全風控等。知數(shù)以阿里雙11內(nèi)部多個場景為案例，展示ADS在這些業(yè)務上的表現(xiàn)。

　　隨著DT時代的到來，企業(yè)占有的數(shù)據(jù)越來越多，其規(guī)�？赡苓_到上百TB甚至PB級，如何以合理的成本管理并維護這樣一個數(shù)據(jù)庫也成為各個企業(yè)IT管理中的核心問題。阿里云數(shù)據(jù)庫高級專家南仙的分享《云數(shù)據(jù)庫HybridDB HTAP技術實踐》介紹了如何通過阿里云數(shù)據(jù)庫團隊自研的新型HTAP數(shù)據(jù)庫，同時支持OLTP和OLAP場景，它基于創(chuàng)新的計算存儲框架，在一份數(shù)據(jù)上保證事務的同時支持實時分析，省去了費時的ETL過程。

　　隨著企業(yè)業(yè)務的發(fā)展，內(nèi)部的數(shù)據(jù)流動會變成一個很大的挑戰(zhàn)。阿里數(shù)據(jù)庫架構師西壁帶來的《數(shù)據(jù)實時同步解決方案》介紹雙11數(shù)據(jù)突增時，如何解決阿里內(nèi)部的數(shù)據(jù)流動，具體的場景包括異地多活、媒體大屏、緩存更新、實時消息、新零售混合云等。如果是阿里云上的用戶，則可以通過數(shù)據(jù)傳輸服務DTS來解決類似場景的問題。

　　在最后的圓桌會議環(huán)節(jié)，多位阿里數(shù)據(jù)庫技術專家暢談了自己對雙11技術、異地多活、分布式數(shù)據(jù)庫、分庫分表技術等的展望，同時也回答多個參會者相關的問題。從全國多個城市趕來的參會嘉賓表示不虛此行，直言這是近幾年聽到最純正的技術型會議。