云時(shí)代的雙11數(shù)據(jù)庫(kù)技術(shù)黑科技大揭秘

　　2018年1月19日，阿里巴巴數(shù)據(jù)庫(kù)事業(yè)部聯(lián)合技術(shù)戰(zhàn)略部在阿里西溪園區(qū)總部，也是雙11技術(shù)的發(fā)源地，舉辦了一場(chǎng)線下《雙11數(shù)據(jù)庫(kù)技術(shù)峰會(huì)》，超過(guò)100名企業(yè)CTO、CIO和數(shù)據(jù)架構(gòu)師到場(chǎng)參加，現(xiàn)場(chǎng)座無(wú)虛席。

　　阿里巴巴集團(tuán)數(shù)據(jù)庫(kù)技術(shù)總負(fù)責(zé)人、阿里研究員張瑞做了開(kāi)場(chǎng)分享。張瑞2005年加入阿里，前兩天剛剛滿13周年，親歷了阿里整個(gè)數(shù)據(jù)庫(kù)技術(shù)的變遷和發(fā)展。數(shù)據(jù)庫(kù)理論在上世紀(jì)70年代被提出，Oracle抓住了機(jī)會(huì)，推出了基于磁盤設(shè)計(jì)的數(shù)據(jù)庫(kù)。后來(lái)，F(xiàn)lash技術(shù)成熟、PC上CPU能力增強(qiáng)，在這兩個(gè)背后推手下，阿里完成了去IOE的數(shù)據(jù)庫(kù)架構(gòu)升級(jí)。隨著互聯(lián)網(wǎng)技術(shù)快速發(fā)展，分布式大數(shù)據(jù)也開(kāi)始沖擊著傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)。一直以來(lái)，雙11是阿里技術(shù)的助推劑，阿里通過(guò)分布式數(shù)據(jù)庫(kù)中間件擴(kuò)展已經(jīng)能較好地支持雙十一活動(dòng)，這個(gè)背景下，從2016年阿里巴巴開(kāi)始思考需要的下一代的數(shù)據(jù)庫(kù)到底是什么?一個(gè)是已經(jīng)成熟的分布式架構(gòu)，一個(gè)是今天與云結(jié)合的很緊密的存儲(chǔ)計(jì)算分離技術(shù)。雙11極端的壓力下還要優(yōu)化成本，希望用原來(lái)1/10的成本把性能再提升10倍，今天新的硬件也在快速發(fā)展，包括內(nèi)存、FPGA、更高效的網(wǎng)絡(luò)等等。站在當(dāng)下看未來(lái)，數(shù)據(jù)庫(kù)現(xiàn)在又到了技術(shù)的最前沿，各種技術(shù)百花齊放。最后，張瑞表示，希望和在座的各位一起來(lái)探索未來(lái)十年數(shù)據(jù)庫(kù)的改變與突破。

　　阿里資深專家佳毅帶來(lái)雙11黑科技分享《數(shù)據(jù)庫(kù)優(yōu)化之路》。他提到，雙11數(shù)據(jù)庫(kù)面臨三大挑戰(zhàn)：數(shù)據(jù)強(qiáng)一致的問(wèn)題、性能問(wèn)題、成本問(wèn)題。今年使用阿里新一代數(shù)據(jù)庫(kù)X-DB來(lái)應(yīng)對(duì)這些挑戰(zhàn)。X-DB底層使用自研高性能Paxos基礎(chǔ)組件X-Paxos，借此解決數(shù)據(jù)強(qiáng)一致的問(wèn)題。對(duì)于性能和成本，底層使用Batching 和Pipelining技術(shù)來(lái)大大提升數(shù)據(jù)庫(kù)的事務(wù)處理能力。同時(shí)佳毅也分享了通過(guò)ESDB、X-KV等技術(shù)解決各種復(fù)雜的性能問(wèn)題，通過(guò)容器化與存儲(chǔ)計(jì)算分離讓數(shù)據(jù)庫(kù)做到極致彈性，最后佳毅分享了阿里巴巴正在通過(guò)CloudDBA產(chǎn)品大大降低DBA服務(wù)人力成本的問(wèn)題。

　　玄慚是云上的數(shù)據(jù)庫(kù)性能優(yōu)化高級(jí)專家，同時(shí)也是歷年雙十一RDS的技術(shù)保障負(fù)責(zé)人，他的分享是《云數(shù)據(jù)庫(kù)RDS雙11最佳實(shí)踐》。當(dāng)使用云上的RDS需要支撐類似雙11這樣的大型活動(dòng)的時(shí)候，玄慚分享了如何從參數(shù)優(yōu)化、鏈路訪問(wèn)、性能優(yōu)化、彈性擴(kuò)容、架構(gòu)設(shè)計(jì)，這五個(gè)方面去優(yōu)化數(shù)據(jù)庫(kù)，應(yīng)對(duì)高并發(fā)的訪問(wèn)。

　　IoT是當(dāng)前最熱門的技術(shù)趨勢(shì)之一，大量IoT設(shè)備產(chǎn)生的時(shí)序數(shù)據(jù)該如何存儲(chǔ)?在接下來(lái)阿里時(shí)序數(shù)據(jù)庫(kù)高級(jí)專家悠你的分享中，以一個(gè)典型的工業(yè)IoT案例-風(fēng)電場(chǎng)為案例，介紹了如何使用云端的高性能時(shí)序數(shù)據(jù)庫(kù)HiTSDB來(lái)存儲(chǔ)大量的時(shí)序數(shù)據(jù)存儲(chǔ)。同時(shí)介紹了HiTSDB在時(shí)序數(shù)據(jù)處理上的主要優(yōu)勢(shì)，包括聚合查詢、實(shí)時(shí)響應(yīng)、海量數(shù)據(jù)存儲(chǔ)等方面的優(yōu)秀技術(shù)成果。

　　下午的第一場(chǎng)由阿里資深專家斗佛帶來(lái)《企業(yè)數(shù)據(jù)安全管理最佳實(shí)踐》。一直以來(lái)，由于數(shù)據(jù)訪問(wèn)的隨意，給企業(yè)數(shù)據(jù)帶來(lái)非常大的泄露風(fēng)險(xiǎn)，甚至也出現(xiàn)過(guò)很多次企業(yè)的CEO或者CIO為此而被迫辭職的情況發(fā)生。硬件損壞、軟件bug、內(nèi)部數(shù)據(jù)泄露等等都是企業(yè)數(shù)據(jù)安全的挑戰(zhàn)。斗佛介紹了阿里巴巴數(shù)據(jù)安全解決方案如何解決這些問(wèn)題。同時(shí)他透露，對(duì)應(yīng)的阿里云上即將商業(yè)化的“數(shù)據(jù)管理DMS企業(yè)版”將把阿里內(nèi)部的經(jīng)驗(yàn)賦能給所有云上的用戶。

　　從08年開(kāi)始，阿里巴巴內(nèi)部就開(kāi)始了分庫(kù)分表技術(shù)的探索，10年來(lái)，在內(nèi)部沉淀的分庫(kù)分表數(shù)據(jù)庫(kù)中間件產(chǎn)品叫TDDL，對(duì)應(yīng)的在云上的產(chǎn)品為DRDS。這一次，阿里分布式數(shù)據(jù)庫(kù)技術(shù)專家夢(mèng)實(shí)給大家?guī)��?lái)了全新一代的DRDS引擎，帶了數(shù)倍的性能提升、更復(fù)雜的SQL能力、更具可讀性的優(yōu)化器執(zhí)行計(jì)劃等。他還透漏了一個(gè)重磅消息，新一代引擎將很快發(fā)布，并且在今年會(huì)對(duì)外完全開(kāi)源。

　　阿里OLAP數(shù)據(jù)庫(kù)高級(jí)專家知數(shù)在《分析型數(shù)據(jù)庫(kù)AnalyticDB2.0雙11實(shí)踐》中為大家介紹了如何使用實(shí)時(shí)分析型數(shù)據(jù)庫(kù)ADS來(lái)解決一些在線OLAP型業(yè)務(wù)問(wèn)題。比較典型的場(chǎng)景包括營(yíng)銷管理、推薦、預(yù)測(cè)、安全風(fēng)控等。知數(shù)以阿里雙11內(nèi)部多個(gè)場(chǎng)景為案例，展示ADS在這些業(yè)務(wù)上的表現(xiàn)。

　　隨著DT時(shí)代的到來(lái)，企業(yè)占有的數(shù)據(jù)越來(lái)越多，其規(guī)�？赡苓_(dá)到上百TB甚至PB級(jí)，如何以合理的成本管理并維護(hù)這樣一個(gè)數(shù)據(jù)庫(kù)也成為各個(gè)企業(yè)IT管理中的核心問(wèn)題。阿里云數(shù)據(jù)庫(kù)高級(jí)專家南仙的分享《云數(shù)據(jù)庫(kù)HybridDB HTAP技術(shù)實(shí)踐》介紹了如何通過(guò)阿里云數(shù)據(jù)庫(kù)團(tuán)隊(duì)自研的新型HTAP數(shù)據(jù)庫(kù)，同時(shí)支持OLTP和OLAP場(chǎng)景，它基于創(chuàng)新的計(jì)算存儲(chǔ)框架，在一份數(shù)據(jù)上保證事務(wù)的同時(shí)支持實(shí)時(shí)分析，省去了費(fèi)時(shí)的ETL過(guò)程。

　　隨著企業(yè)業(yè)務(wù)的發(fā)展，內(nèi)部的數(shù)據(jù)流動(dòng)會(huì)變成一個(gè)很大的挑戰(zhàn)。阿里數(shù)據(jù)庫(kù)架構(gòu)師西壁帶來(lái)的《數(shù)據(jù)實(shí)時(shí)同步解決方案》介紹雙11數(shù)據(jù)突增時(shí)，如何解決阿里內(nèi)部的數(shù)據(jù)流動(dòng)，具體的場(chǎng)景包括異地多活、媒體大屏、緩存更新、實(shí)時(shí)消息、新零售混合云等。如果是阿里云上的用戶，則可以通過(guò)數(shù)據(jù)傳輸服務(wù)DTS來(lái)解決類似場(chǎng)景的問(wèn)題。

　　在最后的圓桌會(huì)議環(huán)節(jié)，多位阿里數(shù)據(jù)庫(kù)技術(shù)專家暢談了自己對(duì)雙11技術(shù)、異地多活、分布式數(shù)據(jù)庫(kù)、分庫(kù)分表技術(shù)等的展望，同時(shí)也回答多個(gè)參會(huì)者相關(guān)的問(wèn)題。從全國(guó)多個(gè)城市趕來(lái)的參會(huì)嘉賓表示不虛此行，直言這是近幾年聽(tīng)到最純正的技術(shù)型會(huì)議。