AI自己寫代碼管理數(shù)據(jù)庫？國產(chǎn)數(shù)據(jù)庫怎么看

　　文|光錐智能，作者|劉雨琦

　　“23.44°到23.47°。”

　　這是在《流浪地球2》中，十臺地球發(fā)動機發(fā)射測試產(chǎn)生的0.03度角位移，而就是這0.03度印證了“移山計劃”的可行性。讓地球遷移計劃從“有可能”變?yōu)榱思榷ㄊ聦崱?/p>

　　于當下這個節(jié)點而言，ChatGPT便是那0.03度的角位移。它的出現(xiàn)讓很多趨勢成為了既定事實。這其中，并不只是對通用大模型等顯性特征達成一致，而是對當前的技術(shù)架構(gòu)有著根源性的重構(gòu)。

　　數(shù)據(jù)庫的云原生化便是其中之一。以往提到云原生，無外乎是隨著企業(yè)業(yè)務(wù)發(fā)展的爆發(fā)式需求，將數(shù)據(jù)庫遷移上云能夠大幅度降本，對于云原生的探索更多集中在高彈性、高可用性、資源解耦等技術(shù)優(yōu)勢。

　　但從根本上，云原生與大模型的關(guān)系，就像新能源與智能化，云智一體不是成本的最優(yōu)解，而是AI發(fā)展的必要條件。

　　國內(nèi)外的云巨頭們早就開始了提前布局。在阿里云瑤池數(shù)據(jù)庫峰會中，基于阿里云原生數(shù)據(jù)庫Polar DB推出了一體化HTAP數(shù)據(jù)庫;騰訊云云原生數(shù)據(jù)庫TDSQL-C打榜TPC-C破世界紀錄;螞蟻集團云原生時序數(shù)據(jù)庫CeresDB 1.0正式發(fā)布;Amazon Aurora Serverless v2將在中國區(qū)域上線。

　　“未來接觸AI之后，業(yè)務(wù)的迭代速度會越來越快，業(yè)務(wù)都要為企業(yè)創(chuàng)造價值。這個過程中要求快速迭代、穩(wěn)定、低成本、彈性，‘又快又穩(wěn)定’這對于系統(tǒng)的要求是非常矛盾的。今天能夠解決這個系統(tǒng)問題的架構(gòu)，就是云原生架構(gòu)，所以說今天云原生架構(gòu)是所有系統(tǒng)演進的未來。”阿里云數(shù)據(jù)庫解決方案專家李圣陶判斷道。

　　這意味著我們將進入一個全面云原生化的時代。不只是數(shù)據(jù)庫的云原生，更多應(yīng)該發(fā)生在應(yīng)用的云原生、基礎(chǔ)設(shè)施的云原生中，云原生數(shù)據(jù)庫是一個起點，也是撬動下一個時代的關(guān)鍵扳手。一、AI for DB，DB for AI

　　云原生是迎接智能化時代的基礎(chǔ)條件，智能化是云原生數(shù)據(jù)庫新的牽引力，二者相輔相成并呈螺旋式上升。

　　阿里云數(shù)據(jù)產(chǎn)品事業(yè)部負責人李飛飛認為，這分為兩個部分：AI for DB，DB for AI。

　　目前，AI for DB，智能化技術(shù)大多運用在數(shù)據(jù)庫的運維的環(huán)節(jié)，比如異常檢測、HA切換、參數(shù)調(diào)參、多維分析等數(shù)據(jù)庫管理服務(wù)。

　　在智能化之前，數(shù)據(jù)庫的運維主要依靠云資源池化、分層解耦(存算分離)和人工服務(wù)實現(xiàn)混合數(shù)據(jù)庫的統(tǒng)一管理。然而隨著數(shù)字時代數(shù)據(jù)庫架構(gòu)和運行環(huán)境日趨復(fù)雜，數(shù)據(jù)庫種類也從單一產(chǎn)品轉(zhuǎn)變?yōu)榛旌闲蜕虡I(yè)數(shù)據(jù)庫和開源數(shù)據(jù)庫的組合，依靠人工運維顯得捉襟見肘。

　　AI for DB的核心在于利用機器學(xué)習(xí)，能夠給予海量運行數(shù)據(jù)形成智能運維模型，自動化處理各項任務(wù)，例如自動管理計算與存儲資源、自動防范惡意訪問與攻擊、主動實現(xiàn)數(shù)據(jù)庫智能調(diào)優(yōu)等。

　　舉個簡單的例子，參數(shù)調(diào)參的本質(zhì)和自動駕駛的參數(shù)一樣，何時打方向盤、何時踩剎車對系統(tǒng)而言都是一些固定的參數(shù)設(shè)置。傳統(tǒng)的調(diào)參方式往往是“經(jīng)驗調(diào)參”，需要不斷試錯不斷總結(jié)，而將機器學(xué)習(xí)能力應(yīng)用在運維系統(tǒng)里，在數(shù)據(jù)庫運行時，ML便能通過學(xué)習(xí)和分析，靈活調(diào)優(yōu)，最終在每個節(jié)點都能達到最優(yōu)的參數(shù)設(shè)置。

　　同類型的應(yīng)用還有很多，比如自定義備份策略、自動在線升級修復(fù)BUG、監(jiān)控自定義報警燈等等。對傳統(tǒng)的數(shù)據(jù)庫運維方式大幅提效。

　　如果說AI for DB解決的是當下效率問題，那DB for AI解決的便是AI2.0時代“入場券”問題。

　　在AI 2.0時代，DB for AI一個最大的變化是多模態(tài)數(shù)據(jù)處理一體化。包括不限于時序數(shù)據(jù)、文檔數(shù)據(jù)、寬表數(shù)據(jù)、結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)、圖數(shù)據(jù)等等融合在一起，為AIGC所需的多模態(tài)數(shù)據(jù)打下堅實的基礎(chǔ)。

　　此前，數(shù)據(jù)庫按照數(shù)據(jù)類型被分為各類垂直數(shù)據(jù)庫，這也是同一個企業(yè)采購多個數(shù)據(jù)庫的原因，而多個數(shù)據(jù)庫之間的不互通，又給了運維平臺相當大的挑戰(zhàn)，但在AIGC和多模態(tài)大模型等需求下，對數(shù)據(jù)類型和質(zhì)量的要求都會提高。

　　另一個方面的挑戰(zhàn)是，對于數(shù)據(jù)庫廠商而言，需要提供靈活的模型導(dǎo)入能力和接口，可以把第三方以及客戶自己的模型一鍵導(dǎo)入，并且支持模型的數(shù)據(jù)庫存儲和使用，在各種各樣的應(yīng)用中完成所需要的推理。

　　目前，國內(nèi)外廠商都已經(jīng)開始聞風(fēng)而動。從全球局勢來看，多模態(tài)數(shù)據(jù)跑在最前面的仍是微軟Azure。Azure Cosmos DB支持文檔、鍵值對、列族和圖形數(shù)據(jù)，并支持Serverless(無服務(wù))選項，用戶可以按需付費，不必預(yù)配和維護，這使Azure Cosmos DB更加具有彈性，能夠快速縮放，大大提高了多模數(shù)據(jù)庫的易用性。

　　而AWS的多模數(shù)據(jù)庫Amazon Neptune本質(zhì)上是一種高性能的圖形數(shù)據(jù)庫，支持圖形數(shù)據(jù)模型和SPARQL查詢語言，雖然支持鍵值對數(shù)據(jù)模型，但可操作性十分有限。

　　國內(nèi)，阿里云在剛剛過去的阿里云瑤池數(shù)據(jù)庫峰會中，發(fā)布了Lindorm靈動多模態(tài)數(shù)據(jù)庫，據(jù)李飛飛介紹，Lindorm 多模數(shù)據(jù)庫具備多模數(shù)據(jù)處理能力，還集成了AI能力，能夠生成視頻、圖表等AI生成式內(nèi)容。用戶只需寫幾段SQL語言，即可在數(shù)據(jù)庫內(nèi)完成模型的部署和推理，快速搭建AI應(yīng)用的平臺。

　　在AIGC蓬勃發(fā)展的當下，國內(nèi)多模態(tài)數(shù)據(jù)庫的發(fā)展也將成為通往數(shù)據(jù)智能時代的重要支撐。 二、云原生走進2.0

　　受智能化的引力牽引，云原生從1.0快速進入了2.0時代。

　　關(guān)于云原生2.0時代與1.0最大的區(qū)別，李飛飛認為是“四化”：云原生化、平臺化、一體化、智能化。而騰訊云總裁邱岳鵬則認為是：一體化、敏捷調(diào)用、數(shù)智融合和開箱即用。

　　即便說法不同，但一體化的趨勢是確定無疑的。

　　在傳統(tǒng)數(shù)據(jù)庫中，不同的分類標準數(shù)據(jù)庫的類型不同。比如按照功能分類，分為：OLTP、OLAP;按照數(shù)據(jù)種類分，分為時序數(shù)據(jù)庫、鍵值數(shù)據(jù)庫、圖數(shù)據(jù)庫等;按照數(shù)據(jù)庫架構(gòu)分，分為分布式數(shù)據(jù)庫、集中式數(shù)據(jù)庫。

　　這種復(fù)雜程度，也是數(shù)據(jù)庫作為基礎(chǔ)軟件“三駕馬車”難以攻克的關(guān)鍵點之一。

　　然而在云原生2.0時代，一體化不再只是軟硬件的一體化，也不只是數(shù)據(jù)形式的“大雜燴”，更重要的是TP和AP的一體化提高效率，分布式集中式的一體化降低成本。

　　在去年，已經(jīng)有部分廠商如OceanBase、PolarDB、TDSQL-H、TiDB等都實現(xiàn)了 HTAP，幾乎成為了新興數(shù)據(jù)庫的必選項。Gartner也提出HTAP已經(jīng)成為了全球范圍內(nèi)新一代數(shù)據(jù)庫入場的籌碼，兼具AP和TP能力，將打破數(shù)據(jù)棧的割裂狀態(tài)，最終讓數(shù)據(jù)集中在簡單易用、安全可靠、高性價比的數(shù)據(jù)平臺。

　　不過，過去的HTAP通常只是同一廠商TP和AP的簡單“捏合”，品牌是統(tǒng)一的，但支持交易和分析的時候有不同架構(gòu)和部署形態(tài)來適應(yīng)負載。李飛飛也直言：“過去的HTAP的T和H是兩個完全獨立的引擎，因為MPP(大規(guī)模并行處理)和ACID(數(shù)據(jù)庫事物正確執(zhí)行四要素)的要求不同，除非犧牲數(shù)據(jù)的一致性和可見性，在一個引擎里，又想做行、又想做列的MPP，幾乎不可能。”

　　阿里云的解決辦法是基于Polar DB的輕量化，通過內(nèi)嵌DPS(統(tǒng)計軟件)讓數(shù)據(jù)同步、實時可見，將可見性和一致性大幅提升，同時統(tǒng)一的控制臺和統(tǒng)一的標準API，盡可能弱化從A到T過程中的消耗，在體感上達到無縫流通。

　　阿里云瑤池將云原生數(shù)據(jù)庫PolarDB和云原生數(shù)據(jù)倉庫AnalyticDB打通融合后，為企業(yè)提供統(tǒng)一入口，兼具數(shù)據(jù)處理與分析能力，為用戶帶來一站式的數(shù)據(jù)庫使用體驗。

　　騰訊云TDSQL-H在方向上與阿里云大體一致，只不過實現(xiàn)的方式有所不同。騰訊云針對白天營業(yè)狀態(tài)時TP場景更多，夜間營業(yè)狀態(tài)AP場景更多，進行了動態(tài)調(diào)整，通過并發(fā)控制、內(nèi)存控制、資源彈性劃分以及參數(shù)自動調(diào)解等方式，提供完全透明的、單系統(tǒng)的HTAP方案。

　　另一方面，集中式和分布式的界限也在逐漸模糊。

　　“未來，基于云原生架構(gòu)，集中式和分布式不再如長江、黃河一樣涇渭分明，轉(zhuǎn)化可以做得非常平滑，因為資源池化，集中式和分布式也可以一體化。”李飛飛講道。

　　事實上，這也是傳統(tǒng)數(shù)據(jù)庫的一個核心痛點。集中式和分布式是完全以數(shù)據(jù)庫架構(gòu)為出發(fā)點，而不考慮業(yè)務(wù)需求�？蛻舻囊�求就是用盡可能低的成本、盡可能高的效率完成任務(wù)，這背后是集中式還是分布式，并不重要。

　　這與云原生的“資源池化”和“資源解耦”能力有很大的關(guān)系。

　　資源池化中的典型代表是湖倉一體。本質(zhì)是把MPP和BSP(商業(yè)資源數(shù)據(jù)庫)融合起來，無論是在線、離線、調(diào)度、混合負載，都可以在同一個數(shù)據(jù)湖中完成，且做到互不干擾，這是正在發(fā)生和接下來HTAP要突破的技術(shù)。

　　云原生1.0的資源解耦主要是存儲和計算的解耦，雙并行作業(yè)提高效率。而云原生2.0則是CPU、內(nèi)存、存儲三層解耦，更容易實現(xiàn)云上資源秒級擴容和高可用、高可靠能力。

　　基于架構(gòu)的一體化，云原生2.0的另一個特點就是平臺化。正所謂“合久必分、分久必合”，一個數(shù)據(jù)庫“打天下”解決所有問題的時代已經(jīng)結(jié)束了，取而代之的是用平臺化的思維構(gòu)建多個引擎，基于平臺提供一站式的能力和解決方案，這是平臺化的核心。

　　總的來說，云原生2.0時代，不再是簡單的節(jié)省成本，而是基于云原生架構(gòu)的廣袤空間，對當下的云數(shù)據(jù)庫進行根本性的改造，從而適應(yīng)越來越快的數(shù)據(jù)時代。 三、國產(chǎn)數(shù)據(jù)庫換道超車

　　從整個數(shù)據(jù)庫行業(yè)來看，把握住了云原生趨勢，也就抓住了國產(chǎn)數(shù)據(jù)庫換道超車的最佳機會。

　　據(jù)中國信通院發(fā)布的《數(shù)據(jù)庫發(fā)展研究報告2021》統(tǒng)計，2025年中國的數(shù)據(jù)庫市場規(guī)模將達到688億元，5年年復(fù)合增長率達23.4%。目前，海外巨頭仍占據(jù)國內(nèi)數(shù)據(jù)庫市場較大份額，但國產(chǎn)數(shù)據(jù)庫經(jīng)歷多年沉淀，已經(jīng)具備較強的競爭力。

　　全球范圍內(nèi)的競爭潛力，都在“云原生數(shù)據(jù)庫”這匹黑馬上。Gartner預(yù)測，到2023年，75%的數(shù)據(jù)庫都要跑在云平臺上，且從2019年開始，Gartner便不再將傳統(tǒng)數(shù)據(jù)庫的性能納入評價指標。

　　在這張紛繁復(fù)雜的排名變化圖中，透露了幾個重要信號。

　　從2011年-2021年，數(shù)據(jù)庫十年變局分為三個重要階段：

　　2011年-2013年，傳統(tǒng)數(shù)據(jù)庫幾乎壟斷了整個市場，Oracle、IBM、SAP等傳統(tǒng)廠商一騎絕塵;

　　2013年開始，以AWS為首的云廠商殺入，云數(shù)據(jù)庫進入了一段高速增長期。2014年阿里云進入、2015年華為云進入、2016年騰訊云和Snowflake進入，至2018年，云廠商們陡坡逆行，從小透明突破到前十的位置;

　　2018年之后，進入了一段穩(wěn)定增長期，直至2020年，微軟搶占了Oracle長達近10年的霸主地位;2021年，AWS也領(lǐng)先Oracle成為了第三名，前五名中，有三名均是云廠商;前十名中，有7名均是云廠商。

　　Gartner報告顯示，云數(shù)據(jù)庫現(xiàn)在創(chuàng)造了392億美元的收入，占所有數(shù)據(jù)庫的49%以上。

　　而以云廠商為代表的云原生數(shù)據(jù)庫增長速度之快、突破力之強，在短短五年內(nèi)徹底打亂了傳統(tǒng)數(shù)據(jù)庫的市場格局，同時也保持了較強的持久力。

　　以谷歌為例，其整體市場增長率幾乎翻了三倍，取代了IBM和SAP，成為了全球第四大數(shù)據(jù)庫提供商。Snowflake從誕生起便采用了云原生架構(gòu)，即便在2016年才剛剛問世，也一路突圍，目前僅次于騰訊，成為了云數(shù)據(jù)庫中市值最高的獨角獸企業(yè)。

　　國際市場云原生數(shù)據(jù)庫的突破力在國內(nèi)市場同理。據(jù)IDC統(tǒng)計，2021年H2，本地部署數(shù)據(jù)庫格局仍以O(shè)racle為首，但云部署已經(jīng)打開局面，且呈現(xiàn)了更加多樣化的競爭格局。

　　種種數(shù)據(jù)表明，云數(shù)據(jù)庫已經(jīng)從趨勢成為了既定事實和發(fā)展前提，也是未來國產(chǎn)數(shù)據(jù)庫“去O”的關(guān)鍵手段。

　　而在智能化時代，數(shù)據(jù)庫走過了第一階段又立刻向第二階段啟航，以阿里云、華為云、騰訊云數(shù)據(jù)庫為代表的，更強的云資源、云能力、云平臺支撐下數(shù)據(jù)庫，一方面帶領(lǐng)國產(chǎn)數(shù)據(jù)庫換道超車，另一方面也在為智能化的爆發(fā)，做全面準備。