國產數據庫先行者ArgoDB——以自主創(chuàng)新技術，加速全行業(yè)國產化替代

　　2022年的黨政信創(chuàng)試點即將進入尾聲。黨政信創(chuàng)國產化試點的成功加速了其他行業(yè)國產替代的腳步。預計從2023年起，數據庫國產化替代工作將在各行業(yè)的信息化、數字化建設中遍地開花。隨著信息化建設的推進，業(yè)務數據不斷增長，業(yè)務處理愈發(fā)復雜，傳統(tǒng)的單機或者集中式數據庫逐漸無法滿足對原有業(yè)務和新興業(yè)務的處理需求。由于傳統(tǒng)數據庫在功能、架構等的局限性因素，難以支撐更高并發(fā)、更低延時的業(yè)務訴求，同樣也難以滿足企業(yè)多模融合、湖倉一體、隱私計算等新興業(yè)務需求。

　　在國際上，我們不難發(fā)現(xiàn)，在2022年的俄烏沖突中，沖突雙方通過限制底層通用技術的使用，可以干預并控制民生、政府、金融等行業(yè)的正常運行。在Oracle宣布暫停俄羅斯所有業(yè)務后，大量企業(yè)的ERP、財務系統(tǒng)等一系列基于Oracle數據庫的業(yè)務系統(tǒng)在很長一段時間內均處于癱瘓狀態(tài)，相關業(yè)務無法正常開展。

　　同樣在國內，從美國近年來多次發(fā)動的經濟制裁與技術封鎖行動中，我們也深刻認識到科技戰(zhàn)必將成為未來IT領域的新常態(tài)。作為信息化支撐的基礎軟件，數據庫的國產化替代已迫在眉睫。但是數據庫國產化替代往往涉及到IT底層架構、業(yè)務應用等各個方面，并不是一蹴而就的事情。

　　星環(huán)科技堅持核心技術自主研發(fā)與創(chuàng)新，打造先進的分布式分析型數據庫ArgoDB，深耕國內市場，推動各行業(yè)國產化替代落地，助力企業(yè)加速數字化轉型。

　　堅持自主研發(fā)，力求產品安全可控

　　在國產化替代的大背景下，受利好政策和用戶需求的催化，近年來“國產數據庫”如雨后春筍般涌現(xiàn)。但是剝開“國產數據庫”華麗的外殼，究其內里，我們不禁要問，“國產數據庫”真的能夠實現(xiàn)數據庫技術的“完全自主可控”嗎?其實，我們不難發(fā)現(xiàn)，大多數所謂的“國產數據庫”中，絕大多數是基于開源MySQL或PostgreSQL數據庫進行加工改造，“基于開源”并非原創(chuàng)，“抄作業(yè)”始終難以內化為自己的東西。缺少對數據庫核心技術的掌控，又如何真正實現(xiàn)“完全自主可控”呢?

　　ArgoDB自誕生以來，星環(huán)科技始終堅持數據庫技術的自主研發(fā)路線，一步一個腳印，歷時長達9年時間，逐步積累了一系列數據庫的核心技術，如分布式技術、實時數據處理技術、多模型數據的統(tǒng)一處理技術、湖倉一體化、隱私計算技術等。根據工信部電子第五研究所的代碼掃描結果顯示——ArgoDB代碼自主率(行數)超過90%，完全滿足了各行業(yè)對國產數據庫“自主可控”的訴求。此外，ArgoDB還通過了信通院分布式數據庫產品能力基礎能力和性能測試2項測評認證，進一步驗證了使用ArgoDB數據庫建設自主可控的分析業(yè)務數字化底座的可行性。

　　得益于自主創(chuàng)新技術，2019 年 8 月，經過國際事務處理性能委員會(簡稱TPC)官方審計，ArgoDB成為全球第四個通過 TPC-DS 基準測試的數據庫產品。

　　當前，ArgoDB已與國內主流軟硬件信創(chuàng)廠商完成了兼容適配互認證，并且深度適配飛騰、鯤鵬等國產CPU及麒麟、UOS等國產操作系統(tǒng)，全面融入國產化生態(tài)。

　　基于技術創(chuàng)新，為數字化轉型鋪路

　　ArgoDB堅持核心技術全面自主創(chuàng)新，并積累了一系列核心技術。不止能夠幫助企業(yè)實現(xiàn)國產化替代，而且加速企業(yè)數字化轉型，滿足未來對于更多業(yè)務場景的需求。

　　* 高性能、高擴展、高可用的分布式計算框架

　　* 高吞吐、低時延的實時分析能力

　　* 支持10種數據模型，輕松實現(xiàn)多模型數據融合分析

　　* 支持多方言SQL兼容，協(xié)助業(yè)務極簡改造

　　* 高性能、高擴展、高可用的分布式計算框架

　　基于分布式計算框架，ArgoDB能完美支持交互式查詢、基于索引方式的點查等，協(xié)助用戶構建大型的、低延遲的數據分析應用程序。ArgoDB憑借Native、向量化計算引擎和多模存儲引擎的雙重利器，性能大幅度提升。典型應用場景已全面優(yōu)于Clickhouse、Greenplum、Spark等常見OLAP引擎。在相同的測試環(huán)境配置下， ArgoDB的OLAP場景性能是Clickhouse、Greenplum、Spark的2~10倍。

　　此外，隨著新興硬件的不斷發(fā)展，為了充分發(fā)掘新興硬件的更多潛能，ArgoDB結合新硬件技術，滿足更復雜的業(yè)務場景需求。如基于閃存存儲硬件進行深度優(yōu)化，相比機械硬盤分析性能有顯著提升，讓用戶真正感受到新興硬件帶來的巨大性能優(yōu)勢。

　　基于分布式計算框架，ArgoDB還能夠提供相對于傳統(tǒng)并行計算架構更好的擴展能力。大多數基于并行計算的數據庫(如Teradata、Greenplum等MPP架構數據庫)在實現(xiàn)集群擴展時，對IO資源消耗較大，直接影響現(xiàn)有業(yè)務的運行。部分基于并行計算架構的數據庫在調整數據服務節(jié)點過程中，會出現(xiàn)元信息讀取的不可用，導致必須停服而中斷業(yè)務。而對于基于分布式計算框架的ArgoDB數據庫而言，由于通過TDDMS(星環(huán)分布式數據管理系統(tǒng))進行了元信息的統(tǒng)一管理，集群規(guī)模調整過程中，不會因為元信息同步導致對數據表無法讀寫，在集群規(guī)模變更時，僅需將小部分數據移動到新節(jié)點即可。

　　* 高吞吐、低時延的實時分析能力

　　對于上游業(yè)務數據庫(如MySQL、Oracle等)以日志形式實時傳遞數據的場景，傳統(tǒng)數據庫一般通過對日志解析，再以SQL重放的形式實現(xiàn)數據加載，在小數據量場景下可以實現(xiàn)近實時的數據同步和數據分析。但隨著上游業(yè)務源的增多，同步數據對象變多，需同步的數據量隨之增大，如果仍采用SQL重放的方式處理數據的實時同步，在分析庫端的SQL提交、SQL解析等過程中會出現(xiàn)嚴重的性能瓶頸，隨之就影響了分析庫中實時分析業(yè)務的性能。同樣的實時寫入分析場景，如果采用流式寫入的方式，在應對大量表數據需要同步場景時，對于流式寫入中Kafka Topic的管理也會成為處理瓶頸，并且對上千任務的調度和維護成本也急劇增長。高并發(fā)、高吞吐的實時數據寫入分析型數據庫，并同時對外提供極致高效的查詢分析服務是對分析型數據庫能力的一個重大挑戰(zhàn)。

　　基于上述實時寫入和實時分析的業(yè)務場景，ArgoDB 以新的數據寫入接口方式提供了新的實時數據接入方案，該接口具備對數據的Insert、Update、Delete和Upsert操作能力。對于大規(guī)模的數據實時同步場景，客戶端可通過對接口的調用，直接將數據寫入ArgoDB的存儲引擎中，在實時更新的場景下進行高效的數據分析。

　　* 支持10種數據模型，輕松實現(xiàn)多模型數據融合分析

　　為解決多種數據庫或平臺混合使用的混合架構中的數據孤島問題，ArgoDB提供了多模型融合分析處理能力。在編譯器層、計算引擎層、數據存儲管理層、資源管理層實現(xiàn)了統(tǒng)一重構，提供了統(tǒng)一的 SQL 引擎、統(tǒng)一的計算引擎、異構的數據存儲模型、統(tǒng)一的分布式數據管理系統(tǒng)和統(tǒng)一的資源管理系統(tǒng)的技術架構，能夠支持關系型、搜索、文本、對象、圖等10種數據模型。

　　ArgoDB 通過統(tǒng)一的元數據管理、統(tǒng)一的事務管理和完備的多模優(yōu)化器支撐了對不同模態(tài)數據的統(tǒng)一讀取調度，支持跨模型聯(lián)合分析，滿足更多“一庫多用”場景。例如傳統(tǒng)反欺詐解決方案由于不同數據模型分散存儲在不同的數據庫(例如關系型數據庫和圖數據庫)等原因，在實際業(yè)務中需要大量數據轉換操作，應用實施成本高，實時性有待提高。ArgoDB為解決此類業(yè)務中的數據關聯(lián)難問題，將多模型數據存儲、數據融合處理能力進行迭代加強，用戶可將關系型數據和圖數據庫進行統(tǒng)一存儲，用戶只需通過一個 SQL 即可關聯(lián)查詢分析關系型數據和圖數據，在數據免搬遷、減少人工操作的同時，提升業(yè)務效率。

　　* 支持多方言SQL兼容，協(xié)助業(yè)務極簡改造

　　Oracle、IBM DB2、Teradata等國外數據庫往往已經在企業(yè)中使用多年，國產化替代往往涉及到IT底層架構、業(yè)務應用等各個方面，因此遷移過程比較復雜。大多數國產數據庫存在SQL 語法無統(tǒng)一規(guī)范、對 ANSI SQL 標準和傳統(tǒng)關系型數據庫方言支持度較低、兼容的存儲過程語法有限等問題。這些問題導致國產化替代落地時，開發(fā)人員需要耗費大量人力進行業(yè)務改造，數據庫使用人員需要重新學習產品用法。

　　為了使得各行業(yè)國產化替代時，業(yè)務平滑遷移，降低遷移成本。星環(huán)科技自研編譯技術，實現(xiàn)了用統(tǒng)一的 SQL 語言操作不同模型(如表、文檔、圖等)的數據。與其他國產數據庫相比，SQL 編譯技術達到業(yè)界先進水平，支持絕大部分 ANSI92、99、2003 SQL 標準，兼容傳統(tǒng)關系型數據庫方言，如 Oracle、IBM DB2、Teradata等，支持存儲過程，從而大幅降低了大數據應用開發(fā)的難度和成本。

　　從Oracle、IMB DB2、Teradata等數據庫遷移至ArgoDB時，開發(fā)人員無需對原有業(yè)務進行過多的改造，使用人員無需重新學習產品用法，大幅度降低了遷移至ArgoDB的技術與人力成本，快速實現(xiàn)業(yè)務的平滑遷移。

　　經過9年的自主研發(fā)，ArgoDB已全面超越了國外數據庫產品，可以為用戶提供更優(yōu)的解決方案。

　　深耕業(yè)務模型，助力客戶架構升級

　　經過多年發(fā)展，ArgoDB 已經在金融、政府等領域有數十個落地案例，其中包括諸多成功替換 Oracle、Teradata、IBM DB2 等傳統(tǒng)數據庫的案例。

　　* 某銀行替換Oracle數據庫，構建新一代實時數據倉庫

　　某行是當地規(guī)模最大的商業(yè)性地方金融機構，行內原基于 Oracle 數據庫建設業(yè)務系統(tǒng)。隨著行內在移動互聯(lián)渠道提供的客戶服務逐漸豐富，客戶點擊流量增長快速，客戶的體驗要求也在提高，對數據庫的查詢和分析能力也提出了較高要求。原 Oracle數據庫在業(yè)務支撐能力方面有以下問題：

　　a)、隨歷史數據不斷增長，現(xiàn)存統(tǒng)一收單系統(tǒng)的交易明細查詢結果輸出緩慢，無法快速精確查詢到相關交易;

　　b)、業(yè)務需要實時統(tǒng)計分析用戶的相關信息，改進業(yè)務質量和產品的服務水平�；�于 Oracle 的復雜分析能力的欠缺在業(yè)務中的掣肘愈發(fā)明顯，且經常出現(xiàn)數據加工延遲的情況;

　　c)、Oracle 以交易型業(yè)務為主，分析型業(yè)務擠占交易業(yè)務的資源，給日常業(yè)務的穩(wěn)定性帶來隱患;

　　d)、Oracle支撐場景單一，無法滿足諸如基于實時數據處理等的創(chuàng)新型業(yè)務。

　　基于星環(huán) ArgoDB 數據庫平臺，支持滿足倉集一體、實時數倉等建設需求，同時具備完整的 SQL 及 PL/SQL 支持。通過支持 Oracle 方言，極大降低了 Oracle 數據庫業(yè)務數據和現(xiàn)有分析型業(yè)務的遷移成本。在分析型業(yè)務方面以更低成本、更高性能完整替代了傳統(tǒng) Oracle 數據倉庫，確保分析型業(yè)務與交易型業(yè)務的隔離。

　　新平臺滿足了行內包括歷史明細數據查詢、交易流水查詢、實時交易大屏、大額交易提醒等十多個關鍵查詢業(yè)務場景需求。平臺針對各類分析型業(yè)務的自動性能優(yōu)化，保障了多用戶高并發(fā)場景下的性能要求。平臺將源數據庫 Oracle的增量數據以秒級延時快速同步到 ArgoDB 實時數倉，尤其確保了對源系統(tǒng)數據有刪改的經常性調賬退款業(yè)務數據能即時反映在分析系統(tǒng)中。基于實時落庫的業(yè)務數據，實現(xiàn)多流水表多維度數據整合的交互式復雜分析，將原基于 Oracle 的離線級分析能力提升到秒級的準實時級交互式分析能力，為行內未來多種復雜的分析型業(yè)務應用的拓展與更高的實時性要求打下堅實的技術基礎。

　　* 某銀行替換Teradata數據庫，構建湖倉一體化架構平臺

　　某銀行自 2012 年起建設了基于 Teradata 的數據倉庫。隨著銀行業(yè)務的演進，業(yè)務數據規(guī)模不斷擴大，隨之待處理數據激增，原Teradata 數據倉庫因功能單一，且數據處理效率低下，難以與更多數據源及上下游系統(tǒng)對接，導致出現(xiàn)了新業(yè)務上線困難等問題。

　　在該銀行數據倉庫解決方案中，針對客戶現(xiàn)狀進行數據/體系架構設計，在原有系統(tǒng)基礎上提出了優(yōu)化方案。在新數據倉庫系統(tǒng)中，基于分布式分析型數據庫 ArgoDB構建，不僅支持 SQL 99/2003 標準語法，并且完整兼容原 Teradata SQL 語法，方便開發(fā)人員熟悉使用。在原有基于 Teradata 的數據倉庫整體遷移到星環(huán)科技大數據基礎平臺過程中，完成了臨時數據層遷移、操作鏡像層遷移、臨時歷史層遷移、基礎模型層遷移、匯總層遷移、應用集市層/視圖遷移等遷移工作，制定并落實數據標準管理辦法及流程、數據質量管理辦法及流程、元數據管理辦法及流程、配套管控系統(tǒng)功能模塊設計與實現(xiàn)，完善整個數據管控與治理體系，完成了數千張數據表、近萬個腳本、近千個數據服務接口的完整遷移，推動了該銀行的大數據戰(zhàn)略實施。通過ArgoDB替換Teradata，從根源上解決了該行在數據倉庫領域存在的問題，提升銀行對業(yè)務發(fā)展的數據支撐能力。