跨境支付平臺(tái) XTransfer 的實(shí)時(shí)數(shù)倉(cāng)之路：深度參與開(kāi)源才能不被淘汰

　　作者 | 羅燕珊

　　近兩年新冠肺炎疫情對(duì)各行各業(yè)造成重大沖擊，但對(duì)于跨境電商行業(yè)來(lái)說(shuō)則是機(jī)大于危，跨境支付賽道也因此備受關(guān)注。其中，受疫情影響，大量 B2B 外貿(mào)交易轉(zhuǎn)到線(xiàn)上，相比起 B2C，B2B 跨境交易支付場(chǎng)景更為復(fù)雜，因?yàn)槠錁I(yè)務(wù)場(chǎng)景也往往更為復(fù)雜、周期長(zhǎng)、貿(mào)易參與角色眾多。

　　另一方面，支付業(yè)務(wù)天然地對(duì)風(fēng)險(xiǎn)識(shí)別的及時(shí)性和準(zhǔn)確性要求非常高，因此數(shù)據(jù)的采集、加工、計(jì)算就需要前置在每個(gè)業(yè)務(wù)節(jié)點(diǎn)、前瞻性地做好數(shù)據(jù)資產(chǎn)的維護(hù)工作。實(shí)時(shí)數(shù)倉(cāng)和實(shí)時(shí)模型引擎，就是當(dāng)前解決上述問(wèn)題最合適的基礎(chǔ)設(shè)施。近日，InfoQ 有幸接觸到面向中小微外貿(mào)企業(yè)提供 B2B 跨境支付和風(fēng)控服務(wù)的平臺(tái) XTransfer(上海奪暢網(wǎng)絡(luò)技術(shù)有限公司)，并通過(guò)采訪(fǎng)得以了解其自行搭建實(shí)時(shí)數(shù)倉(cāng)的實(shí)踐過(guò)程和背后的思考，以及深度參與開(kāi)源的方式。

　　采訪(fǎng)嘉賓：

　　劉艷芳，XTransfer 聯(lián)合創(chuàng)始人兼 CTO

　　康偉，XTransfer 技術(shù)專(zhuān)家

　　技術(shù)發(fā)展三階段

　　XTransfer 于 2017 年創(chuàng)立，聚焦于 B2B 跨境支付，為從事跨境電商 B2B 出口的中小微企業(yè)提供外貿(mào)收款服務(wù)，以及風(fēng)控服務(wù)，解決貿(mào)易風(fēng)險(xiǎn)問(wèn)題。

　　從創(chuàng)立至今，XTransfer 的技術(shù)發(fā)展歷程可大致分為三個(gè)階段：

　　第一階段(2017 年 7 月 -2018 年 10 月)：創(chuàng)業(yè)初期，需要先打造出基礎(chǔ)平臺(tái)，并把業(yè)務(wù)鏈路跑通，確�；�礎(chǔ)平臺(tái)能夠支撐業(yè)務(wù)的發(fā)展。在這個(gè)過(guò)程中，公司完成了整個(gè)基礎(chǔ)平臺(tái)體系的搭建。

　　  第二階段(2018 年 6 月 -2021 年 7 月)：提效，利用大數(shù)據(jù)等技術(shù)提升效率。例如在公司內(nèi)部通過(guò)算法模型去提升風(fēng)險(xiǎn)審核的效率，降低人工工單審核的比例。此外，運(yùn)用 OCR(光學(xué)字符識(shí)別)等機(jī)器學(xué)習(xí)技術(shù)幫助客戶(hù)做一些數(shù)據(jù)處理工作。在這個(gè)階段，公司開(kāi)始推出新的產(chǎn)品。

　　  第三階段(2021 年 7 月至今)：平臺(tái)縱深發(fā)展，從單點(diǎn)的金融服務(wù)平臺(tái)往更智能化、數(shù)字化的方向發(fā)展。比如，今年新推出外貿(mào) CRM，總結(jié)出一套新的產(chǎn)品模式，幫助中小微外貿(mào)企業(yè)數(shù)字化轉(zhuǎn)型。該階段的重點(diǎn)在于如何將公司內(nèi)部所沉淀積累的能力輸出給中小微企業(yè)。

　　XTransfer 的技術(shù)平臺(tái)和眾多服務(wù)都是基于云基礎(chǔ)設(shè)施來(lái)打造的，目前主要用的是阿里云，但包括華為云、騰訊云和百度云在內(nèi)的云服務(wù)也都有在用。“企業(yè)發(fā)展到一定階段，無(wú)論是出于成本還是穩(wěn)定性的考慮，肯定要做多云方案。我們現(xiàn)階段最大的考量點(diǎn)不是成本，而是打造更優(yōu)質(zhì)的產(chǎn)品和業(yè)務(wù)。”劉艷芳表示。

　　目前，公司研發(fā)團(tuán)隊(duì)大致分為兩部分，一部分是業(yè)務(wù)職能團(tuán)隊(duì)，包括前端、后端、測(cè)試、運(yùn)維等，另一部分是大數(shù)據(jù)和算法團(tuán)隊(duì)。無(wú)論是業(yè)務(wù)平臺(tái)還是數(shù)據(jù)平臺(tái)的開(kāi)發(fā)，都是先做開(kāi)源框架選型，再以自研工作為主。技術(shù)選型方面，以穩(wěn)定性為第一出發(fā)點(diǎn)，并確保平臺(tái)的穩(wěn)定性、安全性和數(shù)據(jù)精確性。

　　實(shí)時(shí)數(shù)倉(cāng)建設(shè)實(shí)踐

　　自建方案更靈活

　　相較于 ToC 的場(chǎng)景，ToB 業(yè)務(wù)的數(shù)據(jù)量相對(duì)要少很多。劉艷芳指出，目前市場(chǎng)上流行的方案大多數(shù)能夠有效解決大數(shù)據(jù)量計(jì)算和處理的問(wèn)題，但是在安全性、穩(wěn)定性和準(zhǔn)確性上并沒(méi)有達(dá)到金融級(jí)別的要求。

　　跨境支付 +B 類(lèi)支付結(jié)算場(chǎng)景所涉及的業(yè)務(wù)鏈路非常長(zhǎng)，從詢(xún)盤(pán)到最終成交，當(dāng)中涉及物流條款、支付條款，需要在每個(gè)節(jié)點(diǎn)上做風(fēng)險(xiǎn)管控�？缇迟Y金交易監(jiān)管愈發(fā)嚴(yán)格。外貿(mào)企業(yè)進(jìn)行收款和資金周轉(zhuǎn)，這一過(guò)程受到金融機(jī)構(gòu)及監(jiān)管?chē)?yán)格的反洗錢(qián)風(fēng)險(xiǎn)管理。以上種種因素對(duì) XTransfer 的數(shù)據(jù)處理安全性和準(zhǔn)確性都提出了更高的要求。

　　XTransfer 所打造的大數(shù)據(jù)風(fēng)控基礎(chǔ)設(shè)施架構(gòu)圖

　　據(jù)了解，XTransfer 在全球部署了 3 個(gè)數(shù)據(jù)中心，搭建了自己的實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)，能夠有效地保障在跨境 B2B 業(yè)務(wù)全鏈路上，數(shù)據(jù)可以被有效采集、加工和計(jì)算，并滿(mǎn)足高安全、低延時(shí)、高精度等需求。

　　對(duì)于初創(chuàng)型(用戶(hù)量在百萬(wàn)以下)企業(yè)來(lái)說(shuō)，對(duì)實(shí)時(shí)數(shù)倉(cāng)的需求往往是部署和運(yùn)維成本低、易開(kāi)發(fā)、架構(gòu)靈活簡(jiǎn)單、開(kāi)箱即用，僅投入較少的人力和時(shí)間成本就能滿(mǎn)足業(yè)務(wù)需求。

　　雖然市面上不少?gòu)S商都在推各種各樣的實(shí)時(shí)數(shù)倉(cāng)解決方案，但劉艷芳認(rèn)為目前市場(chǎng)上所推出的實(shí)時(shí)數(shù)倉(cāng)解決方案，多數(shù)針對(duì) 2C 營(yíng)銷(xiāo)類(lèi)的場(chǎng)景，不能完全支撐 2B 跨境支付的復(fù)雜場(chǎng)景以及滿(mǎn)足個(gè)性化需求。而自建的方案更靈活，能整合更多的框架和技術(shù)，去滿(mǎn)足特定的業(yè)務(wù)場(chǎng)景。

　　因此，XTransfer 根據(jù)自身的 OLAP 場(chǎng)景需求，在自建數(shù)倉(cāng)的基礎(chǔ)上，支持靈活連接多種 OLAP 數(shù)據(jù)庫(kù)，例如 Clickhouse、Doris 等，以滿(mǎn)足不同需求。

　　設(shè)計(jì)思路

　　XTransfer 建設(shè)實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)思路是以開(kāi)源項(xiàng)目為基礎(chǔ)，疊加二次開(kāi)發(fā)。目前數(shù)據(jù)平臺(tái)采用了 Lambda 架構(gòu)，同時(shí)構(gòu)建了流處理和批處理兩種架構(gòu)進(jìn)行數(shù)據(jù)處理，并正在向流批一體數(shù)倉(cāng)的方向演進(jìn)：

　　在業(yè)務(wù)起步的早期，團(tuán)隊(duì)采用了批處理架構(gòu)，數(shù)據(jù)倉(cāng)庫(kù)處理時(shí)效是 T+1(即：今天產(chǎn)生的數(shù)據(jù)分析結(jié)果明天才能看到)。隨著業(yè)務(wù)的發(fā)展，通過(guò)更頻繁的任務(wù)調(diào)度，提升批處理的時(shí)效，可以達(dá)到小時(shí)級(jí)。當(dāng)業(yè)務(wù)進(jìn)入快速發(fā)展階段，對(duì)數(shù)據(jù)的實(shí)時(shí)性要求越來(lái)越高，團(tuán)隊(duì)開(kāi)始采用流處理架構(gòu)，數(shù)據(jù)處理時(shí)效達(dá)到秒級(jí)。對(duì)大數(shù)據(jù)量的離線(xiàn)數(shù)倉(cāng)數(shù)據(jù)同步，采用 CDC(Change Data Capture) + Merge 的技術(shù)方案將數(shù)據(jù)同步至離線(xiàn)數(shù)倉(cāng) ODS 層，整體流程：進(jìn)行一次性快照制作，將存量數(shù)據(jù)同步至 ODS;每天基于存量數(shù)據(jù)和當(dāng)日的增量變更進(jìn)行 Merge 還原。

　　技術(shù)選型

　　在數(shù)據(jù)倉(cāng)庫(kù)的維度建模中，XTransfer 選擇了星型模型，使用分層設(shè)計(jì)方案來(lái)建設(shè)實(shí)時(shí)數(shù)倉(cāng)，分層架構(gòu)如下圖所示：

　　在做技術(shù)選型的過(guò)程中，往往會(huì)出現(xiàn)兩種聲音，一種是希望能從 0 到 1 建設(shè)，另一種是希望直接選用成熟的方案。XTransfer 也不例外，在這種情況下，解決方法是把各團(tuán)隊(duì)集結(jié)到一起去做深入探討和研究，把關(guān)鍵路徑分析出來(lái)，確定哪些需要自己去做、哪些是可以引用的、哪些是可以自己去做補(bǔ)充和完善的。

　　具體的技術(shù)選型方面，XTransfer 在實(shí)時(shí)數(shù)倉(cāng)計(jì)算引擎上選擇了開(kāi)源流處理框架 Flink，因?yàn)樗�具備高吞吐、低延遲、高性能等優(yōu)點(diǎn)，且技術(shù)成熟、社區(qū)活躍。做風(fēng)控需要對(duì)全量數(shù)據(jù)進(jìn)行捕捉，CDC(Change Data Capture，用于捕捉數(shù)據(jù)庫(kù)表的增刪改查操作) 是內(nèi)部比較傾向的方案，因此最終使用了 Flink CDC Connectors，這是 Flink 的一組 Source 連接器，是 Flink CDC 的核心組件，這些連接器負(fù)責(zé)從 MySQL、PostgreSQL、Oracle、MongoDB 等數(shù)據(jù)庫(kù)讀取存量歷史數(shù)據(jù)和增量變更數(shù)據(jù)。

　　實(shí)時(shí)數(shù)倉(cāng)存儲(chǔ)方面選擇了 Kafka，使用 Kafka compacted topic 存儲(chǔ)數(shù)倉(cāng) ODS、DWD、DWS 層的數(shù)據(jù)。使用 upsert-kafka 連接器以 upsert 方式從 Kafka topic 中讀取數(shù)據(jù)并將數(shù)據(jù)寫(xiě)入 Kafka topic。作為 source，upsert-kafka 連接器生產(chǎn) changelog 流，其中每條數(shù)據(jù)記錄代表一個(gè)更新或刪除事件。作為 sink，upsert-kafka 連接器可以消費(fèi) changelog 流。它會(huì)將 INSERT/UPDATE 數(shù)據(jù)作為正常的 Kafka 消息寫(xiě)入，并將 DELETE 數(shù)據(jù)以 value 為空的 Kafka 消息寫(xiě)入，表示對(duì)應(yīng) key 的消息被刪除。

　　在 OLAP 引擎的選型上，團(tuán)隊(duì)結(jié)合 XTransfer 的研發(fā)資源情況、業(yè)務(wù)需求以及使用場(chǎng)景，選擇了 Apache Doris，具體有以下幾點(diǎn)考慮：選擇 ROLAP 模式，模型簡(jiǎn)化，模型復(fù)用率高，開(kāi)發(fā)效率高，低冗余，省空間;同時(shí)支持離線(xiàn)批量導(dǎo)入和實(shí)時(shí)數(shù)據(jù)導(dǎo)入，支持事務(wù)和冪等性導(dǎo)入;采取分區(qū)分桶的機(jī)制，支持多種索引技術(shù)，滿(mǎn)足 PB 級(jí)的存儲(chǔ)和分析能力;使用列式存儲(chǔ)和壓縮技術(shù)，提升查詢(xún)性能;兼容 MySQL 訪(fǎng)問(wèn)協(xié)議，簡(jiǎn)單、易用;運(yùn)維更簡(jiǎn)單，內(nèi)置分布式協(xié)議，支持集群的在線(xiàn)動(dòng)態(tài)擴(kuò)縮容，故障節(jié)點(diǎn)自動(dòng)恢復(fù);一站式的分析解決方案，只需少量投入研發(fā)資源，開(kāi)箱即用。

　　深度參與開(kāi)源

　　從開(kāi)源中受益，并力所能及地反哺社區(qū)，是 XTransfer 技術(shù)團(tuán)隊(duì)所遵循的原則。前面提到他們使用了 Flink CDC Connectors，這也是一個(gè)獨(dú)立的開(kāi)源項(xiàng)目。日前，F(xiàn)link 社區(qū)已經(jīng)正式發(fā)布 Flink CDC 2.1 版本，重點(diǎn)提升 MySQL CDC 連接器的性能和生產(chǎn)穩(wěn)定性，并新增了 Oracle CDC 連接器和 MongoDB CDC 連接器，其中，XTransfer 技術(shù)專(zhuān)家孫家寶貢獻(xiàn)了 MongoDB CDC 連接器。

　　MongoDB CDC 連接器支持從 MongoDB 數(shù)據(jù)庫(kù)獲取全量歷史數(shù)據(jù)和增量變更數(shù)據(jù)。借助 Flink 的集成能力，用戶(hù)可以非常方便地將 MongoDB 中的數(shù)據(jù)實(shí)時(shí)同步到 Flink 支持的所有下游存儲(chǔ)。

　　在數(shù)據(jù)捕獲的整個(gè)過(guò)程中，用戶(hù)不需要學(xué)習(xí) MongoDB 的副本機(jī)制和原理，大大簡(jiǎn)化了流程，降低了使用門(mén)檻。MongoDB CDC 也支持兩種啟動(dòng)模式：默認(rèn)的 initial 模式是先同步表中的存量的數(shù)據(jù)，然后同步表中的增量數(shù)據(jù);latest-offset 模式則是從當(dāng)前時(shí)間點(diǎn)開(kāi)始只同步表中增量數(shù)據(jù)。

　　此外，MongoDB CDC 還提供了豐富的配置和優(yōu)化參數(shù)，對(duì)于生產(chǎn)環(huán)境來(lái)說(shuō)，這些配置和參數(shù)能夠極大地提升實(shí)時(shí)鏈路的性能和穩(wěn)定性。

　　康偉表示，XTransfer 大數(shù)據(jù)團(tuán)隊(duì)目前也在關(guān)注 Flink Connector、Flink Table API、Flink + Iceberg 等領(lǐng)域的建設(shè)。接下來(lái)，XTransfer 會(huì)持續(xù)優(yōu)化 MongoDB CDC，比如提升并行度，優(yōu)化對(duì)大表同步的支撐等。在與社區(qū)其他開(kāi)發(fā)者的交流中，團(tuán)隊(duì)發(fā)現(xiàn)大家對(duì)于 MongoDB 在 Sink Connector 方面也有很大的需求，因此也正在做這部分開(kāi)發(fā)。

　　目前，XTransfer 團(tuán)隊(duì)已經(jīng)向社區(qū)提報(bào)并解決的相關(guān) issue：

　　FLINK-6573 Flink MongoDB Connector FLINK-21172 “canal-json format include es field” FLINK-21949 Support collect to array aggregate function DBZ-3966 JsonTableChangeSerializer support serialization for defaultValue

　　正在關(guān)注跟進(jìn)的 issue：

　　FLINK-22793 HybridSource Table Implementation ICEBERG-1639 Flink: write the CDC records into apache iceberg tables

　　寫(xiě)在最后

　　在交流中，InfoQ 了解到 XTransfer 選擇自行搭建實(shí)時(shí)數(shù)倉(cāng)的原因也和公司所堅(jiān)持的“長(zhǎng)期有耐心”的理念息息相關(guān)——“必須要做長(zhǎng)期的解決方案，不做不斷推倒重來(lái)的事。”對(duì)此，劉艷芳進(jìn)一步解釋道，“目前我們的方案能針對(duì)性解決我們遇到的問(wèn)題，同時(shí)我們也能充分掌握里面的核心技術(shù)，并且它也是符合未來(lái)社區(qū)發(fā)展趨勢(shì)的解決方案，而我們從社區(qū)的發(fā)展中獲益之余也能夠貢獻(xiàn)給社區(qū)，這也能保證我們不被淘汰。”

　　至于“不被淘汰”的衡量標(biāo)準(zhǔn)，則跟社區(qū)貢獻(xiàn)有關(guān)。劉艷芳對(duì)團(tuán)隊(duì)有兩點(diǎn)要求，一要跟上社區(qū)的變化;二是“能給社區(qū)貢獻(xiàn)”，能貢獻(xiàn)就說(shuō)明被社區(qū)接納，自己是處于和社區(qū)同步發(fā)展的軌道。

　　總的來(lái)說(shuō)，XTransfer 正試圖用一種更務(wù)實(shí)的方式去深度參與社區(qū)，并緊跟社區(qū)的腳步。“當(dāng)下，我們可能沒(méi)有那么大的力量，不像大廠(chǎng)能一下子貢獻(xiàn)一整個(gè)模塊，但我們也有能力去貢獻(xiàn)差異化的產(chǎn)出。未來(lái)，我們會(huì)持續(xù)探索，創(chuàng)造更多可能性。