CDC(Change Data Capture)是一種數(shù)據(jù)捕獲技術(shù),用于跟蹤數(shù)據(jù)庫中數(shù)據(jù)的變化。它的主要目的是捕獲數(shù)據(jù)庫中數(shù)據(jù)的增刪改操作,并將這些變化實(shí)時(shí)或定時(shí)地記錄下來,以便進(jìn)行后續(xù)的處理和分析。
近日,在原有的整庫方案基礎(chǔ)上,大數(shù)據(jù)研發(fā)治理套件 DataLeap 重點(diǎn)升級了數(shù)據(jù)集成CDC分庫分表能力,可離線+實(shí)時(shí)將多個(gè)實(shí)例的多個(gè)數(shù)據(jù)庫多個(gè)分表同步到目標(biāo)端中,更精準(zhǔn)適配于業(yè)務(wù)中的實(shí)時(shí)分庫分表場景。
同時(shí),DataLeap支持將 MySQL 同步到 EMR-Doris、EMR-Starrocks、LAS,助力將最新增量數(shù)據(jù),以最快且最低的帶寬成本同步到目標(biāo)庫,輔助業(yè)務(wù)數(shù)據(jù)分析更加準(zhǔn)確、高效。
相比于批量抽取而言,CDC有著成本低、速度快、少干擾三大優(yōu)勢。
通過僅發(fā)送增量變更,CDC能力可幫助用戶降低通過網(wǎng)絡(luò)傳輸數(shù)據(jù)的成本。同時(shí),CDC可將事務(wù)直接傳輸?shù)綄9┓治龅膽?yīng)用上,幫助用戶根據(jù)最新的數(shù)據(jù)做出更快、更準(zhǔn)確的決策;最后,CDC 可以通過監(jiān)聽數(shù)據(jù)庫的日志或 API 接口,捕獲數(shù)據(jù)變更事件,并將其發(fā)送到目標(biāo)系統(tǒng)或存儲庫中,而無需在生產(chǎn)環(huán)境中大量傳輸數(shù)據(jù),減少了網(wǎng)絡(luò)流量的占用,降低了對生產(chǎn)環(huán)境的干擾。
火山引擎DataLeap——實(shí)時(shí)分庫分表同步能力界面
同時(shí),火山引擎DataLeap CDC分庫分表能力目前支持“使用緩存”、“無需緩存,直接同步”兩種緩存配置方式,可做到直連同步,也可支持中間件緩存到后kafka后再同步,這樣更靈活的緩存同步模式、極大地幫助客戶提高了數(shù)據(jù)消費(fèi)靈活性。
火山引擎DataLeap通過快速連接云下自建/云上數(shù)據(jù)源進(jìn)行數(shù)據(jù)采集同步,可幫助客戶連接各類數(shù)據(jù)上云,以及云上數(shù)據(jù)流動,輕松完成數(shù)據(jù)入倉入湖,有效發(fā)揮數(shù)據(jù)的價(jià)值,同時(shí)借助CDC分庫分表同步能力,支持?jǐn)?shù)據(jù)端到端快速同步,數(shù)據(jù)實(shí)時(shí)性得到進(jìn)一步增強(qiáng),業(yè)務(wù)決策時(shí)效性提高且更準(zhǔn)確。
除了上述集成能力,火山引擎DataLeap還可提供數(shù)據(jù)治理、數(shù)據(jù)開發(fā)、運(yùn)維、資產(chǎn)等能力,幫助用戶提升數(shù)據(jù)研發(fā)效率、降低管理成本,加速推動企業(yè)的數(shù)據(jù)化轉(zhuǎn)型,目前已經(jīng)應(yīng)用于泛互聯(lián)網(wǎng)、制造、新零售、汽車等領(lǐng)域。
近日,德國柏林國際電子消費(fèi)品展覽會(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計(jì)及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)成功斬獲兩項(xiàng)“IFA全球產(chǎn)品設(shè)計(jì)創(chuàng)新大獎”金獎,有力證明了其在全球市場的強(qiáng)大影響力。
近日,中國家電及消費(fèi)電子博覽會(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎。
“以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會組委會、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。