火山引擎ByteHouse數(shù)據(jù)導(dǎo)入能力升級，助力企業(yè)強化數(shù)字基礎(chǔ)建設(shè)

　　近期，火山引擎開發(fā)者社區(qū)、火山引擎數(shù)智平臺(VeDI)聯(lián)合舉辦《數(shù)智化轉(zhuǎn)型背景下的火山引擎大數(shù)據(jù)技術(shù)揭秘》為主題的線下Meeup，活動主要從數(shù)據(jù)分析、數(shù)據(jù)治理、研發(fā)提效等角度，帶領(lǐng)數(shù)據(jù)領(lǐng)域從業(yè)者全面了解數(shù)智化轉(zhuǎn)型背景下，火山引擎數(shù)據(jù)飛輪模式在數(shù)據(jù)資產(chǎn)建設(shè)上的技術(shù)與實踐�；鹕揭�擎ByteHouse產(chǎn)品專家在本次活動中作了《基于ByteHouse引擎的增強型數(shù)據(jù)導(dǎo)入技術(shù)實踐》的主題分享，介紹ByteHouse數(shù)據(jù)導(dǎo)入能力升級情況。

　　作為企業(yè)數(shù)字化建設(shè)的必備要素，易用的數(shù)據(jù)引擎能幫助企業(yè)提升數(shù)據(jù)使用效率，更好提升數(shù)據(jù)應(yīng)用價值，夯實數(shù)字化建設(shè)基礎(chǔ)。數(shù)據(jù)導(dǎo)入是衡量OLAP引擎性能及易用性的重要標準之一，高效的數(shù)據(jù)導(dǎo)入能力能夠加速數(shù)據(jù)實時處理和分析的效率。作為一款OLAP引擎，火山引擎云原生數(shù)據(jù)倉庫ByteHouse源于開源ClickHouse，在字節(jié)跳動內(nèi)部多年打磨下，提供更豐富的能力和更強性能，能為用戶帶來極速分析體驗，支撐實時數(shù)據(jù)分析和海量離線數(shù)據(jù)分析，具備便捷的彈性擴縮容能力，極致的分析性能和豐富的企業(yè)級特性。

　　隨著ByteHouse內(nèi)外部用戶規(guī)模不斷擴大， 越來越多用戶對數(shù)據(jù)導(dǎo)入提出更高的要求，這也為ByteHouse的數(shù)據(jù)導(dǎo)入能力帶來了更大的挑戰(zhàn)。

　　從字節(jié)跳動內(nèi)部來看，ByteHouse主要以Kafka為實時導(dǎo)入的主要數(shù)據(jù)源。對于大部分內(nèi)部用戶而言，其數(shù)據(jù)體量偏大，用戶更看重數(shù)據(jù)導(dǎo)入的性能、服務(wù)的穩(wěn)定性以及導(dǎo)入能力的可擴展性。在數(shù)據(jù)延時性方面，用戶的需求一般為秒級左右。

　　據(jù)火山引擎ByteHouse產(chǎn)品專家的介紹，基于以上場景和需求，ByteHouse首先基于ClickHouse引擎進行升級，其次又針對數(shù)據(jù)導(dǎo)入能力進行一系列定制性優(yōu)化，主要包括兩個方面，第一為MaterializedMySQL增強;第二個是HaKafka 引擎。

　　在引擎優(yōu)化方面，在TB級數(shù)據(jù)量級下，ClickHouse容易出現(xiàn)集群故障，還存在讀性能較低、耗損內(nèi)存的問題。針對這些痛點，ByteHouse自研的HaMergeTree和HaUniqueMergeTree可以降低負載，確保集群在單節(jié)點故障下能平穩(wěn)運行服務(wù)，還能平衡讀寫性能，保障讀取時性能一致。

　　在數(shù)據(jù)導(dǎo)入能力的定制化優(yōu)化方面，社區(qū)版MaterializedMySQL 不支持分布式表等功能，也存在無法定位問題、無法同步狀態(tài)等運維問題。一方面，通過構(gòu)建分布式模式的MaterializedMySQL庫，用戶可將每個表都對應(yīng)同步至ByteHouse的一個分布式表，讓數(shù)據(jù)不重復(fù)存儲，充分利用分布式集群的計算能力，又降低了對源端的同步壓力。另一方面，ByteHouse也提供可視化運維的功能，支持同步狀態(tài)和任務(wù)管理，一旦出現(xiàn)系統(tǒng)運維故障，用戶會收到異常警告。

　　而HaKafka 引擎則是ByteHouse 推出的一種特殊的表引擎，主要基于 ClickHouse 社區(qū)的 Kafka engine 進行了優(yōu)化。用戶可以通過一個Kafka消費表、分布式存儲表、物化視圖表，三元組實現(xiàn)數(shù)據(jù)消費、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)寫入功能。

　　目前，以上能力已經(jīng)在短視頻、營銷實時數(shù)據(jù)監(jiān)控、游戲廣告數(shù)據(jù)分析等領(lǐng)域落地。以營銷實時數(shù)據(jù)監(jiān)控為例，在字節(jié)跳動內(nèi)部，活動運營人員需要對營銷活動效果進行實時監(jiān)控，以便通過實時獎勵發(fā)放來動態(tài)調(diào)整獎勵流量分配，提升ROI收益。這類場景要求數(shù)據(jù)實時寫入，對系統(tǒng)性能具備高要求 。另外，為保障獎勵不會發(fā)放錯誤，系統(tǒng)也需要保證數(shù)據(jù)在傳輸和落盤時都不丟失、不重復(fù)，且穩(wěn)定運行。

　　火山引擎ByteHouse基于自研HaKafka引擎，能支持流式數(shù)據(jù)實時入庫， 用自研事務(wù)保障機制，確保數(shù)據(jù)精準一次傳輸，最后通過自研Unique引擎實現(xiàn)數(shù)據(jù)實時寫入實時去重。在效果上，ByteHouse可以實現(xiàn)實時寫入、實時分析30MB/s/node，活動運營人員可以根據(jù)不同用戶群實時發(fā)放獎勵，做到秒級延遲、秒級監(jiān)控。(作者：任瓊)