隨著物聯(lián)網(wǎng)、車聯(lián)網(wǎng)和工業(yè)互聯(lián)網(wǎng)等的迅速發(fā)展,時序數(shù)據(jù)被廣泛應(yīng)用在各行各業(yè),包括工業(yè)制造、經(jīng)濟金融、環(huán)境監(jiān)測、醫(yī)學、農(nóng)業(yè)生產(chǎn)、硬件和軟件系統(tǒng)監(jiān)控等領(lǐng)域都在大量使用時序數(shù)據(jù)揭示研究對象的趨勢性、規(guī)律性、異常性。同時,在人工智能的浪潮下,時序數(shù)據(jù)作為大數(shù)據(jù)、機器學習、實時預(yù)測基礎(chǔ)數(shù)據(jù)的作用日益凸顯。各類應(yīng)用產(chǎn)生的時序數(shù)據(jù)量爆炸式增長,呈現(xiàn)出海量性、關(guān)聯(lián)性、時效性、實時性等特征,對數(shù)據(jù)庫寫入、存儲、分析性能以及實時性提出了更高的要求,如何管理海量的實時數(shù)據(jù)、從中挖掘價值,是時序數(shù)據(jù)庫需要解決的重要問題。
Transwarp TimeLyre是星環(huán)科技自主研發(fā)的企業(yè)級分布式時序數(shù)據(jù)庫,其支持分布式水平擴展,同時具有極高的壓縮率可以支持海量時序數(shù)據(jù)的存儲,提供高吞吐實時寫入、時序精確查詢、多維檢索等功能,可以有效支撐物聯(lián)網(wǎng)、能源制造、金融量化交易領(lǐng)域等多種時序數(shù)據(jù)業(yè)務(wù)場景。
近日,TimeLyre正式發(fā)布V9.1版本,通過原生分布式架構(gòu)、5-20倍無損數(shù)據(jù)壓縮能力、每秒千萬級數(shù)據(jù)吞吐能力、優(yōu)異的查詢分析性能、豐富的生態(tài)支持、靈活的部署方式,為海量時序數(shù)據(jù)的高效存儲、快速查詢、便捷計算提供了有力支撐,大幅降低了企業(yè)硬件成本,保障了時序數(shù)據(jù)查詢分析的實效性,滿足了時序數(shù)據(jù)在各類復雜業(yè)務(wù)場景的應(yīng)用需求。同時新版本還提供一站式國產(chǎn)化替代解決方案,可以實現(xiàn)InfluxDB的平滑替換,助力企業(yè)打造自主可控數(shù)據(jù)平臺。
原生分布式架構(gòu),集群靈活擴展,輕松實現(xiàn)海量時序數(shù)據(jù)存儲分析
TimeLyre采用原生分布式架構(gòu),支持集群在線擴縮容,可滿足海量時序數(shù)據(jù)存儲和分析需求。TimeLyre的存儲組件TimeLyreStorage主要由分布式數(shù)據(jù)管理系統(tǒng)與時序存儲引擎構(gòu)成。
* 分布式數(shù)據(jù)管理系統(tǒng)負責分布式元信息的一致性存儲與分布式集群管理,基于Raft協(xié)議保證數(shù)據(jù)一致性與高可用性。
* 時序存儲引擎使用類似LSM-Tree的技術(shù),提供高吞吐的實時插入、高性能的時序數(shù)據(jù)檢索,同時會對時序數(shù)據(jù)進行多種編碼和壓縮,保持整體數(shù)據(jù)的高壓縮率。
在計算方面,TimeLyre采用星環(huán)科技分布式向量化計算引擎Crux實現(xiàn)快速讀取批量存儲文件、高速響應(yīng)數(shù)據(jù)查詢等功能。同時基于用于數(shù)據(jù)倉庫和交互式分析的分布式編譯器Quark,提供完整的SQL編譯支持,兼容通用開發(fā)框架和工具,使得TimeLyre可以輕松融入企業(yè)數(shù)據(jù)倉庫或數(shù)據(jù)湖體系,為企業(yè)提供高性價比和高度可擴展的解決方案。此外,Quark支持分布式計算可以同時在多個時序存儲間平衡業(yè)務(wù)流量,能夠有效地為客戶端屏蔽掉集群細節(jié),并且解決了時序存儲超時或宕機后無法執(zhí)行任務(wù)的問題。
高吞吐、高并發(fā),實現(xiàn)單節(jié)點每秒千萬級數(shù)據(jù)寫入的極致性能
TimeLyre支持實時、批量等多種數(shù)據(jù)寫入方式。實時寫入具備高吞吐、高并發(fā),每秒千萬級數(shù)據(jù)點插入的性能,可以保證數(shù)據(jù)檢索的實效性,是企業(yè)搭建實時數(shù)倉的極佳選擇。此外,TimeLyre支持通過SQL、文件載入、API以及多種工業(yè)物聯(lián)網(wǎng)通信協(xié)議實現(xiàn)數(shù)據(jù)入庫,滿足各種復雜業(yè)務(wù)場景的多樣化需求。
高水平無損數(shù)據(jù)壓縮,實現(xiàn)超高數(shù)據(jù)壓縮率,大幅降低硬件成本
TimeLyre采用行業(yè)領(lǐng)先的高水平數(shù)據(jù)壓縮優(yōu)化技術(shù),在常見的時序數(shù)據(jù)上可實現(xiàn)5-20倍的壓縮率,提高了資源的利用率,大幅降低用戶硬件成本。TimeLyre提供多場景數(shù)據(jù)靈活、高效的壓縮解決方案,不僅支持snapyy、gzip、lzo、zstd等常用壓縮算法,還支持通過Delta編碼將數(shù)據(jù)作為連續(xù)樣本之間的差異來存儲,同時也支持行業(yè)特征編碼,根據(jù)檢測值數(shù)據(jù)類型、分布范圍,數(shù)據(jù)集中度進行特定的編碼,通過內(nèi)置多種數(shù)據(jù)壓縮方式進一步提升時序數(shù)據(jù)壓縮效果。
數(shù)據(jù)處理性能增強,提供時序數(shù)據(jù)存儲分析極速體驗
時序數(shù)據(jù)存儲方面,TimeLyre內(nèi)置多種索引結(jié)構(gòu),檢索性能達到毫秒級的低延遲響應(yīng)。數(shù)據(jù)分析方面,TimeLyre支持通過標準SQL進行數(shù)據(jù)分析,降低用戶使用門檻。并且支持主流的SQL模塊化擴展,兼容通用開發(fā)框架和工具,支持事務(wù)特性,保證數(shù)據(jù)的準確性。通過使用分布式向量化計算引擎,TimeLyre支持海量時序數(shù)據(jù)的計算與分析,覆蓋關(guān)聯(lián)查詢、聚合查詢、嵌套查詢等多種復雜SQL分析功能,提供復雜場景構(gòu)筑能力;谛黔h(huán)科技多模型統(tǒng)一技術(shù)架構(gòu),TimeLyre時序數(shù)據(jù)可以與星環(huán)不同模型的數(shù)據(jù)統(tǒng)一存儲管理和聯(lián)合分析,打破數(shù)據(jù)存儲管理屏障,實現(xiàn)多模型數(shù)據(jù)的統(tǒng)一融合。
國產(chǎn)軟硬件異構(gòu)平臺靈活部署,提供全面的安全和運維保障
TimeLyre采用星環(huán)科技自主研發(fā)的存算分離架構(gòu),基于容器技術(shù),支持業(yè)內(nèi)主流的操作系統(tǒng)和芯片,滿足各類信創(chuàng)軟硬件環(huán)境需求。并且可支持X86架構(gòu)和各種國產(chǎn)芯片架構(gòu)的混合架構(gòu),能夠運行在異構(gòu)CPU架構(gòu)以及多種操作系統(tǒng)混合部署的集群環(huán)境中,最大化利用硬件資源,讓用戶逐步實現(xiàn)國產(chǎn)化平滑替代。
TimeLyre內(nèi)置配套的安全授權(quán)、用戶權(quán)限控制等相關(guān)安全功能,可以有效保障系統(tǒng)數(shù)據(jù)和訪問上的安全。
* 在用戶權(quán)限認證上,基于SASL提供plain與gssapi兩種認證方式,同時提供用戶組概念,便于通過平臺實現(xiàn)統(tǒng)一管理與操作;
* 在數(shù)據(jù)權(quán)限上,基于角色的訪問控制(RBAC) 機制,使用戶能夠通過將權(quán)限分配給角色并將角色分配給用戶或組來授權(quán)用戶,支持庫級/表級以及列級/行級訪問權(quán)限控制,同時支持20多種脫敏算法,具備優(yōu)秀的數(shù)據(jù)隱私保護能力;
* 數(shù)據(jù)加密上,支持基于SSL/TLS兩類協(xié)議進行數(shù)據(jù)加密,確保數(shù)據(jù)傳輸過程的安全。
一站式國產(chǎn)化替代解決方案,助力企業(yè)打造自主可控數(shù)據(jù)平臺
為符合國家信創(chuàng)戰(zhàn)略要求,助力企業(yè)實現(xiàn)軟件自主可控,TimeLyre提供了InfluxDB一站式國產(chǎn)化替代解決方案。TimeLyre對InfluxDB有良好的兼容性,可以實現(xiàn)在不修改業(yè)務(wù)代碼的情況下,將運行在InfluxDB中的業(yè)務(wù)和數(shù)據(jù)平滑地遷移至TimeLyre,并且在遷移過程中可以保證監(jiān)控系統(tǒng)在線持續(xù)運行,充分保障遷移過程安全穩(wěn)定進行。
替換InfluxDB涉及接口兼容度、高可用性、中間件與應(yīng)用層軟件兼容性等多個問題,TimeLyre采用兩段式的替代方案,保障原系統(tǒng)和服務(wù)的低成本、安全、平滑遷移。
* 第一階段:替換InfluxDB的數(shù)據(jù)庫服務(wù),完成InfluxQL到TimeLyre標準SQL的改造工作,實現(xiàn)原有業(yè)務(wù)邏輯腳本的平滑替換;
* 第二階段:替換InfluxDB配套的grafana等運維監(jiān)控組件,借助星環(huán)科技多模數(shù)據(jù)平臺監(jiān)控軟件Aquila Insight、大數(shù)據(jù)安全管理軟件Guardian等組件,完成對既有業(yè)務(wù)系統(tǒng)的完全國產(chǎn)化替換。
打造實時高性能時序數(shù)據(jù)平臺,賦能能源制造行業(yè)數(shù)據(jù)湖建設(shè)
能源制造業(yè)數(shù)字化轉(zhuǎn)型是數(shù)字經(jīng)濟的重要環(huán)節(jié)。某能源頭部企業(yè)現(xiàn)有大量的智能化工業(yè)設(shè)備,設(shè)備檢測具有測點多、頻率高、數(shù)據(jù)安全要求高等特點。
傳統(tǒng)關(guān)系型數(shù)據(jù)庫數(shù)據(jù)入庫慢、存儲資源消耗大、查詢計算效率低,而開源時序數(shù)據(jù)庫可運維性、可擴展性較差,無法支撐復雜分析業(yè)務(wù),同時也面臨數(shù)據(jù)安全問題,均無法支撐智能工業(yè)設(shè)備實時產(chǎn)生的大量時序數(shù)據(jù)。
該企業(yè)基于星環(huán)科技TimeLyre的實時數(shù)據(jù)存儲、分析能力,打造了高性能時序數(shù)據(jù)平臺。通過星環(huán)科技實時流計算引擎Slipstream實時的將散布在數(shù)萬傳感器中的時序數(shù)據(jù)抽取到TimeLyre中,以此為基礎(chǔ)進一步開展行業(yè)算子計算、實時作業(yè)管理等實時分析,以及時序數(shù)據(jù)檢索、時序數(shù)據(jù)開發(fā)等。同時利用星環(huán)科技分布式分析型數(shù)據(jù)庫ArgoDB進行湖倉集一體化建設(shè),實現(xiàn)了大數(shù)據(jù)靈活分析、離線作業(yè)管理等功能,進一步增強了企業(yè)業(yè)務(wù)數(shù)據(jù)離線分析能力。
項目建成后極大提升了時序數(shù)據(jù)存儲性能,實現(xiàn)了每秒千萬級流數(shù)據(jù)插入,入庫性能提升十倍以上;實現(xiàn)了高性能查詢,時序數(shù)據(jù)快速查詢能夠毫秒級返回結(jié)果,查詢性能提升十倍以上;大幅提升數(shù)據(jù)壓縮效率,數(shù)據(jù)平均壓縮率達到10倍,有效節(jié)約企業(yè)硬件成本;聯(lián)合分布式分析型數(shù)據(jù)庫ArgoDB滿足了之前未能實現(xiàn)的實時數(shù)倉與離線數(shù)倉聯(lián)合查詢的業(yè)務(wù)需求。
攜手頭部券商,打造量化投研一體化平臺,提升投研效率
金融行業(yè)數(shù)據(jù)往往具有數(shù)據(jù)架構(gòu)大、數(shù)據(jù)頻率高、實時性強等特征。某頭部券商客戶使用Python進行數(shù)據(jù)處理分析,受技術(shù)所限只能進行單機程序部署,不僅需要購買昂貴的高配置單機服務(wù)器滿足性能和存儲需求,還需要業(yè)務(wù)人員具有較高的技術(shù)水平完成復雜查詢分析的編寫,此外該技術(shù)架構(gòu)也無法完成多年高頻數(shù)據(jù)的分析,導致喪失部分交易機會,整體收益率顯著下降。
針對該券商客戶遇到的高頻交易數(shù)據(jù)入庫存儲困難、因子數(shù)據(jù)分析函數(shù)復雜、業(yè)務(wù)人員技術(shù)水平要求高、硬件購置成本高等痛點,星環(huán)科技基于TimeLyre打造了量化投研一體化平臺TransQuant。
通過TimeLyre Tools和Workflow實現(xiàn)多源數(shù)據(jù)接入,包括存儲在Oracle/MySQL中的數(shù)據(jù)、以HDF5和PKL格式存儲的用戶因子數(shù)據(jù)以及第三方數(shù)據(jù)等,將這些數(shù)據(jù)統(tǒng)一存儲在TimeLyre時序數(shù)據(jù)庫中,并通過星環(huán)科技智能量化投研平臺TransQuant對這些數(shù)據(jù)進行量化回測和因子研究,實現(xiàn)海量數(shù)據(jù)的復雜分析。
該平臺提供豐富的數(shù)據(jù)接口,通過Python API與原系統(tǒng)通信,支持多數(shù)據(jù)源多數(shù)據(jù)格式遷移導入,實現(xiàn)用戶業(yè)務(wù)的平滑遷移擴展,支撐多種金融應(yīng)用場景。同時,TimeLyre作為分布式時序數(shù)據(jù)庫大大提升了系統(tǒng)運算能力,提供億級數(shù)據(jù)的高速運算,相同場景下達到Pandas單機性能的百倍以上。此外,特別支持了客戶應(yīng)用過程中使用的上千列因子數(shù)據(jù)表,并提供了節(jié)點橫向擴展能力。最終通過運用圍繞TimeLyre的系列產(chǎn)品實現(xiàn)了對金融行業(yè)海量時序數(shù)據(jù)入庫、存儲、復雜分析的全面支持。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹慎對待。投資者據(jù)此操作,風險自擔。
2024年的Adobe MAX 2024發(fā)布會上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標識解析專題論壇在沈陽成功舉辦。