Ozone+星星海,騰訊自動駕駛專有云低成本解決方案取得突破性進展

　　隨著各大汽車廠商相繼大力投入自動駕駛業(yè)務,動輒數(shù)十PB的數(shù)據(jù)注入存儲和每天數(shù)PB的數(shù)據(jù)IO參與計算已經成為自動駕駛開發(fā)的常態(tài)。如何降低自動駕駛開發(fā)過程中的海量數(shù)據(jù)存儲成本和高性能、高可靠、高擴展性需求是騰訊自動駕駛專有云團隊的當務之急。

　　“自動駕駛開發(fā)行業(yè)當前的核心需求是合規(guī)存儲,核心痛點是成本高。” 項目組對當前自動駕駛開發(fā)行業(yè)的痛點了解頗深:“行業(yè)周知自動駕駛研發(fā)成本高,周期長。雖然很多車企都在大力投入軟件開發(fā),但是面臨長期投入和快速回報的問題,減少預算壓力、降低開發(fā)成本是非常必要的。然后是合規(guī),以及如何安全的存儲。數(shù)據(jù)和算法是自動駕駛開發(fā)者的核心機密,不能有任何閃失。”

　　自動駕駛研發(fā)所需要的高精度地圖各種場景數(shù)據(jù),需要通過采集,標注,分析,合規(guī)等一系列流程,在云端存儲和調用,需要高性能高密度服務器和配套設施,儲存成本每年往往高達上億元。而自動駕駛的快速進展,也需要與之相應的服務器不斷擴容,每天有數(shù)十甚至數(shù)百TB的新增數(shù)據(jù)注入,經過智能化提取和標注,產生結構化、非結構化等各種存儲類型需求,共同形成了數(shù)據(jù)湖,來滿足自動駕駛算法訓練、仿真、評測等迭代過程,帶來的是成本增幅的線性成倍增長。

　　為此,騰訊汽車云團隊和騰訊大數(shù)據(jù)團隊合作建立了專項攻堅項目組,針對自動駕駛開發(fā)數(shù)據(jù)采集、存儲和開發(fā)場景下的需求特點開始了選型和攻堅。歷時將近一年的打磨,項目團隊選用Ozone+騰訊云星星海自研服務器和自研JBOD的軟硬件一體化解決方案,將存儲方案整體集群讀寫帶寬提升50%,存儲硬件成本降低60%以上,達到業(yè)內領先水平,讓車企的高精度地圖的存儲成本可以大幅度消減。

　　Ozone作為對象存儲和大數(shù)據(jù)存儲的主要解決方案,特別適合自動駕駛開發(fā)場景下百億級海量小文件的存儲需求,解決融合存儲需求的同時極大的存儲成本。作為脫胎于Hadoop的開源存儲項目,Ozone的目標是打造大數(shù)據(jù)場景下融合文件系統(tǒng)和對象存儲的統(tǒng)一方案,生態(tài)上支持Hadoop FS,對象/S3,本地路徑Mount和K8s CSI等多種訪問方式,針對大數(shù)據(jù)場景下的小文件和集群scale up做了很多優(yōu)化。同時,Ozone分布式架構和利用Raft協(xié)議維護的一致性保證了Ozone存儲集群在和計算節(jié)點分離部署時更強的集群管理能力,可以說,在大數(shù)據(jù)生態(tài)中,Ozone對于Hadoop Capitible和對象的整合能力決定了其存算分離部署場景下的排頭兵位置。

　　在硬件方面,針對計算存儲分離部署場景下,大數(shù)據(jù)產生的海量數(shù)據(jù)存儲容量和成本問題,項目組團隊在騰訊云自研星星海硬件機型中走出一種全新的嘗試。騰訊星星海實驗室是騰訊首個硬件工程實驗室,主要專注于服務器等硬件系統(tǒng)架構設計和前瞻性基礎技術研究,已經在計算、存儲、網絡等領域研發(fā)了領先的技術和產品。針對汽車云海量存儲的性能和成本訴求,自研星星海服務器進一步優(yōu)化單個數(shù)據(jù)節(jié)點的存儲上限,從而極大的減小了集群規(guī)模,降低了儲存成本。

　　針對客戶單個集群數(shù)十PB的存儲需求,項目組使用自研星星海+自研JBOD的硬件集群配置,追求在集群化管理成本最小的代價下,可以容納更多的用戶數(shù)據(jù),最大化提升集群利用率。利用Ozone + 自研星星海服務器的組合,可以為自動駕駛開發(fā)者提供超低成本的專有云解決方案。

　　騰迅汽車云Ozone + 自研星星海服務器解決方案核心技術優(yōu)勢:

　　1、元數(shù)據(jù)管理成本和消耗低。數(shù)據(jù)以三副本的方式寫入,總體元數(shù)據(jù)消耗在0.5%以下。單個Ozone元數(shù)據(jù)Master節(jié)點可以管理上千個數(shù)據(jù)節(jié)點,同時支持元數(shù)據(jù)進程和數(shù)據(jù)進程部署在同一節(jié)點上。Ozone的部署方式可以最大化利用每一個星星海機器的存儲能力,每一個星星海+JBOD的機器都可以當做數(shù)據(jù)節(jié)點。

　　2、MultiRaft特性和特有的均衡算法,保證數(shù)據(jù)強一致性和關鍵性能指標。

　　3、結合自動駕駛開發(fā)的業(yè)務特點,Ozone提供了大數(shù)據(jù)存儲、對象存儲和文件系統(tǒng)等多種訪問語義,真正意義上做到了融合存儲的方案,汽車云從大數(shù)據(jù)Spark場景到仿真數(shù)據(jù)通過Windows Samba和Linux上NFS等模式都統(tǒng)一寫入同一個Ozone集群。這樣的訪問模式配合星星海的硬件存儲能力,在存儲計算分離部署下,給予了用戶全新的資源整合的方式,同時極大的保證了數(shù)據(jù)強一致性和高冗余度。

　　技術追求無止境,每一個技術點項目團隊都力求極致,最求低成本高性能就要利用Ozone的MultiRaft特性發(fā)揮JBOD每塊磁盤的作用,將單節(jié)點的IO性能和帶寬穩(wěn)定在滿足業(yè)務需求的水平。網絡抖動和心跳丟失、IO不均衡、單盤阻塞等問題時不時騷擾幾個核心開發(fā)人員,在經歷了無數(shù)次嘗試后,開發(fā)小哥半夜突發(fā)奇招,調整硬件調度策略,配合相關調優(yōu)措施,一舉突破障礙,極大提升了關鍵目標核心性能,為自動駕駛開發(fā)低成本解決方案立了一大功!

　　通過調整星星海服務的IO調度模型和結合了Ozone的軟件方案,最終將集群整體讀寫帶寬提升了超過50%:

　　(圖示為不同調度策略的IO對比,灰色圖形為最終選擇的IO模型)

　　騰訊自動駕駛專有云低成本解決方案提供自動駕駛數(shù)據(jù)存儲、計算、標注、模擬仿真、鏡像倉庫、應用發(fā)布等一攬子服務。低成本、合規(guī)是核心;可靠、安全、穩(wěn)定、合規(guī)是基礎能力。在自動駕駛研發(fā)和量產的道路上,騰訊自動駕駛專有云方案,助力車企突破成本和效率的障礙,加速技術的研發(fā)進程。