星環(huán)科技自研TDH成功替換開源CDH 春秋航空挖掘數據價值落地業(yè)務創(chuàng)新

　　采用開源大數據平臺CDP和CDH的用戶，現在必須面對原有開源軟件許可證變更和產品服務限制等方面的挑戰(zhàn)。

　　基于Hadoop的開源軟件公司Cloudera與Hortonworks于2018年10月宣布合并，并在2019年推出了結合了Cloudera原有產品CDH和Hortonworks原有產品HDP的全新的大數據平臺產品CDP。

　　合并后的Cloudera整合了Hortonworks和Cloudera各自在之前使用的授權許可方式，對許可方式進行調整：Cloudera所有產品都將采用OSI批準的許可證，即Apache軟件許可證(ASL)或Affero通用公共許可證(AGPL)。用戶不得不面臨許可變更帶來的風險。

　　另一方面，Cloudera對原有產品的服務支持也做出調整。Cloudera會在2022年前繼續(xù)支持CDH和HDP兩條產品線，給用戶一個過渡期。原有的CDH和HDP用戶均可通過升級至CDP獲得諸多新功能。也就是說，在2022年全部用戶都將遷移到CDP上來。但CDP以訂閱方式提供服務，用戶付費成本大幅增加。

　　同時開源軟件的安全事故迭出，影響巨大。同時，開源軟件安全方面功能的缺失或者被限制，也成為用戶應用的后顧之慮。

　　如何面對許可方式的變更，產品服務方式改變所帶來的成本增加，以及不斷增加的安全威脅，已經成為CDP和CDH的用戶不得不面對的問題。

　　春秋航空公司，是國內第一家由民營資本獨立經營的低成本航空公司，也是國內第一家由旅行社起家的低成本航空公司。成立37年來，春秋航空公司快速發(fā)展，從正式開航到現在，機隊規(guī)模已經達到96架、國際國內航線達到210條，是國內低成本航空公司的典范。

　　春秋航空用星環(huán)科技大數據基礎平臺TDH成功替換開源大數據平臺CDH，打破了新技術與業(yè)務場景之間的隔閡，用技術為業(yè)務賦能，快速挖掘數據價值。借助星環(huán)科技TDH 極速大數據平臺，春秋航空快速提高了數據處理規(guī)模和數據處理性能，增強了數據管控力度，為數據挖掘和數據分析提供了全面的數據支持，堪稱大數據平臺國產化替代的典范。

　　春秋航空大數據平臺建設需求和挑戰(zhàn)

　　春秋航空是一家倡導旅客個性化消費的航空公司，提升利潤和降低成本是春秋航空一直希望做的事情。而航空公司是重資產低利潤的行業(yè)，節(jié)約成本在眾多提高利潤的因素中占很大的比重。航空公司的航油成本占了總成本的30%到40%，所以節(jié)省航油成為降低成本的關鍵。

　　節(jié)省航油理論上講并不是很難，和開車的邏輯類似，按最短的路線，或控制好油門都可以省油。我們開車時能用GPS選擇最短路線，對于飛機飛行來說卻沒有那么簡單。首先，我們要對飛機的飛行日志進行分析。飛機上的QAR(Quick Access Recorder，快速存取記錄器)每八分之一秒會將飛機上3000多個設備儀器的參數記錄一次，飛機一天在天上要飛十幾個小時，一年下來數據量非常大。每架飛機一年會記錄一億多條數據，80多架飛機一年就是80多億條數據。因此做好節(jié)油工作首要任務是解決80多億的數據處理問題。

　　早期，春秋航空引入了開源大數據平臺CDH，并基于該平臺開展了個性化推薦、精準營銷方面的工作，但在使用的過程中發(fā)現了很多問題。對于復雜的航空業(yè)務，原平臺需要大量的開發(fā)工作來適配業(yè)務，對開發(fā)人員的要求非常高，很難實現業(yè)務的快速落地和價值挖掘。

　　面對一些跨庫關聯的復雜分析場景需要數據的導入導出，過程較為繁瑣，費時費力。數據分析人員需要對數據進行實時分析，以便對業(yè)務進行快速調整，而原平臺只支持T+1的計算分析能力，不能滿足業(yè)務分析的實時性需求。如剛才介紹，航空飛行產生海量的數據，精細化到毫秒級別，而原平臺表現出存儲和處理分析能力不足。

　　另外，其混合架構以及開源特性使得解決問題的效率相對會比較低，給系統(tǒng)和業(yè)務運維帶來很大的壓力。

　　星環(huán)科技TDH助力春秋航空快速實現數據價值

　　當前，企業(yè)數智化轉型正是信息技術自主創(chuàng)新和國產化替代的主戰(zhàn)場，更是需要通過提升自主創(chuàng)新能力、加速數字化智能化轉型，全面推動整個產業(yè)數字化進程。

　　基于星環(huán)科技大數據基礎平臺TDH技術的先進性和獨特性，春秋航空用TDH替換原先的開源CDH數據平臺。借助星環(huán)科技TDH 高性能批處理及關系型分析引擎Inceptor等工具，春秋航空完成各種數據清洗，業(yè)務處理等工作，提高了數據處理規(guī)模，數據處理性能更快，增強了數據管控力度，為數據挖掘和數據分析提供了全生命周期的數據支持。

　　星環(huán)科技TDH大數據基礎平臺采用先進的多模型統(tǒng)一架構，一體化構建服務于整個企業(yè)的統(tǒng)一數據資源庫，徹底打破不同部門間的數據隔閡，支持數據跨部門靈活調用，有效降低開發(fā)運維成本。統(tǒng)一的計算引擎可以跟據不同的存儲引擎自動匹配高性能算法，避免數據導入導出。統(tǒng)一的分布式存儲管理系統(tǒng)可以輕松實現 GB~PB級多源異構數據的高效存儲和統(tǒng)一管理，為不同的存儲引擎提供公共的存儲服務，有效保障數據一致性和高可用。

　　基于星環(huán)大數據平臺的架構設計

　　系統(tǒng)將每天產生在Oracle的數據進行T+1抽取，業(yè)務邏輯打包成各種shell腳本等腳本，通過Transwarp Workflow任務調度軟件進行調度，在大數據集群內進行各種處理，完成數據清洗，業(yè)務匯總等工作。

　　關系型分析引擎Inceptor提供PB級海量數據的高性能分析服務，其同時支持完整的SQL標準語法，兼容Oracle、IBM DB2、Teradata方言，兼容Oracle和DB2的存儲過程，可以平滑遷移應用。同時其支持分布式事務處理，保障數據強一致性。跟開源方案相比，Inceptor是全球首個通過分析決策系統(tǒng)國際基準測試TPC-DS及官方審計的產品，TPC-DS查詢性能是開源Hive的7~25倍。

　　實時流計算引擎Transwarp Slipstream落地即分析，提供百萬級高吞吐、毫秒級低延時業(yè)務處理支撐能力，滿足業(yè)務分析實時性需求，彌補之前CDH無實時分析能力的空缺。對于之前平臺無二級索引和全文搜索能力，分布式搜索引擎Transwarp Scope提供PB級海量數據的交互式多維檢索分析服務，能夠實現高可靠、高擴展性的全文搜索與靈活查詢。

　　春秋航空進入數據精細化運營時代

　　突破關鍵核心技術，加快推進國產自主可控替代計劃，構建安全可控的信息技術體系，發(fā)展信創(chuàng)產業(yè)，是國家一項長期戰(zhàn)略。經過多年的發(fā)展，我國國產化替代不斷拓展，信創(chuàng)產業(yè)不斷發(fā)展壯大。

　　在數字經濟時代，IT系統(tǒng)自主創(chuàng)新和國產化替代已經不再僅僅是進口的軟硬件產品替換成國產產品，而是要以新的思路、新的應用，將數智化與信創(chuàng)化相結合，形成中國企業(yè)真正的國產化應用替代。

　　星環(huán)科技與春秋航空的合作，成功的用國產自主可控的國產大數據平臺替代國外的開源大數據平臺，應用成效突出：

　　利用星環(huán)科技TDH強大的數據處理能力，春秋航空完成了成本指數監(jiān)控。例如上線4個月時，成本指數執(zhí)行率從58%上升到69%。隨后春秋航空又建立了直飛優(yōu)化模型和高度優(yōu)化模型，實現了飛行路線的優(yōu)化。通過直飛模型可以提前分析大量的直飛機會，減少飛行距離，降低飛行成本。

　　同時通過對歷史飛行軌跡及優(yōu)化分析，可以尋找飛機攜帶油量的平衡點，從而降低航油消耗�；�于星環(huán)科技TDH極速大數據平臺，春秋航空還建立了高度優(yōu)化模型。大氣層越往上越稀薄，飛機飛得越高阻力越小，意味著越節(jié)油。通過海量數據監(jiān)控建立高度模型對飛機飛行高度進行優(yōu)化，從而達到節(jié)省航油的目的。春秋航空節(jié)油項目取得了很好的效果，據估算80架飛機每年僅燃油成本就可節(jié)省約2400萬。

　　目前，基于星環(huán)科技TDH的大數據平臺已成為春秋航空所有數據的中心，負責所有條線營銷服務、飛行安全、維護維修的數據分析。

　　星環(huán)科技大數據基礎平臺TDH憑借技術的先進性，在眾多行業(yè)領域完成國外產品的進口替代，幫助企業(yè)加速數字化轉型，更全面、更便捷、更智能、更安全地運用數據，大幅降低綜合成本�；�于星環(huán)科技極速大數據平臺構建核心商業(yè)系統(tǒng)，是企業(yè)實現一站式數字化轉型、加速業(yè)務創(chuàng)新的致勝關鍵。