優(yōu)刻得發(fā)布智能化、輕量級、一站式大數(shù)據(jù)管理平臺

　　伴隨著全球數(shù)字經(jīng)濟快速發(fā)展，知名咨詢公司IDC預(yù)測，在2020年后的未來兩年中，企業(yè)數(shù)據(jù)將以每年42.2%的速度持續(xù)增長。大量數(shù)據(jù)匯聚后的數(shù)據(jù)管理與運營分析，將使企業(yè)在客戶粘性、整體收入、利潤增長以及成本控制上得到更大收益，從而形成企業(yè)市場核心競爭力提升的關(guān)鍵。

　　隨著企業(yè)等各類型組織的業(yè)務(wù)增長，數(shù)據(jù)量持續(xù)增加，大量數(shù)據(jù)的實時與離線分析成為了新的訴求。以Hadoop為代表的大數(shù)據(jù)技術(shù)得到廣泛應(yīng)用與持續(xù)發(fā)展，然而大數(shù)據(jù)服務(wù)組件眾多、部署與使用過程的復(fù)雜性，使企業(yè)在數(shù)據(jù)運營分析與開發(fā)管理中門檻重重。

　　優(yōu)刻得基于多年公有云大數(shù)據(jù)產(chǎn)品服務(wù)經(jīng)驗的沉淀，結(jié)合客戶市場需求的深入解析。于近日正式推出了自主研發(fā)的“智能化、輕量級、一站式大數(shù)據(jù)服務(wù)組件管理平臺USDP”(以下簡稱USDP)。平臺支持對HDFS，Kudu，Elasticsearch等30余款，主流開源大數(shù)據(jù)服務(wù)組件進行實施部署、配置管理、監(jiān)控告警、故障診斷等全方位協(xié)同管理。此外，還可適配專業(yè)用戶經(jīng)過自定義優(yōu)化的組件。 USDP還集成了自研的工作臺組件，囊括數(shù)據(jù)開發(fā)、任務(wù)管理、數(shù)據(jù)集成等功能，彌補開源組件短板。

　　在核心定位上，USDP著手于為用戶提供更加便捷、可視化的企業(yè)數(shù)據(jù)管理。一方面在用戶搭建過程中，全流程自動化貫穿部署服務(wù)與組件整個環(huán)節(jié)，并提供一站式集中組件生態(tài)管理;另一方面USDP集成的實時監(jiān)控視圖與告警策略，可協(xié)助運維人員快速定位資源瓶頸，為資源優(yōu)化提供有力支撐。輕量化的易捷架構(gòu)、可視化的自動管理，將大大降低部署與平臺建設(shè)的成本消耗 。

　　擁抱開源、輕量智能、多云融合

　　全面支持主流開源大數(shù)據(jù)服務(wù)組件

　　1)全面兼容開源大數(shù)據(jù)生態(tài)

　　作為優(yōu)刻得自主研發(fā)的大數(shù)據(jù)管理平臺，USDP支持眾多(如 HDFS、YARN、Hive、HBase、Spark、Flink 等)主流開源大數(shù)據(jù)服務(wù)組件的安裝部署、運行監(jiān)控與配置管理。其中USDP 提供的開源服務(wù)組件的部署和管理能力，本身不會對客戶的技術(shù)選型產(chǎn)生任何影響，也不會像其他廠商的自研服務(wù)對客戶形成技術(shù)上的綁定。2)支持豐富完整的服務(wù)組件

　　USDP完全中立、無捆綁原則，支持30余款主流服務(wù)組件協(xié)同工作。與其他同類型產(chǎn)品相比，USDP支持的服務(wù)組件數(shù)量更多，能夠覆蓋客戶需要用到的絕大部分服務(wù)組件，使得客戶可以通過一個平臺納管所有服務(wù)組件。同時，USDP產(chǎn)品中的服務(wù)完全基于Apache版本進行集成，并進行了大量兼容性測試與壓力測試。在確保各個服務(wù)穩(wěn)定運行的同時，兼顧 Apache 官方頻繁的 BUG 修復(fù)，用戶無需承擔額外學(xué)習(xí)成本。

　　輕量級、智能化的操作體驗：

　　USDP 從國內(nèi)客戶的操作和使用習(xí)慣出發(fā)，簡化和優(yōu)化客戶的操作流程，提供系統(tǒng)初始化工具，支持將相關(guān)的先驗知識。如服務(wù)間的組合和依賴關(guān)系，啟動的先后順序等內(nèi)置在平臺系統(tǒng)當中，對客戶屏蔽復(fù)雜的操作細節(jié)，做到一鍵式環(huán)境檢查和集群部署，從而大大降低了客戶的使用門檻。

　　得益于優(yōu)刻得在公有云為海量用戶提供大數(shù)據(jù)產(chǎn)品及服務(wù)的持續(xù)經(jīng)驗積累。USDP為每一個支持的服務(wù)組件預(yù)置了一套完善的，服務(wù)監(jiān)控和告警配置模板�？蛻魺o需任何先驗知識，即可通過監(jiān)控模塊掌握集群和服務(wù)運行狀況，并通過簡單配置對外發(fā)送預(yù)警信息，協(xié)助運維人員及時介入排查問題。

　　對公有云、私有云環(huán)境的全面支持

　　USDP 脫胎于優(yōu)刻得公有云大數(shù)據(jù)服務(wù)之上，經(jīng)過公有云大數(shù)據(jù)產(chǎn)品運營中的反復(fù)驗證與打磨。在此基礎(chǔ)上，針對于私有云部署等應(yīng)用場景進行了升級和優(yōu)化。一方面，USDP對各類型環(huán)境的部署具有良好的適配性，系統(tǒng)集成的服務(wù)組件經(jīng)過了充分的兼容與壓力性測試，能夠確保持續(xù)穩(wěn)定且高效運行。另一方面，優(yōu)刻得將公有云上持續(xù)積累的大數(shù)據(jù)開發(fā)和運維經(jīng)驗，完整的融入到 USDP中。在用戶使用 USDP 構(gòu)建和管理大數(shù)據(jù)集群的過程中，如果遇到問題或故障，系統(tǒng)內(nèi)置的智能診斷模塊，結(jié)合技術(shù)專家的專業(yè)經(jīng)驗，能夠快速幫助客戶識別問題并排除故障。

　　典型場景應(yīng)用介紹

　　場景一：數(shù)據(jù)倉庫

　　“維度數(shù)倉”是國內(nèi)最常用的數(shù)倉模型之一。“維度數(shù)倉”按照事實表、維度表來構(gòu)建數(shù)據(jù)倉庫、數(shù)據(jù)集市。在維度建模方法體系中，維度描述事實的角度，如日期、客戶、供應(yīng)商等。事實是要度量的指標，如客戶數(shù)、銷售額等。通過 USDP 管理平臺，用戶可以部署構(gòu)建維度數(shù)倉所需的一切服務(wù)，快速構(gòu)建企業(yè)數(shù)據(jù)中臺。

　　場景二：機器學(xué)習(xí)

　　機器學(xué)習(xí)是一類算法的總稱，這些算法企圖從大量歷史數(shù)據(jù)中挖掘出其中隱含的規(guī)律，并用于預(yù)測或者分類。在機器學(xué)習(xí)領(lǐng)域，對運算往往有大量需求，此時通過 USDP 部署 YARN 以及 Spark、Flink 等分布式運算框架，搭配組件自有算法或企業(yè)自研算法，即可事半功倍的進行機器學(xué)習(xí)開發(fā)。同時，在深度學(xué)習(xí)領(lǐng)域，建模所需的大量數(shù)據(jù)，也可以存儲于 HDFS，從而真正實現(xiàn)一站式開發(fā)。

　　場景三：業(yè)務(wù)信息檢索

　　USDP 中提供的數(shù)倉類服務(wù)套件，可以方便用戶快速針對 OLTP 系統(tǒng)進行數(shù)據(jù)讀寫，也許并非會使用到所有服務(wù)，但 USDP 依然支持在成熟的部署方案中，選擇獨立的服務(wù)進行部署。例如，業(yè)務(wù)系統(tǒng)需要使用 ES 存儲服務(wù)器日志，用戶只需要在 USDP 控制臺中選擇部署 ES 即可。

　　USDP可以部署在用戶私有數(shù)據(jù)中心，也可以與優(yōu)刻得的云上資源管理和運維服務(wù)能力無縫結(jié)合，為用戶提供穩(wěn)定、一體化、高性價比的數(shù)據(jù)倉庫、離線批處理、實時流處理、即時查詢、數(shù)據(jù)挖掘等大數(shù)據(jù)解決方案。