全票通過！易觀開源項目DolphinScheduler進入Apache孵化器

　　美國時間2019年8月29日，易觀開源的分布式任務(wù)調(diào)度引擎DolphinScheduler（原EasyScheduler）正式通過頂級開源組織Apache基金會的投票決議，以全票通過的優(yōu)秀表現(xiàn)正式成為Apache孵化器項目！

　　根據(jù)Apache基金會郵件列表顯示，在包含11個約束性投票(binding votes)和2個無約束性投票(non-binding votes)的投票全部持贊同意見，無棄權(quán)票和反對票，投票順利通過。

　　“Welcome to Apache incubator，DolphinScheduler！”

　　易觀貢獻的DolphinScheduler進入 Apache 孵化器，是易觀開源項目的重要里程碑， DolphinScheduler社區(qū)將遵循「The Apache Way」, 秉承更加兼容并包與開放多樣化的心態(tài)，由衷歡迎更多的開發(fā)者參與到社區(qū)中來，Committer虛位以待!

　　DolphinScheduler是一個分布式易擴展的可視化 DAG 工作流任務(wù)調(diào)度系統(tǒng)，致力于解決數(shù)據(jù)處理流程中錯綜復(fù)雜的依賴關(guān)系，同時具有強大的可視化操作界面。DolphinScheduler曾用名為“EasyScheduler”，由于名稱已在國外某App使用，經(jīng)社區(qū)討論與投票后改名為DolphinScheduler，簡稱”DS”, 中文名 “小海豚調(diào)度”(海豚聰明、人性化，有左右腦可互相換班，終生不用睡覺)。我們希望DolphinScheduler就像它的名字一樣，成為一個“開箱即用”的靈活易用的調(diào)度系統(tǒng)。

　　易觀緣何開發(fā)DolphinScheduler？

　　2017年，易觀在運營自己6.8Pb大小、6.02億月活、每天近萬個調(diào)度任務(wù)的大數(shù)據(jù)平臺時，受到ETL復(fù)雜的依賴關(guān)系、平臺易用性、可維護性及二次開發(fā)等方面掣肘，我們渴望找到一個具有以下功能的數(shù)據(jù)調(diào)度工具：

　　1.易于使用，開發(fā)人員可以通過非常簡單的拖拽操作構(gòu)建ETL過程。不僅對于ETL開發(fā)人員，無法編寫代碼的人也可以使用此工具進行ETL操作，例如系統(tǒng)管理員和分析師

　　2.解決“復(fù)雜任務(wù)依賴”問題，并且可以實時監(jiān)視ETL運行狀態(tài)

　　3.支持多租戶

　　4.支持許多任務(wù)類型：Shell，MR，Spark，SQL(mysql，postgresql，hive，sparksql)，Python，Sub_Process，Procedure等

　　5.支持HA和線性可擴展性

　　易觀技術(shù)團隊意識到現(xiàn)有開源項目沒有能夠達到我們要求的，因此決定自行開發(fā)這個工具。我們在2017年底設(shè)計了DolphinScheduler的主要架構(gòu);2018年5月完成第一個內(nèi)部使用版本，后來我們又迭代了幾個內(nèi)部版本后，系統(tǒng)逐漸穩(wěn)定下來。

　　家有DolphinScheduler初長成

　　易觀技術(shù)團隊——這一支自百度、阿里、百分點、Ptmind、熱云等團隊的“數(shù)據(jù)極客”，秉持易觀“讓數(shù)據(jù)能力平民化”的初心，積極擁抱開源，曾貢獻過Presto Hbase Connector, Presto Kudu Connector等令開發(fā)者稱贊的項目。此次在公司的支持下，也積極將自己的開發(fā)的調(diào)度工具推動開源，旨在回饋開源的同時，助力打造更為強大的開源生態(tài)。

　　團隊在2019年3月初，小范圍(10多家公司)開放了DS的種子用戶試用，得到了非常正能量的反饋，在4月初的正式對外開放源碼后，很快就獲得了許多開發(fā)人員的關(guān)注興趣，目前github上的star現(xiàn)在已超過1700個，參與開發(fā)和使用的公司包括嘀嗒出行、雪球、鳳凰金融、水滴互助、華潤萬家等(參見https://github.com/apache/incubator-dolphinscheduler/issues/57)。

　　DolphinScheduler的特點

　　DolphinScheduler提供了許多易于使用的功能，可加快數(shù)據(jù)ETL工作開發(fā)流程的效率。其主要特點如下：

　　1.通過拖拽以DAG 圖的方式將 Task 按照任務(wù)的依賴關(guān)系關(guān)聯(lián)起來，可實時可視化監(jiān)控任務(wù)的運行狀態(tài)

　　支持豐富的任務(wù)類型

　　2.支持工作流定時調(diào)度、依賴調(diào)度、手動調(diào)度、手動暫停/停止/恢復(fù)，同時支持失敗重試/告警、從指定節(jié)點恢復(fù)失敗、Kill 任務(wù)等操作

　　3.支持工作流全局參數(shù)及節(jié)點自定義參數(shù)設(shè)置

　　4.支持集群HA，通過 Zookeeper實現(xiàn) Master 集群和 Worker 集群去中心化

　　5.支持工作流運行歷史樹形/甘特圖展示、支持任務(wù)狀態(tài)統(tǒng)計、流程狀態(tài)統(tǒng)計

　　6.支持補數(shù)，并行或串行回填數(shù)據(jù)

　　歡迎調(diào)度小伙伴加入共建世界頂級的開源項目！

　　目前，DolphinScheduler在中國已經(jīng)擁有了一個1300多位伙伴組成的用戶及開發(fā)者社區(qū)。它也被許多公司和組織廣泛采用作為其ETL調(diào)度工具。我們熱烈歡迎更多的用戶和開發(fā)者加入到貢獻的隊伍中來，讓我們國人開源的調(diào)度引擎在世界開源生態(tài)中占據(jù)一席之地!

　　感謝參與社區(qū)的貢獻者！

　　特別感謝愿意給DolphinScheduler提供指導(dǎo)的champion和mentors:

　　Champion:

　　l Sheng Wu ( Apache Incubator PMC, Apache officer, wusheng@apache.org)

　　Mentors:

　　l Sheng Wu ( Apache Incubator PMC, Apache officer, wusheng@apache.org)

　　l ShaoFeng Shi ( Apache Incubator PMC, shaofengshi@apache.org)

　　l Liang Chen ( Apache Incubator PMC, Apache member, chenliang613@apache.org)

　　l Furkan KAMACI ( Apache Incubator PMC, Apache member, kamaci@apache.org)

　　l Kevin Ratnasekera ( Apache Incubator PMC, Apache member, djkevincr@apache.org)

　　initial committers:

　　l William-GuoWei(guowei20m@outlook.com)

　　l Lidong Dai(lidong.dai@outlook.com)

　　l Zhanwei Qiao(qiaozhanwei@outlook.com)

　　l Liang Bao(baoliang.leon@gmail.com)

　　l Gang Li(lgcareer2019@outlook.com)

　　l Zijian Gong(quanquansy@gmail.com)

　　l Jun Gao(gaojun2048@gmail.com)

　　l Baoqi Wu(wubaoqi@gmail.com)

　　積極參與的貢獻者:

　　chongchongzi 、lfyee 、mnloveyx 、李林 、白強 、楊孟霏、胡將、王金海 、風清揚、林忠俊 、jiangzhx 、HangtongLee、hymzcn、jimmy201602、feloxx、xianhu、yangqinlong、hebin、

　　shafi-1、mchcz、jamescheng16、xtony、chekore、LgbDemo、馬澤國、劉小春、 Crossoverrr、jxauwxj

　　此外還要感謝數(shù)百位提出issue和建議以及使用的伙伴們的貢獻和大力支持;感謝在項目早期提出指導(dǎo)的來自華為、京東、teradata、百分點、趣頭條等公司負責調(diào)度的伙伴!

　　特別感謝github mybatis-plus社區(qū) ，在得知DolphinScheduler想使用mybatis-plus來支持多數(shù)據(jù)庫，特地發(fā)版去掉了NPL協(xié)議;感謝易觀前端團隊開源的高質(zhì)量 UI 組件庫ans-ui!

　　寫在最后

　　我們堅信將DolphinScheduler引入Apache可以推動更強大，更多樣化的開源社區(qū)的發(fā)展。我們將努力踐行“Community Over Code“的Apache文化，同時歡迎更多的公司和個人參與到開發(fā)者隊伍中來，讓DolphinScheduler社區(qū)更加健壯、健康的發(fā)展，讓更多人享受開源帶來的技術(shù)革命!

　　目前DolphinScheduler的所有源代碼和所有相關(guān)文檔已捐贈給Apache Software Foundation。這些代碼已經(jīng)在Apache License Version 2.0下：

　　代碼庫：https://github.com/apache/incubator-dolphinscheduler

　　文檔：https://analysys.github.io/easyscheduler_docs_cn/

　　在線demo：http://106.75.43.194:8888

　　為促進技術(shù)圈的茁壯發(fā)展，增進Apache DolphinScheduler使用者的交流與學習，易觀舉辦 “Apache DolphinScheduler(incubator) User Meetup” 全國巡回活動，2019 年將陸續(xù)在北京、上海等地舉行，邀請業(yè)內(nèi)資深的技術(shù)專家，分享實戰(zhàn)經(jīng)驗，促進互聯(lián)網(wǎng)技術(shù)的普及。

　　本次巡回 Meetup首站將于10月26日在上海和大家見面，報名鏈接：https://www.huodongxing.com/event/6510540610400

　　11月23日，北京站報名鏈接https://www.huodongxing.com/event/2510544145000

　　歡迎大家來交流!

　　Apache%20DolphinScheduler(incubator)%20User%20Meetup·Shanghai