DolphinScheduler(可視化工作流任務調度係統)v1.3.4官方版

Apache DolphinScheduler是一個分布式去中心化，易擴展的可視化DAG工作流任務調度係統，致力於解決數據處理流程中錯綜複雜的依賴關係，使調度係統在數據處理流程中開箱即用。

【功能介紹】

　　1、以DAG圖的方式將Task按照任務的依賴關係關聯起來，可實時可視化監控任務的運行狀態

　　2、支持豐富的任務類型：Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等

　　3、支持工作流定時調度、依賴調度、手動調度、手動暫停/停止/恢複，同時支持失敗重試/告警、從指定節點恢複失敗、Kill任務等操作

　　4、支持工作流優先級、任務優先級及任務的故障轉移及任務超時告警/失敗

　　5、支持工作流全局參數及節點自定義參數設置

　　6、支持資源文件的在線上傳/下載，管理等，支持在線文件創建、編輯

　　7、支持任務日誌在線查看及滾動、在線下載日誌等

　　8、實現集群HA，通過Zookeeper實現Master集群和Worker集群去中心化

　　9、支持對Master/Worker cpu load，memory，cpu在線查看

　　10、支持工作流運行曆史樹形/甘特圖展示、支持任務狀態統計、流程狀態統計

　　11、支持補數

　　12、支持多租戶

　　13、支持國際化

　　14、還有更多等待夥伴們探索

【軟件特色】

　　高可靠性

　　去中心化的多Master和多Worker, 自身支持HA功能, 采用任務隊列來避免過載，不會造成機器卡死

　　簡單易用

　　DAG監控界麵，所有流程定義都是可視化，通過拖拽任務定製DAG，通過API方式與第三方係統對接, 一鍵部署

　　豐富的使用場景

　　支持暫停恢複操作. 支持多租戶，更好的應對大數據的使用場景. 支持更多的任務類型，如 spark, hive, mr, python, sub_process, shell

　　高擴展性

　　支持自定義任務類型，調度器使用分布式調度，調度能力隨集群線性增長，Master和Worker支持動態上下線