Digdag

Digdag 是一个简单的工具，帮助你建立、运行、安排和监控复杂的任务管道。它可以处理依赖性问题，使任务串联或并行运行。

Digdag 取代了 cron，促进了 IT 运营自动化，协调了数据工程任务，协调了机器学习管道，等等。

Digdag 旨在实现易于部署、多云设置和模块化的结构来构建和扩展业务应用。拥有一系列企业功能，包括丰富的管理面板、多语言支持、错误处理、配置工具和版本控制工具。该解决方案采用 Java 和 Node.js 开发，支持 AWS、私有云、IBM 云和 Digital Ocean。​​​​

特性：

• 轻松部署：只需下载二进制文件即可。同一个二进制文件可以同时运行服务器和客户端。
• 简单配置：Digdag 配置是用 YAML 编写的，YAML 是一种广泛使用的简单标记语言。
• 依赖解析：读取和写入具有依赖项的工作流。告别“timing”cron 作业以协调多个任务。
• 多云：跨 Amazon Redshift/S3、Google BigQuery/Cloud Storage 和本地数据库移动和合并数据。
• 多种语言：对 Python 和 Ruby 的 native支持。
• 错误处理：Digdag 附带强大的错误处理功能。
• 模块化的：Digdag 设计为模块化的，因此每个工作流都可以在不同的上下文中重复使用。
• 可扩展：Digdag 设计为可插拔的，因此您可以破解自己的操作符、控制流等。
• 管理界面：Digdag 有一个正在开发中的管理 UI。
• Digdag 提供了一个秘密保险库，以便安全地处理 API 密钥和密码等敏感信息。
• Docker 支持：Digdag 允许你从 Docker 容器运行任务以支持云原生工作流。
• 版本控制：Digdag 是工作流即代码。支持 revisions 和 rollbacks。