XXL-JOB真的要凉了?出现了一个王炸级别的分布式任务调度与计算框架?

关于PowerJobPowerJob(原OhMyScheduler)是全新一代分布式任务调度与计算框架 , 其主要功能特性如下:

  • 使用简单:提供前端Web界面,允许开发者可视化地完成调度任务的管理(增、删、改、查)、任务运行状态监控和运行日志查看等功能 。
  • 定时策略完善:支持 CRON 表达式、固定频率、固定延迟和API四种定时调度策略 。
  • 执行模式丰富:支持单机、广播、Map、MapReduce 四种执行模式 , 其中 Map/MapReduce 处理器能使开发者寥寥数行代码便获得集群分布式计算的能力 。
  • 工作流支持:支持在线配置任务依赖关系(DAG),以可视化的方式对任务进行编排,同时还支持上下游任务间的数据传递,以及多种节点类型(判断节点 & 嵌套工作流节点) 。
  • 执行器支持广泛:支持 Spring Bean、内置/外置 JAVA 类,另外可以通过引入官方提供的依赖包,一键集成 Shell、Python/ target=_blank class=infotextkey>Python、HTTP、SQL 等处理器,应用范围广 。
  • 运维便捷:支持在线日志功能,执行器产生的日志可以在前端控制台页面实时显示,降低 debug 成本,极大地提高开发效率 。
  • 依赖精简:最小仅依赖关系型数据库(MySQL/PostgreSQL/Oracle/MS SQLServer...)
  • 高可用 & 高性能:调度服务器经过精心设计,一改其他调度框架基于数据库锁的策略,实现了无锁化调度 。部署多个调度服务器可以同时实现高可用和性能的提升(支持无限的水平扩展) 。
  • 故障转移与恢复:任务执行失败后,可根据配置的重试策略完成重试,只要执行器集群有足够的计算节点,任务就能顺利完成 。
适用场景
  • 有定时执行需求的业务场景:如每天凌晨全量同步数据、生成业务报表、未支付订单超时取消等 。
  • 有需要全部机器一同执行的业务场景:如使用广播执行模式清理集群日志 。
  • 有需要分布式处理的业务场景:比如需要更新一大批数据,单机执行耗时非常长 , 可以使用Map/MapReduce 处理器完成任务的分发 , 调动整个集群加速计算 。
  • 有需要延迟执行某些任务的业务场景:比如订单过期处理等 。
同类产品对比
XXL-JOB真的要凉了?出现了一个王炸级别的分布式任务调度与计算框架?

文章插图
基本概念分组概念
  • AppName:应用名称 , 建议与用户实际接入 PowerJob 的应用名称保持一致 , 用于业务分组与隔离 。一个 appName 等于一个业务集群,也就是实际的一个 Java 项目 。
核心概念
  • 任务(Job):描述了需要被 PowerJob 调度的任务信息,包括任务名称、调度时间、处理器信息等 。
  • 任务实例( JobInstance,简称 Instance):任务(Job)被调度执行后会生成任务实例(Instance),任务实例记录了任务的运行时信息(任务与任务实例的关系类似于类与对象的关系) 。
  • 作业(Task):任务实例的执行单元 , 一个 JobInstance 存在至少一个 Task,具体规则如下:
  1. 单机任务(STANDALONE):一个 JobInstance 对应一个 Task
  2. 广播任务(BROADCAST):一个 JobInstance 对应 N 个 Task,N为集群机器数量,即每一台机器都会生成一个 Task
  3. Map/MapReduce任务:一个 JobInstance 对应若干个 Task , 由开发者手动 map 产生
  • 工作流(Workflow):由 DAG(有向无环图)描述的一组任务(Job),用于任务编排 。
  • 工作流实例(WorkflowInstance):工作流被调度执行后会生成工作流实例,记录了工作流的运行时信息 。
扩展概念