关于PowerJobPowerJob(原OhMyScheduler)是全新一代分布式任务调度与计算框架 , 其主要功能特性如下:
- 使用简单:提供前端Web界面,允许开发者可视化地完成调度任务的管理(增、删、改、查)、任务运行状态监控和运行日志查看等功能 。
- 定时策略完善:支持 CRON 表达式、固定频率、固定延迟和API四种定时调度策略 。
- 执行模式丰富:支持单机、广播、Map、MapReduce 四种执行模式 , 其中 Map/MapReduce 处理器能使开发者寥寥数行代码便获得集群分布式计算的能力 。
- 工作流支持:支持在线配置任务依赖关系(DAG),以可视化的方式对任务进行编排,同时还支持上下游任务间的数据传递,以及多种节点类型(判断节点 & 嵌套工作流节点) 。
- 执行器支持广泛:支持 Spring Bean、内置/外置 JAVA 类,另外可以通过引入官方提供的依赖包,一键集成 Shell、Python/ target=_blank class=infotextkey>Python、HTTP、SQL 等处理器,应用范围广 。
- 运维便捷:支持在线日志功能,执行器产生的日志可以在前端控制台页面实时显示,降低 debug 成本,极大地提高开发效率 。
- 依赖精简:最小仅依赖关系型数据库(MySQL/PostgreSQL/Oracle/MS SQLServer...)
- 高可用 & 高性能:调度服务器经过精心设计,一改其他调度框架基于数据库锁的策略,实现了无锁化调度 。部署多个调度服务器可以同时实现高可用和性能的提升(支持无限的水平扩展) 。
- 故障转移与恢复:任务执行失败后,可根据配置的重试策略完成重试,只要执行器集群有足够的计算节点,任务就能顺利完成 。
- 有定时执行需求的业务场景:如每天凌晨全量同步数据、生成业务报表、未支付订单超时取消等 。
- 有需要全部机器一同执行的业务场景:如使用广播执行模式清理集群日志 。
- 有需要分布式处理的业务场景:比如需要更新一大批数据,单机执行耗时非常长 , 可以使用Map/MapReduce 处理器完成任务的分发 , 调动整个集群加速计算 。
- 有需要延迟执行某些任务的业务场景:比如订单过期处理等 。
文章插图
基本概念分组概念
- AppName:应用名称 , 建议与用户实际接入 PowerJob 的应用名称保持一致 , 用于业务分组与隔离 。一个 appName 等于一个业务集群,也就是实际的一个 Java 项目 。
- 任务(Job):描述了需要被 PowerJob 调度的任务信息,包括任务名称、调度时间、处理器信息等 。
- 任务实例( JobInstance,简称 Instance):任务(Job)被调度执行后会生成任务实例(Instance),任务实例记录了任务的运行时信息(任务与任务实例的关系类似于类与对象的关系) 。
- 作业(Task):任务实例的执行单元 , 一个 JobInstance 存在至少一个 Task,具体规则如下:
- 单机任务(STANDALONE):一个 JobInstance 对应一个 Task
- 广播任务(BROADCAST):一个 JobInstance 对应 N 个 Task,N为集群机器数量,即每一台机器都会生成一个 Task
- Map/MapReduce任务:一个 JobInstance 对应若干个 Task , 由开发者手动 map 产生
- 工作流(Workflow):由 DAG(有向无环图)描述的一组任务(Job),用于任务编排 。
- 工作流实例(WorkflowInstance):工作流被调度执行后会生成工作流实例,记录了工作流的运行时信息 。
- JVM 容器:以 Maven 工程项目的维度组织一堆 Java 文件(开发者开发的众多 Java 处理器) , 可以通过前端网页动态发布并被执行器加载,具有极强的扩展能力和灵活性 。
推荐阅读
- 去台湾旅游要多少钱两个人 去台湾旅游要多少钱
- 引言和摘要的区别
- 如何皈依三宝要多少钱 如何皈依三宝
- 明明都是演丫鬟小姐,以前的主仆关系一目了然,现在的要靠“猜”
- 金丝楠木手串佩戴禁忌 几十块的金丝楠手串是真的吗
- 不会说话的男生要脱单该注意什么事项 不会说话的男生要脱单该注意什么
- 吴千语当众说男友丑,且在上海租房住,林峰口中的PUA是真的吗?
- 请柬怎么写,请柬要怎么写
- Excel要咋才可以画图,在excel中指针变为绘图笔
- cdr排版要如何操作,cdr如何绘制有尺寸的墙