开源调度系统：liteflow控制台功能
liteflow整体分为两个模块 ， 控制台以及执行者；其中控制台负责任务的关系以及执行的调度 ， 执行者负责任务的具体执行 。 控制台中主要的功能围绕在任务以及任务流 。
一、主要功能介绍
【开源调度系统：liteflow控制台功能】1.任务
1）任务创建需要根据任务的周期（分、时、天等）来设置 ， 同时需要指定任务执行的cron表达式；其中任务周期是用来任务上下游间关联的依据 ， 例如用来计算一周的pv总量（即上游任务为天 ， 下游任务为周） ， 这时会依据周期 ， 下游任务会自动关联上上游任务周一到周日的任务 ， 只有上游的七个任务都执行成功后下游才会执行 ， 这样就能保证数据不会出现漏掉的情况
2）选择任务运行的插件 ， 即任务执行类型（hive、python、shell等） ， 任务的执行插件主要是执行者来实现 ， 通过容器、插件、任务详情来实现任务的执行 ， 这个后续会有具体介绍
从表单中可以看出 ， 任务需要指定是否可以并发 ， 并发指的是同一时间同一个任务的不同任务版本是否可以同时运行 ， 如果为否 ， 需要指定运行策略 。 1）忽略:即忽略正在运行的任务 ， 将其设置为成功状态 ， 然后当前任务版本再执行 ， 这种情况适合任务运行一次和多次没有区别的情况 ， 例如统计统计某网站当天的pv数时 。 2）等待：需要等待上一个任务版本执行完成后 ， 再执行当前任务 ， 这种情况适合任务执行以来上一次任务执行后产生的数据 ， 例如统计每个小时环比变化数据时 。
文章图片
文章图片
二、任务流
1.创建任务流
在大数据ETL相关工作中 ， 需要依赖任务流来保证各种数据层的计算 ， 也就是我们现在提到的任务流 ， 任务流的核心是DAG原理来保证任务的按一定的规则来运行 ， 任务流创建后 ， 需要将已添加的任务通过图形界面建立好关联
文章图片
1）通过图形界面编辑任务流
通过将鼠标在任务节点上右键可以添加任务 ， 来实现任务的上下游关系
文章图片
文章图片
文章图片
2）任务流修复
在日常工作很多情况下需要对任务进行再一次修复 ， 通过图形界面可以实现任务流中所有任务、从某个节点、仅某个任务的修复；任务流的修复会根据主节点任务来完成数据的展示 ， 依据主节点任务的任务版本以及任务流中任务关系来完成某个版本下任务流下的任务实例关系
文章图片
总结：
liteflow整个的核心其实是通过任务流来保证各个任务按照DAG的关系实现任务的顺序执行 ， 以保证每个任务对应能够在上游任务数据ready的前提下再去执行 ， 从而保证数据的一致性
推荐阅读
- 现代迎来技术“爆发”解读第十代索纳塔动力系统
- 苹果|再次确认如果安卓系统不支持微信，鸿蒙OS是最大赢家
- Android系统|如果华为Mate40Pro定价5999元起，那我一定会劝你买它
- 精神药品|重磅！银河麒麟操作系统V10发布 支持海量安卓应用
- 华为鸿蒙系统|噱头还是真有用？如何看待PCIe 4.0
- 鸿蒙系统|华为Mate40稳了！迎来两大好消息，iPhone 12迎来劲敌
- IOS系统|iOS的TestFlight应用获得新图标 更加立体与写实
- 小米科技|鸿蒙系统手机或很快推出，小米实行合伙人制度
- 打破安卓系统垄断？华为鸿蒙系统手机或很快推出
- 华为鸿蒙系统|华为鸿蒙OS手机被曝即将推出，今年能看到真机吗？