宝石流云|数仓大法好!跨境电商 Shopee 的实时数仓之路( 四 )
Streaming Job 管理Shopee Data Team 拥有大量的实时任务是通过 Jar 包发布的 , 目前在 Job 管理上通过网站页面化 , 来减少 Job 维护成本 。 目前支持环境管理 , 任务管理 , 任务应用配置管理 , 和任务监控报警 。
环境管理
目前可以配置 Flink / Spark Bin 路径来支持不同的 Flink/Spark 版本 , 来支持 Flink 升级带来的多版本问题 , 并支持一些颜色高亮来区分不同环境 。
现在支持实时任务的环境检索 , 状态检索 , 名字检索等 。 支持重启 , 禁用 , 配置任务参数等 。 任务支持从 checkpoint/savepoint 恢复 , 停止任务自动保存 savepoint , 从 kafka timestamp 启动 。
同时实时任务也支持配置内存 , CPU 等 Flink Job 运行参数、JAR 依赖配置等 。 目前支持预览 , 编辑更新等 , 通过 Jekins CICD 集成与人工干预结果 , 来完成 Job 的部署升级 。
任务应用配置是使用 HOCON 配置格式支持 , 目前支持共享配置集成 , 并通过配置名约定将 Checkpoint 路径自动绑定到配置中 。 网站支持预览模式 , 编辑模式 , 配置高亮等 , 将来会集成配置版本回滚等功能 。
对于任务监控方面 , 现在支持任务异常处理报警 。 异常处理支持自动挂起失败的任务 , 并从上次最新 checkpoint 恢复;通过 Flink REST API 检测 Flink Job 状态 , 来避免 Flink Job 异常造成的假活状态 。 出现任务重启 , 异常情况会通过邮件等方式给任务负责人发报警 , 未来打算在网站集成 Grafana/Promethus 等监控工具来完成任务监控自动化等 。
未来规划总体而言 , Flink 在 Shopee 从 2019 年底开始调研 , 到项目落地不到半年时间 , 已经完成业务大量需求导入评估 , 对 Exactly Once , Kafka Exactly Once Semantics , Two Phase Commit , Interval Join , Rocksdb/FS State 一系列的功能进行了验证 。 在未来规划上:
- 首先 , 会尝试更多的实时任务 Flink SQL 化 , 进一步实现流批统一;
- 其次 , 会对目前大量 Spark structured Streaming Job 迁移到 Flink 实现 , 并对新业务进行 Flink 探索 。
- 在 Streaming SQL Platform 也会加入 Flink SQL 支持 , 来解决当前平台遇到一些性能瓶颈和业务支持局限性 。
推荐阅读
- 娱乐大起底|我的世界:为什么绿宝石矿最稀有,绿宝石却不是?
- 不一样的角度|叶罗丽:辛灵有宝石盒子,曼多拉也有一个造型奇怪的宝石箱子
- 5G手机安相宇评测:红米10X 5G 上手,感受实力担当且颜值出众的宝石机
- 游戏兵长雾夏菌|航海王燃烧意志:锦卫门装备、宝石、附魂选择,BOSS杀手
- 版本|宝可梦里很有意思的几个版本,今天我们来看看这款绿宝石的改版吧!
- 娱乐中的趣闻|一个细节暴露周年活动具体时间,部落冲突:“送宝石”礼包又来了
- 非洲|非洲男子挖到2块宝石,卖了2370万元,称要建学校帮更多孩子上学
- |“要命”!女子常年吃素,备孕体检时大惊:体内长出百颗“黑宝石”
- |备孕体检时大惊:体内长出百颗“黑宝石”,“要命”!女子常年吃素
- 宝石流云|世界上最短航班仅用了47秒,中国最短航班用时多少,是在哪里?
