宝石流云|数仓大法好!跨境电商 Shopee 的实时数仓之路( 四 )

  • Spark 关联维度表时 , 以前在每次 micro-batch 中都需要加载全量维度表 , 现在已经改为 GET 方式 , Lookup 性能方面已经有提升不少 , 但还是没有像 Flink 异步 Lookup 那样的异步功能 , 提高性能 。
  • 没有 Flink Snapshot 和 Two Phase Commit 功能的支持 , 导致任务重启,失败恢复会出现数据不一致 , 失去准确性 。
  • Spark SQL 支持还是有很多局限性 , 目前正在做 Flink SQL 需求导入评估阶段 , 并计划在 Stream SQL Platform 接入 Flink SQL 的支持 。 来满足公司越来越复杂用户画像标签标注和简单实时业务 SQL 化 , 减少业务开发成本 。 同时需要引入更好的 UDF 管理方式 , 集成元数据服务简化开发 。
    Streaming Job 管理Shopee Data Team 拥有大量的实时任务是通过 Jar 包发布的 , 目前在 Job 管理上通过网站页面化 , 来减少 Job 维护成本 。 目前支持环境管理 , 任务管理 , 任务应用配置管理 , 和任务监控报警 。
    环境管理
    目前可以配置 Flink / Spark Bin 路径来支持不同的 Flink/Spark 版本 , 来支持 Flink 升级带来的多版本问题 , 并支持一些颜色高亮来区分不同环境 。
    宝石流云|数仓大法好!跨境电商 Shopee 的实时数仓之路任务管理
    现在支持实时任务的环境检索 , 状态检索 , 名字检索等 。 支持重启 , 禁用 , 配置任务参数等 。 任务支持从 checkpoint/savepoint 恢复 , 停止任务自动保存 savepoint , 从 kafka timestamp 启动 。
    宝石流云|数仓大法好!跨境电商 Shopee 的实时数仓之路任务配置管理
    同时实时任务也支持配置内存 , CPU 等 Flink Job 运行参数、JAR 依赖配置等 。 目前支持预览 , 编辑更新等 , 通过 Jekins CICD 集成与人工干预结果 , 来完成 Job 的部署升级 。
    宝石流云|数仓大法好!跨境电商 Shopee 的实时数仓之路任务应用配置管理
    任务应用配置是使用 HOCON 配置格式支持 , 目前支持共享配置集成 , 并通过配置名约定将 Checkpoint 路径自动绑定到配置中 。 网站支持预览模式 , 编辑模式 , 配置高亮等 , 将来会集成配置版本回滚等功能 。
    宝石流云|数仓大法好!跨境电商 Shopee 的实时数仓之路任务监控报警
    对于任务监控方面 , 现在支持任务异常处理报警 。 异常处理支持自动挂起失败的任务 , 并从上次最新 checkpoint 恢复;通过 Flink REST API 检测 Flink Job 状态 , 来避免 Flink Job 异常造成的假活状态 。 出现任务重启 , 异常情况会通过邮件等方式给任务负责人发报警 , 未来打算在网站集成 Grafana/Promethus 等监控工具来完成任务监控自动化等 。
    未来规划总体而言 , Flink 在 Shopee 从 2019 年底开始调研 , 到项目落地不到半年时间 , 已经完成业务大量需求导入评估 , 对 Exactly Once , Kafka Exactly Once Semantics , Two Phase Commit , Interval Join , Rocksdb/FS State 一系列的功能进行了验证 。 在未来规划上: