宝石流云|数仓大法好!跨境电商 Shopee 的实时数仓之路( 三 )

  • 最后, 在订单关联订单商品时 , 考虑过使用 Interval Join 来做 , 但是由于一个订单有多条订单商品信息 , 加上上游是 Binlog 事件 , 以及其他维度表数据延迟问题 , 导致业务逻辑复杂 , 而且计算产出数据保存在 Druid 只能支持增量更新 。 所以选择了使用 HBase 存储来关联订单商品信息 , 附加慢消息处理流来解决数据延迟问题 。
  • ■ 数据质量保障和监控
    目前将 Checkpoint 设置为 exactly once 模式 , 并开启了Kafka exactly once 生产者模式 , 通过 Two Phase Commit 功能保证数据的一致性 , 避免 task 失败 , job 重启时导致数据丢失 。 监控方面 , 通过监控 Upstream Kafka Topic , 以及 HBase 表写入更新状态 , 结合下游 Druid 数据延迟监控 , 做到 end-to-end 的 lag 指标监控 。 通过 Flink Metric Report 汇报 Hbase 访问性能指标 , 缓存大小 , 延迟订单数量等来对 Flink job 具体步骤性能分析 。
    Flink 与 Hive 结合的实时数仓应用
    在订单物流实时分析业务,接入 Binlog event 实现支持点更新的物流分析 , 使用 Flink Retract Stream 功能来支持每当订单和物流有最新状态变化事件就触发下游数据更新 。 通过 Interval Join 订单流和物流流 , 并使用 Rocksdb State 与 Incremental Checkpoint 来维护最近七天的状态数据 , 从 Hbase 来增加用户维度信息等 , 维度字段 enrihcment 通过 Local LRU Memory Cache 层来优化查询 , 最后定时从 Hbase 导出到 HDFS 。
    宝石流云|数仓大法好!跨境电商 Shopee 的实时数仓之路现在将 Flink 任务产生的订单物流事件保存 HBase 来支持记录级别的点更新 , 每小时从 HBase 导出到 HDFS 结果 , 通过 Presto 接入来做实时分析 。 HBase 导出到HDFS , 通过对 Hbase Row Key Salt Bucket 避免热点问题 , 优化减小 Region Size(默认10G)来减少导出时间 。 但是数据现在延迟还是比较严重 , 在一个半小时左右 , 而且链路繁琐 。 将来考虑加入 Apache Hudi 组建接入 Presto , 将延迟降到半小时内 。
    Streaming SQL 应用与管理目前 Shopee 有大量的实时需求通过 SQL 实现 , 应用场景主要是应用层实时汇总数据报表、维度表更新等 。 业务通过 SDK 和一站式网站管理两种方式实现 。 一是以 SDK 形式提供支持 , 用户可以通过引入 JAR 依赖进行二次项目开发 。 二是制作了相关网站 , 通过以任务形式 , 用户创建任务编辑保存 SQL 来实现业务需求 , 目前支持如下:
    • 任务列表、分组管理 , 支持重启 , 停止 , 禁用任务功能 。
    • 任务支持 crontab 规则定时执行调度模式和 Streaming 模式 。
    • JAR 资源管理 , 任务自定义 JAR 引用 , 以便重复使用 UDF 等 。
    • 通用 SQL 资源管理 , 任务引入共享 SQL 文件 , 避免重复 SQL 逻辑、重复定义 View 以及环境配置等 。
    • 用户分组权限管理 。
    • 集成 Garafna 做任务延迟报警 。
    下面是部分任务组织 UI 化形式:
    宝石流云|数仓大法好!跨境电商 Shopee 的实时数仓之路当前平台只支持 Spark SQL 实现 Stream SQL , 使用 Hive 存储元数据 , 通过关联维度表 JOIN Apache Phoenix 等外部表和外部服务实现 enrichment 等功能 。 通过对比 Flink SQL 与 Spark SQL , 发现 Spark SQL 不少缺点: