宝石流云|数仓大法好!跨境电商 Shopee 的实时数仓之路( 二 )


Flink 与 Druid 结合的实时数仓应用
在实时订单销量分析产品中 , 通过 Flink 处理订单流 , 将处理后的明细数据实时注入Druid , 达到公司实时运营活动分析等用途 。 我们使用 T-1(天)的 Lambda 架构来实时和历史订单数据产品分析 , Flink 只处理实时今天的订单数据 , 每日会定时将昨日的数据通过离线任务索引到 Druid 中覆盖修正实时数据的微小误差 。 整体的 Flink 实时处理流程如下图 , 从上中下看共三条流水线:
宝石流云|数仓大法好!跨境电商 Shopee 的实时数仓之路第一条流水线 , 通过 Kafka 接入 订单 Binlog 事件 。

  • 首先 , 解析反序列化订单事件 , 通过订单时间过滤无效订单 , 只保留今日订单 。 通过订单主键 KeyBy 进入ProcessWindowFunction , 因为上游数据是 Binlog 会有重复订单事件 , 所以会通过 ValueState 来对订单进行去重 。
  • 然后 , 通过查询 HBase (Phoenix 表)进行Enrichment 维度字段 , 从 Phoenix 表中获取订单商品信息 , 分类 , 用户信息等 。
  • 最后 , 通过判断是否所有字段成功关联 , 如果所有字段都关联成功将会把消息打入下游kafka , 并实时注入到 Druid;如果有字段关联失败将会把订单事件通过 Side Output 进入另一个 Slow Kafka Topic , 以便处理异常订单 。
第二条流水线比较复杂 , 通过多个实时任务将各分表 Slave Binlog 同步到 Hbase Phoenix 表 , 以便做成实时订单流的维度表 。 目前遇到比较多问题还是经常 Binlog 延迟等问题 , 以及数据热点问题 。
第三条流基本与第一条类似 , 类似消息队列中的 dead message 异常处理 。 因为大量维度表依赖 , 不能保证 Phoenix 都在订单被处理前就被同步到 Phoenix 表 , 比如新订单商品 , 新用户 , 新店铺 , 新分类 , 新商品等 。 所以我们引入一条实时 backfill 处理流将会对第一条主流 , 处理失败的订单重复处理 , 直到所有字段都关联成功才会进入下游 Druid 。
另外为了避免一些过期消息进入死循环 , 同样有个事件过滤窗口 , 保证只保留今日的订单事件在流水线中被处理 。 不同的是 , 因为需要区分付款订单和未付款订单事件类型(可能一个订单有两个状态事件 , 当用户下单时 , 会有一个下单事件 , 当用户完成支付会有一个支付完成事件) , 所以将订单是否被处理状态放在enrichment之后标记重复成功 。
■ 订单事件状态维护
因为上游数据源是 Binlog , 所以随着订单状态的更新 , 会有大量的订单重复事件 。 通过使用 Flink State 功能保存在内存中(FsSateBackend) , 以 ValueState 来标记订单是否被处理 , 通过设置 TTL , 保证订单状态保存24小时过期 , 现在活动高峰期大概2G State , 平均每个TaskManager大约100M State 。 Checkpoint interval 设置为10秒一次 , HDFS 负载并不高 。 同时因为流使用了窗口和自定义 Trigger , 导致 State 需要缓冲少量窗口数据 。 窗口的使用将会在 Enrihcment 流程优化部分详细说明 。
■ Enrihcment 流程优化
在 Enrichment 步骤, 业务逻辑复杂 , 存在大量 IO , 我们做了大量改进优化 。