宝石流云|数仓大法好!跨境电商 Shopee 的实时数仓之路( 二 )
Flink 与 Druid 结合的实时数仓应用
在实时订单销量分析产品中 , 通过 Flink 处理订单流 , 将处理后的明细数据实时注入Druid , 达到公司实时运营活动分析等用途 。 我们使用 T-1(天)的 Lambda 架构来实时和历史订单数据产品分析 , Flink 只处理实时今天的订单数据 , 每日会定时将昨日的数据通过离线任务索引到 Druid 中覆盖修正实时数据的微小误差 。 整体的 Flink 实时处理流程如下图 , 从上中下看共三条流水线:
第一条流水线 , 通过 Kafka 接入 订单 Binlog 事件 。
- 首先 , 解析反序列化订单事件 , 通过订单时间过滤无效订单 , 只保留今日订单 。 通过订单主键 KeyBy 进入ProcessWindowFunction , 因为上游数据是 Binlog 会有重复订单事件 , 所以会通过 ValueState 来对订单进行去重 。
- 然后 , 通过查询 HBase (Phoenix 表)进行Enrichment 维度字段 , 从 Phoenix 表中获取订单商品信息 , 分类 , 用户信息等 。
- 最后 , 通过判断是否所有字段成功关联 , 如果所有字段都关联成功将会把消息打入下游kafka , 并实时注入到 Druid;如果有字段关联失败将会把订单事件通过 Side Output 进入另一个 Slow Kafka Topic , 以便处理异常订单 。
第三条流基本与第一条类似 , 类似消息队列中的 dead message 异常处理 。 因为大量维度表依赖 , 不能保证 Phoenix 都在订单被处理前就被同步到 Phoenix 表 , 比如新订单商品 , 新用户 , 新店铺 , 新分类 , 新商品等 。 所以我们引入一条实时 backfill 处理流将会对第一条主流 , 处理失败的订单重复处理 , 直到所有字段都关联成功才会进入下游 Druid 。
另外为了避免一些过期消息进入死循环 , 同样有个事件过滤窗口 , 保证只保留今日的订单事件在流水线中被处理 。 不同的是 , 因为需要区分付款订单和未付款订单事件类型(可能一个订单有两个状态事件 , 当用户下单时 , 会有一个下单事件 , 当用户完成支付会有一个支付完成事件) , 所以将订单是否被处理状态放在enrichment之后标记重复成功 。
■ 订单事件状态维护
因为上游数据源是 Binlog , 所以随着订单状态的更新 , 会有大量的订单重复事件 。 通过使用 Flink State 功能保存在内存中(FsSateBackend) , 以 ValueState 来标记订单是否被处理 , 通过设置 TTL , 保证订单状态保存24小时过期 , 现在活动高峰期大概2G State , 平均每个TaskManager大约100M State 。 Checkpoint interval 设置为10秒一次 , HDFS 负载并不高 。 同时因为流使用了窗口和自定义 Trigger , 导致 State 需要缓冲少量窗口数据 。 窗口的使用将会在 Enrihcment 流程优化部分详细说明 。
■ Enrihcment 流程优化
在 Enrichment 步骤, 业务逻辑复杂 , 存在大量 IO , 我们做了大量改进优化 。
- 首先, 从 HBase 表关联字段 , 通过增加 Local RLU Memeory Cache 层 , 减少 Hbase 的访问量 , 加速关联;对 HBase Row Key Salt Bucket 避免订单商品表访问热点问题 。
- 第二, HBase 表直接访问层(Service)通过 Google Guice 管理依赖方便配置管理 , 内存 Cache 关联等 。
- 第三, 由于商品表和订单商品同步到 HBase 有一定延迟 , 导致大量的订单事件进入 Slow Kafka topic , 所以通过设置窗口和自定义 Trigger 保证订单数量到一定数量或者窗口超时才触发窗口数据的处理 , 优化后能保证98%的订单在主流被成功处理 。
推荐阅读
- 娱乐大起底|我的世界:为什么绿宝石矿最稀有,绿宝石却不是?
- 不一样的角度|叶罗丽:辛灵有宝石盒子,曼多拉也有一个造型奇怪的宝石箱子
- 5G手机安相宇评测:红米10X 5G 上手,感受实力担当且颜值出众的宝石机
- 游戏兵长雾夏菌|航海王燃烧意志:锦卫门装备、宝石、附魂选择,BOSS杀手
- 版本|宝可梦里很有意思的几个版本,今天我们来看看这款绿宝石的改版吧!
- 娱乐中的趣闻|一个细节暴露周年活动具体时间,部落冲突:“送宝石”礼包又来了
- 非洲|非洲男子挖到2块宝石,卖了2370万元,称要建学校帮更多孩子上学
- |“要命”!女子常年吃素,备孕体检时大惊:体内长出百颗“黑宝石”
- |备孕体检时大惊:体内长出百颗“黑宝石”,“要命”!女子常年吃素
- 宝石流云|世界上最短航班仅用了47秒,中国最短航班用时多少,是在哪里?
