宝石流云|数仓大法好!跨境电商 Shopee 的实时数仓之路( 三 )
目前将 Checkpoint 设置为 exactly once 模式 , 并开启了Kafka exactly once 生产者模式 , 通过 Two Phase Commit 功能保证数据的一致性 , 避免 task 失败 , job 重启时导致数据丢失 。 监控方面 , 通过监控 Upstream Kafka Topic , 以及 HBase 表写入更新状态 , 结合下游 Druid 数据延迟监控 , 做到 end-to-end 的 lag 指标监控 。 通过 Flink Metric Report 汇报 Hbase 访问性能指标 , 缓存大小 , 延迟订单数量等来对 Flink job 具体步骤性能分析 。
Flink 与 Hive 结合的实时数仓应用
在订单物流实时分析业务,接入 Binlog event 实现支持点更新的物流分析 , 使用 Flink Retract Stream 功能来支持每当订单和物流有最新状态变化事件就触发下游数据更新 。 通过 Interval Join 订单流和物流流 , 并使用 Rocksdb State 与 Incremental Checkpoint 来维护最近七天的状态数据 , 从 Hbase 来增加用户维度信息等 , 维度字段 enrihcment 通过 Local LRU Memory Cache 层来优化查询 , 最后定时从 Hbase 导出到 HDFS 。
Streaming SQL 应用与管理目前 Shopee 有大量的实时需求通过 SQL 实现 , 应用场景主要是应用层实时汇总数据报表、维度表更新等 。 业务通过 SDK 和一站式网站管理两种方式实现 。 一是以 SDK 形式提供支持 , 用户可以通过引入 JAR 依赖进行二次项目开发 。 二是制作了相关网站 , 通过以任务形式 , 用户创建任务编辑保存 SQL 来实现业务需求 , 目前支持如下:
- 任务列表、分组管理 , 支持重启 , 停止 , 禁用任务功能 。
- 任务支持 crontab 规则定时执行调度模式和 Streaming 模式 。
- JAR 资源管理 , 任务自定义 JAR 引用 , 以便重复使用 UDF 等 。
- 通用 SQL 资源管理 , 任务引入共享 SQL 文件 , 避免重复 SQL 逻辑、重复定义 View 以及环境配置等 。
- 用户分组权限管理 。
- 集成 Garafna 做任务延迟报警 。
- Spark SQL 窗口函数种类少 , 没有 Flink 的支持灵活,导致大量聚合任务无法通过平台 SQL 化 。
- Spark Stateful 状态控制差 , 没有 Flink Rocksdb State 增量状态支持 。
推荐阅读
- 娱乐大起底|我的世界:为什么绿宝石矿最稀有,绿宝石却不是?
- 不一样的角度|叶罗丽:辛灵有宝石盒子,曼多拉也有一个造型奇怪的宝石箱子
- 5G手机安相宇评测:红米10X 5G 上手,感受实力担当且颜值出众的宝石机
- 游戏兵长雾夏菌|航海王燃烧意志:锦卫门装备、宝石、附魂选择,BOSS杀手
- 版本|宝可梦里很有意思的几个版本,今天我们来看看这款绿宝石的改版吧!
- 娱乐中的趣闻|一个细节暴露周年活动具体时间,部落冲突:“送宝石”礼包又来了
- 非洲|非洲男子挖到2块宝石,卖了2370万元,称要建学校帮更多孩子上学
- |“要命”!女子常年吃素,备孕体检时大惊:体内长出百颗“黑宝石”
- |备孕体检时大惊:体内长出百颗“黑宝石”,“要命”!女子常年吃素
- 宝石流云|世界上最短航班仅用了47秒,中国最短航班用时多少,是在哪里?
