宝石流云|数仓大法好!跨境电商 Shopee 的实时数仓之路

本文讲述 Flink 在 Shopee 新加坡数据组 ( Shopee Singapore Data Team ) 的应用实践 , 主要内容包括:

  • 实时数仓建设背景
  • Flink 在实时数据数仓建设中结合 Druid、Hive 的应用场景
  • 实时任务监控
  • Streaming SQL 平台化
  • Streaming Job 管理
  • 未来规划优化方向
建设背景Shopee 是东南亚与台湾领航电商平台 , 覆盖新加坡、马来西亚、菲律宾、台湾、印度尼西亚、泰国及越南七大市场 , 同时在中国深圳、上海和香港设立跨境业务办公室 。
  • Shopee 在2020年第一季的总订单量高达4.298亿 , 同比增长111.2% 。
  • 根据 App Annie ,Shopee 在2020年第一季强势跻身全球购物类 App 下载量前三名 。
  • 同时斩获东南亚及台湾市场购物类 App 年度总下载量、平均月活数、安卓使用总时长三项冠军 , 并领跑东南亚两大头部市场 , 拿下印尼及越南年度购物类 App 下月活量双冠王 。
其中包括订单商品、物流 , 支付 , 数字产品等各方面的业务 。 为了支持这些互联网化产品 , 应对越来的越多的业务挑战 , 于是我们进行了数据仓库的设计和架构建设 。
数据仓库挑战
当前随着业务发展 , 数据规模的膨胀和商务智能团队对实时需求的不断增长 , 业务挑战越来越大:
  • 业务维度 而言 , 业务需求越来越复杂 , 有需要明细数据查询 , 又有实时各种维度聚合报表 , 实时标签培训和查询需求 。 同时大量业务共享了一些业务逻辑 , 造成大量业务耦合度高 , 重复开发 。
  • 平台架构 而言 , 当前任务越来越多 , 管理调度 , 资源管理 , 数据质量异常监控等也越来越重要 。 实时化也越来急迫 , 目前大量业务还是离线任务形式 , 导致凌晨服务负载压力巨大 , 同时基于 T+1(天、小时级)架构业务无法满足精细化、实时化运营需要 。
  • 技术实现 而言 , 现在实时业务大量采用 Spark Structured Streaming 实现 , 严重依赖 HBase 做 Stateful 需求 , 开发复杂;在异常故障事故 , Task 失败 , 缺乏 Exactly Once 特性支持 , 数据易丢失、重复 。
为了解决上述问题 , 于是开始了 Flink 实时数仓的探索 。
数据仓库架构
为了支持这些互联网化产品不断增长的的数据和复杂的业务 , Shopee 构建如下图数据仓库架构 , 从下到上层来看:
宝石流云|数仓大法好!跨境电商 Shopee 的实时数仓之路
  • 最底层是 数据收集层, 这一层负责实时数据 , 包括 Binlog、Service Log ,Tracking Service Log , 经过 Real-time Ingestion 团队数据将会被收集到 Kafka 、Hbase 中 。 Auto-Ingestion 团队负责数据库数离线日常收集到 HDFS 。
  • 然后是 存储层, 这层主要是 Kafka 保存实时消息 , 加上 HDFS 保存 Hive 数据存储等 , HBase 保存维度数据 。
  • 在存储层上面是 Spark ,Flink 计算引擎, Presto SQL 查询引擎。
  • 然后是 调度管理层, 各种资源管理 , 任务管理 , 任务调度 , 管理各种 Spark , Flink 任务 。
  • 资源管理层上一层是 OLAP 数据存储层, Druid 用于存储时间序列数据 , Phoenix(HBase)存储聚合报表数据、维度表数据、标签数据 , Elastic Search 存储需要多维度字段索引的数据如广告数据、用户画像等 。
  • 最上层是 应用层, 数据报表 , 数据业务服务 , 用户画像等 。
Flink 实时数据数仓实践
宝石流云|数仓大法好!跨境电商 Shopee 的实时数仓之路目前在 Shopee Data Team 主要从数据分库 Binlog 以及 Tracking Service 同步到 Kafka 集群中 , 通过 Flink/Spark 计算 , 包含实时订单商品销量优惠活动分析 , 订单物流分析、产品用户标新、用户印象行为分析 , 电商活动游戏运营分析等 。 最后的结果存到 Druid、 HBase、 HDFS 等 , 后面接入一些数据应用产品 。 目前已经有不少核心作业从 Spark Structured Streaming 迁移到 Flink Streaming 实现 。


推荐阅读