宝石流云|数仓大法好!跨境电商 Shopee 的实时数仓之路
本文讲述 Flink 在 Shopee 新加坡数据组 ( Shopee Singapore Data Team ) 的应用实践 , 主要内容包括:
- 实时数仓建设背景
- Flink 在实时数据数仓建设中结合 Druid、Hive 的应用场景
- 实时任务监控
- Streaming SQL 平台化
- Streaming Job 管理
- 未来规划优化方向
- Shopee 在2020年第一季的总订单量高达4.298亿 , 同比增长111.2% 。
- 根据 App Annie ,Shopee 在2020年第一季强势跻身全球购物类 App 下载量前三名 。
- 同时斩获东南亚及台湾市场购物类 App 年度总下载量、平均月活数、安卓使用总时长三项冠军 , 并领跑东南亚两大头部市场 , 拿下印尼及越南年度购物类 App 下月活量双冠王 。
数据仓库挑战
当前随着业务发展 , 数据规模的膨胀和商务智能团队对实时需求的不断增长 , 业务挑战越来越大:
- 业务维度 而言 , 业务需求越来越复杂 , 有需要明细数据查询 , 又有实时各种维度聚合报表 , 实时标签培训和查询需求 。 同时大量业务共享了一些业务逻辑 , 造成大量业务耦合度高 , 重复开发 。
- 平台架构 而言 , 当前任务越来越多 , 管理调度 , 资源管理 , 数据质量异常监控等也越来越重要 。 实时化也越来急迫 , 目前大量业务还是离线任务形式 , 导致凌晨服务负载压力巨大 , 同时基于 T+1(天、小时级)架构业务无法满足精细化、实时化运营需要 。
- 技术实现 而言 , 现在实时业务大量采用 Spark Structured Streaming 实现 , 严重依赖 HBase 做 Stateful 需求 , 开发复杂;在异常故障事故 , Task 失败 , 缺乏 Exactly Once 特性支持 , 数据易丢失、重复 。
数据仓库架构
为了支持这些互联网化产品不断增长的的数据和复杂的业务 , Shopee 构建如下图数据仓库架构 , 从下到上层来看:
- 最底层是 数据收集层, 这一层负责实时数据 , 包括 Binlog、Service Log ,Tracking Service Log , 经过 Real-time Ingestion 团队数据将会被收集到 Kafka 、Hbase 中 。 Auto-Ingestion 团队负责数据库数离线日常收集到 HDFS 。
- 然后是 存储层, 这层主要是 Kafka 保存实时消息 , 加上 HDFS 保存 Hive 数据存储等 , HBase 保存维度数据 。
- 在存储层上面是 Spark ,Flink 计算引擎, Presto SQL 查询引擎。
- 然后是 调度管理层, 各种资源管理 , 任务管理 , 任务调度 , 管理各种 Spark , Flink 任务 。
- 资源管理层上一层是 OLAP 数据存储层, Druid 用于存储时间序列数据 , Phoenix(HBase)存储聚合报表数据、维度表数据、标签数据 , Elastic Search 存储需要多维度字段索引的数据如广告数据、用户画像等 。
- 最上层是 应用层, 数据报表 , 数据业务服务 , 用户画像等 。
推荐阅读
- 娱乐大起底|我的世界:为什么绿宝石矿最稀有,绿宝石却不是?
- 不一样的角度|叶罗丽:辛灵有宝石盒子,曼多拉也有一个造型奇怪的宝石箱子
- 5G手机安相宇评测:红米10X 5G 上手,感受实力担当且颜值出众的宝石机
- 游戏兵长雾夏菌|航海王燃烧意志:锦卫门装备、宝石、附魂选择,BOSS杀手
- 版本|宝可梦里很有意思的几个版本,今天我们来看看这款绿宝石的改版吧!
- 娱乐中的趣闻|一个细节暴露周年活动具体时间,部落冲突:“送宝石”礼包又来了
- 非洲|非洲男子挖到2块宝石,卖了2370万元,称要建学校帮更多孩子上学
- |“要命”!女子常年吃素,备孕体检时大惊:体内长出百颗“黑宝石”
- |备孕体检时大惊:体内长出百颗“黑宝石”,“要命”!女子常年吃素
- 宝石流云|世界上最短航班仅用了47秒,中国最短航班用时多少,是在哪里?
