数据中台交付专家告诉你,数据架构的分层怎样更加合理?( 二 )


(2)数据中间层
我们进行数据建模研发 , 并处理不因业务特别是组织架构变动而轻易转移的数据中间层 。 包括DWD明细数据中间层和DWS汇总数据中间层 。
其主要功能包括:

  • 组合相关和相似数据: 采用明细宽表 , 复用关联计算 , 减少数据扫描 。
  • 公共指标统一加工:基于OneData体系构建命名规范、口径一致和算法统一的统计指标 , 为上层数据产-品、应用和服务提供公共指标;建立逻辑汇总宽表;
  • 建立一致性维度:建立一致数据分析维度表 , 降低数据计算口径、算法不统一的风险 。
在权责方面 , 面向业务提供服务之前 , 由统一的团队负责从业务中抽象出源于业务而又不同于业务的数据域 , 再主导统一建设数据中间层 , 包括侧重明细数据预JOIN等处理的明细中间层、侧重面向应用可复用维度和指标的汇总数据中间层 。 特别是要由唯一团队负责将核心业务数据统一加入数据中间层 。 允许部分业务数据有独立的数据团队按照统一的OneModel体系方法论建设数据体系 , ODS数据基础层和DWD+DWS数据中间层因其统一性和可复用性 , 被称为数据公共层 。
(3)数据应用层
在面向应用提供服务时 , 业务团队或深入业务线的数据团队有极大的自由度 , 只要依赖数据公共层 , 即可自由的建设ADS数据应用层 。
其主要功能包括:
  • 个性化指标加工:不公用性;复杂性(指数型、比值型、排名型指标)
  • 基于应用的数据组装:大宽表集市、横表转纵表、趋势指标串
数据服务层
当数据已被整合和计算好之后 , 需要提供给产品和应用进行数据消费 , 为了更好的性能和体验 , 需要构建数据服务层 , 通过接口服务化方式对外提供数据服务 。 针对不同的需求 , 数据服务层的数据源架构在多种数据库之上 , 如Mysql和Hbase等 。
数据服务可以使应用对底层数据存储透明 , 将海量数据方便高效地开放给集团内部各应用使用 。 如何在性能、稳定性、扩展性等多方面更好地服务用户;如何满足应用各种复杂的数据服务需求;如何保证数据服务接口的高可用 。 随着业务的发展 , 需求越来越复杂 , 因此数据服务也在不断地前进 。
不管是数据公共层还是应用层 , 最终都需要面向业务提供服务 。 为了让业务部门找数据、看数据、用数据更加方便 , 我们将OpenAPI升级为能缓解业务变化对数据模型冲击的包括方法论+产品在内的OneService体系 , 使其在提供统一的公用服务的同时 , 兼容面向个性化应用的服务 。
下图为数据服务层在数据分层中的位置:
数据中台交付专家告诉你,数据架构的分层怎样更加合理?
本文插图
图:数据应用层与数据服务层关系
综上 , 企业数据中台依托数据采集层、数据计算层、数据服务层 , 为上层数据产品、业务系统等提供数据支撑 。 云上数据中台产品Dataphin从“采、建、管、用”为企业提供一站式数据中台各层次的实现 , 配合阿里云系列产品 , 可实现企业数据中台全链路稳定、高效构建 。
作者:柯根
本文为阿里云原创内容 , 未经允许不得转载 。


推荐阅读