数据中台交付专家告诉你,数据架构的分层怎样更加合理?( 二 )
(2)数据中间层
我们进行数据建模研发 , 并处理不因业务特别是组织架构变动而轻易转移的数据中间层 。 包括DWD明细数据中间层和DWS汇总数据中间层 。
其主要功能包括:
- 组合相关和相似数据: 采用明细宽表 , 复用关联计算 , 减少数据扫描 。
- 公共指标统一加工:基于OneData体系构建命名规范、口径一致和算法统一的统计指标 , 为上层数据产-品、应用和服务提供公共指标;建立逻辑汇总宽表;
- 建立一致性维度:建立一致数据分析维度表 , 降低数据计算口径、算法不统一的风险 。
(3)数据应用层
在面向应用提供服务时 , 业务团队或深入业务线的数据团队有极大的自由度 , 只要依赖数据公共层 , 即可自由的建设ADS数据应用层 。
其主要功能包括:
- 个性化指标加工:不公用性;复杂性(指数型、比值型、排名型指标)
- 基于应用的数据组装:大宽表集市、横表转纵表、趋势指标串
当数据已被整合和计算好之后 , 需要提供给产品和应用进行数据消费 , 为了更好的性能和体验 , 需要构建数据服务层 , 通过接口服务化方式对外提供数据服务 。 针对不同的需求 , 数据服务层的数据源架构在多种数据库之上 , 如Mysql和Hbase等 。
数据服务可以使应用对底层数据存储透明 , 将海量数据方便高效地开放给集团内部各应用使用 。 如何在性能、稳定性、扩展性等多方面更好地服务用户;如何满足应用各种复杂的数据服务需求;如何保证数据服务接口的高可用 。 随着业务的发展 , 需求越来越复杂 , 因此数据服务也在不断地前进 。
不管是数据公共层还是应用层 , 最终都需要面向业务提供服务 。 为了让业务部门找数据、看数据、用数据更加方便 , 我们将OpenAPI升级为能缓解业务变化对数据模型冲击的包括方法论+产品在内的OneService体系 , 使其在提供统一的公用服务的同时 , 兼容面向个性化应用的服务 。
下图为数据服务层在数据分层中的位置:
本文插图
图:数据应用层与数据服务层关系
综上 , 企业数据中台依托数据采集层、数据计算层、数据服务层 , 为上层数据产品、业务系统等提供数据支撑 。 云上数据中台产品Dataphin从“采、建、管、用”为企业提供一站式数据中台各层次的实现 , 配合阿里云系列产品 , 可实现企业数据中台全链路稳定、高效构建 。
作者:柯根
本文为阿里云原创内容 , 未经允许不得转载 。
推荐阅读
- Steam|B社宣布放弃自家游戏启动器!数据将转移至Steam平台
- 空中客车|空客A321大飞机首次在中国总装 四季度交付
- 比亚迪|1002台!比亚迪最大海外纯电大巴订单首批交付运营
- 苹果|数据、质保二选一?国内用户起诉苹果保修政策不合理
- 照片|面部识别公司声称要收集1000亿张照片:将记录全球每个人脸数据
- 丰田|史上最长交付!丰田:买新陆巡要等4年
- QQ|虚幻4数据包增大23MB!QQ推送安卓8.6.68内测版
- 电动车|元宇宙内自己造实车 这事真能成!A00级电动车 2023年交付
- 数据线|49元 魅蓝66W快充线发布:防弹丝编织+锌合金
- 飞机|我国首个自研大飞机!中国商飞副总:C919预计今年交付