|两分钟搞懂数据仓库DW、ODS、DM概念
分享职场生活、职场攻略、程序员创业资源 ， 为一线开发者提供优质内容
刚加入数据部门时 ， 时常听到同事说ODS层 ， DW层 ， 刚开始听了懵懵的 ， 不知其具体是什么 ， 直到自己查看了一些资料才有所了解 。 原来大数据这么多东西要学 。
DB 是数据来源 ， 数据来源可以是文件日志 ， Mysql ， SqlServer等 ， 为数据仓库提供数据来源的一般存在于现有的业务系统中 。
ETL是英文Extract-Transform-Load的缩写 ，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程 。
Extract ， 数据抽取 ， 也就是把数据从数据源读出来 。
Transform ， 数据转换 ， 把原始数据转换成期望的格式和维度 。 如果用在数据仓库的场景下 ， Transform也包含数据清洗 ， 清洗掉脏数据 。
Load 数据加载 ， 把处理后的数据加载到目标处 ， 比如DW 数据仓库 。
本文插图
操作性数据
ODS(Operational Data Store)， 是作为数据库到数据仓库的一种过渡 ， ODS的数据结构一般与数据来源保持一致 ， 便于减少ETL的工作复杂性 ， 而且ODS的数据周期一般比较短 ， ODS的数据最终流入DW 。
数据仓库
DW (Data Warehouse) ， 是数据的归宿 ， 这里保持所有从ODS到来的数据 ， 并长期保存 ， 而且这些数据不会被修改 。
数据集市
DM(Data Mart)， 为了特定的应用目的 ， 而从数据仓库中独立出来的一部分数据 ， 也可称为主题数据 。 DM结构清晰 ， 针对性强、拓展性好 。
【|两分钟搞懂数据仓库DW、ODS、DM概念】#「闪光时刻」主题征文 二期#
推荐阅读
- 卡瑞利珠单抗|2021 ELCC｜春风得意马蹄疾：肺鳞癌一线治疗两大研究数据出炉
- 神农架|“神农架”深处为何不让前往？其中的古怪现象，科学家至今没搞懂
- 科学家|狗到底是不是由狼驯而化来的？科学家至今没搞懂……
- ebmt|2021 EBMT大会研究进展精选，这些数据你了解吗？
- 疫苗|又有欧洲国家叫停牛津疫苗！法国接种后副作用数据来了
- 天问一号|天问一号即将登陆，美国呼吁共享科研成果，要求交出火星轨道数据
- 火星|美国已有5台探测器着陆火星，为何还要天问一号的数据？
- nasa|NASA再索要探火数据，中方回应提气，你强了美国才会尊重！
- 食香椿要不要焯烫？一组对比实验数据给出科学答案
- 甲钴胺|甲钴胺和维生素B12分不清？这些区别要搞懂