技术编程|马蜂窝数据仓库的架构、模型与应用实践( 三 ) |

本文插图

以马蜂窝订单交易模型的建设为例，基于业务生产总线的设计是常见的模式，即首先调研订单交易的完整过程，定位过程中的关键节点，确认各节点上发生的核心事实信息。模型是数据的载体，我们要做的就是通过模型（或者说模型体系）归纳生产总线中各个节点发生的事实信息。
订单生产总线：

本文插图

如上图所示，我们需要提炼各节点的核心信息，为了避免遗漏关键信息，一般情况下抽象认为节点的参与人、发生时间、发生事件、发生协议属于节点的核心信息，需要重点获取。以下单节点为例，参与人包括下单用户、服务商家、平台运营人员等；发生时间包括用户的下单时间、商家的确认时间等；发生的事件即用户购买了商品，需要记录围绕这一事件产生的相关信息；发生协议即产生的订单，订单金额、约定内容等都是我们需要记录的协议信息。
在这样的思路下，总线架构可以在模型中不断添加各个节点的核心信息，使模型支撑的应用范围逐步扩展、趋于完善。因此，对业务流程的理解程度将直接影响产出模型的质量。
涉及的业务节点越多，业务流程也就越复杂。从数据的角度看，这些业务过程会产生两种基本的场景形态，即数据的拆分和汇聚。随着流程的推进，前一节点的原子业务单位在新节点中可能需要拆分出更多信息，或者参与到新节点的多向流程。同样，也可能发生数据的汇聚。以某个订单为例，下单节点数据是订单粒度的，而到支付节点就发生了数据拆分。数据的拆分、汇聚伴随着总线的各节点，可能会一直发散下去。

本文插图

鉴于上述情况，在模型实现过程中，我们不能把各节点不同粒度的数据信息都堆砌在一起，那样会产生大量的冗余信息，也会使模型本身的定位不清晰，影响使用。因此，需要输出不同粒度的模型来满足各类应用需求。例如既会存在订单粒度的数据模型，也会存在分析各个订单在不同时间节点状态信息的数据模型。

本文插图

本文插图

基于维度建模的思路，在模型整合生产总线各节点核心信息之后，会根据这些节点信息进一步扩展常用的分析维度，以减少应用层面频繁关联相关分析维度带来的资源消耗，模型会反范式冗余相关维度信息，以获取应用层的使用便捷。最终建立一个整合旅游、交通、酒店等各业务线与各业务节点信息的马蜂窝全流程订单模型。
Part.4
数据仓库工具链建设
为提升数据生产力，马蜂窝数据仓库建立了一套工具链，来实现采集、研发、管理流程的自动化。现阶段比较重要的有以下三大工具：
1. 数据同步工具
同步工具主要解决两个问题：从源系统同步数据到数据仓库将数据仓库的数据同步至其他环境
下面重点介绍从源系统同步数据到数据仓库。
马蜂窝的数据同步设计支撑灵活的数据接入方式，可以选择抽取方式以及加工方式。抽取方式主要包括增量抽取或者全量抽取，加工方式面向数据的存储方式，是需要对数据进行拉链式保存，或者以流水日志的方式进行存储。
接入时，只需要填写数据表信息配置，以及具体的字段配置信息，数据就可以自动接入到数据仓库，形成数仓的 ODS 层数据模型，如下：

技术编程|马蜂窝数据仓库的架构、模型与应用实践( 三 )

推荐阅读

男人窝在家这样做麻辣鲜香简单有好吃，毛血旺最简单的做法

车动力|玛莎拉蒂全新超跑MC20正式开售，极速325KM/h

我的世界麦块菌|钻石胸甲和鞘翅选哪个？我的世界：困扰老MC的世纪难题终于解决了

全国党媒信息公共平台|恭喜东莞这些社区！农民公寓、旧村改造、旧工业区更新，安排

[Pybai]请告诉我该选哪一台？，三星s10降至小米10同价

家庭|一位离婚两次的中年男人提醒你：妻子和母亲谁更重要？答案很简单

快资讯|导演中途下场，演员频换，却依旧成经典之作

驱动之家酷冷 MB400L 装机体验：设计合理的 200 元小机箱

补欠缺和瑕庛常吃4种食物，补血益气，润泽肌肤，身体棒棒哒，春天养生很关键

HongKongFilm|看是否准确，我的世界：你在游戏中是哪种玩家？六个道具选择一个

不锈钢为什么会发黑不锈钢为什么会发黑发黄

[吴昕]吴昕大方公开地下恋情, 兜兜转转还是身边的人

火灾初期阶段是扑救火灾什么的时机? 火灾初期阶段是扑灭火灾的什么阶段

『二师兄玩车』起步加价40万的奔驰大G买不到？不妨来看它弟弟“小G”

红米手机■卢伟冰搅局！Redmi 10X价格宣布：这就太猛了

幼儿园让娃画妈妈“睡觉”模样，老师看后手抖，第一张就忍不住笑

人正常体温多少呢？

硬笔|全国首届硬笔书法唯一一位女性特等奖获得者张秀，硬笔行书亦精到

客厅|客厅家居装修注意事项有哪些？客厅装修一般包括哪些

每经午时| 全国海关检出75例新冠病毒核酸阳性病例