来进行AB测试的实现:AB测试平台的工程实现( 四 )
我们会在第七节结合我们团队的真实业务情况详细介绍推荐系统AB测试的接入实现方案,为读者提供业务接入AB测试的参考。
行为记录分析模块行为记录分析模块包含AB测试行为数据打点、数据收集、数据分析和数据可视化展示等子模块。
行为记录分析模块主要的目的是当某个产品功能的AB测试在线上运行时,记录用户的在AB测试模块的行为,将用户的行为收集到数据中心,借助大数据分析平台来做各种效果评估指标的统计分析与评估,最终确定新的优化点是否是有效的。
在业务实现上, 需要前端在用户访问做AB测试页面的过程中记录做AB测试的业务标识及对应的方法(策略)标识。因为在一段时间或者在同一时间整个产品中会有各类AB测试在运行,只有记录了对应的业务和策略, 我们在数据分析时才能更好的区分一条日志到底是哪个业务上的哪个策略产生的。最终方便我们将整个AB测试的效果评估、指标分析及可视化做到全自动化,提升整个AB测试迭代的速度。
效果评估模块AB测试效果评估组件是用于跟踪AB测试的效果,根据AB测试效果来做出业务、运营、算法调整的决策。
AB测试要评估出A方案和B方案的好坏,这时就需要一个较好的衡量指标了,一般可以采用人均播放量,人均点击量,人均浏览次数,转化率,CTR等指标来评估。
具体效果评估指标的定义需要读者根据自己公司行业特点、产品形态、功能点等来定义,指标能够方便量化,并能够直接或者间接跟产品体验、用户增长、商业变现联系起来,毕竟这才是公司整体目标。
定义好各类效果评估指标后,最好可以将指标计算通用化、模块化,方便实验人员快速上线AB实验,根据不同产品及AB测试案例选择合适的指标。
有些AB测试(如猜你喜欢推荐系统)只要T+1尺度的指标计算就够了,有些(如广告投放算法的AB测试)需要具备分钟级输出AB测试结果的能力。尽早知道AB测试结果可以快速做有利决策,避免对用户体验产生不好的影响,同时快速决策也可以减少损失或者增加收益。
我们初略介绍完了AB测试平台的各个模块,知道了每个模块的作用和价值,那么在实际构建AB测试系统时,这些模块是怎么组织起来提供服务的呢?这就涉及到AB测试架构实现问题了,这是我们下节主要讲解的。
六,业界流行的AB测试架构实现方案本节我们来讲解有哪些可行的AB测试架构实现方案,这些方案是作者结合自己的经验、思考及参考了业界一些公司AB测试实现方案后的总结。读者可以根据自己公司的产品特性、现有的基础架构、人力资源及未来需要做的AB测试类别来选择适合自己的AB测试架构。
根据作者自己这几年在推荐系统中做AB测试的经验及调研和自己的思考整理,我认为目前有3种主要的AB测试框架实现方案,具体见下面图3。
文章图片
图3:AB测试可行的三种实现架构
根据上面图3,我们将AB测试架构分为3大方案,其中方案1在客户端整合AB测试能力,方案2在接口层整合AB测试能力,方案2又分为采用统一Router的形式和在web接口层整合AB测试两大类,方案3在后端业务层实现AB测试能力。我们在下面分别对这些方式做更细致的讲解说明。其中我们公司算法团队采用的AB测试方案就是方案3,在下一节我们会详细讲解。
下面我们对图3各种AB测试方案进行拆解,更加细致的说明各个方案的架构实现。
方案1:通过定制的AB Test SDK来处理AB测试业务该方案需要开发AB Test SDK,并将SDK整合到前端,通过AB Test SDK与AB测试服务(核心分组模块)交互来处理AB测试相关功能,采用该方案的公司有微博等。具体架构见下面图4。
具体AB测试服务与业务接口的交互实现方式可以是如下两种之一:
a AB测试服务下发两个不同的接口给AB测试SDK,当用户请求时,根据用户的分组,分别调用不同的接口。
推荐阅读
- 北京22家市属医院均开展安检基本实现重点区域安检措施全覆盖
- 大连:金州主城区先进街道等5个街道严格进行封闭管控
- 长江流域渔民退捕“上岸”实现扩产新致富
- 实现“甜蜜计划”,这对中哈跨国夫妻好甜
- 北京地铁11号线西段三座车站提前实现主体结构封顶
- 试验■连徐高铁即将进行热滑试验
- |淮安市体育局推进行业信用体系建设
- 大学再有三个月就结束了,没学到知识,参加一个软件测试培训机构好吗
- AutoLab|Lab测试:你以为奥迪A5就是你以为的“掀背版奥迪A4”?
- 汽车|多项功能进行优化 吉利星瑞推出第二次FOTA升级
