来进行AB测试的实现:AB测试平台的工程实现( 三 )
1.算法类
各类算法是AB测试应用场景最多的地方,算法开发人员通过AB测试来验证一个新的算法或者小的算法优化是否可以提升算法的业务指标。包括推荐、搜索、精准广告、精细化运营等涉及到算法的产品和业务都是可以利用AB测试技术的。
2.运营类
任何一个互联网产品少不了运营,在互联网红利消失的当下,某个产品是否可以“占领”用户的心智,运营将起到越来越重要的作用,甚至有人说互联网时代将进入一个运营驱动的时代。各类运营手段,如用户运营(用户拉新、会员运营等)、内容运营(视频行业的节目编排等)、活动运营(抽奖等)等都可以借用AB测试技术来验证哪种运营策略是更加有效的。
3.UI展示及交互类
UI是任何一个互联网产品可直接被用户感知的部分,用户通过UI与互联网产品交互,用户对一个产品的感知也是首先通过UI建立的。简洁美观的UI界面,流畅的UI交互往往能够给用户留下好的第一印象。对于UI视觉及交互部分的优化,往往凭设计师的经验是不够的,需要利用技术手段来验证哪种UI展示风格、哪种交互方式是用户更喜欢的、能够带来最大收益的。
像颜色、字体、按钮形状、页面布局、操控方式的调整及优化都是可以通过AB测试来验证的。
现在我们知道了互联网产品哪些模块和功能是可以利用AB测试驱动做得越来越好的,那么大家一定想知道我们怎么构建一个高效易用的AB测试平台,并怎样通过该平台更好地支撑各类AB测试任务。在下面两节我们就来讲讲一个完备可用的AB测试平台有哪些模块,怎么构建一个完整的AB测试平台。
五,AB测试平台核心模块根据作者构建AB测试平台的经验,我认为一个完备的AB测试平台至少需要分组模块、实验管理平台、业务接入模块、行为记录分析模块、效果评估模块这5大部分(见下面图2),这其中分组模块、实验管理平台、业务接入模块是构建完整AB测试体系必须具备的模块,行为收集分析模块和效果评估模块是配合AB测试能够更好的得出可信结论必须具备的支撑模块。下面我们分别对这5个模块的功能和价值做简单说明,让大家更好的理解为什么需要这几个模块。
文章图片
图2:AB测试平台核心模块及支撑模块
分组模块分组模块的目的是根据各种业务规则,将流量(用户)分为AB两组(或者多组)。可以说分组模块是AB测试最核心的模块,好的AB分组方案可以让流量分配的更均匀随机。同时需要具备根据用户、地域、时间、版本、系统、渠道、事件等各种维度来对请求进行分组的能力,并且保证分组的均匀性和一致性。
对于推荐系统,“完全个性化范式”和“标的物关联标的物范式”两种推荐范式是主要的推荐范式(不熟悉的读者可以参考《推荐系统的工程实现》第五节推荐系统范式),第一种范式是个性化推荐,为每个用户生成推荐,这时我们可以对用户做随机分组。对于第二种范式,如果我们对标的物做随机分组,是存在问题的,因为不同的标的物是不一样的,有些是热门的,有些是冷门的,可能存在分配不均的现象。我们可以采用基于时间的分配策略,某段时间标的物X分配到A组,另一段时间X分配到B组,只要保证分到AB两组的时间是公平的就行(比如第一天分到A组第二天分到B组)。
我们团队基于分组模块设计了两个算法,在推荐算法AB测试中得到大量使用及验证,可以保证分组的均匀性和公平性,并申请了相关专利。
实验管理模块实验管理模块的目的是让产品经理、运营人员或者开发人员方便快速的创建AB测试案例,增加新的AB测试分组,调整AB测试方案各个组的比例,让AB测试跑起来。同时也用于管理AB测试平台用户创建、权限管理,让用户具备编辑、拷贝、使用AB测试实验的能力,做到高效易用。
业务接入模块接入模块的主要目的是方便在产品迭代优化的各个阶段整合AB测试能力,对优化点做各种AB测试。一般通过提供一个AB测试SDK或者AB测试Restful接口的形式供业务方使用。接入模块需要做到高效易用,最好能够适用于产品上所有类型的AB测试优化。
推荐阅读
- 北京22家市属医院均开展安检基本实现重点区域安检措施全覆盖
- 大连:金州主城区先进街道等5个街道严格进行封闭管控
- 长江流域渔民退捕“上岸”实现扩产新致富
- 实现“甜蜜计划”,这对中哈跨国夫妻好甜
- 北京地铁11号线西段三座车站提前实现主体结构封顶
- 试验■连徐高铁即将进行热滑试验
- |淮安市体育局推进行业信用体系建设
- 大学再有三个月就结束了,没学到知识,参加一个软件测试培训机构好吗
- AutoLab|Lab测试:你以为奥迪A5就是你以为的“掀背版奥迪A4”?
- 汽车|多项功能进行优化 吉利星瑞推出第二次FOTA升级
