来进行AB测试的实现:AB测试平台的工程实现( 二 )


1.为评估产品优化效果提供科学的证据
前面说过,AB测试是基于概率论与统计学原理之上构建的科学的测试技术,有很强的理论依据。
AB测试也经历过多年实践的检验,被证明是有效的方法。前面提到过AB测试是药物测试的最高标准,在药品制造业得到了很好的使用和验证。同时,各大互联网公司都大量使用AB测试技术,为整个互联网的发展提供了很好的榜样和示范作用。
2.借助AB测试可以提升决策的说服力
因为AB测试是有统计学作为理论基础,并且又有工业上的实践经验作为支撑,利用AB测试得到的结论具备极大的说服力。因此,在用数据说话上,大家在意识形态上更容易达成一致,这样就可以让产品迭代更好更快的推行下去。
3.AB测试可以帮助提升用户体验和用户增长
任何涉及到用户体验、用户增长相关的优化想法都可以通过AB测试来验证,通过验证得出有说服力的结论,从而推动产品朝着用户体验越来越优的方向发展。
4.AB测试可以帮助提升公司变现能力
搜索、推荐、广告、会员等涉及到收益相关的产品及算法都可以通过AB测试来验证新的优化思路是否可以提升盈利性指标。其中盈利性指标可以根据公司业务和发展阶段来定义。
总之,一切涉及到用户体验、用户增长、商业变现的产品优化都可以借助AB测试技术,驱动业务做得更好,AB测试是一种科学的决策方式。那我们在什么时候需要AB测试呢?
三,什么时候需要AB测试如果你像乔布斯这么牛逼,可以深刻洞察用户的需求,甚至是创造用户需求,我觉得你可以不用AB测试,但是世界上只有一个乔布斯。所以,对于我们普通人来说,AB测试在产品迭代过程中还是必要的。那么是不是所有产品迭代或者优化都需要做AB测试呢?我觉得不一定,需要具体情况具体分析,我认为下面4点是需要利用AB测试来做决策的前置条件。
1.必须是有大量用户的产品或者功能点
如果你的产品只有很少的用户使用,比如一些政府部门的官网。由于用户少,分组后用户更少。根据上面AB测试的统计学解释(大量随机样本产生的影响的均值是正态分布,样本量小就不是,这时其他因素的影响就可能无法抵消,导致控制变量的比较就无意义),根据很少的用户得出的结论是不具备统计学意义的。所以即使做了AB测试,得出的结论的有效性是无法用统计学原理支撑的,因此是不可信的。
同样的,某个产品虽然用户多,但是如果某个功能点只有很少用户用,这跟上面道理是一样的,是无法做出可信服的结论的。
同样的,某个优化太细(用户意识到这种改变的概率很小),比如就看某个推荐位的颜色深浅是否对用户点击是否有影响,这时也需要大量的用户对这个位置的访问才可以得出比较有指导意义的结论。
2.进行AB测试的代价(金钱&时间)可以接受
如果做AB测试的代价太大,比如需要消耗大量的人力财力,这时做AB测试的产出可能小于付出, 这时做AB测试就是费力不讨好的事情了。
3.有服务质量提升诉求
如果某个业务或者功能点用户极少使用,并且也不是核心功能点,比如视频软件的调整亮度,这个是一个很小众的需求,只要功能具备就可以了,好用和不好用对用户体验影响不大,这时花大力气对它进行优化就是没必要的。
4.变量可以做比较好的精细控制
如果某个功能影响的变量太多,并且我们也无法知道哪个变量是主导变量,甚至都不知道有哪些变量对它有影响,这时就很难利用AB测试了。因为,AB测试需要调整一个变量同时控制其他变量不变。
如果上面4个条件都满足的话,我觉得这个功能点是可以做AB测试的。对于toC的互联网产品来说,其实上面几个条件是很容易满足的,所以在互联网公司有很多地方都可以通过AB测试来优化产品功能,那AB测试在互联网公司到底有哪些应用场景呢?
四,AB测试的应用场景在互联网公司AB测试可以落地的场景是很多的,具体包括如下3大类:


推荐阅读