江苏龙网

  1. 首页 > 生活 > >

推荐系统中的A/B测试，谁能详细说下思路( 二 )



■网友
推荐系统的评价可分为在线评价和离线评价两种方式。这里我主要说一下在线评价的主要测试方式，A/B测试。 在线评价其实就是设计在线用户实验，根据用户在线实时反馈的结果来衡量推荐系统的表现。目前最常用的在线测试方法之一是A/B测试，所谓A/B测试，简单说来，就是为了同一个目标制定两个方案，让一部分用户使用A方案，另一部分用户使用B方案，记录下用户的使用情况，看哪 个 方 案 更 符 合 设 计 目 标 。 它 的 核 心 思 想 是 ：1) 多个方案并行测试；2) 每个方案只有一个变量不同；3) 以某种规则优胜劣汰。其中第2点暗示了A/B测试的应用范围：A/B测试必须是单变量。待测试方案有非常大的差异时一般不太适合做A/B测试，因为它们的变量太多了，变量之间会有很多的干扰，所以很难通过A/B测试的方法找出各个变量对结果的影响程度。显然，A/B测试用于在推荐系统的评价中就对应于唯一的变量——推荐算法。 注意，虽然A/B测试名字中只包含A、B，但并不是说它只能用于比较两个方案的好坏，事实上，完全可以设计多个方案进行测试，也就是说可以同时对多个推荐算法进行测试，A/B测试这个名字只是习惯的叫法而已。不同的用户在一次浏览过程中，看到的应该一直是同一个方案。如他开始看到的是A方案，则在此次会话中应该一直向他展示A方案，而不能一会儿让他看A方案，一会儿让他看B方案。 同时，还需要注意控制访问各个版本的人数，大多数情况下希望将访问者平均分配到各个不同的版本上。


推荐阅读


上一篇：常常觉得自己这辈子都找不到合适的对象了咋办

下一篇：关于工程师的问题