三层架构下，优酷视频搜索测试体系很复杂吗？( 三 ) _架构

大流量桶的日常监控，成功率要求 100% ，一旦失败必须及时修正。

b）意图模块
QP 的效果基线建设。方案：方案主要涉及意图类型、测试集构建、验证规则。效果基线要 check 哪些意图呢？主要是从产品形态和算法使用情况来确定，每个意图都涉及正样本和负样本；样本数据取自线上已经识别出的意图数据然后人工审核后分别放在对应的正样本和负样本，负样本还有一部分数据来自互斥意图的正样本数据；规则：同一个意图对于不同的算法使用意图不同，比如人物， “郭德纲于谦”切词后这个词属于人物，但是不应该出人物卡。
使用场景：

发布卡口；
线上定时监控：对于意图模块数据回流、代码发布都会影响效果，数据回流是自动触发，数据是否正确未知，也就说明线上定时监控的必要性。

2）搜索效果影响面自动评估

测试集构建：线上真实流量按照 SQV 进行分层、采样(越偏头部采样密度越大) ，线上流量映射到测试集；
评测规则：分析用户使用搜索的习惯，对用户经常点击的位置分别进行比对；
影响面计算：异常请求的 sqv 总和/所有 sqv 总和；
噪音消除：异常重试、去掉算法无关卡片，来保证影响面评测的准确度。

3）指标看板
将评测能力集成到监控中，分钟级运行，产出效果指标大盘，及时发现算法问题并能指导算法优化。

文章插图
用户体验
1．badcase 分类和挖掘分析线上流量， badcase 挖掘主要集中在腰尾部高跳词。除了流量分层还有一个重要的流量就是实效性极高的热点。
1）高跳 badcase 挖掘：通过竞品对比等手段检测出多种类型的 badcase ， badcase 会映射到具体原因上，直接进行专项优化，优化后的 case 会放入每次迭代，未优化的 case 以 badcase 形式存在 badcase 库，后续效果迭代会运行这些数据，以检测 badcase 的效果；
2）时效性分析：分析各大平台的热点内容，与自身做对比，并加入了相关性过滤逻辑。运行机制：一天两次，研发会及时处理报警内容，同时会进行长期优化，现在 badcase 比例已明显下降。

2．舆情处理闭环依托优酷舆情发现和处理平台优酷声音，聚合用户观点，针对搜不到、搜不好等问题，做专项优化，已解决 5 大类 badcase 。