|策略产品经理实践:主观评估的方法论( 二 )


3)判例
通常以关键词或该标签的示例给出 , 和“法律条文”接近 , 在给出主观评估标准时需要给出非常具体的实例作为判例 , 数量越多越好 , 一般不少于5个 , 比如豆瓣评分9分的电影(标签)的判例为《肖申克的救赎》《这个杀手不太冷》等 。
判例是对标签和标签定义的具体补充 , 大多数情况下团队内部往往对于标签和标签定义不会有较大分歧 , 而对于判例的分歧一般较大 。
所以对于主观评估标准而言 , 判例是最重要的部分 。 请选取团队内部讨论通过的 , 并经由“最高裁判”确认的标志性示例作为判例 , 这是主观评估流程中一个非常重要的步骤 。
4)标签的比例要求
对于离散型标签而言 , 往往没有比例要求 。 比如对于体育分类的内容 , 策略产品经理往往并不要求一定要保证体育分类的内容要占到全体内容的何种比例 , 而是顺其自然地符合自然分布即可 。
而对于连续型标签 , 往往需要对不同等级的标签设定预期比例 , 比如金字塔形分布(10分电影所占比例不超过1% , 9分电影比例不超过6% , 8分电影比例不超过12%等数值要求)或者纺锤形分布(即两极的占比低 , 中部的占比高) 。
2. “最高裁判”—主观评估的必要角色
主观评估项目中常见的现象是平台内部对于最终的主观评估数据结果各执一词 , 造成这一现象的根本原因是平台内部缺乏一个对于标准有最终解释权的“最高裁判”的存在 。
关于“最高裁判” , 笔者有以下经验可分享:
1)谁来推动
由于职场中大多数人对于主观评估的经验不足 , 一般来说“最高裁判”的选择需要策略产品经理推动相关角色选举产生 , 如果民主选举无法产生“最高裁判” , 此时策略产品经理应该召开标准讨论会议 , 并邀请项目中职位最高的管理者参加 。
会议中推动项目最高管理者指定主观评估标准的“最高裁判”人选 。 该人选对于主观评估标准负责 , 具有最终解释权 。
2)谁作为“最高裁判”
第一个条件是“最高裁判”应是对于主观评估标准制定最资深、最权威的人员(内容型产品中一般由运营经理负责) 。
第二个条件是“最高裁判”应是避免与该评估数据有直接利益关系的人(比如某NLP分类器模型 , “最高裁判”的评估人员不应该是该NLP算法工程师 , 而应该是第三方中立的业务人员) , 杜绝“既当运动员 , 又当裁判员”的现象 。
3)产生争议怎么办
当平台内部对于主观评估结论存在多个质疑的声音时 , 双方评估的人员、“最高裁判”可以在会议室内当场校对标准(以笔者的经验看 , 对于争议的实例 , 一般60分钟的会议即可完成双方标准的统一) , 并由“最高裁判”对主观评估结论给出终审判决 。
3. “主观评估标准”的用户视角和平台视角
对于标签定义而言 , 应当尽量贴合用户视角 , 设定评估标注时应该选择大多数目标用户的共同认知 。
以《火影忍者》的漫画分类举例来说 , 从平台价值观和用户价值观两个角度来看是不一样的:
1)平台价值观
《火影忍者》是“热血分类”动漫 , 其中“热血分类”是主观评估标准中的一个标签 。
2)用户价值观
用户A可能会认为“火影挺好玩的 , 看着挺刺激的” , 用户B可能会认为“火影好热血啊 , 是一个热血动漫” , 而女性用户C可能会认为“火影是一部彩虹漫画 , 鸣人、佐助太甜了” 。
可见 , 在本例中用户A和用户B脑中的第一反应都是“热血分类” , 而用户C的第一反应是“彩虹漫画” , 而此时的主观评估标准应该选取大多数人的认知 。
在进行主观评估标准设定时 , 策略产品经理应该考虑到用户的认知水平差异 。
为了让大家更直观地理解主观评估标准的设计方式 , 下表给出了漫画属于何种漫画分类的主观评估标准示例:


推荐阅读