AI科技评论|智能皆搜索,裴健:搜索皆智能?( 三 )


AI科技评论|智能皆搜索,裴健:搜索皆智能?
文章图片
下面举个一个我们KDD2016论文中的例子来介绍我们怎么通过搜索来达到知识发现 。 我们可以在WordNet的网络上面找到很有意思的一些社团 , 每一个社团内部非常相似 , 社团成员之间有很强的关联 , 同时 , 社团之间非常对立 , 有非常大的差异 。
AI科技评论|智能皆搜索,裴健:搜索皆智能?
文章图片
当我们把这个问题用在形容词网络里面 , 我们就找到了大家在胶片上看到的Group1和Group2这样对立的社团 , 所以我们把它叫做gangsinwar 。 大家仔细看 , 每一个社团内部是一组同义组 , Group1和Group2之间是反义词关系 。 我们用智能搜索带给我们新知识 , 我们可以在词的网络上自动发现同义词和反义词 。
AI科技评论|智能皆搜索,裴健:搜索皆智能?
文章图片
刚才我们讲了搜索皆智能 , 智能皆搜索 , 所以智能和搜索是密不可分的 , 二者紧密结合 , 搜索和智能同行 。 这里包括两个意思 , 第一 , 我们需要用搜索的技术来达到更好的人工智能 。 像我刚才举的例子 , 我们可以通过很好的搜索来自动的发现知识 , 同时我们需要用很多的智能技术和计算来使得搜索更加有效 。 这里的智能不单单只是人工智能 , 还包括了很多真正的人的智能 , 因为我们最终的搜索是为人服务的 。
AI科技评论|智能皆搜索,裴健:搜索皆智能?
文章图片
这里举一个例子 , 这是我们最近刚刚完成的一个论文 , 我们研究的是基于Web-scale的多语言问答系统 。 问答系统有很多 , 在很多商用的搜索引擎里面都有相应的问答功能 。 当一个用户给出一个问题 , 例如说想知道感冒症状 , 搜索引擎可以总结出像下图左边的信息卡 , 这个信息卡上会列出相应的感冒的症状甚至是治疗的方法 。 这给用户带来了很多的便利 , 在一定程度上这也是对知识的抽取和总结 。
AI科技评论|智能皆搜索,裴健:搜索皆智能?
文章图片
当搜索引擎给出这样一个答案时 , 这个答案是否满足了用户的信息需求?这个答案的知识是否正确?是否有用?我们希望能够得到用户的反馈 , 我们希望用户用人的智能来帮助机器进行学习 。 这里有一个挑战 。 很多情况下 , 用户看过答案但并不一定给出一个显式的反馈 , 理解人的反馈是一个非常复杂的过程 。 在这篇论文里面 , 我们系统地研究了如何观察、推理用户对搜索引擎所给出的问答信息的反馈 , 如何对用户的行为进行挖掘 , 抽取相应的反馈信号 , 用这些信号来改进我们的QA系统 。
AI科技评论|智能皆搜索,裴健:搜索皆智能?
文章图片
上图是在一个全球化商业搜索引擎数据集上面所做的实验结果 。 当我们的系统考虑了用户真正的已知反馈之后 , 整个搜索效果比不用这个反馈的系统好得多 。 同时 , 我们可以看到一个非常有意思的现象:这种智能搜索所发现的知识可以在不同的领域进行迁移 。
AI科技评论|智能皆搜索,裴健:搜索皆智能?
文章图片
举个例子来说 , 在整个模型建立的过程中 , 我们用的是英语数据 , 在英语数据里面 , 我们抽取了相应的问答和相应的用户反馈 。 英语里发现的知识完全是可以往别的语言迁移 , 如德语和法语 。 迁移的效果很好 , 在法语的数据集上面我们用了很少的大概5K的数据就能够达到如果没有跨语言的迁移、没有反馈的时候需要用50K的数据才能达到的效果 。 也就是说 , 通过应用用户的反馈 , 我们能够大大减少相应的数据需求 , 我们的确可以通过智能化的方法理解用户 , 并让用户把人类智能来帮助我们的机器 。 我们的技术已经在一个大型商用搜索引擎的多语言服务中上线应用 。


推荐阅读