技术编程|京东高级算法工程师34页PPT详解基于分布式向量检索系统Vearch的大规模图像搜索【附PPT下载】
本文插图
出品 | 智东西公开课
讲师 | 邸志惠 京东高级算法工程师
导读：
6月10日 ， 京东高级算法工程师邸志惠在智东西公开课进行了CV前沿讲座第八讲的直播讲解 ， 主题为《大规模图像检索系统的挑战与实践》 。
在本次讲解中 ， 邸志惠老师从大规模图像检索任务所面临的挑战入手 ， 详细解析了Vearch的原理 ， 最后通过三个案例展示Vearch如何在实践场景中助力深度学习应用落地 。
本文为此次课程主讲环节的图文整理：
正文：
大家好 ， 我是邸志惠 ， 今天我要分享的主题为《大规模图像检索系统的挑战与实践》 ， 我们会分为3个部分：
1、大规模图像检索任务所面临的挑战
2、Vearch原理解析
3、Vearch在深度学习场景中的实践
大规模图像检索任务所面临的挑战
随着深度学习技术的快速发展 ， 它的相关应用也渗透到了我们生活的方方面面 。 深度学习是通过将图片、文本、视频等编码成高维特征向量来解决问题的 ， 这就出现了海量高维特征向量的存储与计算问题 ， 这些问题急需得到很好的解决 。
人脸识别与拍照购场景：
本文插图
智能助理与娱乐场景：
本文插图
我们现在的生活已经被AI所包围 ， 比如早上进办公室时 ， 需要过人脸闸机 ， 但就是这简单的生活场景 ， 想一下之前传统的方案是什么样子？若有陌生人来 ， 我们靠保安去识别时 ， 怎么去判断准确性？即使保安熟悉天天进出的人 ， 他也不会记忆这么多人的信息 ， 而且对每个人的精准识别也是有限的 。 所以 ， 传统的方案在应对这些场景时都是会有很大的瓶颈 。 然而深度学习可以利用生物特征的唯一性以及难以作假的特性 。
以上这些场景 ， 都是新的query与数据库中数据做搜索对比得到排序结果的应用 。 传统方案是采用人工提取特征 ， 但是由于特征量少 ， 无法刻画事物的唯一性 ， 比如人脸识别过闸机场景 ， 证件等外部性证明都容易作假 ， 靠保安人员记忆 ， 容貌相近的无关人员有可能乱入 ， 还有银行卡靠账户密码转账的盗刷事件时有发生 。 上述杯子拍照购场景 ， 无论搜卡通杯 ， 还是白色陶瓷杯 ， 还是白色卡通陶瓷杯都无法精确得到上图结果 。
深度学习的出现 ， 通过编码图片、文本、视频等的高维度信息为固定维特征向量 ， 使事物得到精准量化表示 ， 导致搜索结果可以高质量精准排序 。 比如上述人脸场景 ， 深层网络会提取人脸的眼睛、鼻子、嘴巴、皮肤纹理等上万维特征编码成向量来唯一刻画人脸的唯一性 。 在智能助理外卖推荐场景 ， 深层网络可以分别把用户画像(口味 ， 位置距离 ， 性别 ， 薪资)等多个维度的信息与商家画像（菜品 ， 菜价 ， 评论 ， 风格 ， 距离）多个维度信息编码成高维特征向量 ， 计算二者的相似度 ， 做精准量化匹配 。
但是深度学习的使用也面临新的棘手的问题：
海量高维特征的存储问题
特征向量的相似性计算搜索问题
这两大问题 ， 传统数据库是基于key/value的模糊查询搜索原理 ， 无法完成向量计算的操作 。 目前落地环节都是针对各自场景自己训练深度学习算法 ， 在开发对应的向量检索系统 ， 存在大量重复工作 ， 这对算法工程师也不友好 。 目前尚没有通用的在线解决方案 ， 我们开源的vearch专门针对上述问题开发的在线易用的 ， 用以解决海量特征向量的存储、计算、相似向量检索问题 。
Vearch原理解析
Vearch 是对大规模深度学习向量进行高性能相似搜索的弹性分布式系统 ， 主要解决数亿级别向量的存储和计算查询的问题 。
推荐阅读
- 技术编程|后台权限管理设计思路：三种模型分析
- 技术编程|如何利用数据库进行世界史研究
- 青年|西安邮电大学与安康汉滨区深度合作，研发适合毛绒玩具全产业链实用技术
- 老兵|80后“电器老兵”加入京东商选帮助生意上新高度
- 无人科技,电池技术|盘点几种常见的无人机电池
- 行业互联网|让青少年爱上科学 核桃编程AI人机双师模式受关注
- 技术编程|无服务器调研，部署REST API是最普遍用例
- 京东,折叠屏手机|围绕柔性屏的技术、特性、应用、产业化进行了非常专业的解读
- 云计算|腾讯云小微首次技术开放日，揭秘AI语音背后的奥秘
- iQOO手机|“快稳双全”！120W超快闪充技术炫技，十五分钟充满电量