科技俱乐部菌 来分享下内容社区的AI架构搭建与应用,知乎CTO李大海:谢邀

谢邀!知乎CTO来分享下内容社区的AI架构搭建与应用 。
「在信息爆炸的互联网海洋中 , 有价值的信息仍然是稀缺的」 。 知乎的诞生源于这样一个非常简单的初心 。
而在挖掘真正有价值的信息过程中 , 知乎很好地利用了AI技术 。
在今年上海召开的2020世界人工智能大会云端峰会开发者日「企业及AI架构专场」分论坛上 , 知乎合伙人、首席技术官李大海老师为分享了知乎作为一个内容社区 , 在AI架构上的搭建和应用 。
李大海老师拥有多年的搜索算法经验 , 曾担任Google中国软件工程师 , 云云网工程总监 , 并曾担任豌豆荚搜索技术负责人 , 让豌豆荚成为最早涉足应用内搜索和DeepLink的公司 。
2015年李大海以合伙人身份加入知乎 , 先后负责知乎广告技术团队、数据、算法业务 。 在出任CTO之后 , 李大海统筹负责包括大数据团队、内容流通、AI新业务拓展等在内的知乎整体技术业务 。
科技俱乐部菌 来分享下内容社区的AI架构搭建与应用,知乎CTO李大海:谢邀
文章图片
以下为演讲主要内容 , 机器之心进行了不改变原意的整理:
大家好 , 我是李大海 。 很荣幸代表知乎来世界人工智能大会开发者日做分享 。 特殊时期 , 以这种特殊的方式跟大家作交流 , 心情是很复杂的 。 2020年上半年是非常不容易的半年 , 不过我们也很高兴地看到 , 很多企业通过技术创新应对疫情 , 帮助大家维持正常的工作和生活 。 知乎也是其中的一员 。
从2016年引入机器学习以来 , AI技术已经在知乎社区很多环节扎下根 。 以前我们讲算法讲得比较多 , 今天我想重点说一下我们在AI架构的搭建和应用上的经验 。
在知乎 , 我们的AI架构的不同是由不同的AI场景和实践催生的 。 当然 , 介绍这些应用场景之前 , 我们应该先简单了解一下知乎 。 知乎是一个内容社区 , 包括问答、热榜、知识服务、圈子、直播等等各种产品功能和业务板块 , 沉淀了数亿的问题、回答、专栏、电子书等等内容 , 这些内容每天都在被生产、分享、消费 。 对于一个平台来说 , 是一个浩大的工程 。 为了让内容在社区运转得更高效 , 知乎引入了AI技术 。
科技俱乐部菌 来分享下内容社区的AI架构搭建与应用,知乎CTO李大海:谢邀
文章图片
到目前为止 , 知乎的AI应用已经触及到业务的方方面面 , 并且在实践的过程中 , 逐步形成几个不同的算法框架 。
基础AI架构
首先是基础AI架构 。 2017年 , 知乎成立专门的AI团队 , 为各个业务提供一个基础算法能力输出 。 这个团队基于知乎海量的内容及用户行为数据 , 通过数据挖掘、机器学习、自然语言处理等技术 , 精准、全面地理解内容及用户 , 并将基础算法能力以标准统一的形式输出 , 为公司各业务赋能 。
AI团队自成立以来 , 为各种不同的业务提供了非常多的应用 。 随着时间的推移 , 也产生了一些痛点 。 比如说 , 由于没有统一的系统开发框架 , 各个业务模块和子项目都是单点作战 , 只有一个同事清楚业务细节 , 并且新建一个项目要写很多和业务无关脚手架类型的代码 。 再比如 , 有的线上代码没经过代码审核、存在非主干分支发布、个人仓库开发等问题 , 非常不利于协同和维护 。 另外 , 服务和模块的复用性比较低 , 有些常用的逻辑 , 比如识别打压大话题 , 被多人、多项目分别实现 。 另外 , 像监控不完善 , 部分问题发现不及时等等 , 都是小应用太多带来的问题 。
科技俱乐部菌 来分享下内容社区的AI架构搭建与应用,知乎CTO李大海:谢邀
文章图片
因此 , 急需统一的系统架构来整合所有资源 , 搭建稳定的基础架构 , 加速AI技术积累并助力业务创新 。
科技俱乐部菌 来分享下内容社区的AI架构搭建与应用,知乎CTO李大海:谢邀
文章图片
我们首先考虑设计统一的基础服务架构 , 统一定义基础AI算法的工作流和数据流 。 有了这个统一框架之后 , 很方便在框架上添加监控、报警等等功能 , 及时发现可能出现的问题 , 提高服务质量、稳定性和可用率 。


推荐阅读