江苏龙网

  1. 首页 > 资讯 > 科技 > >

钛媒体APP|清华计算机系杨宗瀚：不畏困难，无问西东


钛媒体APP|清华计算机系杨宗瀚：不畏困难，无问西东
本文插图

文丨学术头条
第 37 届国际机器学习大会（ICML）即将在下周召开 。 作为全球最具影响力的机器学习学术会议之一 ， 其收录的论文也代表了该领域前沿的最新进展 。 由于近年来机器学习领域竞争激烈 ， 投稿数量逐年攀升 。
据统计 ， ICML 2020 共收到 4990 份投稿 ， 但最终仅收录 1088 篇 ， 接受率为 21.8% ， 近三年接受率也是呈逐年走低趋势 。
而今年刚刚从清华大学计算机系本科毕业的杨宗瀚 ， 就有一篇论文发表在 ICML 2020 上 ， 其标题为《残差和非残差网络的插值》（Interpolation between Residual and Non-Residual Networks）[1] 。
杨宗瀚今年秋季将在清华大学计算机科学与技术系直博 ， 进入自然语言处理与社会人文计算实验室 ， 师从刘洋教授 。
“我们尝试提出了一种新的常微分方程模型 ， 这种模型可以同时建模残差和非残差网络 ， 离散化处理得到的插值网络可以在准确率和鲁棒性间取得更好的平衡 。 ” 杨宗瀚说 。 他是这篇论文的第一作者 。
神经常微分方程是近年来深度学习领域中的热点方向 ， 相关论文曾在2018年获得神经信息处理系统大会（NeurIPS）最佳论文奖 [2] 。 这项研究富有创新性地将残差网络与微分方程数值格式对应起来 ， 进而将有限的离散层神经网络和无限的连续常微分方程联系起来 。
但与前人工作不同的是 ， 在杨宗瀚等人的工作中 ， 他们的神经常微分方程模型由于阻尼项的存在 ， 因而不依赖于残差连接 ， 进而实现了同时对残差和非残差网络的建模 。
从机器作诗到神经常微分方程
其实 ， 杨宗瀚最初接触科研是从自然语言处理开始的 ， 他参与的第一个科研项目与机器作诗有关 。 如果你对古诗词感兴趣 ， 或许你听说过“九歌”[3] 。 不过 ， 这里的“九歌”不是《楚辞·九歌》 ， 而是由孙茂松教授领导研发的可以作诗的人工智能 。 “九歌”曾在央视节目《机智过人》中与人类同台作诗 ， 且成功淘汰了一些人类所作的作品 。
在提及“九歌”的工作原理时 ， 杨宗瀚是这样解释的：机器作诗最主要的原理是序列到序列学习（sequence-to-sequence learning） 。 比如 ， 给定诗的第一句 ， 想要生成第二句 ， 便是使用编码器-解码器（encoder-decoder）的架构 ， 将第一句“翻译”成第二句 。 这种架构最主要的应用场景是机器翻译 ， 相关论文所做的实验也大多和机器翻译相关 。
参与这个项目之后 ， 杨宗瀚开始关注自然语言处理 ， 尤其是机器翻译领域 ， 并希望能找到更为普适的方法 。 他曾参与其导师课题组创立的机器翻译阅读清单项目 [4] ， 这一清单主要对近年来机器翻译领域发表在顶会上的论文进行整理分类 。 这一清单目前主要由杨宗瀚负责维护 ， 其星标数已达 1700+ ， 复用数达 360+ 。
钛媒体APP|清华计算机系杨宗瀚：不畏困难，无问西东
本文插图

“如果你仔细观察这个清单 ， 你会发现很多有趣的地方 。 ” 杨宗瀚解释说 。 由于能够发表于顶级会议的论文通常代表着该领域最具价值或前瞻性的工作 ， 通过这则清单 ， 我们可以了解该领域的发展动态 。 这在无形中也使杨宗瀚对机器翻译领域有了为全局性的了解 。
当然 ， 想要成为更成功的学者 ， 除了要对领域整体进展的把握 ， 还要有对兴趣点更深入的钻研 。 除了对已相对完备的机器翻译技术的总结 ， 他开始思考机器翻译的方法本身 ， 这些方法是否还有需要提高的地方 。 也正是因为这些思考 ， 让杨宗瀚参与到更为深入的课题中 。
杨宗瀚说：“我们发现 ， 目前的机器翻译总会出现一些漏词错误 。 ”而如果能够修正这些错误 ， 就可以提高机器翻译系统的翻译质量 。 基于这一思路 ， 杨宗瀚接下来参与了关于改善机器翻译效果的相关研究 ， 其中一项基于对比学习减少机器翻译漏词错误的工作 ， 在 2019 年被国际计算语言学协会会议（ACL）收录 [5] ， 杨宗瀚是这篇论文的第一作者 。


推荐阅读


上一篇：|打造爆品思维的3个原则：快、准、好

下一篇：IOS系统|ios14再爆黑科技！轻点背面截屏？没一个零件鸡肋，iphone真细节