江苏龙网

  1. 首页 > 人文 > >

Bengio首期推特小课堂：从“AI未来五年”谈到“怎么教小孩学机器学习”

Bengio首期推特小课堂：从“AI未来五年”谈到“怎么教小孩学机器学习”
文章图片
YoshuaBengio来Twitter传道授业解惑啦！
YoshuaBengio是2018年图灵奖获得者 ， 蒙特利尔大学计算机科学与运筹学系教授 ， 蒙特利尔学习算法研究所（MILA）科学主任 ， 以及微软研究院顾问 。
这是他首次在Twitter上亮相 ， 不过可惜的是 ， 他并没有开通自己的Twitter账号 ， 而是借着微软研究院的官方Twitter账号发言 。
早在7月11日 ， Bengio就在微软研究院的官方Twitter上发布了一个视频 ， 表示会在7月16日与网友进行问答互动 。 Bengio在视频中说 ， 可以就他的研究工作提任何问题 ， 并特别提到他发表在ICML2020的一项工作 。
不过提问者似乎对如何入坑AI以及其它学术问题更感兴趣 ， 有人甚至问Bengio如何教小学生学习AI ， Bengio也毫不介意 ， 非常热情耐心地回答了二十多个问题 ， 让我们来看看Bengio都分享了哪些真知灼见吧 。
Bengio首期推特小课堂：从“AI未来五年”谈到“怎么教小孩学机器学习”
文章图片
可以在这个网页或Twitter上搜索“#AskYoshua”查看所有网友的问题 。 虽然回答时间已经过去了 ， 仍有不少网友想请教Bengio 。
#AskYoshua问答：https://twitter.com/hashtag/AskYoshua? src=https://pcff.toutiao.jxnews.com.cn/p/20200727/hashtag_click
Bengio提到的发表在ICML2020的论文是《LearningtoCombineTop-DownandBottom-UpSignalsinRecurrentNeuralNetworkswithAttentionoverModules》 ， 感兴趣的同学可以去看看：
Bengio首期推特小课堂：从“AI未来五年”谈到“怎么教小孩学机器学习”
文章图片
论文的ICML主页：https://icml.cc/virtual/2020/poster/6039
以下是问答内容 ， AI科技评论进行了不改变原意的整理：
1
如何入坑AI？01、RakshithV：为了从理论转向实际从而更好地理解深度学习 ， 我应该怎么做？是实现论文 ， 还是参加Kaggle竞赛 ， 还是其它途径？
YoshuaBengio：首先 ， 你需要敢于实践 ， 亲自动手尝试 。 复现论文是一个很好的起点（除非拥有大量算力 ， 一般我都进行小型实验） 。
然后 ， 你可以自问 ， 采用什么方法可以使实现结果变得更好 。 如果发现论文中的结果不可复现 ， 请不要犹豫 ， 立刻与作者联系！
最后 ， 不要犹豫 ， 发表你的复现结果吧（例如 ， 发表在arXiv） ， 不管它是否奏效（知道复现结果的难度也是很有用的） 。
02、ZaryabAkram：您对刚进入AI领域的研究人员有什么建议？
YoshuaBengio：通过阅读足够深入地了解AI领域之后 ， 将注意力集中在可以逐渐成为专家的某个领域 ， 花时间阅读该领域的文献 。
另外 ， 通过自己进行实验来建立你的直觉 ， 然后开始听从这些直觉去实践 ， 有些会起作用 ， 有些则不会 。
03、MarcosPereira：如果有人想开展独立研究以弥补深度学习当前的缺点（涉及构建人类智能的更大目标） ， 您认为如何开始比较好？
【Bengio首期推特小课堂：从“AI未来五年”谈到“怎么教小孩学机器学习”】YoshuaBengio：每个机器学习研究人员都会对这个问题有不同的答案 ， 这很棒 ， 因为我们不知道什么idea是有用的：研究是一种探索 。 您可以通过观看我最近的演讲 ， 并阅读我的近期论文来了解 。
04、devasatyasriramchinthapenta：我是一名学生 ， 对深度学习研究感兴趣 ， 但对应用不感兴趣 。 我该如何从纯数学（概率统计）着手研究计算机视觉或其他领域？
YoshuaBengio：即使只想进行基础研究 ， 也应该动手理解概念 ， 多亲自观察实验的结果 ， 建立不仅基于理论而且基于经验的强烈直觉 。 系统1（经验）和系统2（理论）需要协同工作！
05、Ash：来自软件工程等应用领域的人如何开始AI研究？
YoshuaBengio：我和IanGoodfellow、AaronCourville合作写了《深度学习》 ， 这本书可以为你们提供帮助 。
电子版免费哦：https://www.deeplearningbook.org/
还有中文版哦：https://github.com/exacity/deeplearningbook-chinese
学会必要的数学知识 ， 然后去研究建议的参考文献 ， 以确保具备阅读机器学习论文所需的知识 。 然后阅读大量论文 ， 并亲自进行大量实验 。 问自己问题 ， 不要认为任何事情都是理所当然的 。
2
学术讨论06、RakshithV：您对近期自监督学习的发展有什么看法？
YoshuaBengio：自监督学习是一个非常古老的想法 ， 只是用了新术语 ， 它基本上是从无标签（或标签不足）的数据中生成表征形式 。
近年来 ， 它的威力变得越来越为人所知 ， 它将继续成为我们工具箱的一部分 ， 但仅凭自监督学习不足以解决诸如OOD泛化和学习更高级别的抽象之类的问题 。
07、MayurJain：现实生活中存在偏见/歧视 ， 而偏见/歧视又反映在数据中 。 由于很难在现实中更改数据 ， 那要如何克服数据中存在的偏见/歧视？
YoshuaBengio：我不是这个问题的专家 ， 但是有专门针对此问题的讲座和教程 。 出发点是同情心 ， 要思考我们的行为如何伤害或帮助他人 ， 并且要明白让不公正现象继续存在是不可接受的 。
我们每个人只要做一点点改变就可以逐渐改变社会规范、文化和实践 ， 从而朝着更加公平和包容的社会迈进 。
在日常生活（包括工作）中思考自己可以做的事情 ， 以及从其他人正在做的事情中寻找启发 。
08、AntonioRegalado：请问您的新论文是对计算机和人类推理偏见（bias）的辩护吗？
YoshuaBengio：归纳偏置（inductivebias）和偏见不是一个概念 。 机器学习探索各种归纳偏置 。 在这项研究中 ， 我们尝试从大脑中获取灵感 ， 以探索可能有更好泛化能力的神经网络架构 。 最好的归纳偏置有很好的泛化能力 。 很多基于推理的经典AI都是受人类认知启发的 ， 现代机器学习也是如此 。
09、HarmvanSeijen：研究模块化网络上时要注意的主要陷阱是什么？
YoshuaBengio：这是机器学习和深度学习研究的常规方法 ， 我认为 ， 我们应该从OOD泛化性和迁移学习任务中的样本复杂性方面衡量增益 ， 而不是依据常规的基准 。
实验效果不佳的话 ， 可能会让人们感到沮丧 ， 过去这也发生在我身上 。 解决方案是：用长远的眼光重新思考 ， 以决定是否继续努力 。
10、AlejandroPiadMorffis：您对AutoML感兴趣吗？您认为AutoML和NAS是机器学习和深度学习未来发展的重心还是边缘领域 ， 或者它仅是面向应用的方法？
YoshuaBengio：我对AutoML研究 ， 以及架构搜索和生物进化之间的联系感到着迷 。 不仅是架构 ， 学习过程本身也应该成为搜索的一部分 。
然而 ， 这种盲目搜索的问题在于：它使得我们更难以科学地（例如在数学上）理解算法的过程 。
我想说这种研究是不得已而为之 ， 是一种绝望的选择 ， 认为我们可能无法使用理性找到解决方案 ， 而需要依赖蛮力 。
11、SamiulHasan：神经网络还无法解决哪些问题？
YoshuaBengio：当前的神经网络大多擅长人类的系统1（经验）的能力 ， 但并不擅长某些系统2（理论）的能力 。
语言学家一直特别强调 ， 与当前的机器学习（包括深度学习）相比 ， 人类擅长系统概括 。 人类可以系统地将通用概念重组以形成清晰而新颖的含义 ， 甚至可以应用到全新的领域 ，。
12、MohitSharma：许多机器学习研究是易于进行的并且可以独立进行 。 但是 ， 理论研究很难独立地在没有指导的情况下发表在COLT/ICML中 。 您对此有什么建议呢？
YoshuaBengio：去接触从事您认为有趣的工作的初级研究人员 。
13、HiteshKumarBalapanuru：在AI中存在以下几个问题：
（1）泛化能力vs在有限测试数据集上更高的准确率（数据可能反映现实世界模式）
（2）如果算法准确率很高 ， 可解释性是否重要？
可以分享一下您对此的看法吗？
YoshuaBengio：机器学习领域将很多研究精力放在泛化的一般形式上 ， 以测试与训练数据拥有相同分布的数据 。 我认为我们正在转向分布外（out-of-distribution）泛化 ， 这将实现更强的鲁棒性 。
此外 ， 从拟合数据分布转向建立其抽象表征以捕获因果结构的方法（使用类似于单词的概念 ， 即语义表征） ， 也应该有助于解释性 。
14、VenkateshwarRagavan@ICML’2020：鉴于神经科学对理解人工神经网络产生了深远的影响 ， 还有哪些学科（如物理学等）将在理解人工神经网络黑箱子方面发挥关键作用？
YoshuaBengio：物理学已经对神经网络产生了重大影响 ， 比如基于能量的模型、玻尔兹曼机、熵和互信息的概念 ， 以及物理和因果推理之间的关系 。
推荐你看看这个视频：https://www.youtube.com/watch?v=4qc28RA7HLQ
15、UjjwalUpadhyay：有一个观点说 ， 表征学习有助于解决对抗性学习问题 ， 您怎么看？
YoshuaBengio：首先 ， 人类也容易遭受对抗攻击（视错觉、心理偏见等） 。 其次 ， 我相信 ， 一旦能够训练深层网络捕获对世界的高级抽象理解 ， 我们将得到更加鲁棒的系统 。


    推荐阅读


    上一篇：金靖|不会吧不会吧，一个灵魂拷问就让金靖秒变“人间表情包”

    下一篇：通过代码挖掘，外媒爆料了三星新款智能手表的三个新功能