聚焦迁移学习反向传播缺陷，百度资深工程师带来全新 ICML 工作分享 NLP在后

文章图片
CV在前， NLP在后，迁移学习技术的应用为这两个领域所带来的进展和突破，不可谓不瞩目。
其中，预训练模型作为当下迁移学习的一种主流方法，让“从零开始训练一个新模型”的时代一去不复返。这类在大型数据集上训练好的模型进行微调后，便能够较好地适配类似的新目标任务，可以极大地节约时间和成本。
不过，天下没有免费的午餐，这种方法看似“一劳永逸” ，也需要付出一定的代价，其中的一大问题便是，由于反向传播带给深层卷积层的更新较小，微调得到的模型往往被“吸引”在预训练模型附近，无法得到充分更新。
对此，百度的一篇ICML2020工作《RIFLE:BackpropagationinDepthforDeepTransferLearningthroughRe-InitializingtheFully-connectedLayEr》，提出了一种简单有效的策略RIFLE ，通过周期性的重新初始化全连接层，给深层的特征提取网络带来有意义的更新，提升低层次特征的学习，从而显著提升迁移学习的效果。
论文地址：https://proceedings.icml.cc/static/paper_files/icml/2020/3745-Paper.pdf
开源地址：https://github.com/haozhe-an/RIFLE-Paddle-Implementation
基于PaddlePaddle的实现：https://github.com/haozhe-an/RIFLE-Paddle-Implementation
【聚焦迁移学习反向传播缺陷，百度资深工程师带来全新 ICML 工作分享】据悉，该方法已超过已有同类方法如Dropout、Dropconnect、StochasticDepth、DisturbLabel以及CyclicLearningRate等，在多个数据集上的效果提升0.5%-2% 。
为了深度解析这项工作背后的算法原理以及应用效果， AI科技评论特别邀请到了论文一作、百度大数据实验室资深工程师李兴建，来做论文直播分享！
时间就定在7月24日20:00整，各位同学记得准时收看~
分享主题：RIFLE算法：通过重新初始化全连接层加深迁移学习中的梯度反向传播
分享嘉宾：李兴建，百度大数据实验室资深工程师，多年自然语言处理、深度学习、迁移学习等领域工作经验
分享时间：7月24日（周五晚）20:00整

文章图片
分享背景：
基于一个预训练的深度学习模型进行微调，成为一种主流的迁移学习方式。该方法虽然简单有效，但微调得到的模型经常被『吸引』在预训练模型附近，无法得到充分更新。我们的工作提出一种简单有效的策略RIFLE ，通过周期性的重新初始化全连接层，给深层的特征提取网络带来有意义的更新，提升低层次特征的学习。

聚焦迁移学习反向传播缺陷，百度资深工程师带来全新 ICML 工作分享

推荐阅读

情感星座话题屋|挽回男人这点最重要，做不到还谈何挽回？聪明的女人要知道，原创

房石阳明真实身份房石阳明最后和谁在一起了

「部完成」长沙地铁3号线5号线列车＂定妆照＂公布确保7月初期运营

肝脏|肝变硬了，身体会变得怎样？如果全都没占，说明肝脏仍然很好

欧盟|欧盟卫生委员发出警告：警惕“新冠疲劳”

关于跑步健身的一些问题

「闺蜜」“结婚那天，闺蜜不想还2000的礼，拉黑了我”：别高估友情

韩信的真实死因韩信是如何死的

星座人缘▲但是总体上属于有钱人，富命，一生运势虽有点起伏

绿豆粥隔夜放冰箱能吃吗

金刚菩提▲金刚菩提怎么盘玩？金刚菩提怎么盘红的快？

我成功减了40斤后，才明白：坚持9个小秘诀，是真正的减肥成功

潮汕工夫茶的讲究茶三说起

良凉星座|再婚幸福的生肖，2020年天赐良缘

杨华评论告诉对手想要他妻子，泰森教导UFC巨兽：伟大拳王必须会喷垃圾话

塞尔维亚|当着中国大使的面，塞尔维亚领导人亮明了态度

美国▲基辛格提问：中国要做美国敌人？中国女少将回应太霸气

健康王医师|每天吃一些，美白护肤、排毒清肠，美容瘦身，超市常见的3物

人心不足蛇吞象俗语的意思人心不足蛇吞象下一句是什么

「孟晚舟案」关于孟晚舟案，中国大使昨晚透露大量信息！