[AI科技大本营]深度残差收缩网络：借助注意力机制实现特征的软阈值化作者|哈尔滨工业大学（威海）讲师赵明

文章图片

文章图片
作者|哈尔滨工业大学（威海）讲师赵明航
【[AI科技大本营]深度残差收缩网络：借助注意力机制实现特征的软阈值化】本文解读了一种新的深度注意力算法，即深度残差收缩网络（DeepResidualShrinkageNetwork）。

文章图片
从功能上讲，深度残差收缩网络是一种面向强噪声或者高度冗余数据的特征学习方法。本文首先回顾了相关基础知识，然后介绍了深度残差收缩网络的动机和具体实现，希望对大家有所帮助

文章图片
相关基础
深度残差收缩网络主要建立在三个部分的基础之上：深度残差网络、软阈值函数和注意力机制。
1.1深度残差网络
深度残差网络无疑是近年来最成功的深度学习算法之一，在谷歌学术上的引用已经突破四万次。相较于普通的卷积神经网络，深度残差网络采用跨层恒等路径的方式，缓解了深层网络的训练难度。
深度残差网络的主干部分是由很多残差模块堆叠而成的，其中一种常见的残差模块如下图所示。

文章图片
1.2软阈值函数
软阈值函数是大部分降噪方法的核心步骤。首先，我们需要设置一个正数阈值。该阈值不能太大，即不能大于输入数据绝对值的最大值，否则输出会全部为零。
然后，软阈值函数会将绝对值低于这个阈值的输入数据设置为零，并且将绝对值大于这个阈值的输入数据也朝着零收缩，其输入与输出的关系如下图(a)所示。

文章图片
软阈值函数的输出y对输入x的导数如上图(b)所示。我们可以发现，其导数要么取值为0 ，要么取值为1 。从这个角度看的话，软阈值函数和ReLU激活函数有一定的相似之处，也有利于深度学习算法训练时梯度的反向传播。
值得注意的是，阈值的选取对软阈值函数的结果有着直接的影响，至今仍是一个难题。
1.3注意力机制
注意力机制是近年来深度学习领域的超级研究热点，而Squeeze-and-ExcitationNetwork（SENet）则是最为经典的注意力算法之一。
如下图所示， SENet通过一个小型网络学习得到一组权值系数，用于各个特征通道的加权。这其实是一种注意力机制：首先评估各个特征通道的重要程度，然后根据其重要程度赋予各个特征通道合适的权重。

文章图片
如下图所示， SENet可以与残差模块集成在一起。在这种模式下，由于跨层恒等路径的存在， SENet可以更容易得到训练。另外，值得指出的是，每个样本的权值系数都是根据其自身设置的；也就是说，每个样本都可以有自己独特的一组权值系数。

文章图片

文章图片
深度残差收缩网络
接下来，本部分针对深度残差收缩网络的动机、实现、优势和验证，分别展开了介绍。
2.1动机
首先，大部分现实世界中的数据，包括图片、语音或者振动，都或多或少地含有噪声或者冗余信息。
从广义上讲，在一个样本里面，任何与当前模式识别任务无关的信息，都可以被认为是噪声或者冗余信息。这些噪声或者冗余信息很可能会对当前的模式识别任务造成不利的影响。

[AI科技大本营]深度残差收缩网络：借助注意力机制实现特征的软阈值化

推荐阅读

奥巴马@奥巴马克林顿退休都做些啥？揭两人的“后白宫生活”

港台歌手蔡琴的资料简介蔡琴资料

实尾岛|《小小姐们》大结局镜头语言、细节隐喻，幽灵之“兰”的终极讽刺

[动点科技]FDA 认证呼吸机 | 早 8 点档，苹果要求零售店员工充当远程技术支持人员；特斯拉将免费向医院提供

新华社|注意！研究证实过度食用“这些食品”加速衰老

科普|为什么你总觉得自己不好看？可能是得“病”了

搭配@都是女孩子，凭啥别人穿黑色又飒又酷？这些“小心机”拿走不谢

电脑开机自动弹出广告如何解决？

游侠网|Epic商城2020年创作者精选特惠开启众多大作打骨折！

福田货车怎么样江铃怎么样

三九灸不做预灸可以吗三九灸多长时间做一回

答答买车▲丰田推出普锐斯20周年纪念版，已售1500万辆

我的旅行生活|重磅！曼城34岁队长新下家曝光：收到丰厚合同明年有望踢万博亚冠

梦见情人有了新的女人我们分开了梦见情人有了新的女人是什么预兆

人民日报客户端北京频道|?2020年中关村论坛发布《新型区块链底层平台技术白皮书》

本科论文文献综述怎么写好

如何鉴别iPhone4的真假？

协同发展|深圳楼市限购升级；三部门决定开展新能源汽车下乡；字节跳动拿下网络小贷牌照；大湾区将建世界级机场群 | 投资者早报

女孩|DIOR出品，上新就是每个女孩都想要系列

解放军报客户端|千里送喜报，让军人载誉回家乡！