江苏龙网

  1. 首页 > 人文 > >

余温|文本对抗攻击基础、前沿及相关资源( 四 )


3 文本对抗攻击相关资源
1. 文本对抗攻击阅读列表
清华大学自然语言处理与社会人文计算实验室（THUNLP）建立的TAADpapers（https://github.com/thunlp/TAADpapers）是不可多得的全面、系统的文本对抗领域的阅读列表 。 该列表包含工具包、综述、文本对抗攻击、文本对抗防御、模型鲁棒性验证、基准和评估、其他六个部分 ， 基本上涵盖了所有的文本对抗攻防领域的已发表论文 。 其中攻击部分的论文进一步分成了句级、词级、字级、混合四个子部分 ， 并且还为每篇论文打上了受害模型可见性的标签：gradient/score/decision/blind 。 除了提供论文pdf链接之外 ， 如果某篇论文有公开代码或数据 ， 也会附上相应的链接 。 目前该列表共有65篇论文 。
余温|文本对抗攻击基础、前沿及相关资源图7：TAADpapers阅读列表的目录
2. 文本对抗攻击工具包
在图像领域有CleverHans、Foolbox、Adversarial Robustness Toolbox (ART)等多个对抗攻击工具包 。 这些工具包将图像领域的对抗攻击模型整合在一起 ， 大大减少了模型复现的时间和难度 ， 提高了模型评测的标准化程度 ， 有力推动了图像领域对抗攻击的发展 。
经笔者调研 ， 目前仅有TextAttack和OpenAttack这两个文本对抗工具包 。 两者均包含了一些现有的文本对抗攻击方法 ， 下载方便 ， 简单易用 。 其中TextAttack构建时间更早 ， 由弗吉尼亚大学祁妍军教授领导的Qdata实验室开发（项目主页：） 。 而OpenAttack构建时间较晚 ， 由清华大学自然语言处理与社会人文计算实验室开发（项目主页：） 。 具体而言 ， TextAttack主要支持基于梯度和基于分数的攻击 ， 以及词/字级扰动 ， 而OpenAttack则覆盖了所有类型的攻击 ， 包括基于决定的攻击和盲攻击以及句级的扰动 。 此外 ， OpenAttack也有相对而言更好的可扩展性 ， 用户在攻击自己的模型或者设计新的攻击模型时有更大的自由度和更好的可实现性 。
图8展示了使用OpenAttack进行对抗攻击时打印攻击结果的样例 ， 可以看到OpenAttack能够实时输出攻击每一个原始输入的结果 ， 包括成功与否、受害模型访问次数、对抗样本各项质量评估指标等 ， 针对所有原始输入攻击结束后 ， 还会打印一个攻击结果总结表 ， 列出整体的各项攻击评价指标 。 图9列出了OpenAttack目前支持的所有攻击方法 。 在OpenAttack的GitHub项目主页也给出了一些基本的用例 ， 更详细的可以参看其文档和源码 。
余温|文本对抗攻击基础、前沿及相关资源图8：OpenAttack打印攻击结果示例
余温|文本对抗攻击基础、前沿及相关资源图9: OpenAttack目前覆盖的所有攻击方法
这类文本对抗攻击工具包有丰富的应用场景 ， 包括提供现成的对抗攻击基线模型、针对文本对抗的全面的评测、辅助设计新的攻击模型、评测自己模型的鲁棒性、进行对抗训练等等 。 相信它们会像图像领域的对抗攻击工具包一样 ， 极大地推进文本对抗攻击领域的发展 。
作者：岂凡超 ， 清华大学计算机系博士 ， 导师为孙茂松教授 ， 主要研究方向为自然语言处理 ， 其研究工作曾在 EMNLP 等发表 。
参考文献：
[1] Intriguing properties of neural networks. Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan Bruna, Dumitru Erhan, Ian Goodfellow, Rob Fergus. ICLR 2014.
[2] Ian J Goodfellow, Jonathon Shlens, Christian Szegedy. 2015. Explaining and harnessing adversarial examples. In Proceedings of ICLR.


推荐阅读


上一篇：萱草|昆山世硕发放员工证件竟随手扔地上！官方公开道歉

下一篇：广州日报|广东省不动产登记有望跨城通办