余温|文本对抗攻击基础、前沿及相关资源( 三 )
[11]进一步提出词级文本对抗攻击这个组合优化问题可以拆解为两步：（1）搜索空间缩减；（2）对抗样本搜索 。 所谓搜索空间缩减 ， 本质上其实就是确定原始输入中每个词的候选替换词集合 ， 每个位置的候选替换词加上原始词构成的集合的组合张成了一个离散的空间——每个位置对应空间的一个维度 ， 每个位置的候选替换词+原始词的集合为该维的可行集 。 例如 ， 图3中原始输入“I love this movie”有4个词 ， 则对应的对抗样本搜索空间为4维 ， 第一维对应第一个词“I” ， 因其没有候选替换词 ， 所以该维仅有1个可行点；第二维对应第二个词“love” ， 有“like”和“enjoy”2个候选替换词 ， 所以该维一共3个可行点……以此类推可以得到“I love this movie”的对抗样本搜索空间 。 这一步之所以称为“对抗样本缩减” ， 是考虑到有些对抗攻击方法根本不确定每个词的候选替换词集 ， 而是将整个词表的所有词视作潜在的可选替换词 。
第（2）步则是在第（1）步得到的缩减后的离散组合空间中搜索可以成功攻击受害模型的对抗样本 。
图3：词级文本对抗攻击拆解为两步组合优化问题
现有的所有词级对抗攻击方法都可以在上述框架下进行拆解 。 具体而言 ， 第（1）步搜索空间缩减 ， 目前主要方法为前面提到的基于词向量[8 ， 9]或者同义词[10]的词替换方法 ， 当然也有攻击方法跳过这一步不进行搜索空间缩减[19] 。 第（2）步对抗样本搜索 ， 目前有梯度下降[15,19]、遗传算法[8]、基于词显著度的贪心算法[9,10]、Metropolis-Hastings采样方法[12]等 。
[11]在上述框架下 ， 对两步分别进行了改进 ， 并且最终达到了当前最好（state-of-the-art）的攻击效果 。 在第一步 ， 他们使用了基于义原（sememe）的词替换方法 。 在语言学中 ， 义原是最小的语义单位 ， 一个词的语义可以认为由其所有义原来表达[20] 。 实验表明 ， 基于义原的词替换方法能够找到更多合适的候选替换词 ， 和基于同义词或基于词向量的词替换方法相比有显著的优越性 ， 如图4所示 。
【余温|文本对抗攻击基础、前沿及相关资源】(a)不同词替换方法的平均候选词数量
(b)不同词替换方法为pie找到的候选替换词
图4：基于义原的词替换方法的优越性
在第二步 ， 他们提出了基于离散粒子群优化（Discrete Particle Swarm Optimization）的对抗样本搜索算法 。 粒子群优化[21]是一种典型的组合优化算法 ， 之前实证研究表明它比包括遗传算法在内的其他组合优化算法更加高效[22] 。
他们通过大量的实验证明了基于义原的词替换方法和基于离散粒子群优化的对抗样本搜索算法分别比相应的其他方法有更好的攻击效果 ， 并且就对抗样本质量、攻击有效性而言也有更好或相当的表现 ， 如图5、图6所示 。
图5：不同词替换方法和对抗样本搜索算法组合而成的攻击方法的成功率 。 受害模型为BiLSTM和BERT ， 分类任务为情感分析（IMDB、SST-2）和自然语言推断（SNLI） 。
图6：不同攻击方法的对抗样本质量评测结果 。 %M为替换词的比率 ， %I为语法错误增加率 ， PPL为基于GPT-2语言模型困惑度 。
推荐阅读
- 幽默搞笑段子集锦|才能触动她心灵改变其想法，幽默笑话：男人和女人对抗要讲策略
- 王者荣耀|实战对抗游戏百玩不腻：王者荣耀峡谷争霸！街头霸王酷炫，最后这款画风爱了
- 海军陆战队|美两大军种争资源，抢着对抗中国？美专家：对手导弹太多，应互补
- 手游矩阵|2100人单局35日的对抗，这款SLG手游首创千人同局的策略游戏赛事
- 开黑新使者|KPL史上最狂的教练！发文本赛季百分百夺冠，SK教练却正面回怼他
- 汀说|《守望先锋》揭秘万圣节皮肤背后故事，邪恶势力与天堂神灵的对抗
- 参考消息网|美两军种大幅调整火力部署 美媒：为在印太地区对抗中国
- 北京爱德彤美超音速水光 轻松对抗多种肌肤难题
- 美容|这些品牌的美白补水精华液，有效对抗黑色素沉淀，让肌肤更亮白
- 说明书|银行间债市发布示范文本推动投资人保护机制落地