Seq2seq框架下的文本生成( 四 ) _Seq2seq框架

A Reinforced Topic-Aware Convolutional Sequence-to-Sequence Model for Abstractive Text Summarization

本文结构与上文相近，不过在融合主题信息的方式上有很大变化，此外引入RL方式来解决传统损失函数带来的问题，思路也非常值得借鉴。

文章插图

由上图可以看出，本文的主题信息不再和输入文本的embedding求和，而是先单独通过卷积编码，再和decoder的输入部分共同参与attention计算，通过两边的attention相加来融合文本embedding和主题信息；此外，还有一个概率生成模块(biased probability generation)负责进一步控制融合。
损失函数部分用到了强化学习中的SCST(self-critical sequence training) 。作者提到，传统teacher forcing算法目标是最小化每一步的极大似然损失，然而考虑到ROUGE这样衡量句子级准确度的验证算法，由于