用LSTM生成文本时如果在输入加了embedding的话需要对target进行同样的变换再计算损失吗
标准做法是LSTM输出一个d维向量,和d维embedding内积然后softmax归一化。设
是LSTM某timestep的输出,
是词
的embedding (不必和输入embedding一样),则 【用LSTM生成文本时如果在输入加了embedding的话需要对target进行同样的变换再计算损失吗】
推荐阅读
- 微博目前已经支持文本,图片,位置分享,为啥没有语音和视频呢微博的pm肯定想过这两种微博形态,但迟迟不做的原因到底是啥。是语音和视频不符合产
- 关于图片里的文本识别,哪些特征相对有效
- 选科|三大主科成提分关键,选科策略要重视!2021新高考注意:中上游考生成炮灰
- 可以通过伪随机生成真实的地球吗
- 数独设计的原理是啥
- 示范文本|国企党委前置研讨规程落地
- 示范文本|国企党委前置研讨规程落地,南通推动制定相关规范
- 在网站上爬取大量纯文本信息,用啥语言比较好
- 怎样优雅地使用知乎的富文本编辑器
- 为啥新浪微博会吞掉我的富文本格式呢
