咋形象理解embedding这个概念( 二 )
如上图 1 所示主要思想是把softmax的前一层的输出作为user的embedding，而softmax层中的权重矩阵的每一行向量作为video的embedding，这样在模型的部署过程中，就没有必要部署整个神经网络来完成从原始特征向量到最终输出的预测过程，只需要将User Embedding和video Embedding存储到线上内存数据库，通过内积运算再排序的方法就可以得到video的排名，这大大加快了召回效率。
这里再用图示的方法具体介绍一下哪个是user embedding，哪些是video embedding，为什么可以向量内积召回，为什么内积得到的值大小就可以反映出用户对视频的兴趣程度。如上图所示，把图1 中的倒数第二层和最后一层softmax单独拿出来分析，实际上图 1 中最后一个softmax是一个加了softmax函数的全连接层，该全连接层（图中softmax）的神经元个数和需要分类的视频个数相同，都为T，softmax函数对该全连接层（图中softmax）的输出再进行归一化得到每个视频对应的概率值。
这个全连接层（图中softmax）的每一个神经元都对应有上一层全连接层（图中relu）输出的权重向量，为上图中W权重矩阵的每一行，而这每一行权重向量就是video embedding，个数和神经元的个数相同都是视频库中视频的个数T，上一层全连接层（图中relu）的输出为user embedding，是上图中的X。因此通过内积user embedding和video embedding其实得到的正是未经过softmax函数归一化的每个视频的预测值，从一定程度上反映了预测概率的大小。
因此user embedding和video embedding内积值越大，则反应该用户对该视频感兴趣的概率值大，所以可以提前将User Embedding和video Embedding存储到线上内存数据库，通过内积运算再排序的方法得到video的排名，以此来提高召回速度和效率。
总结一句话就是，为了提高召回速度和效率，相当于把召回模型的inference转换成了通过embedding向量内积方法快速得到用户对视频得分的方法。从这个例子可以看出embedding的应用之一：通过计算用户和物品的Embedding相似度，Embedding可以直接作为推荐系统的召回层或者召回方法之一。
其实像embedding的这种应用非常多，像微软的一篇论文Item2Vec: Neural Item Embeddingfor Collaborative Filtering，专门训练item的embedding，然后通过计算item之间的embedding相似度来做基于物品的协同过滤，实际上通过这种方式也可以缩小推荐候选物品的范围，用来直接做物品的相似推荐。
而专门学习item embedding的方法还有很多，比如通过graph embedding方式的deepwalk，LINE，Node2vec和SDNE等等。因此再结合这些embedding的应用例子，再对embedding在召回方面的应用浓缩总结一下就是：通过计算用户和物品或物品和物品的Embedding相似度，来缩小推荐候选库的范围。
除此之外，通过总结目前主流的ctr预估模型比如wide\u0026amp;deep，deepFM，PNN和DCN等等可以发现，embedding还有一个非常普遍的应用就是实现高维稀疏特征向量向低维稠密特征向量的转换，通俗来讲就是把离散特征经过独热编码后的稀疏向量表达转化成稠密的特征向量表达。
或者从另一个角度看，embedding本身就是对事物的多维度特征表示，因此在ctr预估模型中，训练好的embedding可以当作输入深度学习模型的特征，比如FNN利用FM预训练好的embedding来当作模型的输入，然后通过特征交叉操作比如多层感知机得到这些embedding的交叉特征。具体的交叉特征分析以及有关推荐系统中对于特征的处理可以查看公众号中的特征处理系列文章。
有关深度学习方法中的embedding应用就介绍到这，这里再着重介绍一下最近学习的有关协同过滤的传统推荐方法中embedding思想的体现。
推荐阅读
- 学图像处理有哪些不错的书推荐
- 应该怎样理解会员服务的法律性质
- 端口到底是啥概念和ip之间有啥关系能形象+抽象的从技术角度描述一下吗
- 王祖蓝|妻子李亚男临盆在即，王祖蓝连夜赶火车睡卧铺，头发凌乱形象邋遢
- 读书读到3分之一的时候感觉很难理解，要不要继续
- 怎样简洁到位地让外国人理解中文互联网文化中的「屌丝」、「喷子」、「五毛」、「水军」、「公知」等词
- ActiveMQ、MQTT的方式进行Android消息推送，我的理解是否正确
- |嫦娥五号升空，探月IP形象首发，北京越野向“潮牌”转型
- 讲座|启东系统培训帮助老师和家长更好理解孩子
- 冯绍峰|冯绍峰古装照曝光，神情萎靡“熊猫眼”吓人，形象气质暴跌