CTR预估中怎么样加入图片特征图片特征咋提取

最近在做这个方向的工作,调研了一些文章,如下:
Image Feature Learning for Cold Start Problem in Display Advertising 这是15年腾讯发表在ijcai15的文章,是较早将图像深度特征应用于广告CTR预估的工作之一,文章中的想法分为两步:
第一步:利用CNN,实现从原始图片到用户点击情况的端到端的图像特征学习第二步:上一步训练好的CNN用于抽取与点击率相关的图像特征,结合广告属性的特征训练LR等模型来预估广告点击率在第一步中,因为处理的都是人工设计的广告物料,相对于imagenet简单且噪声小,若采用过大的模型会导致过拟合,所以文章设计了如下的结构:100*100图像输入 → 4层conv+Relu+max pooling → 3层FC → 二分类softmax(点击率)
CTR预估中怎么样加入图片特征图片特征咋提取

文章对22万张训练集图片进行了数据增强,包括缩放和随机裁剪,对3万张测试集图片随机裁剪10次,将输出概率均值作为预测结果。最后结果如下:左边是只有图片特征,右边为图片特征加广告特征,Feature Learning相较于其他几种方法有较为显著的提升。
CTR预估中怎么样加入图片特征图片特征咋提取

Deep CTR Prediction in Display Advertising 是16年阿里发表在ACM MM16的工作,特征提取与点击率预估整合在一起,end to end训练。
左侧的卷积网络用来提取图像特征,结构类似于 VGG16,是一个17层的深层卷积神经网络。因为网络结构较为复杂,文章先用图像分类任务来解决CNN的预训练的问题。右侧是全连接层,输入层是 one-hot embedding,用于训练广告基础特征,其中用到了ReLu做非线性变换。将两侧得到的各128维向量concat起来,经过一个BN层和两个FC层,输出softmax二分类CTR预估中怎么样加入图片特征图片特征咋提取

CTR预估中怎么样加入图片特征图片特征咋提取



结果如下:
CTR预估中怎么样加入图片特征图片特征咋提取


Image Matters: Visually modeling user behaviors using Advanced Model Server 是阿里发表在arxiv的工作,文章的创新点主要有两个,
物料侧广告图像不仅仅用于表征广告,也用于用户侧建模,基于用户历史点击过的图片(user behavior images)来建模用户的视觉偏好。图片特征引入的大数据量成为技术瓶颈。阿里团队为传统 PS(参数服务器) 的 server 也增加了「模型训练」功能,并称新结构为 Advanced Model Server(AMS)。模型和AMS架构如下,其中模型分三部分:
广告ID类Embedding特征(黑色部分)广告图像特征(粉色部分)用户视觉偏好(蓝色部分)concat之后经过三层FC,输出softmax二分类。
CTR预估中怎么样加入图片特征图片特征咋提取

AMS架构部分在下面这篇文章讲的很详细,移步:
一图胜千言: 解读阿里的Deep Image CTR Model实验结果如下:图像特征略微提升,但是添加用户点击图像的特征,边际效益不高
CTR预估中怎么样加入图片特征图片特征咋提取



■网友
可以参考阿里巴巴最近的工作:https://arxiv.org/pdf/1711.06505.pdf
联合使用用户交互过的图片(不光是图片id)和待预估的广告图片。由于要对图片进行建模,实现上有非常大的挑战,但是不是不可能做到,论文里也有较多的篇幅介绍如何实现。


推荐阅读