排序层-深度模型-2016：Deep Crossing模型【经典的Embedding+MLP模型结构】【MLP采用“多层残差网络”结构】【与Deep&Cross不是同一个模型】

落日映苍穹つ 2023-09-28 17:35 36阅读 0赞

[《论文地址：Deep Crossing: Web-Scale Modeling without Manually Crafted Combinatorial Features》][Deep Crossing_ Web-Scale Modeling without Manually Crafted Combinatorial Features]

![在这里插入图片描述][4c410cb9839d46aea50e219a96a41afb.png_pic_center]  
![在这里插入图片描述][2b53d8d1e7ec44c789ae8aa0d5ab8c63.png_pic_center]  
如果说AutoRec模型是将深度学习的思想应用于推荐系统的初步尝试，那么 微软于2016年提出的Deep Crossing模型就是一次深度学习架构在推荐系统中 的完整应用。

虽然自2014年以来，就陆续有公司透露在其推荐系统中应用了深 度学习模型，但直到Deep Crossing模型发布的当年，才有正式的论文分享了完 整的深度学习推荐系统的技术细节。

相比AutoRec模型过于简单的网络结构带来 的一些表达能力不强的问题，Deep Crossing模型完整地解决了从特征工程、稀疏向量稠密化、多层神经网络进行优化目标拟合尊一系列深度学习在推荐系统中的 应用问题，为后续的研究打下了良好的基础。

## 一、Embedding+MLP模型的结构 ##

MLP（Multilayer Perceptron）是多层感知机的缩写。感知机是神经元的另外一种叫法，所以多层感知机就是多层神经网络。

![在这里插入图片描述][91fc813c72024db8adcea48ed461f5ef.png_pic_center]  
![在这里插入图片描述][c0883bb426c4448ebc754fe02221e91f.png_pic_center]

## 二、获取用户特征、物品特征 ##

![在这里插入图片描述][cc7dddde94bb45fdbd4865fd414296be.png_pic_center]

*  物品特征可以从原始数据中获取到；
 *  用户特征可能需要二次的分析和加工才能得到；

![在这里插入图片描述][e3a6f1090f9443da9ae494a0b005062a.png_pic_center]

![在这里插入图片描述][c2863f5d30794e6ab3d818ecd624ff2d.png_pic_center]

## 三、Deep Crossing模型的应用场景 ##

Deep Crossing模型的应用场景是微软搜索引擎Bing中的搜索广告推荐场景。

用户在搜索引擎中输入搜索词之后，搜索引擎除了会返回相关结果，还会返回与 搜索词相关的广告，这也是大多数搜索引擎的主要赢利模式。尽可能地增加搜索 广告的点击率，准确地预测广告点击率，并以此作为广告排序的指标之一，是非 常重要的工作，也是Deep Crossing横型的优化目标。

针对该使用场景，微软使用的特征如表3-1所示，这些特征可以分为三类：

*  一类是可以被处理成one-hot或者multi-hot向量的类别型特征，包括用户搜索词 (query)、广告关键词(keyword)、广告标题(title)、落地 页 ( landing page)、 匹配类型(match type)；
 *  一类是数值型特征，微软称其为计数型(counting)特征, 包括点击率、预估点击率(click prediction );
 *  一类是需要进一步处理的特征，包 括广告计划(campaign )、曝光样例(impression )、点击样例(click)等。严格 地说，这些都不是独立的特征，而是一个特征的组别，需要进一步处理。例如， 可以将广告计划中的预算(budget)作为数值型特征，而广告计划的id则可以作 为类别型特征。

![在这里插入图片描述][e1633420beba496bb71a36821c1e5919.png_pic_center]

*  类别型特征可以通过one-hot或 multi-hot编码生成特征向量，
 *  数值型特征则 可以直接拼接进特征向量中，

在生成所有输入特征的向量表达后，Deep Crossing 模型利用该特征向量进行CTR预估。

深度学习网络的特点是可以根据需求灵活 地对网络结构进行调整，从而达成从原始特征向量到最终的优化目标的端到端的 训练目的。

## 三、Deep Crossing模型的网络结构 ##

为完成端到端的训练，Deep Crossing模型要在其内部网络中解决如下问题：

*  (1 )离散类特征编码后过于稀疏，不利于直接输入神经网络进行训练，如何 解决稀疏特征向量稠密化的问题。
 *  ( 2 ) 如何解决特征自动交叉组合的问题。
 *  ( 3 ) 如何在输出层中达成问题设定的优化目标。

Deep Crossing模型分别设置了不同的神经网络层来解决上述问题。

Deep Crossing 从下到上可以分为 5 层，分别是 Feature 层、Embedding 层、Stacking 层、MLP 层和 Scoring 层（如下图）。用于广告推荐。  
![在这里插入图片描述][5949cfa89f1b466781609dd016199db5.png_pic_center]

*  **Feature层**：也叫特征输入层（最底层），作为整个模型的输入。Feature有两种情况第一种是连接Embedding层、第二种是直接连接Stacking层，主要区别在于：Feature \#1代表的是类别型特征经过One-hot编码后生成的特征向量，而Feature \#2代表的是数值型特征。One-hot特征由于稀疏性，不能直接输入到后续的神经网络中进行训练，所以需要通过连接到Embedding层的方式，将其转换成比较稠密的Embedding向量。
 *  **Embedding层**：是为了把稀疏的One-hot向量转换成稠密的Embedding向量而设置的，需要注意的是Embedding层并不是全部连接起来的，而是每一个特征对应一个Embedding层，不同Embedding层之间互不干涉。一般来说，Embedding向量的维度应远小于原始的稀疏特征向量，几十到上百 维一般就能满足需求°这里补充一点，图 3-6中的Feature\#2实际上代表了数值 型特征，可以看到，数值型特征不需要经过Embedding层，直接进入了 Stacking层。
 *  **Stacking层**：中文名堆叠层也叫连接（Concatenate）层，作用是把不同的Embedding特征和数值型特征拼接在一起，形成新的包含全部特征的特征向量，该层通常也 被称为连接(concatenate)层。
 *  **Multiple Residual Units层（MLP层）**：该层的主要结构是多层感知机，相比标准的以 感知机为基本单元的神经网络，Deep Crossing采用的是多层残差网络 ( Multi-Layer Residual Network ) 作为MLP的具体实现。最著名的残差网络是在 ImageNet大赛中由微软研究员何恺明提出的152层残差网络。在推荐模型中的 应用，也是残差网络首次在图像识别领域之外的成功推广。MLP层的特点是全连接，不同层的神经元两两之间都有连接。通过多层残差网络对特征向量各个维度进行充分的交叉组合，使模型能够抓 取到更多的非线性特征和组合特征的信息，进而使深度学习模型在表达能力上较 传统机器学习模型大为增强。
 *  **Scoring层**：也叫输出层，就是为了拟合优化目标而存在的。深度学习最终要预测的目标就是一个分类的概率。如果是点击率预估就是一个二分类问题，那我们就可以采用逻辑回归作为输出层神经元，而如果是类似图像分类这样的多分类问题，我们往往在输出层采用softmax这样的多分类模型。

总结：对于类别特征，先利用Embedding层进行特征稠密化，再利用Stacking层连接其他特征，输入MLP的多层结构，最后用Scoring层预估结果。

## 三、Deep Crossing模型对特征交叉方法的革命 ##

从目前的时间节点上看，Deep Crossing模向是平淡无奇的，因为它没有引入 任何诸如注意力机制、序列模型等特殊的模型结构，只是采用了常规的 “Embedding+多层神经网络”的经典深度学习结构。

但从历史的尺度看，Deep Crossing模型的出现是有革命意义的。

Deep Crossing模型中没有任何人工特征工 程的参与，原始特征经Embedding后输入神经网络层，将全部特征交叉的任务交给模型。

相比之前介绍的FM、FFM模型只具备二阶特征交叉的能力，Deep Crossing模型可以通过调整神经网络的深度进行特征之间的“深度交叉”，这也 是 Deep Crossing名称的由来。

--------------------

参考资料：  
[推荐系统如何用TensorFlow实现经典的深度学习模型(Embedding+MLP)][TensorFlow_Embedding_MLP]  
[【王喆-推荐系统】模型篇-(task4)Embedding+MLP模型][-_-_task4_Embedding_MLP]  
[推荐系统如何用TensorFlow实现经典的深度学习模型(Embedding+MLP)][TensorFlow_Embedding_MLP]

[Deep Crossing_ Web-Scale Modeling without Manually Crafted Combinatorial Features]: https://dl.acm.org/doi/abs/10.1145/2939672.2939704
[4c410cb9839d46aea50e219a96a41afb.png_pic_center]: https://img-blog.csdnimg.cn/4c410cb9839d46aea50e219a96a41afb.png#pic_center
[2b53d8d1e7ec44c789ae8aa0d5ab8c63.png_pic_center]: https://img-blog.csdnimg.cn/2b53d8d1e7ec44c789ae8aa0d5ab8c63.png#pic_center
[91fc813c72024db8adcea48ed461f5ef.png_pic_center]: https://img-blog.csdnimg.cn/91fc813c72024db8adcea48ed461f5ef.png#pic_center
[c0883bb426c4448ebc754fe02221e91f.png_pic_center]: https://img-blog.csdnimg.cn/c0883bb426c4448ebc754fe02221e91f.png#pic_center
[cc7dddde94bb45fdbd4865fd414296be.png_pic_center]: https://img-blog.csdnimg.cn/cc7dddde94bb45fdbd4865fd414296be.png#pic_center
[e3a6f1090f9443da9ae494a0b005062a.png_pic_center]: https://img-blog.csdnimg.cn/e3a6f1090f9443da9ae494a0b005062a.png#pic_center
[c2863f5d30794e6ab3d818ecd624ff2d.png_pic_center]: https://img-blog.csdnimg.cn/c2863f5d30794e6ab3d818ecd624ff2d.png#pic_center
[e1633420beba496bb71a36821c1e5919.png_pic_center]: https://img-blog.csdnimg.cn/e1633420beba496bb71a36821c1e5919.png#pic_center
[5949cfa89f1b466781609dd016199db5.png_pic_center]: https://img-blog.csdnimg.cn/5949cfa89f1b466781609dd016199db5.png#pic_center
[TensorFlow_Embedding_MLP]: https://blog.csdn.net/sinat_31854967/article/details/124018562
[-_-_task4_Embedding_MLP]: https://developer.aliyun.com/article/895550