推荐模型-上下文感知-2015：FFM模型【在FM基础上引入特征域】【每个特征对应的不是唯一一个隐向量权重，而是一系列，与每个特征域都计算出一个隐向量权重】【FM：O(kn)；FFM：O(knf)】

男娘i 2023-10-02 13:31 18阅读 0赞

Yuchin Juan et al. “Field-aware Factorization Machines for CTR Prediction” in RecSys 2016.

https://github.com/rixwew/pytorch-fm

2015年，Criteo基于FM提出的FFM在多项CTR预估大赛中夺魁，并被Criteo、美团等公司深度应用在推荐系统、CTR预估等领域。

**FFM**算法，全名 Field-aware Factorization Machines ，整整比FM算法多了一个F！多出来的F意为Field

相比FM模型，FFM模型引入了特征域感知（field-aware）这个概念，使模型的表达能力更强了。  
![在这里插入图片描述][2e786b44a2104004954e9a701e69212f.png_pic_center]  
FM、FFM模型只具备二阶特征交叉的能力。Deep Crossing模型可以通过调整神经网络的深度进行特征之间的“深度交叉”，这也 是 Deep Crossing名称的由来。  
![在这里插入图片描述][32e8b4492c7e4439b5dfb2fd1523bdc8.png_pic_center]

(式 2-22 ) 是 FFM的数学形式的二阶部分。其与FM的区别在于隐向量由原 来 的 变 成 了 也 /2 ,这意味着每个特征对应的不是唯一一个隐向量，而是一组 隐向量。当税特征与税特征进行交叉时，税特征会从税的这一组隐向量中挑出与特征税的域心对应的隐向量％后进行交叉。同理，/ 2也会用与税的域方对应的隐向量进行交叉。

这里所说的域( field ) 具体指什么呢？简单地讲，“域”代表特征域，域内 的特征一般是采用one-hot编码形成的一段one-hot特征向量。例如，用户的性别 分为男、女、未知三类，那么对一个女性用户来说，采用one-hot方式编码的特 征向量为\[0,1,0\],这个三维的特征向量就是一个“性别”特征域。将所有特征域 连接起来，就组成了样本的整体特征向量。

下面介绍Criteo FFM的论文⑹中的一个例子，更具体地说明FFM的特点。 假设在训练推荐模型过程中接收到的训练样本如图2-11所示。  
![在这里插入图片描述][13d570dd40e7434aac230efeedb767b5.png_pic_center]  
其中，Publisher、Advertiser、Gender 是三个特征域，ESPN、NIKE、Male 分别是这三个特征域的特征值(还需要转换成one-hot特征)。

如 果 按 照 F M 的原理，特 征 ESPN、NIKE和 M ale都有对应的隐向量 WESPN，WNiKE，WMaie，那么ESPN特征与NIKE特征、ESPN特征与Male特征做交 叉的权重应该是WESPN , WNIKE和WESPN e WMale。其中，ESPN对应的隐向量WESPN在 两次特征交叉过程中是不变的。

而 在 FFM 中，ESPN与 NIKE、ESPN与 M ale交叉特殊的权重分别是 WESPN,A . WNIKE,P 和 WESPN,G • Malpo  
细心的读者肯定已经注意到，ESPN在与NIKE和 Male交叉时分别使用了不 同的隐向量WESPN,A和WESPN,G，这 是 由 于 N IK E和 M ale分别在不同的特征域 Advertiser(A)和 Gender(G)导致的。

在 FFM模型的训练过程中，需要学习〃个特征在7个域上的左维隐向量，参 数 数 量 共 九 个 。在训练方面，FFM的二次项并不能像FM那样简化，因此其 复杂度为kn2o 一

相比FM, FFM引入了特征域的概念，为模型引入了更多有价值的信息，使 模型的表达能力更强，但与此同时，FFM的计算复杂度上升到奶2 ,远大于FM的如。在实际工程应用中，需要在模型效果和工程投入之间进行权衡。  
![在这里插入图片描述][63571c78aee549f29854dbc4dbe391ac.png_pic_center]

## 从 POLY2到 FFM的模型演化过程 ##

![在这里插入图片描述][3ecfd0030bb8473c89b5476238a371ef.png_pic_center]  
![在这里插入图片描述][ba4ee2e9f086433aaaf6201f8f8ea44f.png_pic_center]

--------------------

参考资料：  
[RS笔记：传统推荐模型之FFM （引入特征域的概念） \[2015 Criteo\]][RS_FFM _ _2015 Criteo]  
[推荐系统召回四模型之二：沉重的FFM模型][FFM]  
[深入FFM原理与实践][FFM 1]  
[FFM模型详解][FFM 2]

[2e786b44a2104004954e9a701e69212f.png_pic_center]: https://img-blog.csdnimg.cn/2e786b44a2104004954e9a701e69212f.png#pic_center
[32e8b4492c7e4439b5dfb2fd1523bdc8.png_pic_center]: https://img-blog.csdnimg.cn/32e8b4492c7e4439b5dfb2fd1523bdc8.png#pic_center
[13d570dd40e7434aac230efeedb767b5.png_pic_center]: https://img-blog.csdnimg.cn/13d570dd40e7434aac230efeedb767b5.png#pic_center
[63571c78aee549f29854dbc4dbe391ac.png_pic_center]: https://img-blog.csdnimg.cn/63571c78aee549f29854dbc4dbe391ac.png#pic_center
[3ecfd0030bb8473c89b5476238a371ef.png_pic_center]: https://img-blog.csdnimg.cn/3ecfd0030bb8473c89b5476238a371ef.png#pic_center
[ba4ee2e9f086433aaaf6201f8f8ea44f.png_pic_center]: https://img-blog.csdnimg.cn/ba4ee2e9f086433aaaf6201f8f8ea44f.png#pic_center
[RS_FFM _ _2015 Criteo]: https://blog.csdn.net/qq_43827595/article/details/123142539
[FFM]: https://zhuanlan.zhihu.com/p/59528983
[FFM 1]: https://blog.51cto.com/u_15197658/2768823
[FFM 2]: https://blog.csdn.net/weixin_44441131/article/details/119827464