Spark 协同过滤（CF）如何将一直为Long类型的user转换为Rating中要求的int类型

电玩女神 2023-01-10 14:48 84阅读 0赞

参考文章：[Spark 协同过滤（CF）如何将一直为Long类型的user转换为Rating中要求的int类型 （测试通过）][Spark _CF_Long_user_Rating_int_]

> /\*\*  
> \* **问题：**  
> \*      在对数据进行训练时，Rating要求的是int,int,double，但是现有的数据是long,string,double类  
>        型，使用toInt进行转换时依然会报错，这是因为long类型转换成int类型已经超出了int的最大值。  
> \*  
> \* **解决思路：**  
> \*      创建两张映射表，将long类型的字段映射成int类型(使用row\_number()添加自增序列)，然后拿映射的  
> \*      字段进行训练，训练完成后，再将映射的字段转换成原有字段，而后进行推荐。  
> \*  
> \*/

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xldnlfY3Vp_size_16_color_FFFFFF_t_70][]

**创建userid\_mapping映射表**

insert overwrite table userId_mapping
    select
    user_id,
    ROW_NUMBER() OVER(order by user_id) user_id_mapping
    from
    (select distinct user_id from user_browse_cation) t

**创建newsNumber\_mapping映射表**

insert overwrite table newsNumber_mapping
    select
    news_number,
    ROW_NUMBER() OVER(order by user_id) news_number_mapping
    from
    (select distinct news_number from user_browse_cation) t

总结：整体的思路就是做一个映射表，将输入到ALS的数据提前转换为int类型的数据，之后进行预测，预测后的数据在转换回原来的数据内容即可。

[Spark _CF_Long_user_Rating_int_]: https://blog.csdn.net/lukabruce/article/details/84816981
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xldnlfY3Vp_size_16_color_FFFFFF_t_70]: /images/20221119/9dc8b693c274468e8099a2fa5f298518.png