解密网易云音乐评论js加密参数,实现分词处理制作词云图

末蓝、 2024-04-17 05:55 119阅读 0赞

# 前言: #

> 很多人都说网易云音乐的一条评论是一个故事, 细细一看的话, 你会发现有些评论确实很真， 很性情。  
> 抓取网易云音乐评论主要涉及了参数的加密问题，这篇博客主要是剖析一下如何进行参数的加密以及解密剖析  
> 这里使用的是java进行加密实现数据的抓取。

爬虫有三难：

*  登录难 如： 淘宝, 12306
 *  参数加密 如: 网易云音乐评论, 企查查, 天眼查,
 *  响应(内容)加密 如: 企查查, 天眼查

# 确立需求 #

获取“电灯胆”歌词评论， 然后对歌词进行分词处理，获取高频词，制作词云图等

这里主要涉及的的技术点有:

1.  F12的抓包以及快速定位链接
2.  网页debug js在爬虫中的使用
3.  爬虫参数加密的剖析过程
4.  java分词工具word的使用
5.  mysql 统计相同

# 先来看一下整体效果 #

图一 图二使用的是 [图悦][Link 1] 进行分词统计并且生成词云图  
http://www.picdata.cn/picdata/index.php\#  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70 1]  
图三使用的是java word 分词库进行分词, 结合数据库进行统计词频等生成的词云图  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70 2]

--------------------

# 具体步骤如下: #

### 步骤01: 我们随机选择一首歌曲进入页面, 拖到底部查看评论页面 ###

然后点击下一页, 网页会请求后台获取数据, 我们通过F12抓包可以知道链接地址以及参数等, 如下图:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70 3]

### 步骤02: 参看传递的参数, 如下图 ###

我们可以了解到  
url:https://music.163.com/weapi/v1/resource/comments/R\_SO\_4\_1379057027?csrf\_token=  
method: post  
content-type: application/x-www-form-urlencoded

params:必要参数  
encSecKey: 必要参数  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70 4]

### 步骤03: 解析参数来源 ###

从图一中可以知道发起请求的js是core\_97f1bfe….js?97f1bfe  
那么进入这个js查看其源码, 可以发现这个core\_xxxx.js的东西竟然是一个4万5千多行的文件  
不过不要慌, 如果真的去看完这个多代码都可以前端 js了, 我想这篇博客也是不知道猴年马月才可以写了  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70 5]

### 步骤04: 快速定位加密的js位置 ###

ctrl + f 搜索关键字 “encSecKey”  
可以知道了生成参数params encSecKey的参数位置了  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70 6]  
接着往上看两行代码

var bUP7I = window.asrsea(JSON.stringify(i8a), brF9w(["流泪", "强"]), brF9w(WZ4d.md), brF9w(["爱心", "女孩", "惊恐", "大笑"]));

发现是一个 window.asrsea的方法产生的一个对象bUP7I  
在这里留一个心眼, brF9w 这是一个方法, 传递了一些乱七八糟的参数, 但是我在断点了好多次都发现是这几个奇奇怪怪的参数, 非常有意思的网易云音乐呀…  
因此我们在这里可以理解为调用的window.asrsea()方法,  
第一个参数是一个字符串,=>因为看到了JSON.stringify()这个方法  
第二个参数是一个常量  
第三个参数是一个常量  
第四个参数是一个常量

### 步骤05: 找到五个核心方法(a b c d e) ###

接着我们ctrl + f 搜索关键字 “asrsea”  
如下图, 我们这个五个方法进行了深入的了解以及剖析, 就是这几个方法花了我一个星期的空闲时间, 主要是不理解机密, 捣腾了  
window.asrsea = d,  
window.ecnonasr = e  
可以了解到d方法赋值给window.asrsea, e赋值给window.ecnonasr

因此图四调用的window.asrsea, 实际上就是d方法

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70 7]

### 步骤06: debug核心方法d ###

在12896行打一个断点, 我们查看一下四个参数究竟是什么东东  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70 8]  
参数d:  
\{“rid”:“R\_SO\_4\_1379057027”,“offset”:“100”,“total”:“false”,“limit”:“20”,“csrf\_token”:""\}

参数e:  
010001

参数f:  
00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7

参数g:  
0CoJUm6Qyw8W8jud

关键的源码

结合步骤05的图解, 可以知道方法b是一个加密方法,方法d是一个参数组装方法,

细看方法d, 会发现调用了两次方法b, 也就是加密两次了, 第一次是对参数d, g加密, g是一个常量, 上面以及解析了, 第二次是对第一次机密的结果再次进行加密, 参数i是一个调用了a方法的16为随机数, 因此i也是可以理解为一个常量值, 通过debug, 就可以查到这个常量是什么了

接着再看 h.encSecKey = c(i, e, f),这行代码  
由于 i 可以理解为常量, e 传入d方法的时候也是常量, f 传入d方法的时候也是常量,  
因此可以理解为h.encSecKey也是一个常量, 我们只需要debug, 获取到一个h.encSecKey即可( 但是这个encSecKey和参数 i 需要 同一次debug出来的才可以, 否则有问题的…)

### 步骤07: java实现前端的加密算法(js方法b) ###

由于这里找了很多资料, 直接提供这个方法出来  
https://blog.csdn.net/bicheng4769/article/details/80811676  
https://zhidao.baidu.com/question/1819427615658816228.html

import javax.crypto.Cipher;
    import javax.crypto.spec.IvParameterSpec;
    import javax.crypto.spec.SecretKeySpec;
    import org.springframework.util.Base64Utils;
    
    /** * @description AESEncrypt加密工具 * @date 2019-08-24 23:51:19 * @author houyu for.houyu@foxmail.com */
    public class AESEncrypt { 
    
        public static String encrypt(String content, String sKey) { 
            /* function b(a, b) { var c = CryptoJS.enc.Utf8.parse(b) , d = CryptoJS.enc.Utf8.parse("0102030405060708") , e = CryptoJS.enc.Utf8.parse(a) , f = CryptoJS.AES.encrypt(e, c, { iv: d, mode: CryptoJS.mode.CBC }); return f.toString() } // 说明: 前段js没有使用填充模式, 默认使用了PKCS7Padding // // https://zhidao.baidu.com/question/1819427615658816228.html // CryptoJS.enc.Utf8.parse方法才可以将key转为128bit的。好吧，既然说了是多次尝试，那么就不知道原因了，后期再对其进行更深入的研究。 // 字符串类型的key用之前需要用uft8先parse一下才能用 // // 后端使用的是PKCS5Padding，但是在使用CryptoJS的时候发现根本没有这个偏移，查询后发现PKCS5Padding和PKCS7Padding是一样的东东，使用时默认就是按照PKCS7Padding进行偏移的 // // CryptoJS.AES >> 算法 // CBC >> 模式 // 0102030405060708 >> 偏移量 // // 由于CryptoJS生成的密文是一个对象，如果直接将其转为字符串是一个Base64编码过的，在encryptedData.ciphertext上的属性转为字符串才是后端需要的格式。 */
            try { 
                byte[] encryptedBytes;
                byte[] byteContent = content.getBytes("UTF-8");
                // 获取cipher对象，getInstance("算法/工作模式/填充模式")
                Cipher cipher = Cipher.getInstance("AES/CBC/PKCS5Padding");
                // 采用AES方式将密码转化成密钥
                SecretKeySpec secretKeySpec = new SecretKeySpec(sKey.getBytes(), "AES");
                // 初始化偏移量
                IvParameterSpec iv = new IvParameterSpec("0102030405060708".getBytes("UTF-8"));
                //cipher对象初始化 init（“加密/解密,密钥，偏移量”）
                cipher.init(Cipher.ENCRYPT_MODE, secretKeySpec, iv);
                //按照上面定义的方式对数据进行处理。
                encryptedBytes = cipher.doFinal(byteContent);
                return new String(Base64Utils.encode(encryptedBytes), "UTF-8");
            } catch (Exception e) { 
                e.printStackTrace();
            }
            return null;
        }
    
    }

### 步骤08: 验证js加密之后的内容与java加密之后的内容是否一致(方法b) ###

首先控制相同变量  
参数d:  
\{“rid”:“R\_SO\_4\_1379057027”,“offset”:“100”,“total”:“false”,“limit”:“20”,“csrf\_token”:""\}  
参数g:  
0CoJUm6Qyw8W8jud

浏览器控制台输入  
b(’\{“rid”:“R\_SO\_4\_1379057027”,“offset”:“100”,“total”:“false”,“limit”:“20”,“csrf\_token”:""\}’, ‘0CoJUm6Qyw8W8jud’)  
结果会报如下图错误![在这里插入图片描述][20190824235817405.png]  
因此我们需要先定义方法b, 直接把方法b的源码丢到控制台即可  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70 9]

后端java加密结果  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70 10]

至此 以及实现了java后端加密和js加密一致的内容, 接下来就是比较简单的了,看一下封装对应前段的几个方法即可

import java.util.HashMap;
    import java.util.Map;
    import javax.crypto.Cipher;
    import javax.crypto.spec.IvParameterSpec;
    import javax.crypto.spec.SecretKeySpec;
    import org.springframework.util.Base64Utils;
    
    /** * @description AESEncrypt加密工具 * @date 2019-08-24 23:51:19 * @author houyu for.houyu@foxmail.com */
    public class AESEncrypt { 
    
        /** * @description 对应网易云音乐的方法b * @date 2019-08-25 00:05:05 * @author houyu for.houyu@foxmail.com */
        public static String encrypt(String content, String sKey) { 
            /* function b(a, b) { var c = CryptoJS.enc.Utf8.parse(b) , d = CryptoJS.enc.Utf8.parse("0102030405060708") , e = CryptoJS.enc.Utf8.parse(a) , f = CryptoJS.AES.encrypt(e, c, { iv: d, mode: CryptoJS.mode.CBC }); return f.toString() } // 说明: 前段js没有使用填充模式, 默认使用了PKCS7Padding // // https://zhidao.baidu.com/question/1819427615658816228.html // CryptoJS.enc.Utf8.parse方法才可以将key转为128bit的。好吧，既然说了是多次尝试，那么就不知道原因了，后期再对其进行更深入的研究。 // 字符串类型的key用之前需要用uft8先parse一下才能用 // // 后端使用的是PKCS5Padding，但是在使用CryptoJS的时候发现根本没有这个偏移，查询后发现PKCS5Padding和PKCS7Padding是一样的东东，使用时默认就是按照PKCS7Padding进行偏移的 // // CryptoJS.AES >> 算法 // CBC >> 模式 // 0102030405060708 >> 偏移量 // // 由于CryptoJS生成的密文是一个对象，如果直接将其转为字符串是一个Base64编码过的，在encryptedData.ciphertext上的属性转为字符串才是后端需要的格式。 */
            try { 
                byte[] encryptedBytes;
                byte[] byteContent = content.getBytes("UTF-8");
                // 获取cipher对象，getInstance("算法/工作模式/填充模式")
                Cipher cipher = Cipher.getInstance("AES/CBC/PKCS5Padding");
                // 采用AES方式将密码转化成密钥
                SecretKeySpec secretKeySpec = new SecretKeySpec(sKey.getBytes(), "AES");
                // 初始化偏移量
                IvParameterSpec iv = new IvParameterSpec("0102030405060708".getBytes("UTF-8"));
                //cipher对象初始化 init（“加密/解密,密钥，偏移量”）
                cipher.init(Cipher.ENCRYPT_MODE, secretKeySpec, iv);
                //按照上面定义的方式对数据进行处理。
                encryptedBytes = cipher.doFinal(byteContent);
                return new String(Base64Utils.encode(encryptedBytes), "UTF-8");
            } catch (Exception e) { 
                e.printStackTrace();
            }
            return null;
        }
    
        /** 以下参数是js debug获取到的 */
        public static final String i = "C3Ba8sQUIHbPHC1Z";
        public static final String e = "";
        public static final String f = "";
        public static final String g = "0CoJUm6Qyw8W8jud";
        public static final String encSecKey = "7c23b7a80684cee814ecdc6252cc66e53a4df5890b1299783e5c575c709e7c8c22d98edc4074fc31b9bf7458e1ab6452c42fde55fcbd9b765f049da3809703686fc86b43ff757a2fa9eb77c0b04a51f02efb3e0ade116454561a6f2aefe89f6d611343383eaf643dce13b4ad1709ea2f8215f922c1a014d7fd79adcd0fa107a4";
    
        /** * @description 对应网易云音乐方法d, 其中参数d f g在外边定义好 * @date 2019-08-25 00:06:51 * @author houyu for.houyu@foxmail.com */
        public static Map<String, Object> methodD(String pageObject) { 
            String encText = encrypt(pageObject, g);
            encText = encrypt(encText, i);// C3Ba8sQUIHbPHC1Z
    
            // 这里就不必要调用方法c了,因为这里是一个固定值, 直接前段js debug出来即可
            Map<String, Object> paramMap = new HashMap<>(2);
            paramMap.put("params", encText);
            paramMap.put("encSecKey", encSecKey);
            return paramMap;
        }
    
        public static Map<String, Object> getParamMap(String rid, int pageIndex, int pageSize){ 
            String s = "{\"rid\":\"%s\",\"offset\":\"%s\",\"total\":\"false\",\"limit\":\"%s\",\"csrf_token\":\"\"}";
            s = String.format(s, rid, (pageIndex - 1) * pageSize, pageSize);
            return methodD(s);
        }
    
    }

具体源码在上面的git

https://github.com/HouYuSource/spider/blob/master/src/main/java/cn/shaines/spider/module/music/Music163Spider.java

*  代理池抓取
 *  多线程抓取

待完善的地方是：重试机制的建立, 也就是说某一页失败了,加入重新抓取队列中。

### 最后的话 ###

*  单个IP抓取一定数量之后就会被封IP,建议加上IP池(下面是封IP之后, 网页的评论列表都打不开了)  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70 11]
 *  网易后端限制了中间页数的获取, 也就是说大概有2/5获取不到的.  
    ![在这里插入图片描述][20190829194227471.png]

--------------------

## ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70 12] ##

我的CSDN:https://blog.csdn.net/JinglongSource  
我的博客:https://shaines.cn

[Link 1]: http://www.picdata.cn
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/9be9e40a17bc40a6a97277014c645e7a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/fbda392878954481916a27104bbd605f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/412512a9bad24e2280e71386cc20a9d2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/4a8111b319d54f529bcf2bb7c7e80246.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70 4]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/94cb748117cf42118871d2082757a31f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70 5]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/0661159763ea4812bd4be39f8e7d4a55.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70 6]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/05985d07f6224a4b9021ded20db76c93.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70 7]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/54947af1c0f34f3581d49200ef427d79.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70 8]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/0ddb0deef18d482ba5a2acd2be5c3194.png
[20190824235817405.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/2fe61fd0517d4f03b6ff3cbcf0e1fc9c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70 9]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/a91c6b55f4bf4ce799c0aed9f7e2c81b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70 10]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/567d42e4c7cb465aabecd06656816594.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70 11]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/4d53c02fd61d4141bf3fae8d3721aade.png
[20190829194227471.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/b9519bdf64314c0ebb537ea0ccf65804.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0ppbmdsb25nU291cmNl_size_16_color_FFFFFF_t_70 12]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/8827bd7243744d7ea61c3d06352088c2.jpg