庭审录播爬虫

男娘i 2022-12-09 11:59 265阅读 0赞

### 庭审录播爬虫 ###

*  一、庭审直播网
 *  二、爬取对象
 *  三、爬取分析
 *   *  （一）视频地址获取
     *  （二）视频文件
 *  四、 视频下载
 *  五、成果
 *  六、问题

# 一、庭审直播网 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B5dGhvbl9fcmVwb3J0ZWQ_size_16_color_FFFFFF_t_70_pic_center]

# 二、爬取对象 #

![在这里插入图片描述][20200922145834101.png_pic_center]  
庭审公开网的内容包括直播与录播  
直播没有办法爬，只能看的时候进行录制  
所有选定的目标为录播

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B5dGhvbl9fcmVwb3J0ZWQ_size_16_color_FFFFFF_t_70_pic_center 1]

# 三、爬取分析 #

## （一）视频地址获取 ##

首先录播视频的加载方式为点击查看更多后进行动态进行新内容的加载

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B5dGhvbl9fcmVwb3J0ZWQ_size_16_color_FFFFFF_t_70_pic_center 2]  
加载中url并不变化  
其中case\_list中的就是视频的地址  
![在这里插入图片描述][20200922150248785.png_pic_center]  
不点击see more不会加载后续内容

因而此处使用selenium进行模拟点击

## （二）视频文件 ##

首先通过以下元素交互进入具体案件的庭审录播  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B5dGhvbl9fcmVwb3J0ZWQ_size_16_color_FFFFFF_t_70_pic_center 3]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B5dGhvbl9fcmVwb3J0ZWQ_size_16_color_FFFFFF_t_70_pic_center 4]

有的视频文件有的直接由视频的地址.mp4，可以直接下载，  
![在这里插入图片描述][2020092215245284.png_pic_center]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B5dGhvbl9fcmVwb3J0ZWQ_size_16_color_FFFFFF_t_70_pic_center 5]

但是这种一般内含了一个网页  
![在这里插入图片描述][20200922152608539.png_pic_center]

然而大多数是没有的，只有跳转的url  
![在这里插入图片描述][20200922152808419.png_pic_center]

但是其中的在调试中可以发现，点击播放时会出现.m3u8文件；而通过src中的url进入时不需要点击播放即可找到.m3u8文件，因而获取属性src中url，然后通过requests模块快速进行.m3u8文件的地址的查找。

import requests
    r = requests.get("http://player.videoincloud.com/vod/9314083?src=gkw&cc=1")
    print(r.text)

![在这里插入图片描述][20200922154256390.png_pic_center]  
因此，selenium只要找到属性src的值即可

# 四、 视频下载 #

找到m3u8文件后即可使用ffmpeg进行下载，此处为了下载速度更快使用了  
anwenzen的M3u8Download，进行了适合windows平台的修改

# 五、成果 #

该项目已经上传到github上，链接: [trial\_recording\_and\_broadcasting][trial_recording_and_broadcasting].  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B5dGhvbl9fcmVwb3J0ZWQ_size_16_color_FFFFFF_t_70_pic_center 6]

# 六、问题 #

没有直接下载MP4，后续会进行增加，从而不用进行m3u8的下载，而是直接下载MP4,此外m3u8文件的下载出现大幅度的失误即下载后的视频比应有的视频少了很多

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B5dGhvbl9fcmVwb3J0ZWQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/bad24d0e58514f6c8a474b79bf242527.png
[20200922145834101.png_pic_center]: /images/20221123/66d3b113da5f47db90e25a3fc08bdf8e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B5dGhvbl9fcmVwb3J0ZWQ_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/eb9695222b8545c6b2cc29a626115bde.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B5dGhvbl9fcmVwb3J0ZWQ_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/139ff402c7cf4d71a6656d2066ec4386.png
[20200922150248785.png_pic_center]: /images/20221123/a09fc43bbf85495fb5df5c76e5343e5e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B5dGhvbl9fcmVwb3J0ZWQ_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/4fd44222e8604fe8947fc3e2492a01ef.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B5dGhvbl9fcmVwb3J0ZWQ_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/1d8b572593a640c2bf0850ecaca228a7.png
[2020092215245284.png_pic_center]: /images/20221123/71acfcb2bd214bb58b2cb6a0cc44d6c7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B5dGhvbl9fcmVwb3J0ZWQ_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221123/42e08a4519b6445c9a3b3f2622684643.png
[20200922152608539.png_pic_center]: /images/20221123/092fec614e0f4670a1f87e43c53eddee.png
[20200922152808419.png_pic_center]: /images/20221123/215ecdca3b6143cbb3b129932b43b120.png
[20200922154256390.png_pic_center]: /images/20221123/9c141a3bccf143f7ad8a076f224c1441.png
[trial_recording_and_broadcasting]: https://github.com/reporter-law/trial_recording_and_broadcasting
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3B5dGhvbl9fcmVwb3J0ZWQ_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221123/ce582f5757924b86be4056fccdb9721b.png