爬虫学习——参数请求及请求头使用

骑猪看日落 2023-09-29 11:03 18阅读 0赞

**目录**

一. 带参数请求数据

二. 参数 params

三. 简析Request Headers

总结

爬虫文章专栏

--------------------

## 一. 带参数请求数据 ##

**1.1 什么是带参数请求数据**

**1）确定数据所在页面**

>  *  点开第0个请求（第0个请求⼀般都会是html），没有我们想要的评论信息。

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16][]

>  *  那么就到 XHR 中查找（小Tips：先把Network面板清空，再点击⼀下精彩评论的点击加载更多，看看有没有多出来的新XHR，多出来的那⼀个，就应该是和评论相关）

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 1][]

>  *   **技巧总结**

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 2][]

**2）确定数据所在位置**

>  点开这个请求的Preview，能够在 \['comment'\]\['commentlist'\] 里找到评论列表。列表的每⼀个元素都是字典，字典里键 rootcommentcontent 对应的值，就是我们要找的评论。

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 3][]

**3）确定数据所在页面链接**

> 点击请求的Headers栏：General中的Request URL，得到以下链接（图中位置，需要的话自己实操）

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 4][]

>  点开 Query String Parametres（查询字符串参数），里面的内容正是链接请求中所附带的参数。

**1.2 如何带参数请求数据**

>  点击精彩评论的点击加载更多按钮，此时Network会多加载出更多的XHR，主要关注Name为 fcg\_global\_comment\_h5… 的XHR。

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 5][]

>  分别点开它们的 Query String Parametres，会发现参数 pagenum 第⼀次点击加载更多的值为 1，第二第三次点击它的值就变成了 2 和 3 。

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 6][]

>  也就是说，pagenum=1 等于告诉服务器：我要歌曲信息列表第一页的数；pagenum=2：我要歌曲信息列表第二页的数据，以此类推 ...我们只需要写⼀个循环，每次循环都去更改pagenum的值，这样就能实现爬取好多好多精彩评论。

>  我们可以尝试这样做，实现这一点。备注：虽然这样能爬到我们的数据，但我并不推荐把所有的评论都爬取下来。一来是等待时间较长，二来虽然QQ音乐没有对爬虫做限制，但是我们也应该尽可能减少对服务器的压力。所以，循环不要超过5个。

> 以下我用爬取自己博客为例，给大家展示一下，代码实现如下：

--------------------

## 二. 参数 params ##

>  requests模块⾥的requests.get()提供了⼀个参数叫params，可以让我们⽤字典的形式，把参数传进去。

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 7][]

>  我们可以把Query String Parametres⾥的内容，直接复制下来，封装为⼀个字典，传递给params。（注意：要给他们打引号，让它们变字符串）

--------------------

## 三. 简析Request Headers ##

**3.1 什么是 Request Headers**

>  每⼀个请求，都会有⼀个Requests Headers，我们把它称作请求头。它⾥⾯会有⼀些关于该请求的基本信息，比如：这个请求是从什么设备什么浏览器上发出？这个请求是从哪个页面跳转而来？

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 8][]

>  *  **user-agent（用户代理）**会记录你电脑的信息和浏览器版本；
>  *  **origin（源头）**和**referer（引用来源）**则记录了这个请求，最初的起源是来自哪个页面。它们的区别是referer会⽐origin携带的信息更多些；

>  如果我们想告知服务器，我们不是爬⾍是⼀个正常的浏览器，就要去修改user-agent。 倘若不修改，那么这⾥的默认值就会是Python，会被浏览器认出来。⽽对于爬取某些特定信 
> 
> 息，也要求你注明请求的来源，即origin或referer的内容。

**3.2 如何添加 Request Headers**

> Requests模块允许我们去修改Headers的值。点击它的官方文档，搜索“user-agent”，你会看到：

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 9][]

import requests
    # 引用requests模块
    
    headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'}
    res_articles = requests.get('https://blog.csdn.net/community/home-api/v1/get-business-list?page=1&size=20&businessType=blog&orderby=&noMore=false&year=&month=&username=weixin_53919192',headers=headers)
    # 调用get方法，下载评论列表
    
    json_articles = res_articles.json()
    
    # 使用json()方法，将response对象，转为列表/字典
    list_title = json_articles['data']['list']
    # 一层一层地取字典，获取评论列表
    for article in list_title:
    # list_comments是一个列表，comment是它里面的元素
        print(article['title'])
        # 输出评论
        print('-----------------------------------')
        # 将不同的评论分隔开来

> 如上，只需要封装一个字典就好了。和写params非常相像。
> 
> 而修改`origin`或`referer`也和此类似，一并作为字典写入headers就好。就像这样：

--------------------

## 总结 ##

程序员写代码并不是从0开始的，我们也是需要借助多个模板拼接，使得代码能够实现我们的想法，而且也并非默写出来，毕竟学习编程是开卷学习，开卷使用，本文介绍了网页爬虫带参数请求数据的具体需求与步骤，**而且应该注意的是本文的代码不一定一直具有有效性，毕竟[爬虫][Link 1]与防爬也在一直进步，但本文爬虫的模板概念的介绍还是一直有效的，**希望对你有帮助，加油，希望你我一同走进爬虫的世界~~

欢迎大家留言一起讨论问题~~~

--------------------

**注：本文是参考风变编程课程资料（已经授权）及部分百度资料整理所得，系博主个人整理知识的文章，如有侵权，请联系博主，感谢~**

--------------------

## **爬虫文章专栏** ##

[https://blog.csdn.net/weixin\_53919192/category\_11748211.html?spm=1001.2014.3001.5482![icon-default.png_t_M3C8][]https://blog.csdn.net/weixin\_53919192/category\_11748211.html?spm=1001.2014.3001.5482][https_blog.csdn.net_weixin_53919192_category_11748211.html_spm_1001.2014.3001.5482_icon-default.png_t_M3C8_https_blog.csdn.net_weixin_53919192_category_11748211.html_spm_1001.2014.3001.5482]

[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/6245d941b9a94d6cbfc0176edc7f6d47.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/d93a2165e23245dd8f4112108bc5595e.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 2]: https://img-blog.csdnimg.cn/d4766c818f6c42069ebce2b6b3d0e5be.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 3]: https://img-blog.csdnimg.cn/9f92de627ea546c4907f971999468590.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 4]: https://img-blog.csdnimg.cn/438eac1d020d46a886e84e13ec0b40ec.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 5]: https://img-blog.csdnimg.cn/9ddfccaab971400095a8eeff6c4ef50b.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 6]: https://img-blog.csdnimg.cn/21c0fe3bd1e64787ac38099993abab9e.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 7]: https://img-blog.csdnimg.cn/a81b2bcaee4b41c4aa677082960c512d.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 8]: https://img-blog.csdnimg.cn/b1dbd4fd50e84221a8df9d4800ac57b7.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 9]: https://img-blog.csdnimg.cn/4022db3783734c1ca7464403b9d82c17.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[Link 1]: https://so.csdn.net/so/search?q=%E7%88%AC%E8%99%AB&spm=1001.2101.3001.7020
[icon-default.png_t_M3C8]: https://csdnimg.cn/release/blog_editor_html/release2.0.9/ckeditor/plugins/CsdnLink/icons/icon-default.png?t=M3C8
[https_blog.csdn.net_weixin_53919192_category_11748211.html_spm_1001.2014.3001.5482_icon-default.png_t_M3C8_https_blog.csdn.net_weixin_53919192_category_11748211.html_spm_1001.2014.3001.5482]: https://blog.csdn.net/weixin_53919192/category_11748211.html?spm=1001.2014.3001.5482