Python爬虫携带Cookie，session会话保持，对于需要登录才能抓数据的处理方式

男娘i 2023-07-06 15:57 11阅读 0赞

在做爬虫时，有的网站必须先登录才能访问到页面，爬这样的网页，就需要像请求中插入Cookie值，下面介绍3种方式

### 方式一：将Cookie插入Headers请求头 ###

1，先登录成功一次，获取到携带登录信息的Cookie（需要手动）

拿CSDN举例，登录成功 -> 个人主页 -> 打开控制台 -> 刷新页面 -> 看到以自己用户名命名的文件 -> 复制cookie

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70][]

2，携带cookie发请求

需要用到requests模块的get请求

> import requests
> 
> headers=\{
> 
>  'Cookie':'复制页面文件里的cookie值'
> 
> \}
> 
> html=requests.get(url='',headers=headers).text

### 方式二：Cookies直接作为requests方法的参数 ###

方式二与方式一都是通过携带Cookie来发请求，方式二直接调用requests的cookies参数，但是要求cookies是一个字典类型，所以要对从网上复制下来的cookie值进行一些处理，cookie中都是键值对的形式，如：

uuid\_tt\_dd=10\_19035893370-1578805336439-452978; dc\_session\_id=10\_1578805336439.387381;

我们要将这样的一串字符串做成字典的形式首先要将它以“; ”分隔，注意两个值直接不仅有；符号，还有一个空格，所以是；+空格。分隔之后得到的格式为：键=值 ，再以=号分隔，取\[0\]为键，\[1\]为值，如下：

> import requests
> 
> cookies="从网上复制的cookie值"
> 
> cookies\_dict=\{\}
> 
> for i in cookies.split("; ")：
> 
>    cookies\_dict\[i.splict('=')\[0\]\] = i.splict('=')\[1\]
> 
> html=requests.get(url='',cookies=cookies\_dict\}

### 方式三：session会话保持 ###

request模块提供了session类，来实现客户端和服务端的会话保持，操作方法如下：

1.实例化session对象

2.使用session.post()模拟登陆，此时将得到cookie，并保存到session中

3.再使用session.post()或session.get()方法请求页面时，不会提示需要登录，因为上一步已经将cookie保存到会话中了

### 人人网案例： ###

首页URL：[http://www.renren.com/][http_www.renren.com]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 2][]

使用requests模拟登录人人网，获取请求的地址action：[http://www.renren.com/PLogin.do][http_www.renren.com_PLogin.do]

name="email"，password="password"

使用session的posts方法做一次登录请求，将cookie保存在session会话里。

如下：

> import requests
> 
>     url='http://www.renren.com/PLogin.do'
>     session=requests.session()
>     data={
>           'email':'',
>           'password':''
>     }
>     session.post(url=url,headers=headers,data=data)
>     html=se.get(url=url,headers=headers).text

**提示：现在很多网站都做了验证码机制，使用以上的方式可能行不通。**

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/2020022012070921.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3,size_16,color_FFFFFF,t_70
[http_www.renren.com]: http://www.renren.com/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200220145018652.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/2020022014501027.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3,size_16,color_FFFFFF,t_70
[http_www.renren.com_PLogin.do]: http://www.renren.com/PLogin.do