python爬虫的请求模块

秒速五厘米 2023-10-05 16:20 119阅读 0赞

## 爬虫的请求模块 ##

### 1. urllib.request模块 ###

#### 1.1版本 ####

*  python2 ：urllib2、urllib
 *  python3 ：把urllib和urllib2合并,urllib.request
 *  这是python的一个内置模块，不需要下载

#### 1.2常用方法 ####

*  urllib.requset.urlopen(“网址”) 作用：向一个网址发起请求并获取响应
 *  字节流 = response.read()
 *  字符串流 = response.read().decode(‘utf-8’)
 *  urllib.request.Request(“网址”，headers=“字典” ) （urlopen()不支持User-Agent重构）

#### 1.3响应对象 ####

*  read():读取服务器响应的内容
 *  getcode():返回HTTP的响应码
 *  geturl()：返回实际数据的url（防止重定向问题）

### 2.urllib.parse ###

#### 2.1常用方法 ####

*  urlencode(“字典”)
 *  quote(“字符串”)

urllib.parse.urlencode()			#（括号里需要传递字典类型的对象）
    urllib.parse.quote()				#（括号里需要传递字符串类型的对象）

### 3. 请求方式 ###

*  GET 特点 ：查询参数在URL地址中显示
 *  POST
    
     *  在Request方法中添加data参数)
     *  data ：表单数据以bytes类型提交,不能是str

urllib.request.Request(url,data=data,headers=headers)

### 4.第三方库requests模块 ###

#### 4.1安装第三方库 ####

*  1.在DOS命令下输入：pip install requests
 *  2.在开发者工具中直接安装

#### 4.2 request常用方法 ####

*  requests.get（网址）

#### 4.3 响应对象response的方法 ####

*  response.text 返回unicode格式的数据(str)
 *  response.content 返回字节流数据(二进制)
 *  response.content.decode(‘utf-8’) 手动进行解码
 *  response.url 返回url
 *  response.encode() = ‘编码’

#### 4.4 requests设置代理 ####

*  使用requests添加代理只需要在请求方法中(get/post)传递proxies参数就可以了
 *  代理网站  
    西刺免费代理IP：http://www.xicidaili.com/  
    快代理：http://www.kuaidaili.com/  
    代理云:[http://www.dailiyun.com/][http_www.dailiyun.com]

#### 4.6 cookie ####

*  cookie ：通过在客户端记录的信息确定用户身份
 *  HTTP是一种无连接协议,客户端和服务器交互仅仅限于 请求/响应过程,结束后断开,下一次请求时,服务器会认为是一个新的客户端,为了维护他们之间的连接,让服务器知道这是前一个用户发起的请求,必须在一个地方保存客户端信息。

#### 4.7 session ####

*  session ：通过在服务端记录的信息确定用户身份 这里这个session就是一个指的是会话

#### 4.8 处理不信任的SSL证书 ####

什么是SSL证书？

*  SSL证书是数字证书的一种，类似于驾驶证、护照和营业执照的电子副本。因为配置在服务器上，也称为SSL服务器证书。SSL 证书就是遵守 SSL协议，由受信任的数字证书颁发机构CA，在验证服务器身份后颁发，具有服务器身份验证和数据传输加密功能  
    测试网站 [https://inv-veri.chinatax.gov.cn/][https_inv-veri.chinatax.gov.cn]
 *  处理方法：

# 在请求中加上verify参数为False
    request.get(url,verify=False)

[http_www.dailiyun.com]: http://www.dailiyun.com/
[https_inv-veri.chinatax.gov.cn]: https://inv-veri.chinatax.gov.cn/