Python之requests库

墨蓝 2023-09-28 13:09 23阅读 0赞

## 1. 基本使用 ##

[官网][Link 1]

### 1.1 安装 ###

pip install requests

### 1.2 response的属性以及类型 ###

`类型` ：models.Response

`r.text` : 获取网站源码

`r.encoding` ：访问或定制编码方式

`r.url` ：获取请求的url

`r.content` ：响应的字节类型

`r.status_code` ：响应的状态码

`r.headers` ：响应的头信息

### 1.3 示例： ###

#### 1.3.1 **get请求：** ####

import requests
    
    
    url = 'http://www.baidu.com'
    
    
    response = requests.get(url=url)
    
    # 一个类型和六个属性
    # Response类型
    print(type(response))
    
    # 设置响应的编码格式
    response.encoding = 'utf-8'
    
    # 以字符串的形式来返回了网页的源码
    print(response.text)
    
    # 返回一个url地址
    print(response.url)
    
    # 返回的是二进制的数据
    print(response.content)
    
    # 返回响应的状态码
    print(response.status_code)
    
    # 返回的是响应头
    print(response.headers)

#### 1.3.2 **get请求传递参数：** ####

import requests
    
    url = 'https://www.baidu.com/s'
    
    headers = {
        
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'
    }
    
    data = {
        
        'wd':'北京'
    }
    
    
    # url  请求资源路径
    # params 参数
    # kwargs 字典
    response = requests.get(url=url,params=data,headers=headers)
    
    content = response.text
    
    print(content)
    
    # 总结：
    # （1）参数使用params传递
    # （2）参数无需urlencode编码
    # （3）不需要请求对象的定制
    # （4）请求资源路径中的？可以加也可以不加

#### 1.3.3 **post请求，百度翻译：** ####

import requests
    
    url = 'https://fanyi.baidu.com/sug'
    
    headers = {
        
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'
    }
    
    data = {
        
        'kw': 'hello'
    }
    
    # url 请求地址
    # data 请求参数
    # kwargs 字典
    response = requests.post(url=url,data=data,headers=headers)
    
    content =response.text
    
    import json
    
    obj = json.loads(content,encoding='utf-8')
    print(obj)
    
    # 总结：
    # （1）post请求 是不需要编解码
    # （2）post请求的参数是data
    # （3）不需要请求对象的定制

#### 1.3.4 **代理请求** ####

import requests
    
    url = 'http://www.baidu.com/s?'
    
    headers = {
        
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36',
    }
    
    data = {
        
        'wd':'ip'
    }
    
    
    proxy = {
        
        'http':'212.129.251.55:16816'
    }
    
    response = requests.get(url = url,params=data,headers = headers,proxies = proxy)
    
    content = response.text
    
    with open('daili.html','w',encoding='utf-8')as fp:
        fp.write(content)

## 2. 真实网站模拟登录(仅学习使用) ##

注意修改账号、密码再进行测试

import requests
    
    # 这是登陆页面的url地址
    url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx'
    
    headers = {
        
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'
    }
    
    # 获取页面的源码
    response = requests.get(url=url, headers=headers)
    content = response.text
    
    # 解析页面源码  然后获取_VIEWSTATE   __VIEWSTATEGENERATOR
    from bs4 import BeautifulSoup
    
    soup = BeautifulSoup(content, 'lxml')
    
    # 获取该网站的隐藏域 _VIEWSTATE
    viewstate = soup.select('#__VIEWSTATE')[0].attrs.get('value')
    
    # 获取该网站的隐藏域 __VIEWSTATEGENERATOR
    viewstategenerator = soup.select('#__VIEWSTATEGENERATOR')[0].attrs.get('value')
    
    # 获取验证码图片
    code = soup.select('#imgCode')[0].attrs.get('src')
    code_url = 'https://so.gushiwen.cn' + code
    
    # 有坑
    # import urllib.request
    # urllib.request.urlretrieve(url=code_url,filename='code.jpg')
    # requests里面有一个方法 session（）  通过session的返回值 就能使用请求变成一个对象
    
    session = requests.session()
    # 验证码的url的内容
    response_code = session.get(code_url)
    # 注意此时要使用二进制数据  因为我们要使用的是图片的下载
    content_code = response_code.content
    # wb的模式就是将二进制数据写入到文件
    with open('code.jpg', 'wb')as fp:
        fp.write(content_code)
    
    # 获取了验证码的图片之后 下载到本地 然后观察验证码  观察之后 然后在控制台输入这个验证码 就可以将这个值给
    # code的参数 就可以登陆
    
    code_name = input('请输入你的验证码')
    
    # 点击登陆
    url_post = 'https://so.gushiwen.cn/user/login.aspx?from=http%3a%2f%2fso.gushiwen.cn%2fuser%2fcollect.aspx'
    
    data_post = {
        
        '__VIEWSTATE': viewstate,
        '__VIEWSTATEGENERATOR': viewstategenerator,
        'from': 'http://so.gushiwen.cn/user/collect.aspx',
        'email': '123456',
        'pwd': '123456',
        'code': code_name,
        'denglu': '登录',
    }
    
    response_post = session.post(url=url, headers=headers, data=data_post)
    
    content_post = response_post.text
    
    with open('gushiwen.html', 'w', encoding=' utf-8')as fp:
        fp.write(content_post)
    
    # 难点
    # （1） 隐藏域
    # （2） 验证码

## 3. 超级鹰打码平台 ##

![在这里插入图片描述][e18225f1d7b349a0a689b3f9d0b2ff0d.png]

import requests
    from hashlib import md5
    
    
    class Chaojiying_Client(object):
    
        def __init__(self, username, password, soft_id):
            self.username = username
            password = password.encode('utf8')
            self.password = md5(password).hexdigest()
            self.soft_id = soft_id
            self.base_params = {
        
                'user': self.username,
                'pass2': self.password,
                'softid': self.soft_id,
            }
            self.headers = {
        
                'Connection': 'Keep-Alive',
                'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)',
            }
    
        def PostPic(self, im, codetype):
            """
            im: 图片字节
            codetype: 题目类型 参考 http://www.chaojiying.com/price.html
            """
            params = {
        
                'codetype': codetype,
            }
            params.update(self.base_params)
            files = {
        'userfile': ('ccc.jpg', im)}
            r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, files=files,
                              headers=self.headers)
            return r.json()
    
        def ReportError(self, im_id):
            """
            im_id:报错题目的图片ID
            """
            params = {
        
                'id': im_id,
            }
            params.update(self.base_params)
            r = requests.post('http://upload.chaojiying.net/Upload/ReportError.php', data=params, headers=self.headers)
            return r.json()
    
    
    if __name__ == '__main__':
        chaojiying = Chaojiying_Client('超级鹰用户名', '超级鹰用户名的密码', '96001')  # 用户中心>>软件ID 生成一个替换 96001
        im = open('a.jpg', 'rb').read()  # 本地图片文件路径 来替换 a.jpg 有时WIN系统须要//
        print(chaojiying.PostPic(im, 1902))  # 1902 验证码类型  官方网站>>价格体系 3.4+版 print 后要加()

当前目录存放`a.jpg验证码图片`，修改账号、密码、软件ID直接运行即可

[Link 1]: https://requests.readthedocs.io/en/latest/
[e18225f1d7b349a0a689b3f9d0b2ff0d.png]: https://img-blog.csdnimg.cn/e18225f1d7b349a0a689b3f9d0b2ff0d.png