python爬虫-1.03urllib.parse编码模块

ゝ一世哀愁。 2022-08-29 06:12 297阅读 0赞

**urllib.parse编码模块**

作用：给URL地址中查询参数进行编码
    导入方式
    import urllib.parse
    from urllib import parse
    示例：
    编码前 https://www.baidu.com/s?wd=赵丽颖
    编码后 https://www.baidu.com/s?wd=%E8%B5%B5%E4%B8%BD%E9%A2%9

**urllib.parse模块中的方法**

**urlencode()方法**  
作用：给URL地址中查询参数进行编码，参数类型为字典

应用场景：搜索的关键字为中文，但是要交给request进行请求数据，需要进行url的转换时。  
**示例**

import urllib.parse
    from urllib import  parse
    params = {
        'wd':'赵丽颖'} #编码前
    params = urllib.parse.urlencode(params) #编码中
    print(params) #编码后
    输出结果：
    wd=%E8%B5%B5%E4%B8%BD%E9%A2%96

**URL拼接的三种方式**

url = 'https://www.baidu.com/%s' %params #字符串格式化（占位符%s） 
    url = 'https://www.baidu.com/' + params #字符串相加
    url = 'https://www.baidu.com/{}'.format(params) #字符串的format()方法

**对多个查询参数进行编码**

import urllib.parse
    from urllib import  parse
    params = {
        'wd':'赵丽颖','pn':'10'} #编码前
    params = urllib.parse.urlencode(params) #编码中
    print(params) #编码后
    输出结果：
    wd=%E8%B5%B5%E4%B8%BD%E9%A2%96&pn=10
    结论：
    返现编码之后会自动对多个查询参数间添加&符号

**爬取百度搜索赵丽颖的HTML并保存到本地**  
示例

from urllib import  parse
    import requests
    from requests import request
    url = 'https://www.baidu.com/s?'
    params = {
        'wd':'赵丽颖'}
    params = parse.urlencode(params)
    print(params)
    url = url + params
    print(url)
    html = requests.get(url).text
    print(html)
    with open('www.baidu.赵丽颖.html','w',encoding='utf-8') as f:
        f.write(html)
    输出结果：
    有创建出'www.baidu.赵丽颖.html的文件

**保存HTML文件的方法**

with open('www.baidu.赵丽颖.html','w',encoding='utf-8') as f:
        f.write(html)

**urllib.parse.quote(‘参数为字符串’)编码**  
作用：  
对URL地址中的中文进行编码，类似于urlencode()方法  
示例

from urllib import parse
    import requests
    word = '美女'
    result = parse.quote(word)
    print(result)
    url_qianzhui = 'https://www.baidu.com/s?wd='
    url = url_qianzhui + result
    print(url)
    输出结果：
    %E7%BE%8E%E5%A5%B3
    https://www.baidu.com/s?wd=%E7%BE%8E%E5%A5%B3

**总结**

# urllib.request使用流程
    req = request.Request(url,headers=headers)
    res = request.urlopen(req)
    html = res.read().decode('utf-8')
    # urllib,parse使用流程
    params = parse.urlencode({
        'key':'value'})
    params = parse.quote('字符串')
    # URL地址拼接
    url = 'https://www.baidu.com/s?' + params
    url = 'https://www.baidu.com/s?%s' %params
    url = 'https://www.baidu.com/s?{}'.format(params)