爬虫学习Task1

约定不等于承诺〃 2022-02-02 12:49 306阅读 0赞

### **1.1学习get与post请求** ###

**学习目标：**

1.  学习get与post请求，尝试使用requests或者是urllib用get方法向[https://www.baidu.com/][https_www.baidu.com]发出一个请求，并将其返回结果输出。
2.  如果是断开了网络，再发出申请，结果又是什么。了解申请返回的状态码。
3.  了解什么是请求头，如何添加请求头。

import requests
    #字典格式
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'}
    url = 'https://www.baidu.com/'
    response = requests.get(url=url,headers=headers)
    #指定编码格式为utf-8，避免出现乱码
    response.encoding = 'utf-8'
    #以文本的形式打印网页源码
    print(response.text)
    #以字节流的形式打印网页源码
    print(response.content)
    #打印响应头
    print(response.headers)
    #查看网页编码格式
    print(response.encoding)

### **1.2正则表达式** ###

**学习目标：**

1.  学习什么是正则表达式并尝试一些正则表达式并进行匹配。
2.  然后结合requests、re两者的内容爬取[https://movie.douban.com/top250][https_movie.douban.com_top250]里的内容
3.  要求抓取名次、影片名称、年份、导演等字段。
4.  参考资料： [https://desmonday.github.io/2019/03/02/python爬虫学习-day2正则表达式/][https_desmonday.github.io_2019_03_02_python_-day2]

def movie(url):
 #增加请求头，防止被认为是爬虫
 headers = {
 'User-Agent': 'Mozilla/5.0 (Windows '
 'NT 10.0; Win64; x64) AppleWebKit/537.36 '
 '(KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'}
 result = requests.get(url=url,headers=headers)
 #正则匹配电影名次
 rank = re.findall('(.*?)',result.text,re.S)
 # print(rank)
 #正则匹配电影名称,[\u4e00-\u9fa5]用于匹配中文字符串
 name = re.findall('([\u4e00-\u9fa5]+)',result.text,re.S)
 # print(name)
 #正则匹配电影国家
 country = re.findall(' / ([\u4e00-\u9fa5]+) / ',result.text,re.S)
 # print(country)
 #正则匹配电影导演
 texts = re.sub('导演：',"",result.text) #将导演字符串替换成空，再用正则匹配
 directs = re.findall('(.*?)  ',texts,re.S)
 # print(directs)
 #正则匹配评分
 scores = re.findall('(.*?)',result.text,re.S)
 # print(scores)
 
 #zip() 函数用于将可迭代的对象作为参数，将对象中对应的元素打包成一个个元组，然后返回由这些元组组成的列表。
 for rank,name,country,directs,scores in zip(rank,name,country,directs,scores):
 print(rank,name,country,directs,scores)
 
 
 if __name__ =="__main__":
 for i in range(0, 100, 25):
 url = 'https://movie.douban.com/top250?start={}&filter='.format(i)
 movie(url)

[https_www.baidu.com]: https://www.baidu.com/
[https_movie.douban.com_top250]: https://movie.douban.com/top250
[https_desmonday.github.io_2019_03_02_python_-day2]: https://desmonday.github.io/2019/03/02/python%E7%88%AC%E8%99%AB%E5%AD%A6%E4%B9%A0-day2%E6%AD%A3%E5%88%99%E8%A1%A8%E8%BE%BE%E5%BC%8F/