Python爬虫之使用Fiddler+Postman+Python的requests模块爬取各国国旗

深藏阁楼爱情的钟 2022-05-21 06:08 166阅读 0赞

## 介绍 ##

本篇博客将会介绍一个Python爬虫，用来爬取各个国家的国旗，主要的目标是为了展示如何在Python的requests模块中使用POST方法来爬取网页内容。  
  为了知道POST方法所需要传递的HTTP请求头部和请求体，我们可以使用Fiddler来进行抓包，抓取上网过程中HTTP请求中的POST方法。为了验证Fiddler抓取到的POST请求，可以使用Postman进行测试验证。在Postman中完成测试后，我们就可以用Python的request.POST()方法来写我们的爬虫了。

## 流程 ##

作为上述过程的一个演示，我们使用的网址为： [http://country.911cha.com/][http_country.911cha.com] , 页面如下：

![70][]  
  
在表单中输入德国，跳转后的页面如下：

![70 1][]  
  
我们可以发现，在搜索的结果中，会出现德国这个搜索结果。点击该搜索结果，跳转后的页面如下：

![70 2][]  
  
在这个页面中有我们需要的德国的国旗。但是，怎么知道该网页的具体网址呢？换句话说，就是怎样得到 [http://country.911cha.com/GER.html][http_country.911cha.com_GER.html] ？别担心，在刚才出来的德国这个搜索结果中，我们查看其源代码，不难发现，在HTML源代码中，有我们想要的东西：

![70 3][]

在源代码中我们能看到“GER.html”，这就意味着，只要得到搜索的结果，我们可以分析HTML源码来得到这个搜索结果的连接网址，然后在该连接网址中获取该国的国旗。所以，在这个爬虫中，最困难的地方在于，如何获取搜索结果？即，得到提交表单后的结果，也就是POST方法提交后的响应结果。我们利用Fiddler来抓取该POST方法。  
  我们打开Fiddler, 同时重复上面的操作，可以得到该过程的HTTP请求，如下图：

![70 4][]

Fiddler帮助我们找到了刚才提交表单过程中的一个POST请求，具体分析该POST请求，其请求头部如下：

![70 5][]  
  
其请求体如下：

![70 6][]  
  
  为了验证Fiddler抓取的POST请求，我们需要要Postman来进行测试。在用Postman进行测试前，我们需要问：是否所有请求头部中的数据都需要呢？答案是否定的，实际上，我们只需要User-Agent和Content-Type即可。在Postman中，先输入请求头部，如下：

![70 7][]

再输入请求体，如下：

![70 8][]  
  
点击”SEND”按钮，得到响应后的结果，如下：

![70 9][]

OK，这样我们就完成了Postman的测试。

## 爬虫 ##

于是，借助这些信息来完成request.post()的提交，同时，借助BeautifulSoup来解析网页，得到国家的国旗下载地址并完成下载。具体的Python代码如下：

# -*- coding: utf-8 -*-
    
    import urllib.request
    import requests
    from bs4 import BeautifulSoup
    
    # 函数：下载指定国家的国旗
    # 参数： country: 国家
    def download_flag(country):
    
        # 请求头部
        headers = {
                    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36',
                    'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
                  }
        # POST数据
        data = {
       'q': country}
        # 网址
        url = 'http://country.911cha.com/'
    
        # 提交POST请求
        r = requests.post(url=url, data=data, headers=headers)
    
        # 利用BeautifulSoup解析网页
        content = BeautifulSoup(r.text, 'lxml')
    
        # 得到搜索结果（国家）所在网页地址
        country = content.find_all('div', class_='mcon')[1]('ul')[0]('li')[0]('a')[0]
        link = country['href']
    
        #利用GET方法得到搜索国家的网页
        r2 = requests.get(url='%s/%s'%(url, link))
        # 利用BeautifulSoup解析网页
        content = BeautifulSoup(r2.text, 'lxml')
        # 获取网页中的图片
        images = content.find_all('img')
    
        # 获取指定国家的国旗名称及下载地址
        for image in images:
            if 'alt' in image.attrs:
                if '国旗' in image['alt']:
                    name = image['alt'].replace('国旗', '')
                    link = image['src']
    
        # 下载国旗图片
        urllib.request.urlretrieve('%s/%s'%(url, link), 'E://flag/%s.gif'%name)
    
    
    def main():
    
        # countries.txt储存各个国家的名称
        file = 'E://flag/countries.txt'
        with open(file, 'r') as f:
            counties = [_.strip() for _ in f.readlines()]
    
        # 遍历各个国家，下载国旗
        for country in counties:
            try:
                download_flag(country)
                print('%s国旗下载成功！'%country)
            except:
                print('%s国旗下载失败~'%country)
    
    main()

其中countries.txt的部分内容如下：

![70 10][]

运行上述Python代码，我们发现在E盘的flag文件夹下，已经下载了各个国家的国旗，如下：

![70 11][]

这样我们就完成了本次爬虫的任务！

## 总结 ##

本次爬虫利用Python的requests模块的POST方法，来模拟网页中的表单提交。为了得到表单提交过程中的HTTP请求，即请求头部和请求体，我们利用了抓包工具Fiddler，而Postman的作用是为了帮助我们验证Fiddler抓取的POST请求是否正是我们需要的POST请求，同时也能验证请求头部及请求体。  
  虽然整个爬虫的过程写的不免麻烦，但是操作的思路应该是清晰的，再说，熟能生巧，多用几次，也就能熟悉整个流程了。本次爬虫只是作为整个流程的一个简单展示，读者可以在此基础上，去实现更为复杂的爬虫，希望本次的分享能够帮助到读者。谢谢大家能读到这儿，也欢迎大家交流~~

注意：本人现已开通两个微信公众号： 因为Python（微信号为：python\_math）以及轻松学会Python爬虫（微信号为：easy\_web\_scrape）， 欢迎大家关注哦~~

[http_country.911cha.com]: http://country.911cha.com/
[70]: /images/20220521/ca725552fd5b4fcb9f214a91e73ce17a.png
[70 1]: /images/20220521/04015fd3dbe545b1a6438cbd93b2507b.png
[70 2]: /images/20220521/12addccac1b7427d947d413d9de133c3.png
[http_country.911cha.com_GER.html]: http://country.911cha.com/GER.html
[70 3]: /images/20220521/55b0fde283fc4c0bba6467ad06a50fec.png
[70 4]: /images/20220521/e2c9826d48be4b659499aeac2ee0f4ef.png
[70 5]: /images/20220521/154d7886c0a4419a974d31bf19757181.png
[70 6]: /images/20220521/002686b849584f02ba533d341974f817.png
[70 7]: /images/20220521/b37f1e61d6c9471d8786a6134cbac1ed.png
[70 8]: /images/20220521/3dcc50023adb4251838b0813c2e0c22d.png
[70 9]: /images/20220521/61efad14129740bc8dd3a7885bc540d5.png
[70 10]: /images/20220521/5fe20d17fa9d43c7812f2fd5bbe345e7.png
[70 11]: /images/20220521/41624368d2614d0381515e01ff36f92e.png