Scrapy爬虫框架，入门案例（非常详细）

水深无声 2023-07-07 12:55 67阅读 0赞

**目录**

一、概述

二、Scrapy五大基本构成:

三、整体架构图

四、Scrapy安装以及生成项目

五、日志等级与日志保存

六、导出为json或scv格式

七、一个完整的案例

--------------------

## 一、概述 ##

Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试.

其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 后台也应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫.

Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持.

## 二、Scrapy五大基本构成: ##

Scrapy框架主要由五大组件组成，它们分别是调度器(Scheduler)、下载器(Downloader)、爬虫（Spider）和实体管道(Item Pipeline)、Scrapy引擎(Scrapy Engine)。下面我们分别介绍各个组件的作用。

**(1)、调度器(Scheduler):**

调度器，说白了把它假设成为一个URL（抓取网页的网址或者说是链接）的优先队列，由它来决定下一个要抓取的网址是 什么，同时去除重复的网址（不做无用功）。用户可以自己的需求定制调度器。

**(2)、下载器(Downloader):**

下载器，是所有组件中负担最大的，它用于高速地下载网络上的资源。Scrapy的下载器代码不会太复杂，但效率高，主要的原因是Scrapy下载器是建立在twisted这个高效的异步模型上的(其实整个框架都在建立在这个模型上的)。

**(3)、 爬虫（Spider）:**

爬虫，是用户最关心的部份。用户定制自己的爬虫(通过定制正则表达式等语法)，用于从特定的网页中提取自己需要的信息，即所谓的实体(Item)。 用户也可以从中提取出链接,让Scrapy继续抓取下一个页面。

**(4)、 实体管道(Item Pipeline):**

实体管道，用于处理爬虫(spider)提取的实体。主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。

**(5)、Scrapy引擎(Scrapy Engine):**

Scrapy引擎是整个框架的核心.它用来控制调试器、下载器、爬虫。实际上，引擎相当于计算机的CPU,它控制着整个流程。

## 三、整体架构图 ##

本图按顺序说明整个程序执行时候发生的顺序。

注意在调用下载器时，往往有一个下载器中间件，使下载速度提速。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70][]

官网架构图

![format_png][]

## 四、Scrapy安装以及生成项目 ##

新建一个项目，该项目的结构如下：

执行命令,widows和ubuntu命令格式是一样的：

**下载方式**

ubuntu，打开一个终端，输入pip install scrapy(或pip3  install scrapy）

widows ，打开一个cmd，输入pip install scrapy，前提是你装了pip

[详细安装请点这][Link 1]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 1][]

>  
> 
> scrapy startproject 项目名
> 
> scrapy genspider 爬虫名 域名
> 
> scrapy crawl 爬虫名

我使用的是widows版本，下面演示创建项目的例子

打开cmd，输入(默认是在C:\\Users\\Administrator>这个目录下，你可以自行切换）

> scrapy startproject myfirstPj
> 
> cd my firstPj
> 
> scrapy genspider baidu www.baidu.com

创建后目录大致页如下

|-ProjectName              \#项目文件夹

|-ProjectName           \#项目目录

|-items.py               \#定义数据结构

|-middlewares.py    \#中间件

|-pipelines.py          \#数据处理

|-settings.py            \#全局配置

|-spiders

|-\_\_init\_\_.py       \#爬虫文件

|-baidu.py

|-scrapy.cfg               \#项目基本配置文件

spiders下的baidu.py是scrapy自动为我们生成的

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 2][]

下面再看一下spdier项目的配置文件，打开文件settings.py

BOT\_NAME：项目名

USER\_AGENT：默认是注释的，这个东西非常重要，如果不写很容易被判断为电脑，简单点洗一个Mozilla/5.0即可

ROBOTSTXT\_OBEY：是否遵循机器人协议，默认是true，需要改为false，否则很多东西爬不了

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 3][]

CONCURRENT\_REQUESTS：最大并发数，很好理解，就是同时允许开启多少个爬虫线程

DOWNLOAD\_DELAY：下载延迟时间，单位是秒，控制爬虫爬取的频率，根据你的项目调整，不要太快也不要太慢，默认是3秒，即爬一个停3秒，设置为1秒性价比较高，如果要爬取的文件较多，写零点几秒也行

COOKIES\_ENABLED：是否保存COOKIES，默认关闭，开机可以记录爬取过程中的COKIE，非常好用的一个参数

DEFAULT\_REQUEST\_HEADERS：默认请求头，上面写了一个USER\_AGENT，其实这个东西就是放在请求头里面的，这个东西可以根据你爬取的内容做相应设置。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 4][]

ITEM\_PIPELINES：项目管道，300为优先级，越低越爬取的优先度越高

![20200321123823161.png][]

比如我的pipelines.py里面写了两个管道，一个爬取网页的管道，一个存数据库的管道，我调整了他们的优先级，如果有爬虫数据，优先执行存库操作。

>     ITEM_PIPELINES = {
>         'scrapyP1.pipelines.BaiduPipeline': 300,
>         'scrapyP1.pipelines.BaiduMysqlPipeline': 200,
>     }

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 5][]

到这里我们尝试用scrapy做一下爬取，打开spider.py下的baidu.py(取决于你scrapy genspider 爬虫名 域名时输入的爬虫名）

输入一下代码，我们使用xpath提取百度首页的标题title

import scrapy
    
    
    class BaiduSpider(scrapy.Spider):
        name = 'baidu'
        allowed_domains = ['www.baidu.com']
        start_urls = ['http://www.baidu.com/']
    
        def parse(self, response):
            tile=response.xpath('//html/head/title/text()')
            print(tile)

打开一个终端cmd，输入scrapy crawl baidu(爬虫名），就可以看到一大堆输出信息，而其中就包括我们要的内容

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 6][]

使用终端运行太麻烦了，而且不能提取数据，我们一个写一个run文件作为程序的入口,splite是必须写的，目的是把字符串转为列表形式，第一个参数是scrapy,第二个crawl,第三个baidu

from scrapy import cmdline
    
    cmdline.execute('scrapy crawl baidu'.split())

可以在编辑器中输出了

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 7][]

## 五、日志等级与日志保存 ##

在setting.py里面可以设置日志的等级与日志存放的路径

**相关变量**

**LOG\_LEVEL= ""**

**LOG\_FILE="日志名.log"**

**日志等级分为**

1.DEBUG 调试信息

2.INFO 一般信息

3.WARNING 警告

4.ERROR 普通错误

5.CRITICAL 严重错误

如果设置

LOG\_LEVEL="WARNING"，就只会WARNING等级之下的ERROR和CRITICAL

默认等级是1

## 六、导出为json或scv格式 ##

执行爬虫文件时添加-o选项即可

scrapy crawl 项目名 -o \*.csv

scrapy crawl 项目名 -o \*.json

对于json文件，在setting.js文件里添加，设置编码格式，否则会乱码：

FEED\_EXPORT\_ENCODING='utf-8'

示例：

from scrapy import cmdline
    
    cmdline.execute('scrapy crawl baidu -o baidu.csv'.split())

## 七、一个完整的案例 ##

这个项目我们的主题是爬腾讯视频的电影信息，包括电影名和描述

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 8][]

**1.创建项目**

打开一个终端输入（建议放到合适的路径下，默认是C盘）

> scrapy startproject TXmovies
> 
> cd TXmovies
> 
> scrapy genspider txms v.qq.com

**2.修改setting**

修改三项内容，第一个是不遵循机器人协议，第二个是下载间隙，由于下面的程序要下载多个页面，所以需要给一个间隙（不给也可以，只是很容易被侦测到），第三个是请求头，添加一个User-Agent，第四个是打开一个管道

>     ROBOTSTXT_OBEY = False
>     
>     DOWNLOAD_DELAY = 1
>     
>     DEFAULT_REQUEST_HEADERS = {
>       'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
>       'Accept-Language': 'en',
>       'User-Agent':'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36'
>     }
>     
>     ITEM_PIPELINES = {
>        'TXmovies.pipelines.TxmoviesPipeline': 300,
>     }
> 
>

**3.确认要提取的数据，item项**

item定义你要提取的内容（定义数据结构），比如我提取的内容为电影名和电影描述，我就创建两个变量。Field方法实际上的做法是创建一个字典，给字典添加一个建，暂时不赋值，等待提取数据后再赋值。下面item的结构可以表示为：\{'name':'','descripition':''\}。

# -*- coding: utf-8 -*-
    
    # Define here the models for your scraped items
    #
    # See documentation in:
    # https://docs.scrapy.org/en/latest/topics/items.html
    
    import scrapy
    
    
    class TxmoviesItem(scrapy.Item):
        # define the fields for your item here like:
        # name = scrapy.Field()
        name = scrapy.Field()
        description = scrapy.Field()

**4.写爬虫程序**

我们要写的部分是parse方法里的内容，重点在于如何写xpath，关于xpath我不多讲，有兴趣可以看看我另一篇文章，[XPATH教程][XPATH]

引入刚刚写好的item,刚刚说了item里面创建的变量就是字典的键值，可以直接进行赋值。赋值后交给管道处理。

简单讲一下这一段代码的思路，首先腾讯视频的url为[https://v.qq.com/x/bu/pagesheet/list?append=1&channel=cartoon&iarea=1&listpage=2&offset=0&pagesize=30][https_v.qq.com_x_bu_pagesheet_list_append_1_channel_cartoon_iarea_1_listpage_2_offset_0_pagesize_30]

我们注意到offset这一项，第一页的offset为0，第二页为30，依次推列。在程序中这一项用于控制抓取第一页，但是也要给一个范围，不可能无限大，否则会报错，可以去看看腾讯一共有多少页视频，也可以写一个异常捕获机制，捕捉到请求出错则退出。我这里仅仅是示范，所以只给了120，也就是4页。

**yield**

程序里一共有两个yield，我比较喜欢叫它中断，当然中断只在CPU中发生，它的作用是移交控制权，在本程序中，我们对item封装数据后，就调用yield把控制权给管道，管道拿到处理后return返回，又回到该程序。这是对第一个yield的解释。

第二个yield稍微复杂点，这条程序里利用了一个回调机制，即callback,回调的对象是parse,也就是当前方法，通过不断的回调，程序将陷入循环，如果不给程序加条件，就会陷入死循环，如本程序我把if去掉，那就是死循环了。

yield scrapy.Request(url=url,callback=self.parse)

**xpath**

还有一个要注意的是如何提取xpathl里的数据，我们的写法有四种，第一种写法拿到selector选择器，也就是原数据，里面有一些我们用不到的东西。第二个extract()，将选择器序列号为字符串。第三个和第四个一样，拿到字符串里的第一个数据，也就是我们要的数据。

items\['name'\]=i.xpath('./a/@title')\[0\]

items\['name'\]=i.xpath('./a/@title').extract()

items\['name'\]=i.xpath('./a/@title').extract\_first()

items\['name'\]=i.xpath('./a/@title').get()

# -*- coding: utf-8 -*-
    import scrapy
    from ..items import TxmoviesItem
    
    class TxmsSpider(scrapy.Spider):
        name = 'txms'
        allowed_domains = ['v.qq.com']
        start_urls = ['https://v.qq.com/x/bu/pagesheet/list?append=1&channel=cartoon&iarea=1&listpage=2&offset=0&pagesize=30']
        offset=0
    
        def parse(self, response):
            items=TxmoviesItem()
            lists=response.xpath('//div[@class="list_item"]')
            for i in lists:
                items['name']=i.xpath('./a/@title').get()
                items['description']=i.xpath('./div/div/@title').get()
    
                yield items
    
            if self.offset < 120:
                self.offset += 30
                url = 'https://v.qq.com/x/bu/pagesheet/list?append=1&channel=cartoon&iarea=1&listpage=2&offset={}&pagesize=30'.format(
                    str(self.offset))
    
                yield scrapy.Request(url=url,callback=self.parse)

**5.交给管道输出**

管道可以处理提取的数据，如存数据库。我们这里仅输出。

# -*- coding: utf-8 -*-
    
    # Define your item pipelines here
    #
    # Don't forget to add your pipeline to the ITEM_PIPELINES setting
    # See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html
    
    
    class TxmoviesPipeline(object):
        def process_item(self, item, spider):
            print(item)
            return item

**6.run，执行项目**

from scrapy import cmdline
    
    cmdline.execute('scrapy crawl txms'.split())

**7.测试结果**

白色的管道输出的结果，红色的调试信息

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 9][]

**8.流程梳理**

新建项目-》进入项目-》新建爬虫文件-》明确抓取的内容，写item-》写爬虫程序，爬取数据-》交给管道处理数据-》调整全局配置setting-》执行爬虫程序，可以通过终端或者在程序里写一个run程序

**9.提速：多线程爬取**

如果你实现了上面的实验，不难发现其爬取速度是非常慢，根本的原因就是因为它是顺序执行的，你可以从结果中看出，总是前面一页的内容被输出，再输出后面的内容。不适合处理数据量较大的情况，一个好的方式是采用多线程的方法，这里的多线程是基于方法的多线程，并不是通过创建Thread对象来实现，是在一个方法中，一次性把请求交给调度器。

我们通过重写start\_requests方法来实现我们的想法（这个方法的源码在\_\_init\_\_.py下面，有兴趣可以看一下）

# -*- coding: utf-8 -*-
    import scrapy
    from ..items import TxmoviesItem
    
    class TxmsSpider(scrapy.Spider):
        name = 'txms'
        allowed_domains = ['v.qq.com']
        url='https://v.qq.com/x/bu/pagesheet/list?append=1&channel=cartoon&iarea=1&listpage=2&offset={}&pagesize=30'
        offset=0
    
        def start_requests(self):
            for i in range(0,121,30):
                url=self.url.format(i)
                yield scrapy.Request(
                    url=url,
                    callback=self.parse
                )
    
        def parse(self, response):
            items=TxmoviesItem()
            lists=response.xpath('//div[@class="list_item"]')
            for i in lists:
                items['name']=i.xpath('./a/@title').get()
                items['description']=i.xpath('./div/div/@title').get()
    
                yield items

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200321114058862.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3,size_16,color_FFFFFF,t_70
[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9zczIuYmFpZHUuY29tLzZPTllzamlwMFFJWjh0eWhucS9pdC91PTE3NzI5Mjc2NjMsMjU1MjMyNjEyOCZmbT0xNzMmYXBwPTQ5JmY9SlBFRw?x-oss-process=image/format,png
[Link 1]: https://segmentfault.com/a/1190000010377113
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200321120835129.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200321121439781.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/2020032112181435.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200321122203680.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3,size_16,color_FFFFFF,t_70
[20200321123823161.png]: https://img-blog.csdnimg.cn/20200321123823161.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200321124151514.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200321125805998.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20200321130523487.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20200321140458533.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3,size_16,color_FFFFFF,t_70
[XPATH]: https://blog.csdn.net/ck784101777/article/details/104291634
[https_v.qq.com_x_bu_pagesheet_list_append_1_channel_cartoon_iarea_1_listpage_2_offset_0_pagesize_30]: https://v.qq.com/x/bu/pagesheet/list?append=1&channel=cartoon&iarea=1&listpage=2&offset=0&pagesize=30
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/2020032114215964.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3,size_16,color_FFFFFF,t_70