Python 爬虫，分布式爬虫，Scrapy_redis，RedisSpider，RedisCrawlSpider

Love The Way You Lie 2022-03-25 17:52 288阅读 0赞

安装 Scrapy\_redis 模块： **pip3 install scrapy-redis**

**项目名/spiders/爬虫名.py（爬虫，分布式爬虫，继承RedisSpider）：**

# -*- coding: utf-8 -*-
    import scrapy
    from scrapy_redis.spiders import RedisSpider  # 导入RedisSpider
    
    
    # 爬虫，继承的是RedisSpider（分布式爬虫）
    class DemoSpider(RedisSpider):
        name = '爬虫名'
        allowed_domains = ['baidu.com']
        # start_urls = ['http://www.baidu.com/']  # 多个分布式爬虫会多次重复请求start_urls中的地址。start_urls中的地址不会去重过滤。
        
        # redis中存放start_urls的键(键名可以任意)
        redis_key = "start_urls"   # 将start_urls中的地址存放到redis中。
        # 开启爬虫时，爬虫会先等待redis中的start_urls存放地址。
        # 当redis的start_urls中存放地址后，爬虫才会开始爬取，并同时将地址从start_urls中删除。
        # 其他的分布式爬虫会从request队列(调度器)中获取request对象并发送请求。
        # 这样start_urls中的地址只会请求一次。
    
        def parse(self, response):
            pass

**项目名/settings.py（配置文件，Scrapy\_redis关键配置）：**

# 。。。
    
    # 指定request对象的去重过滤器
    DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
    SCHEDULER = "scrapy_redis.scheduler.Scheduler"  # 指定scheduler队列 (url调度器队列)
    SCHEDULER_PERSIST = True  # url调度器持久化
    # SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderPriorityQueue"  # 优先级队列
    # SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderQueue"  # 队列
    # SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderStack"  # 栈
    
    ITEM_PIPELINES = {
        'example.pipelines.ExamplePipeline': 300,
        # 'scrapy_redis.pipelines.RedisPipeline': 400,  # 将数据保存到redis的pipeline
    }
    
    REDIS_URL = "redis://127.0.0.1:6379"  # 指定redis的地址
    # 也可以通过如下形式指定redis
    # REDIS_HOST = "127.0.0.1"
    # REDIS_PORT = 6379
    
    
    # 。。。

--------------------

**项目名/spiders/爬虫名.py（爬虫，分布式CrawlSpider，继承RedisCrawlSpider）：**

from scrapy.spiders import Rule
    from scrapy.linkextractors import LinkExtractor
    
    from scrapy_redis.spiders import RedisCrawlSpider  # 导入
    
    
    # 继承的是RedisCrawlSpider (分布式的CrawlSpider)
    class MySpider(RedisCrawlSpider):
        name = '爬虫名'
        allowed_domains = ['baidu.com']
        redis_key = '爬虫名:start_urls'  # redis中的键，用于存放start_urls。 (键名可以任意)
        
        # 匹配url地址的规则
        rules = (
            Rule(LinkExtractor(), callback='parse_page', follow=True),
            Rule(LinkExtractor(), callback='parse_page2', follow=True),
        )
    
        # CrawlSpider中的parse()函数有特殊含义，不能定义覆盖parse()函数
        def parse_page(self, response):
            pass