scrapy_redis对接布隆过滤器(Bloom Filter)

客官°小女子只卖身不卖艺 2021-06-24 15:59 542阅读 0赞

使用方式：

pip3 install scrapy-redis-bloomfilter

使用的方法和Scrapy-Redis基本相似，在这里说明几个关键配置。

# 去重类，要使用Bloom Filter请替换DUPEFILTER_CLASS
    DUPEFILTER_CLASS = "scrapy_redis_bloomfilter.dupefilter.RFPDupeFilter"
    # 散列函数的个数，默认为6，可以自行修改
    BLOOMFILTER_HASH_NUMBER = 6
    # Bloom Filter的bit参数，默认30，占用128MB空间，去重量级1亿
    BLOOMFILTER_BIT = 30

*  DUPEFILTER\_CLASS是去重类，如果要使用Bloom Filter，则DUPEFILTER\_CLASS需要修改为该包的去重类。
 *  BLOOMFILTER\_HASH\_NUMBER是Bloom Filter使用的散列函数的个数，默认为6，可以根据去重量级自行修改。
 *  BLOOMFILTER\_BIT即前文所介绍的BloomFilter类的bit参数，它决定了位数组的位数。如果BLOOMFILTER\_BIT为30，那么位数组位数为2的30次方，这将占用Redis 128 MB的存储空间，去重量级在1亿左右，即对应爬取量级1亿左右。如果爬取量级在10亿、20亿甚至100亿，请务必将此参数对应调高

## 一定要注意参数！！（爬取数据量级别对应一下 ） ##

项目地址代码：  
[https://github.com/Python3WebSpider/ScrapyRedisBloomFilter][https_github.com_Python3WebSpider_ScrapyRedisBloomFilter]

学习地址：

崔庆才大神的腾讯云＋社区：

[https://cloud.tencent.com/developer/article/1084962][https_cloud.tencent.com_developer_article_1084962]

[https_github.com_Python3WebSpider_ScrapyRedisBloomFilter]: https://github.com/Python3WebSpider/ScrapyRedisBloomFilter
[https_cloud.tencent.com_developer_article_1084962]: https://cloud.tencent.com/developer/article/1084962

发表评论取消回复

表情：

评论列表（有 0 条评论，542人围观）

还没有评论，来说两句吧...

相关阅读

相关 Bloom Filter布隆过滤器介绍

布隆过滤器（Bloom Filter）是一种概率型数据结构，用于判断一个元素是否可能存在于一个集合中。它通过使用位数组和多个哈希函数来实现高效的插入和查询操作，同时具有较低的空

「爱情、让人受尽委屈。」/ 2024年02月18日 11:57/ 0 赞/ 139 阅读

相关布隆过滤器(Bloom Filter)

下面给出python的实现，使用murmurhash算法 import mmh3 from bitarray import bitar

Bertha 。/ 2023年08月17日 16:15/ 0 赞/ 220 阅读

相关布隆过滤器(Bloom Filter)详解

![dba967b63591ce06fc506793dc526468.png][] 布隆过滤器［1］（Bloom Filter）是由布隆（Burton Howar

冷不防/ 2023年01月05日 14:27/ 0 赞/ 227 阅读

相关布隆过滤器Bloom Filter简介

> 背景： > > 如果在平时我们要判断一个元素是否在一个集合中，通常会采用查找比较的方法，下面分析不同的数据结构查找效率： > > 采用线性表存储，查找时间复杂度为

待我称王封你为后i/ 2022年10月29日 03:20/ 0 赞/ 253 阅读

相关 Bloom Filter布隆过滤器

http://[blog.csdn.net/pipisorry/article/details/64127666][blog.csdn.net_pipisorry_articl

阳光穿透心脏的1/2处/ 2022年09月30日 09:38/ 0 赞/ 279 阅读

相关 Bloom Filter 布隆过滤器

目录 Bloom Filter简介布隆过滤器的原理布隆过滤器的实现使用gu

ゝ一世哀愁。/ 2022年09月05日 11:22/ 0 赞/ 141 阅读

相关 Bloom Filter布隆过滤器

一、简介 Bloom Filter是1970年由Bloom提出的，最初广泛用于拼写检查和数据库系统中。近年来，随着计算机和互联网技术的发展，数据集的不断扩张使得 Bloo

水深无声/ 2022年05月25日 23:28/ 0 赞/ 290 阅读

相关布隆过滤器(Bloom Filter)详解

转载自：[https://www.cnblogs.com/liyulong1982/p/6013002.html][https_www.cnblogs.com_liyulong

我就是我/ 2022年05月15日 10:20/ 0 赞/ 307 阅读

相关布隆过滤器(Bloom Filter)详解

直观的说，bloom算法类似一个hash set，用来判断某个元素（key）是否在某个集合中。和一般的hash set不同的是，这个算法无需存储key的值，对于每个key

ゝ一世哀愁。/ 2022年01月14日 14:15/ 0 赞/ 391 阅读

相关 scrapy_redis对接布隆过滤器(Bloom Filter)

使用方式： pip3 install scrapy-redis-bloomfilter 使用的方法和Scrapy-Redis基本相似，在这里说明几个关键配置。

客官°小女子只卖身不卖艺/ 2021年06月24日 15:59/ 0 赞/ 543 阅读