小白教你一步一步安装Scrapy(西瓜皮)（带图带资源）

冷不防 2023-10-17 22:21 135阅读 0赞

##### 一、介绍西瓜皮 #####

Scrapy(西瓜皮)是一个为了爬取网站数据、提取结构性数据而编写的应用框架，可以应用在包括数据挖掘、信息处理或者存储历史数据等一系列的程序中。

##### 二、注意事项 #####

目前Scrapy不支持Python3,因此需要安装Python2.7来使用Scrapy,Python2.7和3是可以共存的。

##### 三、安装Python2.7 #####

下载网址：https://www.python.org/downloads/release/python-2715/

这里选择windows 32位（32位可以兼容32位与64位系统，反之不行）

![70][]

下载完成后，点击安装

![70 1][]

怎样查看是否安装成功：

方式有很多，这里可以打开IDLE,输入help()

![70 2][]

安装完成后到所有程序中找到python2.7下的IDLE，右键发送到桌面快捷方式（为了方便，不是必须）

找到python2.7的安装目录下的脚本文件：

![70 3][]

点击右键编辑，选择2.7版本对应的IDLE,选择上面的run module F5

![70 4][]

完成设置环境变量

##### 四、安装pywin32(32位版本) #####

地址为：https://sourceforge.net/projects/pywin32/files/pywin32/Build%20219/

是个exe文件，点击安装即可

![70 5][]

##### 五、安装pip #####

地址：https://pip.pypa.io/en/stable/installing/

pip实际上是Python的一个安装软件的模块

下载get-pip.py然后还是打开运行同上。

##### 六、安装lxml #####

虽然可以用pip安装lxml，但如果是windows，建议不要，使用lxml专门为windows提供的安装包

网址：https://www.lfd.uci.edu/~gohlke/pythonlibs/\#lxml

![70 6][]

找到下面的lxml

![70 7][]

选择对应版本下载并安装

##### 七、使用pip安装pyOpenSSL #####

在两个Python版本并存的情况下，使用pip安装时，命令为：py -2 -m install pyOpenSSL

如果提示你pip需要升级则执行：

![70 8][]

![70 9][]

注意：

这里pip安装需要微软的VS2008C语言编译器，没有安装或者版本太高也是不行，也可以安装微软为Python准备的：

VCForPython27.msi

![70 10][]

地址：

http://www.microsoft.com/en-us/download/details.aspx?id=44266

##### 八、安装Scrapy #####

双版本并存下，使用:py -2 -m install Scrapy

验证是否安装成功

##### 九、参考文档 #####

python 32位和64位的区别在哪：

https://blog.csdn.net/badao\_liumang\_qizhi/article/details/80977544

命令行下升级pip版本：

https://blog.csdn.net/badao\_liumang\_qizhi/article/details/80978172

使用pip来安装pyOpenSSL:

https://blog.csdn.net/badao\_liumang\_qizhi/article/details/80978036

## 当同时安装Python2和Python3后，如何兼容并切换使用详解（比如pip使用）: ##

https://blog.csdn.net/badao\_liumang\_qizhi/article/details/80979780

## 安装Scrapy时：Microsoft Visual C++ 9.0 is required: ##

https://blog.csdn.net/badao\_liumang\_qizhi/article/details/80979789

## Python两个版本共存时，通过pip安装Scrapy: ##

https://blog.csdn.net/badao\_liumang\_qizhi/article/details/80979880

## python 怎么验证是否安装成功 scrapy: ##

https://blog.csdn.net/badao\_liumang\_qizhi/article/details/80979894

##### 十、资源合集 #####

![70 11][]

下载地址：

https://download.csdn.net/download/badao\_liumang\_qizhi/10531943

如果这篇文章帮助到了你，欢迎打赏鼓励，您的鼓励是我最大的动力！

![70 12][]

[70]: https://img-blog.csdn.net/20180710092702812?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 1]: https://img-blog.csdn.net/20180710093057331?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 2]: https://img-blog.csdn.net/20180710093603410?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 3]: https://img-blog.csdn.net/20180710094328148?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 4]: https://img-blog.csdn.net/20180710094553400?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 5]: https://img-blog.csdn.net/20180710101157226?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 6]: https://img-blog.csdn.net/20180710095821502?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 7]: https://img-blog.csdn.net/20180710095838125?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 8]: https://img-blog.csdn.net/20180710100238320?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 9]: https://img-blog.csdn.net/2018071010043768?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 10]: https://img-blog.csdn.net/20180710103126985?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 11]: https://img-blog.csdn.net/20180710103255175?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 12]: https://img-blog.csdn.net/20180711082713574?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70