python:pycharm:ModuleNotFoundError: No module named 'scrapy'

约定不等于承诺〃 2022-03-17 03:40 550阅读 0赞

最初遇到这个问题的时候，是因为我没有安装scrapy

在这个之前，还有一个问题，就是提示pip版本不对，**建议是否需要升级下pip版本**。另外，如果使用pycharm，**请先查看是否用的版本对，如果本机安装了2个以上的python版本，就要注意选择正确了！**升级版本完成后，由于scrapy爬虫框架依赖许多第三方库，所以在安装scrapy之前，需确保以下第三方库均已安装:

1.lxml库

可通过命令行查看是否安装

pip3   list

2.通过 pip安装 zope.interface库

pip3 install zope.interface

3.twisted库

twisted库不能通过pip进行安装，可通过whl文件进行安装。

进入：[https://www.lfd.uci.edu/~gohlke/pythonlibs/\#twisted][https_www.lfd.uci.edu_gohlke_pythonlibs_twisted]

cp后面代表python的版本，win后为计算机位数。需依据自己的情况选择合适的下载。

![f0f7b5b66783ea28743a5701349b14c4.JPEG][]

找到twisted库，下载到本地。我的是64版本，因此选择这个

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NDExODc0_size_16_color_FFFFFF_t_70][]

下载好后，安装：

pip install c:\这里是你存放.whl文件的路径\Twisted-18.7.0-cp37-cp37m-win_amd64.whl

4.pyOpenSSL库

pip install pyOpenSSL

5.pywin32库

pywin32库也不能通过pip进行安装，通过下载whl文件进行安装，与安装twisted库过程一样。

但不同的是，我们要找到安装好后的pywin32在python文件夹的位置，并复制里面的文件到C:\\Windows\\System32路径下。

6.安装完以上依赖库后

pip install scrapy

这样就安装好Scrapy爬虫框架了。

但是，在用pycharm来运行爬虫程序时：

我又遇见了那个相同的错误：No module named 'scrapy'

通过查看项目的interpreter 我发现，packages里并没有scrapy

也就是说，虽然我已经下载并安装成功了scrapy，但是pycharm里并没有导入成功。

该怎么做呢？

这位博主的文章——[在Pycharm中运行Scrapy爬虫项目的基本操作][Pycharm_Scrapy]：

[https://www.cnblogs.com/llssx/p/8378832.html][Pycharm_Scrapy]

帮助我解决了问题~

转载：[http://www.pianshen.com/article/40663945/][http_www.pianshen.com_article_40663945]

[https_www.lfd.uci.edu_gohlke_pythonlibs_twisted]: https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
[f0f7b5b66783ea28743a5701349b14c4.JPEG]: http://www.pianshen.com/images/388/f0f7b5b66783ea28743a5701349b14c4.JPEG
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NDExODc0_size_16_color_FFFFFF_t_70]: /images/20220317/d565c961e8b4462789d994016ecba3c0.png
[Pycharm_Scrapy]: https://www.cnblogs.com/llssx/p/8378832.html
[http_www.pianshen.com_article_40663945]: http://www.pianshen.com/article/40663945/