Python实战之如何爬取豆瓣电影？本文教你

冷不防 2023-02-16 05:46 51阅读 0赞

![format_png][]

爬虫又称为网页蜘蛛，是一种程序或脚本。

但重点在于，它能够按照一定的规则，自动获取网页信息。

**爬虫的基本原理——通用框架**

1.挑选种子URL；

2.讲这些URL放入带抓取的URL列队；

3.取出带抓取的URL，下载并存储进已下载网页库中。此外，讲这些URL放入带抓取URL列队，进入下一循环。

4.分析已抓取列队中的URL，并且将URL放入带抓取URL列队，从而进去下一循环。  
5.光理论是不够的。这里顺便免费送大家一套2020最新python入门到高级项目实战视频教程，可以去小编的Python交流.裙 ：七衣衣九七七巴而五（数字的谐音）转换下可以找到了，还可以跟老司机交流讨教！

![758e2825b0c0eb2f1ecfb9adb66000f.png][]

爬虫获取网页信息和人工获取信息，其实原理是一致的。

如我们要获取电影的“评分”信息

![1e2716b4b4f51dc27c6be2ce089bc8b.png][]

**人工操作步骤：**

1.获取电影信息的网页；

2.定位（找到）要评分信息的位置；

3.复制、保存我们想要的评分数据。

**爬虫操作步骤：**

1.请求并下载电影页面信息；

2.解析并定位评分信息；

3.保存评分数据。

**爬虫的基本流程**

简单来说，我们向服务器发送请求后，会得到返回的页面，通过解析页面后，我们可以抽取我们想要的那部分信息，并存储在指定文档或数据库中，这样，我们想要的信息会被我们“爬”下来了。

![00757436e4626c9d881105cf63068b6.png][]

python中用于爬虫的包很多，如bs4，urllib，requests等等。这里我们用requests+xpath的方式，因为简单易学，像BeautifulSoup还是有点难的。

下面我们就使用requests和xpath来爬取豆瓣电影中的“电影名”、“导演”、“演员”、“评分”等信息。

安装requests和lxml库：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 </td> 
 <td> <code>pip&nbsp;install&nbsp;requests</code> <code>pip&nbsp;install&nbsp;lxml</code> </td> 
 </tr> 
 </tbody> 
</table>

**一、导入模块**

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 </td> 
 <td> <code>#-*-&nbsp;coding:utf-8&nbsp;-*-</code> <code>import&nbsp;requests</code> <code>from&nbsp;lxml&nbsp;import&nbsp;etree</code> <code>import&nbsp;time&nbsp;#这里导入时间模块，以免豆瓣封你IP</code> </td> 
 </tr> 
 </tbody> 
</table>

**二、获取豆瓣电影目标网页并解析**

爬取豆瓣电影《神秘巨星》上的一些信息，地址

https://movie.douban.com/subject/26942674/?from=showing

![d8f2a98e43364cfdf8df299c0959896.png][]

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 </td> 
 <td> <code>#-*-&nbsp;coding:utf-8&nbsp;-*-</code> <code>import&nbsp;requests</code> <code>from&nbsp;lxml&nbsp;import&nbsp;etree</code> <code>import&nbsp;time&nbsp;</code> <code>url&nbsp;=&nbsp;</code><code>'https://movie.douban.com/subject/26942674/'</code> <code>data&nbsp;=&nbsp;requests.get(url).text</code> <code>s=etree.HTML(data)</code> <code>#给定url并用requests.get()方法来获取页面的text，用etree.HTML()</code> <code>#来解析下载的页面数据“data”。</code> </td> 
 </tr> 
 </tbody> 
</table>

**1.获取电影名称。**

获取电影的xpath信息并获得文本

<table> 
 <tbody> 
 <tr> 
 <td> 1 </td> 
 <td> <code>s.xpath(</code><code>'元素的xpath信息/text()'</code><code>)</code> </td> 
 </tr> 
 </tbody> 
</table>

这里的xpath信息要手动获取，获取方式如下：

1.如果你是用谷歌浏览器的话，鼠标“右键”–>“检查元素”；

2.Ctrl+Shift+C将鼠标定位到标题；

3.“右键”–>“Copy”–>“Copy Xpath”就可以复制xpath。

![00358b3a487f24c92638ac70f2fc3e8.png][]

![d3dc6f43c2457d566c2ff123abdba8f.png][]

这样，我们就把电影标题的xpath信息复制下来了。

<table> 
 <tbody> 
 <tr> 
 <td> 1 </td> 
 <td> <code>//*[@id="content"]/h1/span[1]</code> </td> 
 </tr> 
 </tbody> 
</table>

放到代码中并打印信息

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 </td> 
 <td> <code>#-*-&nbsp;coding:utf-8&nbsp;-*-</code> <code>import&nbsp;requests</code> <code>from&nbsp;lxml&nbsp;import&nbsp;etree</code> <code>import&nbsp;time</code> <code>url&nbsp;=&nbsp;</code><code>'https://movie.douban.com/subject/26942674/'</code> <code>data&nbsp;=&nbsp;requests.get(url).text</code> <code>s=etree.HTML(data)</code> <code>&nbsp;</code>&nbsp; <code>film_name&nbsp;=&nbsp;s.xpath(</code><code>'//*[@id="content"]/h1/span[1]/text()'</code><code>)</code> <code>print</code><code>(</code><code>"电影名:"</code><code>,film_name)</code> </td> 
 </tr> 
 </tbody> 
</table>

这样，我们爬取豆瓣电影中《神秘巨星》的“电影名称”信息的代码已经完成了，可以在eclipse中运行代码。

得到如下结果：

<table> 
 <tbody> 
 <tr> 
 <td> 1 </td> 
 <td> <code>电影名:&nbsp;[</code><code>'神秘巨星&nbsp;Secret&nbsp;Superstar'</code><code>]</code> </td> 
 </tr> 
 </tbody> 
</table>

OK，迈出了第一步，我们继续抓取导演、主演、评分；

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 </td> 
 <td> <code>film_name=s.xpath(</code><code>'//*[@id="content"]/h1/span[1]/text()'</code><code>)#电影名</code> <code>director=s.xpath(</code><code>'//*[@id="info"]/span[1]/span[2]/a/text()'</code><code>)#编剧</code> <code>actor1=s.xpath(</code><code>'//*[@id="info"]/span[3]/span[2]/a[1]/text()'</code><code>)#主演1</code> <code>actor2=s.xpath(</code><code>'//*[@id="info"]/span[3]/span[2]/a[2]/text()'</code><code>)#主演2</code> <code>actor3=s.xpath(</code><code>'//*[@id="info"]/span[3]/span[2]/a[3]/text()'</code><code>)#主演3</code> <code>actor4=s.xpath(</code><code>'//*[@id="info"]/span[3]/span[2]/a[4]/text()'</code><code>)#主演4</code> <code>movie_time=s.xpath(</code><code>'//*[@id="info"]/span[13]/text()'</code><code>)#片长</code> </td> 
 </tr> 
 </tbody> 
</table>

观察上面的代码，发现获取不同主演时，区别只在于“a\[x\]”中“x”的值不同。实际上，要一次性获取所有主演信息时，用不加数字的“a”即可获取。

如下：

<table> 
 <tbody> 
 <tr> 
 <td> 1 </td> 
 <td> <code>actors&nbsp;=&nbsp;s.xpath(</code><code>'//*[@id="info"]/span[3]/span[2]/a/text()'</code><code>)#所有主演</code> </td> 
 </tr> 
 </tbody> 
</table>

所以我们修改好的完整代码如下：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 </td> 
 <td> <code>#-*-&nbsp;coding:utf-8&nbsp;-*-</code> <code>import&nbsp;requests</code> <code>from&nbsp;lxml&nbsp;import&nbsp;etree</code> <code>import&nbsp;time</code> <code>url1&nbsp;=&nbsp;</code><code>'https://movie.douban.com/subject/26942674/'</code> <code>data&nbsp;=&nbsp;requests.get(url1).text</code> <code>s=etree.HTML(data)</code> <code>&nbsp;</code>&nbsp; <code>film_name=s.xpath(</code><code>'//*[@id="content"]/h1/span[1]/text()'</code><code>)#电影名</code> <code>director=s.xpath(</code><code>'//*[@id="info"]/span[1]/span[2]/a/text()'</code><code>)#编剧</code> <code>actor=s.xpath(</code><code>'//*[@id="info"]/span[3]/span[2]/a/text()'</code><code>)#主演</code> <code>movie_time=s.xpath(</code><code>'//*[@id="info"]/span[13]/text()'</code><code>)#片长</code> <code>#由于导演有时候不止一个人，所以我这里以列表的形式输出</code> <code>ds&nbsp;=&nbsp;[]</code> <code>for</code>&nbsp;<code>d&nbsp;in&nbsp;director:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>ds.append(d)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code>&nbsp; <code>#由于演员不止一个人，所以我这里以列表的形式输出</code> <code>acs&nbsp;=&nbsp;[]</code> <code>for</code>&nbsp;<code>a&nbsp;in&nbsp;actor:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>acs.append(a)</code> <code>print</code>&nbsp;<code>(</code><code>'电影名:'</code><code>,film_name)</code> <code>print</code>&nbsp;<code>(</code><code>'导演:'</code><code>,ds)</code> <code>print</code>&nbsp;<code>(</code><code>'主演:'</code><code>,acs)</code> <code>print</code>&nbsp;<code>(</code><code>'片长:'</code><code>,movie_time)</code> </td> 
 </tr> 
 </tbody> 
</table>

结果输出：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 </td> 
 <td> <code>电影名:&nbsp;[</code><code>'神秘巨星&nbsp;Secret&nbsp;Superstar'</code><code>]</code> <code>导演:&nbsp;[</code><code>'阿德瓦·香登'</code><code>]</code> <code>主演:&nbsp;[</code><code>'塞伊拉·沃西'</code><code>,&nbsp;</code><code>'梅·维贾'</code><code>,&nbsp;</code><code>'阿米尔·汗'</code><code>,&nbsp;</code><code>'拉杰·阿晶'</code><code>,&nbsp;</code><code>'提斯·沙马'</code><code>,&nbsp;</code><code>'卡比尔·谢赫'</code><code>,&nbsp;</code><code>'法如克·贾法尔'</code><code>,&nbsp;</code> <code>'马努杰·沙玛'</code><code>,&nbsp;</code><code>'莫娜·安伯加卡尔'</code><code>,&nbsp;</code><code>'尼基塔·阿南德'</code><code>,&nbsp;</code><code>'尚'</code><code>,&nbsp;</code><code>'莫纳利·塔库尔'</code><code>]</code> <code>片长:&nbsp;[</code><code>'150分钟'</code><code>]</code> </td> 
 </tr> 
 </tbody> 
</table>

怎么样，是不是很简单啊。赶快去试试吧~~~

这里顺便补充点基础知识：

**Requests常用的七种方法：**

![9705613e4fe3f867821c019eb6cc4f9.png][]

目前，我们只需要掌握最常用的requests.get()方法就好了。

**requests.get()的使用方法**

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 </td> 
 <td> <code>import&nbsp;requests</code> <code>url&nbsp;=&nbsp;</code><code>'https://www.baidu.com'</code> <code>data&nbsp;=&nbsp;requests.get(url)#使用get方法发送请求，返回汗网页数据的Response并存储到对象data&nbsp;中</code> </td> 
 </tr> 
 </tbody> 
</table>

**Repsonse对象的属性：**

data.status\_code：http请求的返回状态，200表示连接成功；

data.text：返回对象的文本内容；

data.content：猜测返回对象的二进制形式；

data.encoding：返回对象的编码方式；

data.apparent\_encoding：响应内容编码方式。  
**最后注意：**光理论是不够的。这里顺便免费送大家一套2020最新python入门到高级项目实战视频教程，可以去小编的Python交流.裙 ：七衣衣九七七巴而五（数字的谐音）转换下可以找到了，还可以跟老司机交流讨教！

*本文的文字及图片来源于网络加上自己的想法,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。*

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly93d3cueWh0Ny5jb20vdXBsb2FkL2ltYWdlLzIwMjAwMTE0LzVkZGUzOWUzZTI3ZmI1MTQuanBn?x-oss-process=image/format,png
[758e2825b0c0eb2f1ecfb9adb66000f.png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly93d3cueWh0Ny5jb20vdXBsb2FkL2ltYWdlLzIwMjAwMTE0LzE1NzQ4NDQzMDA0NDI3NzIucG5n?x-oss-process=image/format,png
[1e2716b4b4f51dc27c6be2ce089bc8b.png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly93d3cueWh0Ny5jb20vdXBsb2FkL2ltYWdlLzIwMjAwMTE0LzE1NzQ4NDQzNDU3Nzc0NDMucG5n?x-oss-process=image/format,png
[00757436e4626c9d881105cf63068b6.png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly93d3cueWh0Ny5jb20vdXBsb2FkL2ltYWdlLzIwMjAwMTE0LzE1NzQ4NDQzOTQ1Mzk2NjkucG5n?x-oss-process=image/format,png
[d8f2a98e43364cfdf8df299c0959896.png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly93d3cueWh0Ny5jb20vdXBsb2FkL2ltYWdlLzIwMjAwMTE0LzE1NzQ4NDQ0ODc1MjY4NDkucG5n?x-oss-process=image/format,png
[00358b3a487f24c92638ac70f2fc3e8.png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly93d3cueWh0Ny5jb20vdXBsb2FkL2ltYWdlLzIwMjAwMTE0LzE1NzQ4NDQ2MTA5MDY4MTUucG5n?x-oss-process=image/format,png
[d3dc6f43c2457d566c2ff123abdba8f.png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly93d3cueWh0Ny5jb20vdXBsb2FkL2ltYWdlLzIwMjAwMTE0LzE1NzQ4NDQ2MzA0ODU2MTQucG5n?x-oss-process=image/format,png
[9705613e4fe3f867821c019eb6cc4f9.png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly93d3cueWh0Ny5jb20vdXBsb2FkL2ltYWdlLzIwMjAwMTE0LzE1NzQ4NDM5NjkzMjEzOTcucG5n?x-oss-process=image/format,png