Python爬虫，4567电影网电影信息爬取，二级页面处理方案

向右看齐 2023-07-04 14:20 3阅读 0赞

**目录**

4567电影网电影信息爬取

1.需求分析

2.URL分析

3.正则表达式分析

4.程序设计

5.程序代码

--------------------

## 4567电影网电影信息爬取 ##

### 1.需求分析 ###

4567电影网首页如下，点击一部电影，看看具体的页面呈现。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70][]

电影信息有电影名，类型，地区，年份，主演，等等。在这里我们仅提取电影名和电影简介

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 1][]

进入到电影分类页面，我们的目的是提取某一类型所有电影的名字和简介

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 2][]

### 2.URL分析 ###

**1.一级URL分析**

动作栏的电影URL为：[https://www.4567tv.tv/index.php/vod/show/id/5/page/1.html][https_www.4567tv.tv_index.php_vod_show_id_5_page_1.html]

从这个URL可以得出两条信息：

1.动作类型的电影id号为5

2.第一页的html为1.html，第二页为2.html，依次推列

**2.二级URL分析**

在动作栏电影页面右键查看源代码，分析源代码得到他的链接地址。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 3][]

得出的结果为：[/movie/index29612.html][movie_index29612.html]

这显然不是一个完整的URL，我们在动作栏页面点击肥龙过江，看到他的URL如下若是，于是我们得出结论。

二级URL="[https://www.4567tv.tv][movie_index29612.html]"+链接地址

![2020021123174519.png][]

### 3.正则表达式分析  ###

**1.二级URL正则表达式分析**

我们想要的是href里面的那一次，分析划线部分的代码，发现规律，于是正则表达式可以这么写：

以<a class="stui-vodlist\_\_thumb lazyload" 开头，(.\*?)提取子模式，.\*?非贪婪匹配后续，直到</a>

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 4][]

**2.电影名和简介正则表达式分析**

我们要提取的信息是电影名和简介，根据分析，发现电影名以<div class="stui-content\_\_detail">开头，简介以<span class="detail-content" style="display: none;">开头。那么正则表达式如下：

注意：这里有两个子模式，所以返回的结果为元组列表

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 5][]

### **4.程序设计** ###

1.定义一个类，Movies4567\_spider封装方法

2.初始化信息，包括一级URL和正则，二级URL和正则，请求头代理

3.定义获取页面的函数：get\_html()

4.定义获取一级页面内容的函数（获取二级页面的URL）：parse\_first()

5.定义获取二级页面内容的函数（获取电影名和简介）：parse\_second()

6.定义正则匹配函数，返回匹配列表（这里单独来写是为了一二级页面的解耦）：regex\_func()

7.定义入口函数：run()

### 5.程序代码 ###

from urllib import request
    import re
    import time
    import random
    
    class Movies4567_spider(object):
        def __init__(self):
            self.frist_url="https://www.4567tv.tv/index.php/vod/show/id/5/page/{}.html"
            self.second_url="https://www.4567tv.tv"
            self.headers = {
                "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"}
            self.regex_first = '<a class="stui-vodlist__thumb lazyload" href="(.*?)".*?</a>'
            self.regex_second = '<div class="stui-content__detail">.*?<h1 class="title">(.*?)</h1>.*?<span class="detail-content" style="display: none;">(.*?)</span>'
    
        #获取页面
        def get_html(self,url):
            req = request.Request(url=url, headers=self.headers)
            rep = request.urlopen(req)
            html = rep.read().decode("utf-8","ignore")
            return html
    
        #提交html页面，正则表达式regex,返回列表
        def regex_func(self,regex,html):
            pattern=re.compile(regex,re.S)
            lists=pattern.findall(html)
            return lists
    
        #一级页面：获取二级页面的url
        def parse_first(self,first_url):
            html_first=self.get_html(first_url)
            #获取到二级页面的url
            list_second=self.regex_func(self.regex_first,html_first)
            print(list_second)
            #对二级页面做信息提取
            for i in list_second:
                # url拼接
                url_second=self.second_url+i
                item=self.parse_second(url_second)
                print(item)
                time.sleep(random.uniform(1,2))
        
        #处理二级页面，获取电影名和简介
        def parse_second(self,second_url):
            #下载页面内容
            html_second=self.get_html(second_url)
            #返回匹配内容
            info=self.regex_func(self.regex_second,html_second)
            #将返回内容打包成集合返回
            items={}
            items["name"]=info[0][0]
            items["detail"]=info[0][1]
            return items
        
        #入口函数
        def run(self):
            #获取一到第十页
            for i in range(1,10):
                #url拼接
                url=self.frist_url.format(i)
                self.parse_first(url)
    
    if __name__ == "__main__":
        spider=Movies4567_spider()
        spider.run()

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200211225741682.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200211225847125.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200211230012705.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3,size_16,color_FFFFFF,t_70
[https_www.4567tv.tv_index.php_vod_show_id_5_page_1.html]: https://www.4567tv.tv/index.php/vod/show/id/5/page/1.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200211231427599.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3,size_16,color_FFFFFF,t_70
[movie_index29612.html]: https://www.4567tv.tv/movie/index29612.html
[2020021123174519.png]: https://img-blog.csdnimg.cn/2020021123174519.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/2020021123221896.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200211232731218.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NrNzg0MTAxNzc3,size_16,color_FFFFFF,t_70