Python3原生爬虫实战

冷不防 2023-07-05 05:19 3阅读 0赞

## 一.爬虫实例 ##

1.原理：文本分析并提取信息——正则表达式。

2.实例目的：爬取熊猫TV某个分类下面主播的人气排行

分析网站结构

操作：F12查看HTML信息，Ctrl+Shift+C鼠标选取后找到对应的HTML。

PS:另外很多人在学习Python的过程中，往往因为遇问题解决不了或者没好的教程从而导致自己放弃，为此我建了个Python全栈开发交流.裙 ：一久武其而而流一思（数字的谐音）转换下可以找到了，里面有最新Python教程项目可拿,不懂的问题有老司机解决哦，一起相互监督共同进步

3.步骤：

**前奏：**

1、明确目的（分析抓取目的确定抓取页面）

2、找到数据对应网页

3、分析网页的结构，找到数据所在标签的位置

**执行：**

4、模拟HTTP请求，向服务器发送请求，获取到服务器返回给我们的HTML

5、用正则表达式提取我们要的数据

......

4.代码

## 二. VSCode中调试代码 ##

断点调试：F5启动，F10单步，F5跳断点，F11进内部

## 三.HTML结构分析基本原则 ##

寻找到标签、标识符，使之能够定位要抓取的信息。

1、尽量选取具有唯一性的标签

2、尽量选取最接近于数据的标签

## 四.数据提取层级分析及原则 ##

1.可以把两个数据看成是一组数据并再次寻找标签。

2.尽量选取可以闭合的标签(父级标签)，并包裹其需要的数据

## 五.正则分析HTML及具体流程 ##

'''
    This is a spider，模块注释
    '''
     
     
    from urllib import request
     
    import re
     
     
     
    class Spider():
     
        '''
        This is a spider class
        '''
     
        url = 'https://www.panda.tv/cate/lol'
     
        root_pattern = '<div class="video-info">([\s\S]*?)</div>' #注意单双引号
     
        #[\w\W] [\s\S] . 匹配所有字符
     
        #* 匹配0次或者无限多次
     
        #? 非贪婪模式，匹配到第一个遇到的</div>
     
        name_pattern = '</i>([\s\S]*?)</span>'
     
        number_pattern = '<span class="video-number">([\s\S]*?)</span>'
     
    def __fetch_content(self):
     
        '''
        私有方法，获取网页内容
        '''
     
        r = request.urlopen(Spider.url)
     
        htmls = r.read()
     
        htmls = str(htmls,encoding = 'utf-8')
     
     
        return htmls
     
     
    def __analysis(self,htmls):
     
        '''
        正则表达式来提取数据
        '''
     
        root_html = re.findall(Spider.root_pattern,htmls)
     
     
        anchors = []
     
        for html in root_html:
     
            name = re.findall(Spider.name_pattern,html)
     
            number = re.findall(Spider.number_pattern,html)
     
            anchor = {'name':name,'number':number}
     
            anchors.append(anchor)
     
     
        return anchors
     
     
     
    def __refine(self,anchors):
     
        l = lambda anchor:{
     
        'name':anchor['name'][0].strip(),
     
        'number':anchor['number'][0] #列表转化为单一的字符串
     
        }
     
     
        return map(l,anchors)
     
     
     
    def __sort_seed(self,anchor):
     
        r = re.findall('\d*',anchor['number']) #提取数字
     
        number = float(r[0])
     
        if '万' in anchor['number']: #处理'万'
     
            number *= 10000
     
            
     
        return number
     
     
     
    def __sort(self,anchors):
     
        '''
        key确定比较对象
        sorted()默认升序排列,reverse = True 降序
        不能用str排序，要用int，并且要处理'万'
        '''
     
        anchors = sorted(anchors,key = self.__sort_seed,reverse = True)
     
        return anchors
     
     
     
    def __show(self,anchors):
     
        for rank in range(0,len(anchors)):
     
            print('rank ' + str(rank + 1) +
     
        ':' + ' ' + anchors[rank]['name'] +
     
        '————' + anchors[rank]['number'])
     
     
     
    def go(self): #Spider的入口方法
     
        htmls = self.__fetch_content()
     
        anchors = self.__analysis(htmls)
     
        anchors = list(self.__refine(anchors))
     
        anchors = self.__sort(anchors)
     
        self.__show(anchors)
     
     
     
    spider = Spider()
     
    spider.go()

爬虫框架：

Beautiful Soup

Scrapy  
总结：很多人在学习Python的过程中，往往因为遇问题解决不了或者没好的教程从而导致自己放弃，为此我建了个Python全栈开发交流.裙 ：一久武其而而流一思（数字的谐音）转换下可以找到了，里面有最新Python教程项目可拿,不懂的问题有老司机解决哦，一起相互监督共同进步  
本文的文字及图片来源于网络加上自己的想法,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。