糗图-图片爬取

电玩女神 2023-06-02 10:44 16阅读 0赞

## 糗图-图片爬取 ##

#### 主要思路 ####

1.来到首页，查看主页有用图片存在html的规律

2.编写re提取图片路径

3.右键图片查看请求图片的具体路径

4.拼接图片请求路径

5.查看下一页界面的路径，找到界面请求路径规律

6.work,多界面爬取指定图片爬虫

import requests
    import re
    import os
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
    }
    
    def get_page(page_size):
         for i in range(1,page_size+1):
             url = f"https://www.qiushibaike.com/pic/page/{i}/?s=5222080"
             res=requests.get(url=url,headers=headers)
             #解析图片路径
             pic_list=re.findall('<div class="thumb">[\s\S]*?<img src="(.*?)" alt',res.text,re.S)
             for i in pic_list:
                 i='https:'+i
                 pic_res=requests.get(url=i,headers=headers).content
                 file_name=i.split("/")[-1]
                 #图片数据写入本地文件夹
                 with open(f'pic/{file_name}',"wb")as fw:
                     fw.write(pic_res)
                     print(file_name+"写入成功")
    
    if __name__ == '__main__':
        if not os.path.exists("./pic"):
            os.mkdir("./pic")
        #自定义爬取界面页数
        get_page(3)

转载于:https://www.cnblogs.com/zx125/p/11404564.html

发表评论取消回复

表情：

评论列表（有 0 条评论，16人围观）

还没有评论，来说两句吧...

相关阅读

相关糗图-图片爬取

糗图-图片爬取主要思路 1.来到首页，查看主页有用图片存在html的规律 2.编写re提取图片路径 3.右键图片查看请求图片的具体路径 4.拼接图片请求路径

电玩女神/ 2023年06月02日 10:44/ 0 赞/ 17 阅读

相关 Python爬取糗事百科段子

Python爬取糗事百科段子 -------------------- 糗事百科是一个原创的糗事笑话分享社区,糗百网友分享的搞笑段子，使用Python爬取段子 ![

超、凢脫俗/ 2022年10月23日 12:42/ 0 赞/ 293 阅读

相关 Python运用正则解析爬取糗事百科图片

文章目录前言爬取原理代码 -------------------- 前言这只是一个基础的爬取图片过程，其他图片的爬取大致过程也是这样

￡神魔★判官ぃ/ 2022年09月02日 03:56/ 0 赞/ 308 阅读

相关爬取图片

\----- 爬取百度贴吧的图片： \ coding=utf-8 import urllib import re def getHtml(url): pa

痛定思痛。/ 2022年06月07日 02:54/ 0 赞/ 397 阅读

相关案例_(多线程)爬取糗事百科

讲解都写在代码注释中了,直接上代码使用了线程库 import threading 队列 from queue import Queu

清疚/ 2022年05月13日 00:56/ 0 赞/ 316 阅读

相关爬虫:爬取糗事百科数据

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

青旅半醒/ 2022年01月26日 04:45/ 0 赞/ 402 阅读

相关唯一图库爬取图片

项目一：唯一图库项目概述：根据需要到唯一图库爬取图片所用技术：scrapy,urllib，字符串处理，百分号格式化爬虫程序根据setting和item配置把爬取到的

待我称王封你为后i/ 2022年01月07日 04:51/ 0 赞/ 358 阅读

相关 python爬虫爬取彼岸图网图片

python爬虫爬取彼岸图网图片话不多说，直接上代码！ import requests from PIL import Image from

超、凢脫俗/ 2021年07月26日 16:43/ 0 赞/ 773 阅读

相关爬取网页图片

下载表情包吧指定网页的所有图片 #coding:utf-8 import urllib.request import urllib.parse import urlli...

系统管理员/ 2021年05月03日 05:44/ 0 赞/ 777 阅读

相关 Python爬取图片

import requests # 模块导入的俩种方法 from multiprocessing import Pool import...

灰太狼/ 2021年04月08日 04:26/ 0 赞/ 912 阅读