爬取某网站图片

待我称王封你为后i 2023-03-12 09:04 71阅读 0赞

这里爬取的目标为jiandan网上的用户分享的随手拍的图片，链接为：http://jandan.net/ooxx

首先，经分析后发现该板块的图片是异步加载的，通过requests库难以获取。因此，利用selenium动态获取目标内容的源代码，再用BeautifulSoup库解析保存即可。

1、首先打开目标链接，煎蛋分析下网站，然后决定用什么方式去获取内容

![format_png][]

禁止加载JavaScript后，图片则无法显示，并且在XHR里面没有任何内容

![format_png 1][]

基于此，我们发现，该板块内容只有图片是异步加载 的，但图片又是我们想要爬取的，这时用requests库去获取内容的话会比较困难，因此，我们可以用selenium库来获取目标内容。

2.selenium简单入门

1）什么是selenium

Selenium 是一个用于浏览器自动化测试的框架，可以用来爬取任何网页上看到的数据。

2）selenium的下载和安装

在终端输入pip install selenium ——> 下载Chromdriver，解压后放在…\\Google\\Chrome\\Application\\ ——> 将该目录添加至环境变量

3）使用代码测试

from selenium import webdriver #导入包
    
    driver = webdriver.Chrome()  #打开Chrome浏览器
    driver.get('http://www.baidu.com')  #输入url,打开百度首页

![format_png 2][]

如上所示，这段代码可以自动打开百度首页，说明OK

3、开始爬取图片

# 导入必要的包
    from selenium import webdriver
    from bs4 import BeautifulSoup
    import requests
    
    # 打开谷歌浏览器
    driver = webdriver.Chrome()
    # 输入url，打开煎蛋网首页
    driver.get('http://jandan.net')
    # 初始化一个引用计数，用于后面的图片简单命名
    index = 1
    
    # 定义爬虫方法
    def getImage(link_texts):
        # 将index置为全局变量
        global index
        # 通过点击的动作执行翻页
        for i in link_texts:
            # 模拟点击
            driver.find_element_by_link_text(i).click()
            # 解析网页
            html = BeautifulSoup(driver.page_source, 'html.parser')
            # 获取原图的url链接
            links = html.find_all('a', {'class': 'view_img_link'})
            # 遍历当页获得的所有原图链接
            for link in links:
                # 将原图存至当前目录下的jdimg 文件夹，以index命名，后缀名为图片原名的后三位，即jpg或者gif
                with open('jdimg/{}.{}'.format(index, link.get('href')[len(link.get('href'))-3: len(link.get('href'))]), 'wb') as jpg:
                    jpg.write(requests.get("http:" + link.get('href')).content)
                print("正在爬取第%s张图片" % index)
                index += 1
    # 定义主函数     
    def main():
        # 将准备执行的浏览或翻页动作的关键字存入数组
        link_texts = [u'随手拍', u'下一页', u'下一页', u'下一页', u'下一页']
        #开始爬取
        getImage(link_texts)
    
    main()

执行后：

![format_png 3][]

打开文件夹jdimg后，可以看到，图片爬取成功：

![format_png 4][]

[https://www.cnblogs.com/m-chen/p/10136958.html][https_www.cnblogs.com_m-chen_p_10136958.html]

[format_png]: /images/20230312/aa517a6224634bbdb776dbc344f8b52b.png
[format_png 1]: /images/20230312/69e8180d4a774d3da4c31fedb0c73947.png
[format_png 2]: /images/20230312/9aaaaa61d1b24327a5f23eae725f2c85.png
[format_png 3]: /images/20230312/ba9e4c5678894e27973da627a523c36b.png
[format_png 4]: /images/20230312/784ab166ccec458ea7ec3f82a1e19052.png
[https_www.cnblogs.com_m-chen_p_10136958.html]: https://www.cnblogs.com/m-chen/p/10136958.html