一篇文章入门python爬虫（需要html,css基础）

本是古典何须时尚 2024-03-25 14:23 61阅读 0赞

## 一篇文章入门python爬虫（需要html,css基础） ##

### 代码演示 ###

*  创建项目  
    ![在这里插入图片描述][daff5b99de344a29b0b5d18014396a2f.png]
 *  首先安装requests包  
    `pip install -i http://pypi.douban.com/simple/ requests`  
    ![在这里插入图片描述][be7ed89b9b684375afbe27485a52f9d3.png]
 *  测试代码

# 1. 导入模块
    import requests
    
    # 2. 发送请求，获取响应
    response = requests.get("http://books.toscrape.com/") # 这是一个用于测试的网络链接
    
    # 3. 打印响应体
    print(response)
    # 打印响应码
    print(response.status_code)
    
    print(response.content.decode())

**运行结果**  
![在这里插入图片描述][703b41d43cfc4b5593458685403a54ea.png]

*  爬虫练习  
    response.ok只要是响应码是可以的，响应可以通过，那么就响应成功，然后我们打印返回结果，response.text.

# 1. 导入模块
    import requests
    
    # 2. 发送请求，获取响应
    response = requests.get("http://books.toscrape.com/") # 这是一个用于测试的网络链接
    
    if response.ok:
        print(response.text)
    else:
        print("请求失败")

运行结果

![在这里插入图片描述][2c7e26499e0f45e1a116898ab0804434.png]

### 爬取豆瓣top250数据案例 ###

案例演示网址`https://movie.douban.com/top250`  
![在这里插入图片描述][0fcf7222ca644a7081ec6cd57e66748f.png]

*  测试代码

# 1. 导入模块
    import requests
    
    # 2. 发送请求，获取响应
    response = requests.get("https://movie.douban.com/top250") # 这是一个用于测试的网络链接
    
    print(response.status_code)

**运行结果**  
这个运行结果是418，意思是愚人节，表示网页发现了，访问这个网页的是程序，不是人类。  
![在这里插入图片描述][21c135ae1c77470893540fb94af8128a.png]

*  定义请求头

在网页部分点击F12,点击网络  
![在这里插入图片描述][37b80752b3644ef9a3d5d56b8a6468e2.png]

刷新网页，可以看见很多发送的请求

![在这里插入图片描述][00c608f19b4241148391233d1e85c523.png]

点击其中的任意一个请求

![在这里插入图片描述][98ab9e5af06d4e2a92ac3417f9518522.png]

找到user-agent

![在这里插入图片描述][c30e12948550466496a213a5ccd244ec.png]  
把这个请求头复制到代码中。  
![在这里插入图片描述][7373732598db4a8c9f7029d2234cb178.png]

**完整代码**

# 1. 导入模块
    import requests
    
    headers = {
        
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36 Edg/110.0.1587.69"
    }
    # 2. 发送请求，获取响应
    response = requests.get("https://movie.douban.com/top250", headers = headers) # 这是一个用于测试的网络链接
    
    print(response.status_code)

**运行结果**  
![在这里插入图片描述][fe40518d23104fecab7462a8a6cca4f7.png]

*  BeautifulSoup库来解析网页源码
 *  首先安装bs4包  
    `pip install -i http://pypi.douban.com/simple/ bs4`

如果上面命令安装失败，那么使用这个命令

python.exe -m pip install bs4 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

![在这里插入图片描述][1fe2701d9aba4df8864179c6bdf0971b.png]

选择需要获取的标签的情况，比如我现在想要获取这个评分，然后可以看出来，它是spanB标签下的`rating_num`属性  
![在这里插入图片描述][a7efe8f10c6a4d4b9118bed48c30af4a.png]  
**完整代码**

import requests
    from bs4 import BeautifulSoup
    
    headers = {
        
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36 Edg/110.0.1587.69"
    }
    # 2. 发送请求，获取响应
    response = requests.get("https://movie.douban.com/top250", headers = headers) # 这是一个用于测试的网络链接
    
    content = response.text
    
    # 获取文本的树状结构
    soup = BeautifulSoup(content,"html.parser")
    
    # 获取评分集合
    all_rating_nums = soup.findAll("span", attrs={
        "class", "rating_num"})
    for rating_num in all_rating_nums:
        print(rating_num)

运行结果，获取到了一页的评分情况  
![在这里插入图片描述][d759f6aba1604016984c09bef81c060d.png]

通过切片获取具体评分

import requests
    from bs4 import BeautifulSoup
    
    headers = {
        
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36 Edg/110.0.1587.69"
    }
    # 2. 发送请求，获取响应
    response = requests.get("https://movie.douban.com/top250", headers = headers) # 这是一个用于测试的网络链接
    
    content = response.text
    
    # 获取文本的树状结构
    soup = BeautifulSoup(content,"html.parser")
    
    # 获取评分集合
    all_rating_nums = soup.findAll("span", attrs={
        "class", "rating_num"})
    for rating_num in all_rating_nums:
        print(rating_num.string)

**运行结果**  
![在这里插入图片描述][1168417d42cc43259fc2de086b3ada74.png]

现在我想要获取每一部的与评分相结合的情况。  
获取作品姓名代码

首先是观察作品名字的盒子信息，可以知道的是hd这个盒子下的，a标签中。  
![在这里插入图片描述][78899cf345fb40b69cb365ec08ce8b66.png]  
![在这里插入图片描述][4e61d1365d95464e83e3cb46e6d8e87e.png]

关键操作代码如下

all_titles = soup.findAll("div", attrs={
        "class", "hd"})
    for title in all_titles:
        all_links = title.findAll("span", attrs={
        "class", "title"})
        for link in all_links:
            print(link.string.split("/")[0])

运行结果  
![在这里插入图片描述][afa23cb94bcd4babbc0280ffc55c4dc1.png]

*  分页操纵获取全部  
    观察这个分页情况，还有页面情况，url情况，一共有10页，每页25个  
    ![在这里插入图片描述][7b4a9aef21ff4fdfabfd3f026e5f087a.png]

![在这里插入图片描述][0919039f6b864c3ab7c6fbf0b6854b5d.png]

我们换页之后的样子  
![在这里插入图片描述][3b60d9080b77465582e0dcd416e0472c.png]  
直接用这个链接也可以的  
`https://movie.douban.com/top250?start=25`

然后这个就知道怎么写了，通过一个循环不断的设置新的地址，然后爬取十次就可以了，然后完整代码如下。

import requests
    from bs4 import BeautifulSoup
    
    headers = {
        
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36 Edg/110.0.1587.69"
    }
    
    for i in range(0, 251, 25):
        url = "https://movie.douban.com/top250?start=" + str(i)
        # 2. 发送请求，获取响应
        response = requests.get(url, headers = headers) # 这是一个用于测试的网络链接
    
        content = response.text
        # 获取文本的树状结构
        soup = BeautifulSoup(content,"html.parser")
    
        # 获取评分集合
        # all_rating_nums = soup.findAll("span", attrs={"class", "rating_num"})
        # for rating_num in all_rating_nums:
        #     print(rating_num.string)
    
        all_titles = soup.findAll("div", attrs={
        "class", "hd"})
        for title in all_titles:
            all_links = title.findAll("span", attrs={
        "class", "title"})
            for link in all_links:
                print(link.string.split("/")[0])

运行完毕，爬取成功  
![在这里插入图片描述][24407416ee9840de8338cc80487652f8.png]  
![在这里插入图片描述][7f942af824f247ff9900c521bf41774a.png]

[daff5b99de344a29b0b5d18014396a2f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/a20e26f5a2864adabc7ae3a57f687922.png
[be7ed89b9b684375afbe27485a52f9d3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/9bd9620683d348dd8ae4d4dae3fc6637.png
[703b41d43cfc4b5593458685403a54ea.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/b9e526ef11234244ba3c171e69fa8e48.png
[2c7e26499e0f45e1a116898ab0804434.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/6fe5e8ba3ba84569bba876ce1c4b0a55.png
[0fcf7222ca644a7081ec6cd57e66748f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/ce4218c27f424753bfb295744eb9065d.png
[21c135ae1c77470893540fb94af8128a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/a2fa4bb09410490abdca90b6b4547627.png
[37b80752b3644ef9a3d5d56b8a6468e2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/8cd637a8ca5f4a92bba9049ae38807a7.png
[00c608f19b4241148391233d1e85c523.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/e9463fc856bb42d19cc8ce613a40cb44.png
[98ab9e5af06d4e2a92ac3417f9518522.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/c79cd887206949a5843d498c8362fb01.png
[c30e12948550466496a213a5ccd244ec.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/a17e70a4990742c49d8076b60ee959e6.png
[7373732598db4a8c9f7029d2234cb178.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/2aba91a5678443cd901f4e11c72a08ad.png
[fe40518d23104fecab7462a8a6cca4f7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/f9feb896d88e4f23b908ea177908a368.png
[1fe2701d9aba4df8864179c6bdf0971b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/2536c2b18c9947e08cd2ee9a1ba293d7.png
[a7efe8f10c6a4d4b9118bed48c30af4a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/810af35bde4f45aaa324e4d2b19db4bb.png
[d759f6aba1604016984c09bef81c060d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/703e0fb9094947eea1973702ff4c1ab0.png
[1168417d42cc43259fc2de086b3ada74.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/73b0886a5f1d41fe85c07d3866967c6d.png
[78899cf345fb40b69cb365ec08ce8b66.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/d61f30df33b94720bf3409c8df9c562f.png
[4e61d1365d95464e83e3cb46e6d8e87e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/3f6f83239a104df28d8994ad909d040c.png
[afa23cb94bcd4babbc0280ffc55c4dc1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/1786f0a64a06453185b94b800f72821b.png
[7b4a9aef21ff4fdfabfd3f026e5f087a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/c54f8a0b69564973ba288ea03ef6b2a2.png
[0919039f6b864c3ab7c6fbf0b6854b5d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/d06b3ee7480b41d6ac0738979ec8a6ae.png
[3b60d9080b77465582e0dcd416e0472c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/c7f3869406a342f590aa03de114604a9.png
[24407416ee9840de8338cc80487652f8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/3f5d00f067ac4d898aa43024954e92d1.png
[7f942af824f247ff9900c521bf41774a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/9a5a44c8cdac412fa910af5d89308d64.png