网络爬虫基础：Python requests库与BeautifulSoup的简单应用

原创女爷i 2025-01-23 13:27 74阅读 0赞

在进行网络爬虫时，Python中的requests库和BeautifulSoup库是常用的工具。

1. Python Requests库：

requests是一个HTTP客户端库，用于发送HTTP请求。使用requests库可以方便地进行登录、获取网页内容等操作。

例如，获取一个网页的内容：
```python
import requests

url = 'http://example.com'  # 替换成你要爬取的URL
response = requests.get(url)

if response.status_code == 200:  # 200是HTTP状态码的成功表示
    content = response.text
    print(content)
else:
    print(f"Failed to get content. Status code: {response.status_code}")
```

2. Beautiful Soup库：

BeautifulSoup是一个解析HTML和XML文档的Python库。它提供了一种方式来查找、选择和修改文档内容。

使用BeautifulSoup，可以更方便地从网页中提取所需信息。

以下是一个简单的例子，展示如何使用requests和BeautifulSoup进行网页爬取：

```python
import requests
from bs4 import BeautifulSoup

# 发送HTTP请求获取页面内容
url = 'http://example.com'  # 替换成你要爬取的URL
response = requests.get(url)

# 如果请求成功（响应状态码为200），
if response.status_code == 200:
    # 使用BeautifulSoup解析HTML内容
    soup = BeautifulSoup(response.text, 'html.parser')

# 查找特定标签，例如所有的`h1`标题
    headers = soup.find_all('h1')

# 打印找到的所有`h1`标题内容
    for header in headers:
        print(header.get_text())
else:
    print(f"Failed to get content. Status code: {response.status_code}")
```

这个例子中，我们首先发送一个GET请求获取网页内容。如果请求成功（状态码为200），我们就使用BeautifulSoup解析HTML内容，并找到所有的`h1`标题。

最后，我们将找到的每个`h1`标题打印出来。

文章版权声明：注明蒲公英云原创文章，转载或复制请以超链接形式并注明出处。

发表评论取消回复

表情：

评论列表（有 0 条评论，74人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python爬虫基础：requests与BeautifulSoup交互示例

在Python爬虫中，我们通常会使用requests库来发送HTTP请求获取网页内容，然后使用BeautifulSoup库解析这些内容。以下是一个简单的示例：首先，安装

喜欢ヅ旅行/ 2025年03月06日 12:36/ 0 赞/ 27 阅读

相关 Python爬虫基础：requests和BeautifulSoup的简单交互

在Python中，我们经常使用两个库来进行网页爬取：`requests`用于发送HTTP请求获取网页内容，而`BeautifulSoup`则用于解析HTML或XML文档。以

ゝ一世哀愁。/ 2025年01月30日 16:51/ 0 赞/ 71 阅读

相关网络爬虫基础：Python requests库与BeautifulSoup的简单应用

在进行网络爬虫时，Python中的requests库和BeautifulSoup库是常用的工具。 1. Python Requests库： requests是一个HTTP客

女爷i/ 2025年01月23日 13:27/ 0 赞/ 75 阅读

相关网络爬虫实践：Python requests库与BeautifulSoup的结合

网络爬虫是一种自动从互联网上抓取信息的技术。在Python中，常用的网络爬虫工具包括requests库和BeautifulSoup库。 1. **requests库**：主要

亦凉/ 2025年01月18日 17:57/ 0 赞/ 51 阅读

相关 Python网络爬虫——BeautifulSoup4库的使用

使用requests库获取html页面并将其转换成字符串之后，需要进一步解析html页面格式，提取有用信息。 BeautifulSoup4库，也被成为bs4库（后皆采用简写）

叁歲伎倆/ 2023年10月08日 10:28/ 0 赞/ 142 阅读

相关【Python网络爬虫笔记】BeautifulSoup模块基础

学习资源：[中国大学MOOC Python网络爬虫与信息提取北京理工大学计算机学院嵩天][MOOC Python_ _] -------------------- 安

悠悠/ 2023年07月18日 06:17/ 0 赞/ 83 阅读

相关【Python爬虫】Requests库网络爬虫实战

1.京东商品页面爬取打开某一个京东页面 [https://item.jd.com/69336974189.html][https_item.jd.com_69336974

迷南。/ 2023年02月23日 07:57/ 0 赞/ 171 阅读

相关 Python网络爬虫之Requests库

Requests库是Python的第三方库，是公认的最好的网络爬取的库。本文将对Requests库的学习（MOOC中国大学课程）做一个总结，对Requests库

刺骨的言语ヽ痛彻心扉/ 2022年06月12日 04:43/ 0 赞/ 530 阅读

相关 Python网络爬虫之BeautifulSoup库

Python网络爬虫之BeautifulSoup库 BeautifulSoup是Python的第三方库，可以对HTML和XML格式的内容进行解析，并且提取其中的相关信息。

叁歲伎倆/ 2022年06月11日 02:38/ 0 赞/ 431 阅读

相关 python网络爬虫之BeautifulSoup库

如果没有这个库的话，请先安装，最简单的安装方式是，打开cmd，输入 pip install beautifulsoup4 1、Beautiful Soup类基本元素

逃离我推掉我的手/ 2022年06月01日 03:17/ 0 赞/ 445 阅读