Python爬虫：如何正确处理网络请求错误？

原创朱雀 2025-02-17 23:57 69阅读 0赞

在编写Python爬虫时，处理网络请求错误是非常重要的一部分。以下是一些常见的处理策略：

1. **异常捕获**：
   使用try/except块来捕获可能出现的网络错误。例如：

```python
   import requests

try:
       response = requests.get('http://example.com', timeout=5)  # 设置超时时间
       response.raise_for_status()  # 如果状态码不是200，会引发HTTPError
       print(response.text)
   except requests.RequestException as e:  # 请求异常捕获
       print(f"Error occurred: {e}")
   ```

2. **重试策略**：
   在网络请求失败后，你可以设置一个机制来重试。例如使用`requests.Session`的`retry`参数：

```python
   from requests.Session import Session

session = Session()
   session.headers['User-Agent'] = 'Your User Agent'  # 设置请求头

retry_count = 3  # 设置重试次数
   retry_delay = 1  # 设置每次重试的延迟时间，单位为秒

def make_request(url, session):
       try:
           response = session.get(url, timeout=5), headers=headers)
           if response.status_code == 200:
               return response.text
           else:
               print(f"Failed to get response: {response.status_code}, reason: {response.reason}")
               raise requests.RequestException(response)
       except requests.RequestException as e:
           print(f"Error occurred during request: {e}")
           return None

url = 'http://example.com'  # 要爬取的URL
   response = make_request(url, session=session)
   if response:
       # 处理获取到的数据
       print(response)
   ```

3. **使用第三方库**：
   有些库如`retrying`提供了重试功能，可以简化你的处理代码。

通过以上方式，你可以更有效地处理Python爬虫中的网络请求错误。