爬虫初体验：Python的requests库与反爬策略

原创快来打我* 2025-03-04 17:00 2阅读 0赞

爬虫，简单来说，是一种通过自动化工具来抓取互联网上特定信息的技术。在Python编程中，requests库是进行网络请求的重要工具。

1. requests库基本使用：
```python
import requests

# 发送GET请求
response = requests.get('http://example.com')

# 检查状态码
if response.status_code == 200:
    # 如果状态码正常，可以获取内容
    content = response.text
    print(content)
else:
    print('请求失败，状态码：', response.status_code)
```

2. 反爬策略：
- 设置User-Agent：大多数网站会通过User-Agent来判断是否是机器人。
```python
headers = {'User-Agent': 'Mozilla/5.0'}
response = requests.get('http://example.com', headers=headers)
```
- 随机延迟请求：避免过于频繁的请求，模拟人类浏览习惯。
```python
import time

def delay_request():
    time.sleep(2)  # 延迟2秒

for _ in range(5):  # 模拟访问5次
    delay_request()
    response = requests.get('http://example.com', headers=headers)
```
- 设置Cookie：某些网站会通过Cookie来维持登录状态。
```python
import http.cookies

def set_cookie(cookie_name, cookie_value):
    cookie = http.cookies.SimpleCookie()
    cookie[cookie_name] = cookie_value
    return cookie

cookie_dict = {
    'session_key': 'your_session_value',
    'site_token': 'your_site_token_value'
}

for key, value in cookie_dict.items():
    response = requests.get('http://example.com', headers=headers, cookies=set_cookie(key, value)))
```
以上就是Python爬虫中requests库的基本使用以及反爬策略的一些常见做法。需要注意的是，任何的网络爬虫行为都需要遵守相关法律法规。