简单的python爬虫，爬取网页内容并保存到指定文件（实例源码加注释）

柔光的暖阳◎ 2023-07-04 12:54 29阅读 0赞

python爬虫，爬取网页内容并保存到指定文件（实例）  
python爬虫，爬出豆瓣书摊的书籍列表以及图片，还有连接。当然还可以将相关代码封装成函数，使用递归调用就可以无限爬下去。

#导包，requets可以福爬取网页，BeautifulSoup4可以解析requests爬下来的网页，解析为html文档
    import requests
    from bs4 import BeautifulSoup
    
    #打开对应地址的文件，将爬取下来的结果保存进去，注意下面的语句全部都要缩进一个
    with open('C:/Users/A/Desktop/hehe.txt', 'r+', encoding='utf-8') as f:
    	#创建要访问的网页链接
    	url = "https://movie.douban.com/"
    	
    	#设置请求头的UA用于身份伪装
    	headers = { 
    	"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36"
    	}
    	
    	#使用requests.get的方法去爬取页面
    	res = requests.get(url, headers=headers)
    	
    	#设置已经爬下来的页面的编码格式
    	res.encoding = "utf-8"
    	
    	#使用BeautifulSoup4解析html文档
    	soup = BeautifulSoup(res.text, 'xml')
    	
    	#使用find方法找到里面标签为a标签，文本内容为读书的标签（注意这里是完全匹配）
    	tags = soup.find(name='a', text='读书')
    	
    	#使用get方法获取里面的href链接
    	url = tags.get('href')
    	
    	rep = requests.get(url, headers=headers)
    	
    	soup2 = BeautifulSoup(rep.text, 'lxml')
    	
    	#使用select CSS 选择器选择carousel 这个class内容，并且是里面a标签的内容，注意是一个列表内容
    	for i in soup2.select(".carousel a"):
    	    #print(i)
    	    #使用select选择img标签
    	    if i.select("img"):
    	    	
    	    	#使用get获取里面的title，href内容，以及img里面的第一个元素的src内容
    	        print(i.get('title'), "-------", i.get('href'), "-------", i.select("img")[0].get('src'))
    	        
    	        #使用write将这些爬取下来的内容一行一行的写入文件中
    	        f.write("{} {} {} {} {}\n".format(i.get('title'), "-------", i.get('href'), "-------", i.select("img")[0].get('src')))