爬虫笔记：爬虫的基本原理

野性酷女 2023-01-08 13:26 277阅读 0赞

## 1.什么是爬虫 ##

请求⽹站并提取数据的⾃动化程序

## 2.爬虫基本流程 ##

*  发起请求。通过HTTP库向⽬标站点发起请求，即发送⼀个Request，请求可以包含额外的headers等信息，等待服务器响应。
 *  获取响应内容。如果服务器能正常响应，会得到⼀个Response，Response的内容便是所要获取的⻚⾯内容，类型可能有HTML，Json字符串，⼆进制数据（如图⽚视频）等类型。
 *  解析内容，得到的内容可能是HTML，可以⽤正则表达式、⽹⻚解析库进⾏解析。可能是Json，可以直接转为Json对象解析，可能是⼆进制数据，可以做保存或者进⼀步的处理。
 *  保存数据。保存形式多样，可以存为⽂本，也可以保存⾄数据库，或者保存特定格式的⽂件。

## 3.什么是Request和Response? ##

![20210120131459305.png_pic_center][]

*  浏览器就发送消息给该⽹址所在的服务器，这个过程叫做HTTP Request。
 *  服务器收到浏览器发送的消息后，能够根据浏览器发送消息的内容，做相应处理，然后把消息回传给浏览器。这个过程叫做HTTP Response。
 *  浏览器收到服务器的Response信息后，会对信息进⾏相应处理，然后展示。

**Request**

*  请求⽅式.主要有GET、POST两种类型，另外还有HEAD、PUT、DELETE、OPTIONS等。
 *  请求URL.URL全称统⼀资源定位符，如⼀个⽹⻚⽂档、⼀张图⽚、⼀个视频等都可以⽤URL唯⼀来确定。
 *  请求头.包含请求时的头部信息，如User-Agent、Host、Cookies等信息。
 *  请求体.请求时额外携带的数据如表单提交时的表单数据.

![20210120132236879.png_pic_center][]

**Response**

*  响应状态.有多种响应状态，如200代表成功、301跳转、404找不到⻚⾯、502服务器错误
 *  响应头.如内容类型、内容⻓度、服务器信息、设置Cookie等等。
 *  响应体.最主要的部分，包含了请求资源的内容，如⽹⻚HTML、图⽚⼆进制数据等。

![20210120133311845.png_pic_center][] ' ![20210120133402724.png_pic_center][]

## 4.能抓怎样的数据？ ##

*  ⽹⻚⽂本.如HTML⽂档、Json格式⽂本等。
 *  图⽚.获取到的是⼆进制⽂件，保存为图⽚格式。  
    如定位图中图片网址复制下来 ![20210120134739185.png_pic_center][]

import requests
    response = requests.get('https://h.2345cdn.net/i/search20200812/pic-1.png')#响应
    print(response.content)#打印二进制格式,图片为二进制
    
    #写入文件
    with open('D:\\deeplearn\\xuexicaogao\\百度.jpg','wb') as f:
        f.write(response.content)
        f.close()
    print('结束')

![20210120135322327.png_pic_center][]

*  视频。同为⼆进制⽂件，保存为视频格式即可。
 *  其他。只要是能请求到的，都能获取。
 *

## 5.解析⽅式 ##

我们需要对得到的网页源代码进行解析，解析方式有如下

*  直接处理。构造简单，内容简单可以直接处理
 *  Json解析。
 *  正则表达式
 *  BeautifulSoup
 *  XPath
 *  PyQuery

## 6.如何保存数据 ##

*  ⽂本。纯⽂本、Json、Xml等。
 *  关系型数据库。如MySQL、Oracle、SQL Server等具有结构化表结构形式存储。
 *  ⾮关系型数据库。如MongoDB、Redis等Key-Value形式存储。
 *  ⼆进制⽂件。如图⽚、视频、⾳频等等直接保存成特定格式即可。

![在这里插入图片描述][20210120140626656.jpg_pic_center]

创作不易，大佬请留步… 动起可爱的双手，来个赞再走呗 (๑◕ܫ￩๑)

[20210120131459305.png_pic_center]: /images/20221119/745e54e5b3ad445eb2e99ad234919928.png
[20210120132236879.png_pic_center]: /images/20221119/2679c139e29d402faf8a2016b4f79288.png
[20210120133311845.png_pic_center]: https://img-blog.csdnimg.cn/20210120133311845.png#pic_center
[20210120133402724.png_pic_center]: /images/20221119/04874478fba44a40921deb0aa6e9f2ee.png
[20210120134739185.png_pic_center]: /images/20221119/9855f08b9f7f438688da2efa6f65071b.png
[20210120135322327.png_pic_center]: /images/20221119/1f64c33ca0494a15a7f7cb3969311155.png
[20210120140626656.jpg_pic_center]: /images/20221119/4c6926bc4b4d4663aca3dde0024f9e00.png