Python爬虫开发（一）—— 爬虫概念、工具和HTTP

痛定思痛。 2022-05-17 00:26 324阅读 0赞

# 1.什么是爬虫 #

\- 爬虫就是模拟客户端（浏览器）发送网络请求，获取相应，按照规则提取数据的程序

\- 模拟客户端（浏览器）发送网络请求：照着浏览器发送一模一样的请求，获取和浏览器一模一样的数据

# 2.爬虫的数据去哪了 #

\- 呈现出来：展示在网页上，或者是展示在app上

\- 进行分析：从数据中寻找一些规律

# 3.需要的软件和环境 #

\- python3

*  基础语法（字符串，列表，字典，判断和循环）
 *  函数（函数的创建和调用）
 *  面向对象（如何创建一个类，如何使用这个类）

\- pycharm

*  python编辑器

\- chrome浏览器

*  分析网络请求用的

# 4.浏览器的请求 #

\- url

*  在chrome中点击检查，点到network，
 *  url = 请求的协议+网站的域名+资源的路径+参数

\- 浏览器请求url地址

*  当前url对应的响应+js+css+图片   ---> elements中的内容

\- 爬虫请求url地址

*  当前url对应的响应

\- elements的内容和爬虫获取到的url地址的响应不同，爬虫中需要以当前url地址对应的响应为准提取数据

\- 当前url地址对应的响应在哪里

*  从network中找到当前的url地址，点击response
 *  在页面上右键显示网页源码

# 5.认识HTTP、HTTPS #

\- HTTP：超文本传输协议

*  以明文的形式传输
 *  效率更高，但是不安全

\- HTTPS：HTTP+SSL（安全套接字层）

*  传输之前数据先加密，之后解密获取内容
 *  效率较低，但是安全

\- get请求和post请求的区别

*  get请求没有请求体，post有，get请求吧数据放到url地址汇总
 *  post请求常用于登录注册
 *  post请求携带的数据量比get请求大，多，常用于传输大文本的时候
 *

\- HTTP协议之请求

1.  请求行
2.  请求头
    
    1.  User-Agent：用户代理：对方服务器能够通过user\_agent知道当前请求对方资源的是什么浏览器
        
        1.  如果我们需要模拟手机版的浏览器发送请求，对应的，就需要把user\_agent改成手机版
    2.  Cookie：用来存储用户信息的，每次请求会被携带上发送给对方给的浏览器
        
        1.  要获取登录后才能访问的页面
        2.  对方的服务器会通过cookie来判断我们是不是一个爬虫
3.  请求体
    
    1.  携带数据
    2.  get请求没有请求体
    3.  post请求有请求体

\- HTTP协议之响应

1.  响应头
    
    1.  Set-Cookie：对方服务器通过该字段设置cookie到本地
2.  响应体
    
    1.  url地址对应的响应

发表评论取消回复

表情：

评论列表（有 0 条评论，324人围观）

还没有评论，来说两句吧...

相关阅读

相关使用Python进行网络爬虫开发：基础概念与常见工具介绍

网络爬虫，也称为网页抓取器或爬虫，是一种自动在互联网上爬取信息的程序。在Python中，我们通常会使用各种库来实现爬虫。以下是一些基础概念以及常用的Python爬虫工具：

冷不防/ 2025年02月22日 15:27/ 0 赞/ 8 阅读

相关 Python 爬虫基础——http请求和http响应

写本篇文章，我认为是能把自己所理解的内容分享出来，说不定就有和我一样有这样思维的共同者，希望本篇文章能帮助大家！✨✨ 文章目录 * 一、 ?pyth...

桃扇骨/ 2024年04月17日 11:40/ 0 赞/ 207 阅读

相关 python爬虫（一）

一、理论![在这里插入图片描述][d92a128ff0bf4c91bfdf8dad3271f243.png] （1）URL管理器：网页之间的链接很复杂，a指向b，b指向a，

野性酷女/ 2024年03月30日 15:07/ 0 赞/ 161 阅读

相关爬虫相关概念和https加密

一、爬虫的相关概念 1.什么是爬虫互联网：由网络设备（网线，路由器，交换机，防火墙）和一台台计算机连接而成，像一张网一样。互联网建立目的：互联网的核心价值在与

╰+哭是因爲堅強的太久メ/ 2023年08月17日 17:45/ 0 赞/ 196 阅读

相关 python 异步爬虫_PYTHON_异步爬虫(一）

PYTHON\_异步爬虫(一) 高性能异步爬虫目的：在爬虫中使用异步实现高性能的数据爬取操作异步爬虫的方式： \-多线程，多进程(不建议)：好处：可以为相关阻塞

矫情吗；*/ 2022年10月22日 11:51/ 0 赞/ 343 阅读

相关 python网络爬虫——HTTP和爬虫的基本原理（一）

一、HTTP的请求过程客户端向服务器发送请求，服务器在获取请求后，给服务器反馈数据响应。 ![在这里插入图片描述][watermark_type_ZHJvaWRzYW

逃离我推掉我的手/ 2022年09月09日 06:52/ 0 赞/ 315 阅读

相关 python爬虫（一）

简单的爬虫，爬取非诚勿扰的几张图片 -- coding: utf-8 -- import urllib import urllib2 imp

偏执的太偏执、/ 2022年08月20日 07:28/ 0 赞/ 294 阅读

相关 Python爬虫（一）：基本概念

网络爬虫的定义网络爬虫（Web Spider，又被称为网页蜘蛛，网络机器人，又称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外一些不常使

Dear 丶/ 2022年08月07日 05:41/ 0 赞/ 354 阅读

相关 Python网络爬虫笔记（3）HTTP和HTTPS

HTTP协议（HyperText Transfer Protocol，超文本传输协议）：是一种发布和接收 HTML页面的方法。 HTTPS（Hypertext Transfe

小灰灰/ 2022年05月27日 06:49/ 0 赞/ 458 阅读

相关 Python爬虫开发（一）—— 爬虫概念、工具和HTTP

1.什么是爬虫 \- 爬虫就是模拟客户端（浏览器）发送网络请求，获取相应，按照规则提取数据的程序 \- 模拟客户端（浏览器）发送网络请求：照着浏览器发送一模一样的请求，

痛定思痛。/ 2022年05月17日 00:26/ 0 赞/ 325 阅读