Scrapy学习笔记-Ajax数据爬取

﹏ヽ暗。殇╰゛Y 2023-02-10 03:52 90阅读 0赞

数据加载是一种异步加载方式，原始的页面最初不会包含某些数据，原始页面加载完后，会再向服务器请求某个接口获取数据，然后数据才被处理从而呈现到网页上，这其实就是发送了一个Ajax请求。如果遇到这样的页面，直接利用requests等库来抓取原始页面，是无法获取到有效数据的，这时需要**分析网页后台向接口发送的Ajax 请求**，如果可以用requests来模拟Ajax请求，那么就可以成功抓取了。

Ajax ，全称为Asynchronous JavaScript and XML ，即异步的JavaScript和XML。它不是一门编程  
语言，而是利用JavaScript在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更新  
部分网页的技术。对于传统的网页，如果想更新其内容，那么必须要刷新整个页面，但有了Ajax ，便可以在页面不被全部刷新的情况下更新其内容。在这个过程中，页面实际上是**在后台与服务器进行了数据交互**，**获取到数据**之后，再**利用JavaScript 改变网页**，这样网页内容就会更新了。

# 以微博举例 #

以微博来说 ，切换到微博页面， 一直下滑，可以发现下滑几个微博之后，再向下就没有了，转而会出现一个加载的动画，不一会儿下方就继续出现了新的微博内容，这个过程真实就是Ajax 加载的过程。注意到页面其实并没有整个刷新，也就意味着页面的链接没有变化，但是网页中却多了新内容，也就是后面刷出来的新微博。这就是通过Ajax 获取新数据并呈现的过程。

Ajax 其实有其特殊的请求类型，它叫作xhr 。可以发现一个名称以getlndex 开头的请求，其Type 为xhr ，这就是一个Ajax 请求。用鼠标点击这个请求，可以查看这个请求的详细信息。其中Request Headers中有一个信息为X-Requested-With:XMLHttpRequest ，这就标记了此请求是Ajax 请求。随后点击一下Preview ，即可看到响应的内容，它是JSON 格式的。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 2]  
这是一个GET类型的请求，请求链接为https://m.weibo.cn/api/container/getlndex?type=uid&value=2830678474&containerid=I076032830678474&page=2 。请求的参数有4 个： type 、value 、  
containerid 和page。可以发现，它们的type 、value 和containerid 始终如一。type 始终为uid, value的值就是页面链接中的数字，其实这就是用户的id 。另外，还有containerid 。可以发现，它就是107603 加上用户id 。改变的值就是page ，很明显这个参数是用来控制分页的， page=l 代表第一页，page=2 代表第二页，以此类推。

返回的json数据最关键的两部分信息就是cardlistlnfo和cards ：前者包含一个比较重要的信息total ，观察后可以发现，它其实是微博的总数量，我们可以根据这个数字来估算分页数；后者则是一个列表，它包含10个元素，展开其中一个看一下。  
![在这里插入图片描述][20200520223212483.png]  
可以发现，这个元素有一个比较重要的字段mblog 。展开它，可以发现它包含的正是微博的一些信息，比如attitudes count （赞数目）、comments\_count （评论数目）、reposts\_count （转发数目） 、created at （发布时间）、text （微博正文）等，而且它们都是－些格式化的内容。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 4]

## 原理 ##

发送Ajax请求到网页更新的这个过程可以简单分为以下3步：发送请求；解析内容；渲染网页。  
发送请求：JavaScript 可以实现页丽的各种交互功能， Ajax 也不例外，它也是由JavaScript 实现的。这是JavaScript 对Ajax最底层的实现，实际上就是新建了XMLHttpRequest 对象，然后调用onreadystatechange 属性设置了监昕，然后调用open和send方法向某个链接（也就是服务器） 发  
送了请求。由于设置了监听，所以当服务器返回响应时， onreadystatechange 对应的方法便会被触发，然后在这个方法里面解析响应内容即可。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 5]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 6]

解析内容：得到响应之后， onreadystatechange 属性对应的方法便会被触发，此时利用xmlhttp的response Text属性便可取到响应内容。返回内容可能是HTML ，可能是JSON ，接下来只需要在方法中用JavaScript 进一步处理即可。比如，如果是JSON 的话，可以进行解析和转化。  
渲染网页：JavaScript有改变网页内容的能力，解析完响应内容之后，就可以调用JavaScript 来针对解析完的内容对网页进行下一步处理了。比如，通过document.getElementByid().innerHTML 这样的操作，便可以对某个元素内的源代码进行更改，这样网页显示的内容就改变了，这样的操作也被称作DOM 操作，即对Document 网页文档进行操作，如更改、删除等。上例中， document . getElementByid("myDiv ”） . innerHTML=xmlhttp. responseText 便将ID 为myDiv的节点内部的HTML 代码更改为服务器返回的内容，这样myDiv 元素内部便会呈现出服务器返回的新数据，网页的部分内容看上去就更新了。

## 代码示例 ##

将前10页微博全部爬取下来，首先，定义一个方法来获取每次请求的结果。在请求时， page 是一个可变参数，所以将它作为方法的参数传递进来。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 7]  
这里定义了base\_url来表示请求的URL的前半部分。接下来，构造参数字典，其中type、value 和containerid 是固定参数， page 是可变参数。接下来，调用urlencode方法将参数转化为–URL的GET请求参数，即类似于type=ui d&value=2830678474&containerid=1076032830678474&page=2这样的形式。随后， base\_url与参数拼合形成一个新的URL 。接着，我们用requests请求这个链接，加入headers参数。然后判断响应的状态码，如果是200 ，则直接调用j son 方法将内容解析为JSON返回，否则不返回任何信息。如果出现异常，则捕获并输出其异常信息。

# 以今日头条街拍美图举例 #

抓取之前，首先要分析’抓取的逻辑。打开今日头条的首页 http://www.toutiao.com/,由上角有一个搜索入口，这里尝试抓取街拍美图，所以输入“街拍” 二字搜索一下。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 8]  
这时打开开发者工具，查看所有的网络请求。首先，打开第一个网络请求，这个请求的URL就是当前的链接http://www.toutiao.com/search/?keyword＝街拍 。以切换到XHR过滤选项卡，查看一下有没有Ajax请求。点击data 字段展开，发现这里有许多条数据。点击第一条展开，可以发现有一个title 字段，它的值正好就是页面中第一条数据的标题。再检查一下其他数据，也正好是一一对应的。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 9]  
要抓取其中的美图，这里一组图就对应前面data 字段中的一条数据。每条数据还有一个image\_detail 字段，它是列表形式，这其中就包含了组图的所有图片列表。只需朋制川段提问并下载下来就好M一组图都建刊文件夹，文件夹的名称就为组图的标题。

切换回Headers 选项卡，观察一下它的请求URL 和Headers 信息，可以看到，这是一个GET 请求，请求URL 的参数有offset 、format 、keyword 、autoload 、count和curtab。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 10]  
变化的参数只有offset ，其他参数都没有变化，而且第二次请求的offset 值为20 ， 第三次为40 ， 第四次为60 ，所以可以发现规律，这个offset 值就是偏移值，进而可以推断出count 参数就是一次性获取的数据条数。因此，我们可以用offset 参数来控制数据分页。

## 代码示例 ##

实现方法get\_page来加载单个Ajax 请求的结果。其中唯一变化的参数就是offset ，所以我们将它当作参数传递

import requests
    from urllib.parse import urlencode
    def get_page(offset):
        params = { 
            'offset':offset,
            'format':'json',
            'keyword':'街拍',
            'autoload':'true',
            'count':'20',
            'cur_tab':'1'
        }
        url = 'http://www.toutiao.com/search_content/?'+urlencode(params)
        try:
            response = requests.get(url)
            print(response)
            if response.status_code == 200:
                return response.json()
        except requests.ConnectionError:
            return None
    
    get_page(1)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 11]  
再实现一个解析方法： 提取每条数据的image\_detail 字段中的每一张图片链接，将图片链接和图片所属的标题一并返回，此时可以构造一个生成器

def get_images(json):
        if json.get('data'):
            for item in json.get('data'):
                title = item.get('title')
                images = item.get('image_detail')
                for image in images:
                    yield { 
                        'image':image.get('url'),
                        'title':title
                    }

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 12]  
这里的data没有值，说明有反扒措施吧。

后面会再进行分析

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200520221719255.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200520222333947.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200520222538939.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg==,size_16,color_FFFFFF,t_70
[20200520223212483.png]: https://img-blog.csdnimg.cn/20200520223212483.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200520223235403.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200520230638335.PNG?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200521214016949.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200521214029221.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20200521222636164.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20200521223412930.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20200521225228778.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20200521225520826.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/20200521230910200.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 12]: https://img-blog.csdnimg.cn/20200522230510353.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg==,size_16,color_FFFFFF,t_70