对不起，我把APP也给爬了

电玩女神 2023-03-14 08:24 43阅读 0赞

↑ 点击上方 “**凹凸数据**” 关注 + 星标 ~

每天更新，大概率是晚9点  ![format_png][]

![format_png 1][]

【凹凸数据】最近更新了一系列爬虫

[爬了图片][Link 1]

[爬了公众号][Link 2]

[爬了视频][Link 3]

这次终于将“罪恶”的小手伸向了APP

下面有请今日的爬虫师——

--------------------

大家好，我是银牌厨师豆腐！

最近群里很多小伙伴对爬取手机app和小程序感兴趣，今天本厨师将给大家呈现这道菜，供小伙伴们品尝。

相信大家都对爬虫有一定的了解，我们爬PC端时候可以打开F12去观察url的变化，那么手机的发出请求我们应该怎么拦截呢。

今天的主菜就是给大家介绍一个抓包工具Fiddler，并用它烹煮一道广州房价爬虫。

Fiddler是一个http调试工具，也仅限于拦截http协议的请求，这是它的短板之处，但是对于我们平常的练习运用也足够了，因为大多数网站都是走http协议。跟Fiddler同类型的抓包工具还有很多，像Charles、Burpsuite等等

像其中Burpsuite的功能是比较强大的，它们都是PC软件，不是装在手机端，有兴趣的小伙伴可以去了解一下

## 抓包工具Fiddler ##

话不多说，我先教大家怎么设置Fiddler。

主要三个步骤：

1、安装软件后，打开Fiddler的Tools选项，进行第一步，分别对General，HTTPS，Connections窗口进行如下设置

![format_png 2][]![format_png 3][]![format_png 4][]把该勾上的勾上后，我们回到HTTPS这个界面，点击Actions，选择Trust，安装证书，

这时候我们的PC端的洗菜流程已经完成啦

2、接下来我们就要设置手机端，我们既然要通过PC端拦截手机发出的请求，就要设置手机的网络跟PC是同一个

网络下，所以第二步，我们要更改手机ip。我们先来看看你的PC断ip是多少。先打开cmd进入终端后，输入ipconfig回车

就可以看到你的ip地址了

![format_png 5][]

这时候终于轮到你的宝贝手机出场了，熟练的连上你的wifi之后，修改你的wifi设置，点击高级选项后，分别输入你的ip和端口后保存。

![format_png 6][]

3、大家是不是觉得很简单呢，别高兴太早了！最关键的一步到了，在我们完成第一、二步设置后，打开你的手机浏览器输入你的ip和端口号（例127.0.0.1:8080），回车，这时候会跳转到一个下载手机端证书的页面，下载后并信任证书后（注：某些安卓手机会要获得root权限才行），这时候，我们安装三部曲就大功告成了。

万事俱备，只欠东风，食材都清洗好了，现在我就教大家怎么利用Fiddler烹煮小程序。

## 抓包实战 ##

先打开一个小程序网站，我选择的是Q房网，大家看，菜下锅后，Fiddler是不是变化了。

![format_png 7][] ![format_png 8][]

这就是用fiddler拦截到你的手机发出请求的网页信息了和它的链接，这个网页信息是通过json数据加载的

![format_png 9][]

然后往上看，Raw模块是获取请求头的地方

有了这两个信息，我们的爬虫代码也就可以开始编写了

## 爬虫代码 ##

基操requests，循环页数，由于是获取的数据是json格式，我们就要利用json.loads格式化抓取的信息，才能进行一个数据提取。

部分爬虫代码，完整版下载见文末

url = 'https://mapi.qfang.com/wechat/api/v3_2_0/room?dataSource=GUANGZHOU&unionId=这里也是微信id&platform=wechat&bizType=SALE&currentPage={}&pageSize=20&keyword=&region=&l=&s=&p=&b=&a=&r=&h=&g=&t=&o=&fromPrice=&toPrice=&unitPrice=&fromUnitPrice=&toUnitPrice='
    #爬取到50页，程序就停止
    for i in range(1,51):
        time.sleep(rand_seconds)
        url3 = url.format(i)
        # print(url3)
        res = session.get(url=url3, headers=headers)
        # print(res.text)
        data = json.loads(res.text)
        try:
            id_list = data['result']['list']
            # print(333,id_list)
            for i in id_list:
                id = i['id']
                # print(id)
                url2 = 'https://mapi.qfang.com/wechat/api/v3_2_0/room/detail?dataSource=GUANGZHOU&unionId=这里也是微信id&platform=wechat&id={}&bizType=SALE&userId=&accountLinkId=&top=1&origin=sale-list'.format(
                    id)
                time.sleep(rand_seconds)
                try:
                    requests.adapters.DEFAULT_RETRIES = 3
                    res2 = session.get(url=url2, headers=headers, timeout=10)
                except requests.exceptions.ConnectionError:
                    requests.adapters.DEFAULT_RETRIES = 3
                    res2 = session.get(url=url2, headers=headers, timeout=10)
                except requests.exceptions.ReadTimeout:
                    requests.adapters.DEFAULT_RETRIES = 3
                    res2 = session.get(url=url2, headers=headers, timeout=10)
                item = {}
                res2_data = json.loads(res2.text)
                try:
                    roominfo = res2_data['result']['roomInfo']
                except KeyError:
                    break

爬取数据结果：

![format_png 10][]

## 数据可视化 ##

菜做好了，当然还要撒点香菜才能上桌啦，做个简单可视化吧，由于爬取的数据很干净，我省掉清洗数据的环节，直接上手，在各位群大佬面前献丑了。

我们先来看看该网站的广州二手房的最高价和最低价，这最高价的数字太感人了.... 这多少个0我都数不对

import pandas as pd
    import matplotlib.pyplot as plt
    
    df = pd.read_csv(r'F:\PycharmProjects\house_spider\广州二手房.csv', encoding='gbk')
    # print(df)
    df = df.astype({'price': 'float64'})  #先将价格的类型转为浮点数，方便后面计算
    df_max = df['price'].max()  #查看爬取的数据中房价最高的价格
    df_min =df['price'].min()  #房价最低的价格
    print('广州二手房最高价：%s，最低价：%s'%(df_max,df_min))

![format_png 11][]

re_price = ['region', 'price']
    
    # 分组统计数量
    price_df = df[re_price]
    # #根据区域价格计算区域房价均价
    region_mean_price = price_df.groupby(['region'],as_index=False)['price'].agg({'mean_price':'mean'})
    region_mean_price = region_mean_price.sort_values(by='mean_price')
    print(region_mean_price)
    
    #利用循环提取已经处理好的区域和它的均值
    for x,y in zip(region_mean_price.region, region_mean_price.mean_price):
        plt.text(x, y,'%.0f' %y, ha='center', va= 'bottom',fontsize=11)
    
    # 显示柱状图值
    plt.bar(region_mean_price.region, region_mean_price.mean_price, width=0.8, color='rgby')
    plt.show()

继续继续，我们来统计一下广州各区的房价，然后算出各个区域均值，通过groupby分组统计出region\_mean\_price

![format_png 12][]

（豆腐内心os：原来黄埔房价都那么高了，各网站数据的差异性也会导致最终展示的结果不一样，大家可以选个大网站试试）

到此，我们这次利用工具抓包小程序网站的介绍就结束了，大家也可以试试app，原理一样。

谢谢大家观看，拜拜咯~

本文涉及爬虫、可视化代码下载：

https://alltodata.cowtransfer.com/s/f0b70e0c24164c

下次有空给大家介绍一款自动化工具，解放你的双手，让代码帮你刷抖音，如果大家感兴趣请给我“**阅读、在看、分享**”三连！

![format_png 13][]

[![format_png 14][]][format_png 14 1]

[![format_png 15][]][format_png 15 1]

[![format_png 16][]][format_png 16 1]

[![format_png 17][]][format_png 17 1]

**后台回复「****进群****」，加入读者交流群~**

**点击红字**[**「****积分****」**][Link 4]**，可了解积分规则~**

![format_png 18][]

**五**

积分兑换上新书（阅读原文直达）限时300积分，明天恢复原价

![format_png 19][]

朱小五

![format_png 20][]

需要的同学也可以直接点击购买![format_png 21][]

[format_png]: /images/20230312/4483a767d91e4723834888866724d4f5.png
[format_png 1]: /images/20230312/b60927bb980145ae8da2746681902593.png
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5Nzg5ODQ3NQ%3D%3D&chksm=fe4d2e9fc93aa789442e5740d0cc45d69d9fc47a4dddfaa553708761460e266b0cff3ea9d699&idx=1&mid=2247486235&scene=21&sn=eefc632f5c5d3ffd90c603bc58ac1445#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5Nzg5ODQ3NQ%3D%3D&chksm=fe4d2f24c93aa6320af0a42894202fe24e45211d345ef32b5aad1687073f976c1cf7f73ccf81&idx=1&mid=2247486112&scene=21&sn=99684a062eeeef694dd303ccbc239625#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzU5Nzg5ODQ3NQ%3D%3D&chksm=fe4d29d9c93aa0cfd6345dbfc971a0747d082169f1899ba3e8e290c7887058deff2ed9eaebb4&idx=2&mid=2247486557&scene=21&sn=8cf123b4998fefe804df11c66c3c9b1a#wechat_redirect
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy90WFlpY3Q0MHhmTGc5Mnh0eHBHU3ZwdVNPZXU3aFUwWWxacmRXaWFCVTkxcU9QVHh2RW5FaWNSY1FGVVRKVXNza1RGaWNDSzRHQ2Jyd0FVUnFyWVhGTElIeFEvNjQw?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy90WFlpY3Q0MHhmTGc5Mnh0eHBHU3ZwdVNPZXU3aFUwWWxJeGo4dmliQWJKbUtIb2ZpYnJIaWNoWFFVZWVpYmpCRmlhR2x1VTF1aEk4NXFLcjYzQXc5dVZhRW1pY0EvNjQw?x-oss-process=image/format,png
[format_png 4]: /images/20230312/5878205954754ba6b2d0dd3e6866eb87.png
[format_png 5]: /images/20230312/174c0f36f058435bb2b80fbe9f992cbe.png
[format_png 6]: /images/20230312/1a18e8e76f874c8ea777e0d21061f51b.png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy90WFlpY3Q0MHhmTGc5Mnh0eHBHU3ZwdVNPZXU3aFUwWWx0T3RpYlhTUVRrVkpRVEcwMDZUR1N0eFJnYW5RemlheE9JaWM4d1BYUFZYU1RraWFYOGhGZXlsYVpRLzY0MA?x-oss-process=image/format,png
[format_png 8]: /images/20230312/eec2822be5f64a3693020ec09cecf59d.png
[format_png 9]: /images/20230312/2ec9e69400844be78f14bc3a8a65ad63.png
[format_png 10]: /images/20230312/b0d62d1be10f439188ac62e5e916c78d.png
[format_png 11]: /images/20230312/738d43296e4544beb6d1a94697a5a7a9.png
[format_png 12]: /images/20230312/1488160403ae4c8ba5190b5afe077e5a.png
[format_png 13]: /images/20230312/2cbd0c08423d4a3aab10d54b39519a4c.png
[format_png 14]: /images/20230312/a554ee759b414c1b9f30a9414c2a0f8d.png
[format_png 14 1]: http://mp.weixin.qq.com/s?__biz=MzU5Nzg5ODQ3NQ%3D%3D&chksm=fe4d28bcc93aa1aa614e0f83f91a26befb3ee0e26397c4bbde39c4ff517b7ee6505f26720923&idx=1&mid=2247486776&scene=21&sn=2c93a8f92a48f216f802f9ebb8a7a1bd#wechat_redirect
[format_png 15]: /images/20230312/a1d6b67e0df044db91bf6d39aa7651e7.png
[format_png 15 1]: http://mp.weixin.qq.com/s?__biz=MzU5Nzg5ODQ3NQ%3D%3D&chksm=fe4d28bcc93aa1aa38021a9c0a1976a8c0a265d27a31e5753ee1b2d2fe718795a8e36c595121&idx=2&mid=2247486776&scene=21&sn=7261c5fef1bfdc20dac3e1223179ec6f#wechat_redirect
[format_png 16]: /images/20230312/82b731ee87f54dd7b4c8e9c1c8bb920b.png
[format_png 16 1]: http://mp.weixin.qq.com/s?__biz=MzU5Nzg5ODQ3NQ%3D%3D&chksm=fe4d2961c93aa0775bbdcef9763a9db2d99b0741cf60f00751009fc852063dedf91aed3d97a5&idx=2&mid=2247486693&scene=21&sn=713d3f31616aac9906af76a8ecba4729#wechat_redirect
[format_png 17]: /images/20230312/4fe9151e0b0846278bc9d932b307606d.png
[format_png 17 1]: http://mp.weixin.qq.com/s?__biz=MzU5Nzg5ODQ3NQ%3D%3D&chksm=fe4d2925c93aa033260d1f681927d712cc5394982aa8de2870744f8403ac0f6c93bba36daea1&idx=3&mid=2247486625&scene=21&sn=aa52655f07cd23ec56ae8212e19ea75c#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzU5Nzg5ODQ3NQ%3D%3D&chksm=fe4d2f24c93aa6322d976fee56ba607b3111866ea6d89cdc3e8b614478afed3d332d369e66b1&idx=2&mid=2247486112&scene=21&sn=8e951b20bf530594f8e94e71554cb745#wechat_redirect
[format_png 18]: /images/20230312/29a92df0926543f79f717d21ce3c3d39.png
[format_png 19]: /images/20230312/3d0b7c8cc38841fda53b33ac926f4d6b.png
[format_png 20]: /images/20230312/31ff359e4cbd42899085983d23f01968.png
[format_png 21]: /images/20230312/9dcd3669969f4ac7887a69a27e233c37.png