用Python分析国庆旅游景点，告诉你哪些地方好玩、便宜、人又少

╰半橙微兮° 2023-02-17 01:26 46阅读 0赞

点击上方“码农进阶之路”，选择“设为星标”

回复“面经”获取面试资料

![format_png][]

2019年国庆马上就要到来  
猪哥今年想着来点新花样吧  
玩肯定是要去玩的  
不然怎么给祖国庆生

那去哪里玩人少big还高呢？  
咱不是程序员嘛  
那就用数据分析下  
看看哪些地方值得去

![format_png 1][]

一、目标

使用Python分析出国庆哪些旅游景点：**好玩、便宜、人还少**的地方，不然拍照都要抢着拍！

![format_png 1][]

二、获取数据

既然做数据分析肯定要先搞到数据，最开始猪哥在一些官方网站查找旅游信息，毕竟官方的数据可信度高点， 但我一无所获，有点失望！

然后寻找其他替代方案：爬取出行网站的旅游景点售票数据，这样也可以反映出旅游景点的热度！

猪哥首先想到 去哪儿，这里必须要安利一波去哪儿，同样的酒店同样的房间，去哪儿价格基本都是最低，所以猪哥也用的最多！

选好学习对象，那我就开始吧！

注⚠️：本教程仅用作学习交流，如有侵害任何人权益，请联系猪哥删除！

![format_png 2][]

1.爬取单页数据

我们可以在哪去儿的门票页（http://piao.qunar.com/ticket/list.htm?keyword=）搜索：\*\*国庆旅游景点\*\*，就可以看到推荐的景点的一些信息，如：名称、地区、热度、销量、价格、等级、地理信息等等，信息应该说是比较全，良心！  
![format_png 3][]

然后按下F12打开浏览器调试窗口，查找加载数据的url（翻页就可以看到）

![format_png 4][]

竟然直接返回了json数据，真是太方便了

![format_png 5][]  
最后使用requests库写一个get请求就可以了

![format_png 6][]  
这样一页数据就抓取下来了，是不是很简单？

这里说下去哪儿门票页抓取数据还是很简单，不需要登录、不需要代理 、甚至不需要header也可以成功，后面批量抓取页没出现限制，相对于淘宝来说简单了许多！

![format_png 2][]

2.提取有效信息

既然数据拿到了，那就看看数据结构，然后提取自己想要的属性吧

![format_png 7][]

这里猪哥提取了：id、名称、星级、评分、门票价格、销量、地区、坐标、简介这些信息，基本有效信息都保存起来！

![format_png 8][]

![format_png 2][]

3.保存到excel

需要的数据提取出来之后，我们就可以将他们保存起来。这里我们使用pandas库保存excel文件。

没有安装pandas库的同学安装一下

> pip install xlrd  
> pip install openpyxl  
> pip install numpy  
> pip install pandas

![format_png 9][]这里单页数据的处理就完成了，爬取、解析、保存三步走～

![format_png 2][]

4.批量爬取

批量爬取也很简单，先找分页数据，多点几下页数比较不同参数就能看出来

![format_png 10][]  
经过一会的分析，我们便可以看出参数 **page** 就是分页参数了，这样我们在外层写一个for循环，把页数传入就可以实现批量爬取

![format_png 11][]  
那个36是我在网页上看到了，当然也可以实现自动判断是否爬取完成，只要判断每次返回的条数即可！

看看批量爬取的效果  
![format_png 12][]

![format_png 1][]

三 、分析数据

数据都下载完毕后，就要思考如何去利用分析这些数据了，猪哥简单做了几个分析：

1.  景点门票销量排行分析
2.  景点门票销售额排行分析
3.  各省各等级景点数分析
4.  景点销量热力图分析
5.  推荐景点分析

我们使用的可视化库仍然是：**pyecharts库 ，**更多维度分析等待你去思考～

![format_png 2][]

1.景点门票销量排行分析

我们先来分析下景点门票销量排行  
![format_png 13][]  
我们创建了一个透视表，然后根据销量排序！最后生成柱状图，一起来看看效果：  
![format_png 14][]  
我们可以看到迪士尼门票销量排第一

![format_png 2][]

2.景点销售额排行分析

销售额=单价\*销量，我们可以将每行的price和sale相乘算出销售额  
![format_png 15][]  
我们将得到的销售额数据放回df中，然后再排序  
![format_png 16][]  
迪士尼真是吸金厉害！！！

![format_png 2][]

3.各省各等级景点数分析

由于时间原因，该项分析暂未完成，本想分析下每个省每个等级的景点有多少个，但是由于时间原因暂未完成，感兴趣的同学可以下载源码自己试试 ，就当课后作业叭～

![format_png 2][]

4.景点销量热力图分析

之前我们也做过很多热力图，都是用的pyecharts库，今天我们来点不一样 的，我们使用百度地图开放api（免费）做一个热力图，你首先要做的就是申请一个百度地图开放平台的应用，操作很简单，如何申请可以 直接百度或者看看这篇文章：https://jingyan.baidu.com/article/363872eccda8286e4aa16f4e.html

**需要注意的是：****在申请应用的时候类型一定要选浏览器**  
![format_png 17][]  
然后你就可以下载一个百度热力图的demo的html，在html中把ak码换成自己的。  
![format_png 18][]  
换完ak码就要换json数据了，我们先生成和默认数据一样格式的json数据，然后再替换掉  
![format_png 19][]  
最后来看看效果吧，动态地图支持放大缩小，可仔细查看各省、市、区景点热力图  
![format_png 20][]

![format_png 2][]

5.推荐景点分析

应该推荐怎样的景点呢？猪哥认为是：**高评分、销量少、价格便宜。**

推荐系数和评分成正比，和销量、价格成反比，所以猪哥设计了一个最简单的算法：

> 瞎推荐系数=评分/(销量价格) \* 1000

![format_png 21][]

来看看这个简易的推荐算法得出的结果  
![format_png 22][]  
可以看到在这个瞎推荐TOP20中国外景点很多（尤其是日本），确实国内到国庆了哪里其实人都是挺多的！

如果你觉得我设计的推荐算法太low了，可以自己思考下如何设计更合理，然后自己动手调试，期待看到不一样的结果！

源码地址：https://github.com/pig6/qunar\_spider

![format_png 23][]

往期精选

[工具篇：这可能是全 GitHub 最牛逼的抢票神器！][GitHub]  
[面试题：讲讲Redis有哪几个过期策略？][Redis]  
[面试题：][Link 1][InnoDB中一棵B+树能存多少行数据？][InnoDB_B]

码农进阶之路

长按二维码关注

![format_png 24][]

面经 | 原理 | 源码  | 实战 | 工具

![format_png 25][]

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9XNERDcWp0cWVhdXh6dVRYb1BkMXhrbkxRM2JGUUtVTWFxM1pWNURINmJhT2FnaWNLcjhVZ0xiTGZHVFZTcVUzSTBycTNWYkVkN2E3cE1LOU43TlBJS3cvNjQw?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9XNERDcWp0cWVhdXh6dVRYb1BkMXhrbkxRM2JGUUtVTTFuRk5jRlVyZHp6dlduOVg5NnB6cHljZEk3TzZINXhTbTJiS1dWWE43bHBRemVkQlo5S1diZy82NDA?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9XNERDcWp0cWVhdXh6dVRYb1BkMXhrbkxRM2JGUUtVTTJzRGU5OG1CVDFmTDhpYks0aWNxaWNpYXNNSGdEQndpY1JRbU50cVAwUGVHRnBlUUExSEU0V3dwSzNnLzY0MA?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sYnZtU0xsY0dPOXcwdDM0R2VubDN5aWFiS05yOWljU2lhbTVZWGZpY1l4OXZWYndmZDU1d1AxMUhWTDJqSkl4elhSdTA5RVZ6a3pSVDVJSU01N2ZIYVNOZFEvNjQw?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sYnZtU0xsY0dPOXcwdDM0R2VubDN5aWFiS05yOWljU2lhbVBpYVZpYlBBb2tuNWViaWJlaGpLUW5zM1RucVBJbUNocVhMMndyVElDYWRRNm9jNEpwelczUGExUS82NDA?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sYnZtU0xsY0dPOXcwdDM0R2VubDN5aWFiS05yOWljU2lhbVpLVTJ0WWljbWRGWmlhbUQ2NVRzT2FlOXN3Tko1MTJpYWhtd0hyVThuUXlkN2ZzRW1uQzBIQkNxZy82NDA?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sYnZtU0xsY0dPOXcwdDM0R2VubDN5aWFiS05yOWljU2lhbWNpYmNSaDRmTGprREU1a3psM0FiZ1J2Rm9ybExPRWlicGxpYTJ6THRhdnBaQ3lyNmVpYWVTcEJqRHcvNjQw?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sYnZtU0xsY0dPOXcwdDM0R2VubDN5aWFiS05yOWljU2lhbThJQzNxanlQT3lUakp4ZG9MVUtjZHdieHRlVmpTVXVSUjhCN2tmdWplNklVdW53RXV5SGh4US82NDA?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sYnZtU0xsY0dPOXcwdDM0R2VubDN5aWFiS05yOWljU2lhbUdadGljTHltWWxZRlZwOFFFeWVDYVFlRWpnazNMek84czJrallxUkZPTENqc1NvNFh4SnphaWNBLzY0MA?x-oss-process=image/format,png
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sYnZtU0xsY0dPOXcwdDM0R2VubDN5aWFiS05yOWljU2lhbTZ5bXdRcDlmQ2ZEYmZubzBpYVlPbnlmaWNhM0JEQmY5Rk5hN0I4aWFiUEppY25admlic2lhTXFRNzlEdy82NDA?x-oss-process=image/format,png
[format_png 10]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sYnZtU0xsY0dPOXcwdDM0R2VubDN5aWFiS05yOWljU2lhbUk1dUV0cFc0aWI1WnM2dEpBejF4ellDWkdnY1pxdUVjbzZ5dzAzcWE0emljRjBpYWs3N2lhblNrNmcvNjQw?x-oss-process=image/format,png
[format_png 11]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sYnZtU0xsY0dPOXcwdDM0R2VubDN5aWFiS05yOWljU2lhbWljem12Um5xa3ViaWJDTGc0T21FcXRwQ2MyZ2tYMnRGd0k3eFhUMVEzdEREY2FVNkRNVjdoQlF3LzY0MA?x-oss-process=image/format,png
[format_png 12]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sYnZtU0xsY0dPOXcwdDM0R2VubDN5aWFiS05yOWljU2lhbXZQUXNLcmpOWW1CbHp6M29pYXZVR2RVYTFrVHZ0Ym9LZ0RHdjR2TDdZM3diajI5OW5vUmJia0EvNjQw?x-oss-process=image/format,png
[format_png 13]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sYnZtU0xsY0dPOXcwdDM0R2VubDN5aWFiS05yOWljU2lhbVo5YXNlQXhpY3gzVU1JQ1d3SGR6ak85NkI3THp5WWljOU9LV1dYMjVLTnBWUnRTbzFuYmNzRExBLzY0MA?x-oss-process=image/format,png
[format_png 14]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sYnZtU0xsY0dPOXcwdDM0R2VubDN5aWFiS05yOWljU2lhbUk0amliMUgyR3drS080NXV5RFpVMENnbWZqV0VmOFd5YUtpYWw0Z3JvSVo4eXVITVB0MlduRFFRLzY0MA?x-oss-process=image/format,png
[format_png 15]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sYnZtU0xsY0dPOXcwdDM0R2VubDN5aWFiS05yOWljU2lhbTlpYzFBSXpGVGlhWFVPZkNYVjRGdWljdzBHaHJsMXpMVlFtNUlsdU52QWlhUFE1eXMzc1k4UHF0aGcvNjQw?x-oss-process=image/format,png
[format_png 16]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sYnZtU0xsY0dPOXcwdDM0R2VubDN5aWFiS05yOWljU2lhbVdYaWFQSE84VzQyZlhNNnlVU0NSZWEySlphVjJMbGlhZTB5QkNlODJCNzNxMUd0akNqZENhcnFnLzY0MA?x-oss-process=image/format,png
[format_png 17]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sYnZtU0xsY0dPOXcwdDM0R2VubDN5aWFiS05yOWljU2lhbUhmRTNFdVoybkRpYWZIMVdDM3ZhMjB6ZW5kU2ZrcTJ0ODg2SXZ2UGxRNHpaV1ZYN1J0a1N2MFEvNjQw?x-oss-process=image/format,png
[format_png 18]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sYnZtU0xsY0dPOXcwdDM0R2VubDN5aWFiS05yOWljU2lhbXBKTUkzcGpLakpFVDk5TnRSQ0VWcDh1S09aMlBpY3pLejVpYmFKWFgyZERnZ0ppY2N2VzBQTk5XZy82NDA?x-oss-process=image/format,png
[format_png 19]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sYnZtU0xsY0dPOXcwdDM0R2VubDN5aWFiS05yOWljU2lhbTBpYWg2cWliVlY5OWVPZGNhejNwck5pYVFhb0NnYUtrQ2NjMTJSV0l5VXFzMWxCNWVZd05WWk1Sdy82NDA?x-oss-process=image/format,png
[format_png 20]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sYnZtU0xsY0dPOXcwdDM0R2VubDN5aWFiS05yOWljU2lhbUZDeTY4YVNxRFhabkw0bFl2UDZHV1hWTUpUY29pYmliM3JRYTM2MG95TnZpYlgwOGNQRG9wcHBWZy82NDA?x-oss-process=image/format,png
[format_png 21]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sYnZtU0xsY0dPOXcwdDM0R2VubDN5aWFiS05yOWljU2lhbVdCaWEwd3lyZW9BRDBkbmliMmhFVHBRVzZ5aHRSZUZxMFBDelVrcHhrQmw3TnhrcTY5amlibWs3dy82NDA?x-oss-process=image/format,png
[format_png 22]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sYnZtU0xsY0dPOXcwdDM0R2VubDN5aWFiS05yOWljU2lhbTJaTnJtUDIwc1FzQzlpYTlpYWljQlBhenNiQjlabVVEWWliVWNoV1dqZTRKNnhGTGhCN3JFQzZaZ0EvNjQw?x-oss-process=image/format,png
[format_png 23]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi82YVZhT045S2liZjdjaWM5VWM1dHBJNjhKb0pxQ2QxRFJsRmlibWp0M2t6eXAzM1ZxMEtjaWJQRXBLYUNjeFhZY054OXBPbDU5d29CdGlhNmVVTGdvRnJQSERBLzY0MA?x-oss-process=image/format,png
[GitHub]: https://mp.weixin.qq.com/s?__biz=MzU3NjY4ODg4Nw%3D%3D&chksm=fd1144e0ca66cdf6f258a582d03818be6fe3f746ce1fbba67d18edc43ce84db4697d56469368&idx=1&lang=zh_CN&mid=2247484280&scene=21&sn=529c0b4256e64e00a2aae92568cce173&token=388083482#wechat_redirect
[Redis]: https://mp.weixin.qq.com/s?__biz=MzU3NjY4ODg4Nw%3D%3D&chksm=fd11445fca66cd49107ec49753cc2e7e9bbab02e56bacf0a725b5b2858b21dc41835dd2625d0&idx=1&lang=zh_CN&mid=2247484359&scene=21&sn=9450e4c7eb488e62c1e43b3e3c532caa&token=388083482#wechat_redirect
[Link 1]: https://blog.csdn.net/weixin_37948564/article/details/105781384
[InnoDB_B]: https://mp.weixin.qq.com/s?__biz=MzU3NjY4ODg4Nw%3D%3D&chksm=fd114666ca66cf70412b32a485c2dc501bb349225b5a79a386480c57b5176631899a7330b80f&idx=1&lang=zh_CN&mid=2247483902&scene=21&sn=1db4887c9e36c6546e4d3dd7a6755d4f&token=388083482#wechat_redirect
[format_png 24]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9XNERDcWp0cWVhdXh6dVRYb1BkMXhrbkxRM2JGUUtVTXNtaWJxRzJFcFBnNWpiOTY2YUhOeDNRSnZjSHVhemFpYTRpY1d4TTZqUDlpYTZaczdvaWJ0bDJFa0lnLzY0MA?x-oss-process=image/format,png
[format_png 25]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9iOTZDaWJDdDcwaWFhQkFpY0ROQ1NzNkgwTzBTQkdTQUxmbmljTlRrcWE1VDZZWTZhbTM0NmhkcGpsTlZ0clpSTUVkZGg2QktSSW1TaWNYSkhQVWhrYTR4amJnLzY0MA?x-oss-process=image/format,png