批量下载中国气象科学数据共享网的数据

爱被打了一巴掌 2022-08-06 14:23 261阅读 0赞

由于项目需要，需要下载站点的降雨量和蒸散发数据，但是这网站做的又特别不人道，超过50M数据量无法直接下载，需要定制，定制后说提供ftp下载，尼玛打开定制记录，一条条记录在哪摆着，说好的ftp呢，一个个下这还不得点死。还好借用wget可以较容易实现批量下载，但这期间也遇到了不少问题，刚下没几条，就提示“当前下载用户过多，请稍后下载”，那就等吧，尼玛劳资凌晨起来下数据，还给提示这个，这是做的什么破玩意，还让不让下数据了，一气之下就用账号留了言，然后发了伊妹儿，果然第二天就可以稳当下数据了。。一步步来看如何实现数据的批量下载。

**（1）登陆后点击定制记录可以看到摆着的一条条数据文件名，如下图所示。**

![Center][]

**（2）点击F12查看网页源码，如下图所示，可以看到每一条数据的下载地址和数据文件名；把整个网页的源码复制粘贴到一个新建的txt文本文件中，只需写一个简单的文本处理工具就可以把数据下载地址和文件名提取出来，这里已经写好，会和wget一起打包共享给大家。**

![Center 1][]

**（3）提取数据下载地址和数据文件名。这里的下载地址在源码的基础上添加了http://cdc.cma.gov.cn；提取的下载文件具体格式为：<下载地址><空格><文件名>，将文件保存在批量下载工具根目录即可，文件名为cma\_src.txt,如下图所示**

![Center 2][]

![Center 3][]

**（4）使用wget批量下载数据**

新建一个wget.bat文件，输入以下代码：

@echo off  
.\\wget-1.11.4-1-bin\\bin\\wget --post-data="userid=your\_user\_id&password=your\_password" --save-cookies=cookie\_wget --keep-session-cookies "http://cdc.cma.gov.cn/login.do"  
  
for /F "tokens=1\*" %%i in (cma\_src.txt) do (  
.\\wget-1.11.4-1-bin\\bin\\wget --load-cookies=cookie\_wget -c %%i -O .\\data\\%%j  
)

需要修改的是用户名和密码，然后点击双击运行即可实现数据的批量下载。

![Center 4][]

最后附上工具下载地址：[http://download.csdn.net/detail/liushuo\_whu/8415929][http_download.csdn.net_detail_liushuo_whu_8415929]。

**-------------------------------2016年1月3日---------------------------------**

**气象网更新了，现在叫[中国气象数据网][Link 1]，现在的数据检索需要生成订单，处理完成后以压缩包的形式下载，其中每个订单对应一个动态生成的ftp用户名和密码，如下图：**

**![yGCxu1BXvJDmLU0Q4dXHHFg8l7k3M1Wt8UHTIAJMAEmUL8IkPrPz88P5A5MMQE5MQEmwASYABNgAg2XwP8BCyCjo18dwfAAAAAASUVORK5CYII=][yGCxu1BXvJDmLU0Q4dXHHFg8l7k3M1Wt8UHTIAJMAEmUL8IkPrPz88P5A5MMQE5MQEmwASYABNgAg2XwP8BCyCjo18dwfAAAAAASUVORK5CYII]![uploading.4e448015.gif][]转存失败重新上传取消![yGCxu1BXvJDmLU0Q4dXHHFg8l7k3M1Wt8UHTIAJMAEmUL8IkPrPz88P5A5MMQE5MQEmwASYABNgAg2XwP8BCyCjo18dwfAAAAAASUVORK5CYII=][yGCxu1BXvJDmLU0Q4dXHHFg8l7k3M1Wt8UHTIAJMAEmUL8IkPrPz88P5A5MMQE5MQEmwASYABNgAg2XwP8BCyCjo18dwfAAAAAASUVORK5CYII]![uploading.4e448015.gif][uploading.4e448015.gif 1]转存失败重新上传取消![yGCxu1BXvJDmLU0Q4dXHHFg8l7k3M1Wt8UHTIAJMAEmUL8IkPrPz88P5A5MMQE5MQEmwASYABNgAg2XwP8BCyCjo18dwfAAAAAASUVORK5CYII=][yGCxu1BXvJDmLU0Q4dXHHFg8l7k3M1Wt8UHTIAJMAEmUL8IkPrPz88P5A5MMQE5MQEmwASYABNgAg2XwP8BCyCjo18dwfAAAAAASUVORK5CYII]![uploading.4e448015.gif][]转存失败重新上传取消![yGCxu1BXvJDmLU0Q4dXHHFg8l7k3M1Wt8UHTIAJMAEmUL8IkPrPz88P5A5MMQE5MQEmwASYABNgAg2XwP8BCyCjo18dwfAAAAAASUVORK5CYII][]**

**这点是比以前要好了，以前的都是一条条的记录，现在可以打包下载了。但是还存在另外一个问题，就是如果检索的数据有几千条，分了好多页，无法全选加入数据框，只能一页页的选择，不过还是比以前要好了。**

[Center]: /images/20220806/bf2b4a9938a741efb6ae1a1e892a5ba7.png
[Center 1]: /images/20220806/d35421502248476b8a2565d06081fdc3.png
[Center 2]: /images/20220806/0e32d35fbc784f51907742dc5a4f7352.png
[Center 3]: /images/20220806/0aa95569ee334d2caacd2cb6a444346a.png
[Center 4]: /images/20220806/5cc5f19373eb4b6f97115723c891f558.png
[http_download.csdn.net_detail_liushuo_whu_8415929]: http://download.csdn.net/detail/liushuo_whu/8415929
[Link 1]: http://data.cma.gov.cn/site/index.html
[yGCxu1BXvJDmLU0Q4dXHHFg8l7k3M1Wt8UHTIAJMAEmUL8IkPrPz88P5A5MMQE5MQEmwASYABNgAg2XwP8BCyCjo18dwfAAAAAASUVORK5CYII]: 
[uploading.4e448015.gif]: https://csdnimg.cn/release/mp/img/uploading.4e448015.gif
[uploading.4e448015.gif 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jc2RuaW1nLmNuL3JlbGVhc2UvbXAvaW1nL3VwbG9hZGluZy40ZTQ0ODAxNS5naWY