常见气象数据获取方式及批量下载代码汇总
Posted qazwsxpy
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了常见气象数据获取方式及批量下载代码汇总相关的知识，希望对你有一定的参考价值。
气象数据获取因其数据源多、请求规则不一，格式复杂、体积庞大，所以经常成为气象小白的噩梦。这里收集了一些常用气象数据下载方法及下载的代码，供大家参考
目录
7. NCEP-DOE Reanalysis 2 再分析数据
1. 中国气象数据网（这是最官方的数据平台）
中国气象数据网是官网平台，需要注册才能使用，分普通用户，个人实名用户，科研用户。数据种类很丰富，唯一的不足是下载需要权限。当然，很多气象数据的密级为秘密，大家在使用分享时一定要注意哦！网站也提供接口服务，可以免费使用7天。
数据下载：
国家气象科学数据中心
2. NOAA 全球地面站观测数据
“The Global Historical Climatology Network (GHCN) is an integrated database of climate summaries from land surface stations across the globe that have been subjected to a common suite of quality assurance reviews. The data are obtained from more than 20 sources. Some data are more than 175 years old while others are less than an hour old. GHCN is the official archived dataset, and it serves as a replacement product for older NCEI-maintained datasets that are designated for daily temporal resolution (i.e., DSI 3200, DSI 3201, DSI 3202, DSI 3205, DSI 3206, DSI 3208, DSI 3210, etc.).” From Global Historical Climatology Network (GHCN): https://www.ncdc.noaa.gov/data-access/land-based-station-data/land-based-datasets/global-historical-climatology-network-ghcn
数据是按站点存放的，可以根据需求下载需要的数据。在数据下载链接的根目录下，“readme.txt”文件对数据的存在格式等进行了说明。准实时更新~
数据下载：
ftp://ftp.ncdc.noaa.gov/pub/data/ghcn/daily/
数据读取示例：
https://github.com/BeiTown/WeatherAnalysis
批量下载数据代码：
使用Python下载NOAA气象数据
3. 全球探空数据
探空站一般是为探测高空气象要素而建立的，通过探空气球来收集每天8点和20点的高空气象数据，遇到特殊天气(台风等)会进行加密观测。可以获近地层、850、700、500、200百帕的温度、温度露点差、位势高度、风速风向等气象要素。探空数据在天气预报有着重要的指示作用，可以分析出高空引导气流的位置、强度，及到达本地的时间和对当地天气的影响情况。
数据来自怀俄明大学：http://weather.uwyo.edu/upperair/seasia.html
我国的探空站表格：http://data.cma.cn/article/showPDFFile.html?file=/pic/static/doc/B/B.0011.0001C/UPAR_CHN_MUL_STATION.pdf
批量下载数据代码：
全球探空数据批量下载数据代码
4. 全国空气质量观测数据
大佬将中国环境监测总站的全国城市空气质量实时发布平台的数据爬下来分享，免费下载，每周更新~
网址：https://quotsoft.net/air/
全国国控监测点数据 CSV格式 https://quotsoft.net/air/data/china_sites_[日期].csv
全国城市数据 CSV格式 https://quotsoft.net/air/data/china_cities_[日期].csv
北京PM2.5/PM10/AQI数据 CSV格式 https://quotsoft.net/air/data/beijing_all_[日期].csv
北京SO2/NO2/O3/CO数据 CSV格式 https://quotsoft.net/air/data/beijing_extra_[日期].csv
例如:
https://quotsoft.net/air/data/china_sites_20200820.csv
填写日期即可
网站：http://www.pm25.in
批量下载数据代码:
5. MODIS 极轨卫星数据
MODIS数据目前比较全面的是在 LAADS(https://ladsweb.modaps.eosdis.nasa.gov/search/) 或者地理空间云(http://http//www.gscloud.cn/)
进入以后注册NASA账户，记得申请apikey
这个网站下载推荐python脚本方法
我常用的下载命令：
python laads-data-download.py -s https://ladsweb.modaps.eosdis.nasa.gov/archive/orders/501412572 -d E:\\temp\\ -t <这里写apikey，不要两侧的括号>
6. NCEP FNL 再分析数据（常用的气象再分析数据）
数据下载自NCAR：https://rda.ucar.edu/
需要自行注册账户，最好是edu结尾的邮箱。
NCEP的FNL资料：http://rda.ucar.edu/data/ds083.2
空间分辨率：1°×1°
时间分辨率：逐6小时
批量下载数据代码：
7. NCEP-DOE Reanalysis 2 再分析数据
NCEP-DOE Reanalysis 2 is an improved version of the NCEP Reanalysis I model that fixed errors and updated paramterizations of physical processes.
这个数据比较好下，页面点一下就好了。
数据下载：https://psl.noaa.gov/data/gridded/data.ncep.reanalysis2.html
空间分辨率：2.5°×2.5°
时间分辨率：逐6小时
时间尺度：1979/01/01 to 2020/07/31
批量下载数据代码：
8. ERA 数据
8.1 ERA-Interim
ERA-Interim is a global atmospheric reanalysis that is available from 1 January 1979 to 31 August 2019. It has been superseded by the ERA5 reanalysis.
The data assimilation system used to produce ERA-Interim is based on a 2006 release of the IFS (Cy31r2). The system includes a 4-dimensional variational analysis (4D-Var) with a 12-hour analysis window. The spatial resolution of the data set is approximately 80 km (T255 spectral) on 60 levels in the vertical from the surface up to 0.1 hPa.
For a detailed documentation of the ERA-Interim Archive see Berrisford et al. (2011).
An open-access journal article describing the ERA-Interim reanalysis is available from the Quarterly Journal of the Royal Meteorological Society. Additional details of the modelling and data assimilation system used to produce ERA-Interim can be found in the IFS documentation Cy31r1. We are aware of several quality issues with ERA-Interim data.
数据下载：
批量下载数据代码：
8.2 ERA5
A first segment of the ERA5 dataset is now available for public use (1979 to within 5 days of real time). ERA5 provides hourly estimates of a large number of atmospheric, land and oceanic climate variables. The data cover the Earth on a 30km grid and resolve the atmosphere using 137 levels from the surface up to a height of 80km. ERA5 includes information about uncertainties for all variables at reduced spatial and temporal resolutions.
Quality-assured monthly updates of ERA5 are published within 3 months of real time. Preliminary daily updates of the dataset are available to users within 5 days of real time.
The entire ERA5 dataset from 1950 to present is expected to be available for use in 2020.
ERA5 combines vast amounts of historical observations into global estimates using advanced modelling and data assimilation systems.
ERA5 replaces the ERA-Interim reanalysis which stopped being produced on 31 August 2019. You can read about the key characteristics of ERA5 and important changes relative to ERA-Interim.
步骤：
1、注册账号，最好是edu结尾的邮箱
2、获取api秘钥，存在工作区下的.cdsapirc
3、检索数据
4、构建下载脚本，主要参数如下，支持grib格式和nc格式
数据下载：
批量下载数据代码：
9. GFS/GDAS 数据 最常用的气象预报数据
The Global Forecast System (GFS) has been in NWS operations since 1980 and is continuously improved by the Global Climate and Weather Modeling Branch which conducts a program of research and development in support of the Environmental Modeling Center (EMC) (www.emc.ncep.noaa.gov) of the National Centers for Environmental Prediction (NCEP) (www.ncep.noaa.gov).
空间分辨率：0.25°×0.25°
时间分辨率：1h
数据下载：
下载代码：
GitHub
10. 葵花 8 号 Himawari-8 卫星数据
葵8数据下载需要注册，科研用途免费，通过也很快的。
JAXA Himawari Monitor:https://www.eorc.jaxa.jp/ptree/index.html
批量下载数据代码：
11. JRA-55 再分析数据
网址：https://jra.kishou.go.jp/JRA-55/index_en.html#
12. TEMIS遥感数据
网站：Tropospheric Emission Monitoring Internet Service
该网站上有很多关于空气污染监测、气候变化、紫外辐射相关的遥感产品，这里以Clear sky UV index为例提供一种批量下载方式。
批量下载数据代码：
13. 我国台风历史轨迹数据
台风历史轨迹数据除了BST以外，还可以通过温州台风网进行查询。两者数据略有差异，BST是之后对历史台风路径进行校正后发布的，其经纬度、强度、气压具有更高的可靠性，但是时间分辨率为6小时，部分3小时，这一点不如观测数据，温州台风网的数据是实时发布数据的记录，时间分辨率最高达1小时，对于台风轨迹具有更加精细化的表述。
批量下载数据代码：
14. CMIP6 国际耦合模式比较计划
官网：https://www.wcrp-climate.org/wgcm-cmip
CMIP是国际耦合模式比较计划（Coupled Model Intercomparison Project）的缩写，最早是在 1995 年由世界气候研究计划（WCRP）下属的耦合模式工作组（WGCM）主持开展的。自 CMIP 诞生以来，一直致力于促进气候模式的发展和完善，并支持气候变化的评估和预估工作。目前已开展了 5 次耦合模式比较计划，当前正在进行的是第 6 次耦合模式比较计划，即 CMIP6。基于 CMIP 计划的气候变化研究，是气候评估和谈判的重要基础，也为 IPCC 气候变化评估报告的撰写提供了参考价值。
批量下载数据代码：
15. 其他
15.1 常用气象数据下载——探空资料
15.2 气象数据下载——2345天气王
15.3 我国地级市/县级市数据获取与处理
15.4 天气雷达基本反射率图像下载
15.5 利用Python的requests和json包获取台风数据
15.6 新一代DEM数据(NASADEM)批量下载与可视化
15.9 CFS预报数据下载&驱动WRF
15.10 气象数据下载——深圳市自动气象站监测
15.11 沿海数据信息计划（CDIP）
15.12 使用ybc_weather获取天气情况并进行数据筛选
Keil常见错误汇总及处理方式
1、
warning: #767-D: conversion from pointer to smaller integer
解释：将指针转换为较小的整数
影响：可能造成的影响：容易引起数据截断，造成不必要的数据丢失。如果出现bug，很难调试。
改正：尽量避免这种转换，避免不了要确定转换的数据不会引起数据丢失。
2、
warning: #177-D:variable "i" was declared but never referenced
解释：变量i定义了，但是没有使用
影响：没有使用的变量，很容易提高代码出错的概率，还浪费了一些栈空间。
改正：对于这个警告，感觉应该修改代码直到没有。确定每一个变量都用到了，没有用到的注释掉，如果需要存在则在函数中调用下。
3、
warning: #188-D: enumerated type mixed with another type
解释：枚举类型混合了其他类型
影响：如果值超过了枚举类型的值，可能造成数据丢失。 改正：尽量避免这样的操作。
4、
warning: #223-D: function "Set_RX8025_INT" declared implicitly
解释：Set_RX8025_INT函数使用前没有显示声明。
影响：具体影响不是很清楚。
改正：在使用前显示声明下。
5、
warning: C3017W: i may be used before being set
解释：变量i或许在赋值前使用
影响：很有可能是漏掉了，某些情况，可能造成使用变量的随机值。
改正：在使用前将变量赋初值，对于这种警告，尽量消除。
6、
warning: #167-D:argument of type "uint8_t *" is incompatible with parameter of type "const char *restrict" require.async([‘wkcommon:widget/ui/lib/sio/sio.js‘], function(sio) { var url = ‘https://cpro.baidustatic.com/cpro/ui/c.js‘; sio.callByBrowser( url, function () { BAIDU_CLB_fillSlotAsync(‘u2845605‘,‘cpro_u2845605‘); } ); });
解释：uint8_t *类型的参数与const char * restrict类型的参数不兼容。参数传递时，不同类型的警告。
影响：可能提高代码的bug率。
改正：首先避免这样做，其次如果避不开要详细检查传入的参数。
7、
warning: #69-D: integer conversion resulted in truncation
解释：整数转换导致数据截断
影响：可能造成数据丢失，出现错误。
改正：关于这种警告，应该详细考虑。确定转换都在预期的结果内。
8、
warning: #186-D: pointless comparison of unsigned integer with zero
解释：无符号整形和0的无意义比较
影响：一个潜在的问题，判断无符号数大于等于0。由于无符号数没有负数，这种判断恒为真。
改正：详细查看代码的意图，消除这样的判断。
9、
warning: #940-D: missing return statement at end of non-void function "fun1"
解释：非void型函数缺失返回语句。有返回值的函数，缺少了return语句。也有可能是在函数体中有但是最后一行没有。
影响：不是很了解。
改正：在非void类型函数的最后一行添加return语句。
10、
warning: #111-D: statement is unreachable
解释：语句执行不到
影响：由于前边的代码造成此段代码，永远不会执行到。
改正：应该查看此种警告，确定是我们需要的。并且尽量将此种警告消除。
11、
warning: #1-D: last line of file ends without a newline 解释：文件最后一行缺少一新行。
(window.cproArray = window.cproArray || []).push({ id: "u3054369" });
影响：避免当被include的文件展开时，前一个文件的最后一行与后一个文件的第一行直接连接成一行，造成错误。
改正：一般一个.c .h文件，要在最后留一个空行。
以上是关于常见气象数据获取方式及批量下载代码汇总的主要内容，如果未能解决你的问题，请参考以下文章
[人工智能-深度学习-67]：目标检测 - 常见目标检测算法大汇总
企业深耕气象大数据和商业智能服务 心知科技已完成数千万A轮融资准备切入农业市场