人工智能可能是改善天气预报的关键

Posted 2021-04-26 气象学家

机器学习的最新进展为将大量数据转化为快速、准确和详细的天气预报提供了巨大的潜力。

天气预报从19世纪末开始有了很大的发展，当时电报和电话技术首次允许多个气象站共享观测结果，并在天气系统在全国范围内移动时形成天气系统的全景图。在20世纪末，卫星实现了另一次飞跃，提供了一个 "天眼 "来监测地球系统现象，包括热带风暴演变为飓风。现在，计算机模型整合了大量数据，产生了从模拟长期气候趋势到预测未来几分钟或几小时内小型天气事件的即时预报等各种信息。

而且这种进步还在继续。现在的预报和天气预报正处于重大模式转变的边缘。需要采用新的方法来实现对地球系统的全面预测，并以具有成本效益的方式利用观测（特别是卫星观测）和环境产品的数量、多样性和能力的急剧增加。我们预测，机器学习（ML）和其他人工智能技术将不得不补充或取代业务系统的主要组成部分。幸运的是，卫星遥感和数值天气预报领域已准备好利用近年来机器学习的快速进展。

众多领域的数据量激增，包括自动驾驶、面部和语音识别、目标跟踪、金融、音乐创作和生物信息学等，都推动了对ML的兴趣。成本效益高的硬件架构，如图形处理单元，可以很容易地加速ML方法，进一步提高了解决大型、时间受限问题的可行性。

确定一套共享的基本需求可以加快从这些不同领域向卫星遥感和数值天气预报进行知识迁移。这些需要的非详尽清单包括以下内容：

• 高效智能的信号和图像处理
• 质量控制机制
• 模式识别
• 数据融合
• 资料同化
• 映射
• 预测能力

为了使ML适应与天气相关的应用，在多个空间和时间尺度上满足包括大气、海洋、生物圈、水圈和近空间环境在内的不同地球物理领域的所有这些需求至关重要。

ML是一种 "从数据中学习 "的方法。一个训练有素的ML网络从一组输入中估计出一个输出。ML类似于线性回归，但ML几乎可以拟合任何函数，并且很容易代表地球物理学中常见的各种非线性效应。ML能够从大型数据集中提取信息，并在不同类型（物理、化学和生物等）的不同数据集之间建立和逼近复杂的关系。

常见的ML架构使用连接层：一个输入层，一个输出层，以及一个或多个 "隐藏 "的中间层，每个中间层由一组节点组成（参见van Veen和Leijnen[2016]，了解众多ML架构的示意图）。在训练阶段，相互连接的节点之间的联系强度被优化为最适合训练集。

数值天气预报

我们首先考虑数值天气预报（NWP）。NWP模型是旋转星球大气层流体动力学的计算表示。NWP模型强制执行质量、能量和动量的基本守恒定律，同时考虑到外部源和汇，如太阳加热和表面阻力。NWP模型对大尺度的过程很有效，但通常情况下，它们不能解决发生在小尺度上大气中的重要过程，如降水。NWP模型通过使用近似关系有效地估计这些过程来确定这些过程的参数。

今天，对大气运动的天气尺度(>1,000公里)的天气预报可以熟练地进行到大约1周。然而，对于较小尺度的特征--强风暴的降雨以及飓风和龙卷风核心的强风--的预报仍然不可靠。计算能力的提高使得西北太平洋模式能够使用越来越细的网格，通过更好地解析小尺度的动态来提高准确性，从而减少对参数化的依赖，以接近小于网格尺度的现象。

尽管取得了这些进展，但仍然很难预测几小时前雷暴的精确演变或预测几天前的飓风强度。没有一个模型是完美的：初始条件、有限差分、或近似性差或缺失的物理过程都会带来误差，而这些误差会不断累积和增加。

使困难变得更加复杂的是实际的相关需求，必须向用户提供准确的小尺度现象的预测。一个龙卷风预报即使需要1个小时也没有什么实际价值，而7天前的天气同步预报即使需要12个小时也是有用的。

参数化问题

参数化通过使用关于物理过程的简化假设，并通过在模型中实施参数化时的近似甚至错误来引入误差。例如，模拟红外和太阳辐射对大气的加热和冷却的参数化子模型可能对计算要求很高。通常，大气的加热和冷却是在一个特定的时间内计算出来的，然后保持固定，在某些情况下是几个小时。同时，其他大气过程以几分钟的时间步长进行模拟。这种程序被用于运行中的NWP系统，尽管云和辐射之间的强烈相互作用随着云的移动和演变在几分钟的尺度上被调制。

为了缓解这些问题，建模者已经在使用快速和准确的ML模拟现有的耗时参数化。例如，长波辐射参数化的ML模拟[Chevallier等人，2000年]早已在欧洲中程天气预报中心投入使用，尽管使用的方式有限。长波和短波辐射参数化的ML模拟[Krasnopolsky等人，2010]效率很高，可以在每个模型时间步骤中运行，而且这种方法已经在不同的模型中成功测试。

将这一趋势发挥到极致，Brenowitz和Bretherton[2018]在分辨率明显高于全球NWP模型的数据上模拟训练ML算法，以准确确定所有物理过程同时导致的大气加热、冷却、湿润和干燥。ML解决方案不限于大气过程。例如，已经为风波模型中的非线性波浪相互作用开发了神经网络[Tolman等人，2005年]。

资料同化

接下来让我们考虑一下西北太平洋数据同化系统，以及这些系统如何利用观测资料，特别是遥感观测资料。DA的目的是将观测资料和先前预报的知识优化组合，以初始化NWP模型。观测和预报的误差统计是DA的重要量，而这些统计量很难估计。

在实践中，DA做了各种近似和假设(包括高斯分布和准线性误差动态)，引入了许多未知的 "常数"，作为额外的参数进行调整，对卫星数据流进行严格的稀释或平均，并严重依赖数据预处理和后处理来消除数据中的偏差。因此，观测数据中只有一小部分信息能通过DA的 "过滤器"。卫星观测中地球物理信息的处理、质量控制和检索（即提取）的DA系统中的几个步骤可以通过ML解决方案加速或改进[Gilbert等人，2010年；Atzberger，2004年]。

特别是，反演和DA系统都是通过从反演或同化的地球物理量（如温度和湿度）中反复模拟观测到的辐射率来同化卫星观测到的辐射率。已经开发了模拟辐射率的快速ML模拟，以显著加快这些程序[Taylor等人，2016年；Takenaka等人，2011年]。

增长需要

由于社会越来越依赖可采取行动的环境信息和对情况的了解，因此迫切需要充分利用当前和未来的大量和多样化的环境数据来源。目前的环境数据量，特别是来自卫星的环境数据量，已经给数据采集和其他实时应用带来了硬件、功率和延迟限制方面的重大挑战。

由于部分原因，全球天气预报只使用了目前可用卫星数据的1%-3%，而传统方法的处理时间已经很残缺。如今，对于业务预报员感兴趣的许多参数，卫星提供的数据流来自多颗卫星，每颗卫星都有其自身的局限性和数据伪影，当预报员面临时间紧迫、生命攸关的决策时，很难甚至不可能回忆起这些数据。而即将到来的新环境数据源的浪潮将加剧这一挑战。在这个新时代，小型卫星可能会以数百颗甚至数千颗的星座发射。物联网将创造大量的环境数据。你的手机可能已经在测量温度和压力。

随着可用的环境观测数据库在数量和多样性方面的增长，将需要更高效、更准确的新方法来充分利用这些资源，作为传统系统的补充或替代。基于高级神经网络的训练ML系统在计算上非常高效，并且容易用现代科学编程语言实现。

训练ML模型是一次性成本，因此可以投资于非常高质量的基于物理和化学的模拟，以产生跨越常见和罕见或极端事件的高精度训练数据[Keller和Evans，2019]。到目前为止，在早期应用中，ML成功地解决了对环境产品提出的更高的准确性、更高的空间和时间分辨率、增强的传统预测和更好的模型输出后处理的要求[Rasp和Lerch，2018；Campos等人，2018]。ML也在解决对次季节到季节性时间尺度的展望和预测的需求[Fan等人，2019]，以及改进发布咨询和警告的过程，包括恶劣天气和飓风的咨询和警告[Shahroudi等人，2019]。

新方法

改进天气即时预报和预测需要采取新的方法，以充分利用所有传统和新的观测资料。这些方法必须允许更多的观测来源被融合和混合，以用于现在的预报应用，并被越来越精确（和更多的计算要求）的DA和预报系统所摄取，它们必须在越来越小的时间窗口内处理和传播数据。

尽管在广泛实施和接受ML方法方面仍存在重大挑战，但我们为缓解这些挑战而必须采取的步骤正变得越来越清晰。

• 大型和具有代表性的训练数据集和ML模型的集合将确保ML应用对罕见和不寻常的情况保持准确性。
• 可解释的人工智能和其他发展将有助于缓解ML的 "黑箱 "问题。
• ML方法必须满足适当的物理约束，如质量守恒。
• ML的输出应包括定量的不确定性估计。
• 坚持现代计算科学实践将使多边形的发展具有可重复性。

如果能够克服这些挑战，那么我们预计ML将成为卫星遥感和西北太平洋解决方案的一个重要部分。我们预测，人力和计算资源将得到更有效的利用；现有工具将得到加强，以提高效率（在某些情况下，提高准确度）；利用即时预报、西北太平洋和其他应用，包括对极端天气事件的预报，将提高预报技能。

参考链接

Atzberger, C. (2004), Object-based retrieval of biophysical canopy variables using artificial neural nets and radiative transfer models, Remote Sens. Environ., 93, 53–67, https://doi.org/10.1016/j.rse.2004.06.016.

Brenowitz, N. D., and C. S. Bretherton (2018), Prognostic validation of a neural network unified physics parameterization, Geophys. Res. Lett., 45, 6,289-6,298, https://doi.org/10.1029/2018gl078510.

Campos, R. M., et al. (2018), Nonlinear wave ensemble averaging in the Gulf of Mexico using neural network, J. Atmos. Oceanic Technol., 36, 113–127, https://doi.org/10.1175/jtech-d-18-0099.1.

Chevallier, F., J.-J. Morcrette, F. Cheruy, and N. A. Scott (2000), Use of a neural-network-based long-wave radiative-transfer scheme in the ECMWF atmospheric model, Q. J. R. Meteorol. Soc., 126, 761–776, https://doi.org/10.1002/qj.49712656318.

Fan, Y., C.-Y. Wu, J. Gottschalck, and V. Krasnopolsky (2019), Using artificial neural networks to improve CFS week 3-4 precipitation and 2m temperature forecast, paper presented at 1st NOAA Workshop on Leveraging AI in the Exploitation of Satellite Earth Observations & Numerical Weather Prediction, Natl. Oceanic and Atmos. Admin., College Park, Md., www.star.nesdis.noaa.gov/star/documents/meetings/2019AI/Thursday/S5-6_NOAAai2019_Fan.pptx.

Gilbert, R. C., M. B. Richman, T. B. Trafalis, and L. M. Leslie (2010), Machine learning methods for data assimilation, Intell. Eng. Syst. Artificial Neural Networks, 20, 14, https://doi.org/10.1115/1.859599.paper14.

Keller, C. A., and M. J. Evans (2019), Application of random forest regression to the calculation of gas-phase chemistry within the GEOS-Chem chemistry model v10, Geosci. Model Dev., 12, 1,209–1,225, https://doi.org/10.5194/gmd-12-1209-2019.

Krasnopolsky, V. M., et al. (2010), Accurate and fast neural network emulations of model radiation for the NCEP coupled climate forecast system: Climate simulations and seasonal predictions, Mon. Weather Rev., 138, 1,822–1,842, https://doi.org/10.1175/2009mwr3149.1.

Rasp, S., and S. Lerch (2018), Neural networks for postprocessing ensemble weather forecasts, Mon. Weather Rev., 146, 3,885–3,900, https://doi.org/10.1175/MWR-D-18-0187.1.

Shahroudi, N., et al. (2019), Improvement to hurricane track and intensity forecast by exploiting satellite data and machine learning, paper presented at 1st NOAA Workshop on Leveraging AI in the Exploitation of Satellite Earth Observations & Numerical Weather Prediction, Natl. Oceanic and Atmos. Admin., College Park, Md., www.star.nesdis.noaa.gov/star/documents/meetings/2019AI/Wednesday/S3-2_NOAAai2019_Shahroudi.pptx.

Takenaka, H., et al. (2011), Estimation of solar radiation using a neural network based on radiative transfer, J. Geophys. Res., 116, D08215, https://doi.org/10.1029/2009JD013337.

Taylor, M., et al. (2016), Neural network radiative transfer solvers for the generation of high resolution solar irradiance spectra parameterized by cloud and aerosol parameters, J. Quant. Spectrosc. Radiat. Transfer, 168, 176–192, https://doi.org/10.1016/j.jqsrt.2015.08.018.

Tolman, H. L., V. M. Krasnopolsky, and D. V. Chalikov (2005), Neural network approximations for nonlinear interactions in wind wave spectra: Direct mapping for wind seas in deep water, Ocean Modell., 8, 253–278, https://doi.org/10.1016/j.ocemod.2003.12.008.

van Veen, F., and S. Leijnen (2016), The neural network zoo, 14 Sept., www.asimovinstitute.org/neural-network-zoo.