Düben, P, Modigliani, U, Geer, A, Siemen, S, Pappenberger, F, Bauer, P, Brown, A, Palkovic, M, Raoult, B, Wedi, N, Baousis, V, 2021, Machine learning at ECMWF: A roadmap for the next 10 years, ECMWF Technical memorandum 878, doi: 10.21957/ge7ckgm
本文“
正文”章节简要介绍该技术文档的部分内容,底稿来自 Google 翻译,并
结合笔者自己的理解,对部分原文进行调整、删减和重排。如有偏差,敬请批评指正。
资料同化:SMOS 土壤水分陆面资料同化中使用神经网络 (Rodríguez-Fernández et al., 2019),弱约束 4D-Var 框架中的神经网络 (Bonavita and Laloyaux, 2020)
模式:深度学习用于重力波拖曳参数化方案 (Chantry et al., 2021),深度学习模拟器可用于生成切线性伴随 4D-Var 数据同化的模式代码 (Hatfield et al., 2021)
后处理:决策树用于降水集合预报 (Hewson and Pillosu, 2020)
监控:使用机器学习检测 ECMWF 数据服务日志中的异常,属于 ECMWF Summer of Weather Code 2020 中的一个项目
挑战与应对
Challenges for the adoption and effective use of AI and machine learning at ECMWF and how they will be addressed
ECMWF 采纳和有效使用 AI 和 ML 的挑战以及如何应对
领域
机器学习科学家和地球科学领域科学家的关注点不同:
ML:通过优化特定目标函数 (例如 48 小时降水 RMSE 减少) 解决数据科学问题
Earth:通过物理解释和检查物理一致性 (例如守恒定律或过程反馈) 提高和验证模型
领域科学家在 ML 方面有时会采取防御措施,因为他们将新功能视为威胁而不是对自己工具箱的扩展。部分领域科学家不信任没有物理解释的黑盒模型 (black box),当前应用的机器学习模型为其它领域开发,无法在模型设计阶段引入领域知识。
存在一种风险,即面向特定应用的解决方案将在领域科学家和机器学习科学家间并行开发,而没有协同。
应对
合作开发用于业务的物理一致的 ML 解决方案,充分利用高级 ML 新工具箱的全部潜力,补充现有基于物理的解决方案。
Explainable AI 和
physics-informed machine learning 试图将 ML 与物理知识相结合,以实现物理上更一致的解决方案 (McGovern et al., 2019; Reichstein et al., 2019)。
将探索
trustworthy AI,增进我们对机器学习方法工作方式的理解,为黑盒提供一些启示。
遵循本路线图中概述的步骤,将使 ECMWF 能够为科学家和分析人员不断发展的需求做准备,以朝着更加以数据为驱动力的工作流发展,并支持成员国和合作国尽快充分利用机器学习的新功能。
路线图的范围将根据欧盟 Destination Earth 计划的未来发展进行调整,该计划将人工智能和机器学习作为开发 Digital Twins of the Earth system 的主要组成部分之一。
Digital Twin on Weather-induced and Geophysical Extremes
显示对机器学习应用的特殊需求:
提高模式效率,特别是通过将机器学习预处理器用于线性求解器或使用神经网络对模式组件进行仿真
提高局部预测的质量,例如,通过局部降尺度,偏差订正和不确定性量化
将最终用户的定制交互式应用引入预测工作流,例如,通过在仿真过程中自动检测特征
Digital Twin on Climate Change Adaptation
机器学习将使人们能够从大型数据集中更有效地提取信息,或者通过无监督学习来了解因果关系和物理连通性。
ECMWF 的机器学习工作也将与 ESA 当前使用地球观测来改进可用于建模的全球地图的努力保持一致,并有可能增强 ECMWF 的资料同化工作。这些地图将有助于开发更好的陆面参数化,并评估这些参数化所需的复杂性,例如在全球模拟中开发 urban tile。
参考文献
译者注:摘选部分参考文献
数据集
Rasp, S., P. D. Dueben, S. Scher, J. A. Weyn, S. Mouatadid & N. Thuerey, 2020: WeatherBench: A benchmark dataset for data- driven weather forecasting. Journal of Advances in Modeling Earth Systems, 12, e2020MS002203, https://doi.org/10.1029/2020MS002203
资料同化
Bocquet, M., J. Brajard, A. Carrassi & L. Bertino, 2020: Bayesian inference of chaotic dynamics by merging data assimilation, machine learning and expectation-maximization. Foundations of Data Science, 2(1), pp. 55-80.
Geer, A. J., 2021: Learning earth system models from observations: Machine learning or data assimilation? Phil. Trans. A. In press (preprint: https:/doi.org/10.21957/7fyj2811r).
后处理
Hewson, T. & F. Pillosu, 2020: A new low-cost technique improves weather forecasts across the world. arXiv:2003.14397v1.
Grönquist, Peter, et al., 2020: Deep Learning for Post-Processing Ensemble Weather Forecasts. Phil. Trans. A.
Vannitsem, S. et al., 2020: Statistical Postprocessing for Weather Forecasts – Review, Challenges and Avenues in a Big Data World. Bull. Am. Meteorol. Soc., doi: https://doi.org/10.1175/BAMS-D-19-0308.1
模型解释
McGovern, A., R. Lagerquist, D. John Gagne, G. E. Jergensen, K. L. Elmore, C. R. Homeyer & T. Smith, 2019: Making the Black Box More Transparent: Understanding the Physical Implications of Machine Learning. Bull. Am. Meteorol. Soc., 100, 2175–2199, https://doi.org/10.1175/BAMS-D-18-0195.1.
Reichstein, M., G. Camps-Valls, B. Stevens et al., 2019: Deep learning and process understanding for data-driven Earth system science. Nature, 566, 195–204, https://doi.org/10.1038/s41586-019-0912-1.