JAMES: 解释神经网络的推理

Posted 2021-04-26 AGU美国地球物理学会

帮助研究人员理解神经网络决策过程的方法可以使机器学习工具更加适用于地球科学。发表于JAMES上的一项研究首次将层级间相关性传播(LRP)技术应用到地球科学领域。

神经网络在现代科学中无处不在，它为人脸识别、癌症研究1和风险管理等复杂问题提供见解。机器学习技术利用协同工作的计算节点网络，在海量数据集中发现模式，并根据这些数据做出预测。

在地球科学中日益庞大的高质量数据集2中，神经网络可以帮助3确定有意义的相互关系。不过目前，由于网络用于决策和预测的内部推理并不总是显而易见，它们在这些领域的应用受到了限制。

上图显示了1987年2月的海面温度异常(偏离平均值)。研究人员应用技术评估神经网络中的决策过程，该神经网络通过关注热带太平洋的海温模式来识别厄尔尼诺-南方涛动的阶段并预测其影响。

资料来源：Toms et al., 2020, https://doi.org/10.1029/2019MS002002, CC BY 4.0

在一项新的研究中，Toms等人应用了两种新的方法来解释神经网络：反向优化和层级间相关性传播(layerwise relevance propagation, LRP)。这两种方法帮助研究人员确定在神经网络的决策过程中哪些输入的影响最大，这可以使该技术更加适用于地球科学，在地球科学中，理解网络的推理对于验证其预测至关重要。

研究小组首先将这两种方法应用于一项简单的任务：识别特定的海面温度(SST)模式是否指示了已有充分研究的厄尔尼诺-南方涛动(ENSO)4的正相位或负相位。他们利用1880年至1990年的海面温度数据训练神经网络，并使用1990年至2017年的数据对其进行测试。该网络100%准确地识别了ENSO相位。

接下来，研究小组将这些方法应用于一项更复杂的任务：预测海洋表面温度异常将如何影响季节温度。他们用1950年到2000年的数据训练网络，用2000年到2018年的数据对网络进行测试，发现神经网络方法比传统的基于回归的方法更精确。

机器学习研究在地球科学中越来越普遍，本文首次将LRP技术应用到该领域。作者展示了机器学习技术可以提供有效的预测，证实它们的输出与我们对驱动地球系统的物理过程的理解相符，并为未来利用这些技术来识别隐藏在地球科学数据中的未知关系等研究奠定了基础。

以上点评英文原文发表于AGU Eos，中文翻译仅供参考。

原文链接：

https://eos.org/research-spotlights/interpreting-neural-networks-reasoning

Text © 2020. AGU. CC BY-NC-ND 3.0

原文信息

扫码免费阅读原文

https://agupubs.onlinelibrary.wiley.com/doi/full/10.1029/2019MS002002

关于期刊

Journal of Advances in Modeling Earth Systems (JAMES) 是一本金色开放获取期刊，发表有助于了解地球物理系统，及其与生物、地质和化学系统结合的各种尺度的模型的开发与应用的研究论文。

研究论文可以是纯技术方面的，如有助于建模的新的或改进的算法或新数据集；也可以是综合性的，如新的建模或模拟系统的集成；或是概念性的，如为建模或分析制定标准的新框架和新构想。

2019年影响因子：          4.33

5年影响因子：                4.83

从投稿到一审意见的中位数时间：76天

扩展阅读：

1. “Solving” Cancer: The Use of Artificial Neural Networks in Cancer Diagnosis and Treatment:

https://www.jyi.org/2017-december/2017/11/30/solving-cancer-the-use-of-artificial-neural-networks-in-cancer-diagnosis-and-treatment

2. Application of Artificial Neural Networks in Geoscience and Petroleum Industry:

https://link.springer.com/chapter/10.1007/978-3-319-16531-8_4

3. Weathering Environmental Change Through Advances in AI:

https://eos.org/opinions/weathering-environmental-change-through-advances-in-ai

4. Diversity of El Niño Variability Makes Prediction Challenging:

https://eos.org/editors-vox/diversity-of-el-nino-variability-makes-prediction-challenging

关注AGU中国

建立更多联结

抖音号｜AGUChina

点击下方“阅读原文”访问 JAMES  期刊主页，阅读更多精彩文献。