人工智能实现天气预报

ABC智慧教研平台是一款面向教育领域的综合平台，旨在提供教育教研的数字化解决方案。平台应用模块具有灵活、可定制的特点，可根据用户的需求和场景，部署各类应用模板，并批量快速启动。今天上海海文的教研团队带来的是一款人工智能气象模型的介绍。
现如今人工智能的应用范围逐渐扩大，进入我们的生活，气象预报也可通过人工智能的参与，提升准确度与效率。华为研究人员提出了一种基于人工智能（AI ）的 高分辨率全球气象预报系统——盘古气象大模型，是首 个精度超过传统数值预报的AI方法，具有高性能和高精度的优势。

论文在arXiv上发布：Pangu-Weather: A 3D High-Resolution Model for Fast and Accurate Global Weather Forecast 已被Nature正刊接受

模型已在Github上开源： https://github.com/198808xc/Pangu-Weather

官方知乎帖子：华为云提出盘古气象大模型：中长期气象预报精度首次超过传统数值方法，速度提升10000倍以上
本文旨在介绍华为盘古气象大模型的模型结构、模型推理（输入数据准备+开源模型调用）、模型评估（预测精度评估）三个方面，让大家更好地用上大模型，体验大模型在天气预报中的应用。

天气预报是科学计算领域最重要的场景之一，对未来天气变化的预测，特别是对极端天气如暴雨、台风、干旱、寒潮的预测至关重要。

• 数值天气预报在每日天气预报、极端灾害预警、气候变化预测等领域取得了巨大成功。
• 随着算力增长的趋缓和物理模型的逐渐复杂化，高分辨率天气模式研发与应用面临诸多挑战。
• 现有的AI预报方法精度仍然显著低于数值预报方法，并受到可解释性欠缺，极端天气预测不准等问题的制约。

模型简介

盘古气象大模型是首个精度超过传统数值预报方法的AI方法，1小时-7天预测精度均高于传统数值方法（欧洲气象中心的operational IFS），预测变量包括位势、湿度、风速、温度、海平面气压等。盘古气象模型的水平空间分辨率达到 0.25°×0.25° ,时间分辨率为1小时，覆盖13层垂直高度，可以精准地预测精细化的气象特征。 同时预测速度提升10000倍，能够提供秒级的全球气象预报。

训练数据

训练和测试均在ECMWF第五代再分析数据（ERA5 ）-进行，其包括43年（1979-2021年）的全球实况气象数据。其中，1979-2017年数据作为训练集，2019年数据作为验证集，2018、2020、2021年数据作为测试集。盘古大模型使用的数据，包括垂直高度上13个不同气压层，每层五种气象要素（温度、湿度、位势、经度和纬度方向的风速），以及地表四种气象要素（2米温度、经度和纬度方向的10米风速、海平面气压）。

需要注意的是，论文中使用的并非ERA5数据的全部变量，垂直层数也并非全部的垂直层数

模型架构

尽管英伟达更早实现了全球天气预报的AI模型——FourCastNet ，但其预测精度仍有较大提升空间。华为研究团队指出，AI气象预报模型的精度不足，主要有两个原因。第一，现有的AI气象预报模型都是基于2D神经网络，无法很好地处理不均匀的3D气象数据。第二，AI方法缺少数学物理机理约束，因此在迭代的过程中会不断积累迭代误差。为此，论文提出了3D Earth-Specific Transformer（ 3DEST ）来处理复杂的不均匀3D气象数据，并且使用层次化时域聚合策略来减少预报迭代次数，从而减少迭代误差。
其主要思想是使用一个transformer的3D变种来处理复杂的不均匀的气象要素。由于气象数据分辨率很大，因而相比于常见的vision transformer方法，研究人员将网络的encoder和decoder减少到2级（8个block），同时采用Swin transformer的滑窗注意力机制 ，以减少网络的计算量。需要注意的是，即使采用了这些方法，当前网络的总体FLOPs依然超过3000G。未来，在算力充足的条件下，可以使用更大的网络以进一步提升预报精度。

3D Earth-Specific Transformer的架构示意图

在每一个网络block里，最重要的改进是引入了Earth-Specific位置编码。这是团队在对气象数据性质进行仔细分析后，所做出的改进。气象预报数据和普通图像数据最大的区别在于，特征图上的每个像素都对应于地球上的一个绝对位置，而图像上的像素往往只包含相对位置信息。同时，如图所示，气象要素数据对应的经纬度网格是不均匀的，而不同的要素在不同纬度、高度的分布也是不均匀的。对这些不均匀性的建模，有利于学习气象数据背后潜藏着的复杂物理规律，如科里奥利力等。为此，本文在每一个 transformer模块中引入和纬度、高度相关的绝对位置编码来学习每一次空间运算的不规则分量。这样改动后的transformer模块，被称为3D Earth-Specific Transformer。

关于模型框架部分的核心代码也已在Github开源：https://github.com/198808xc/Pangu-Weather/blohttps://github.com/198808xc/Pangu-Weather/blob/main/pseudocode.pyb/main/pseudocode.py

预测评估

下图展示了盘古气象大模型的预测评估结果。我们可以看到，盘古气象大模型全方位地超过了现有的数值预报方法（欧洲气象中心的operational IFS）。例如，盘古气象大模型提供的Z500五天预报均方根误差为296.7，显著低于之前最好的数值预报方法（operational IFS：333.7）和AI方法 （ FourCastNet：462.5 ）。

盘古气象大模型在2m气温和10m风速两个变量上的3天预报结果的可视化以及与真实值对比

盘古气象大模型对2018年两个超强台风康雷和玉兔的路径预测，准确度远超传统方法——尤其对于台风玉兔，盘古相较于传统方法提前48小时（比登陆时间提前6天以上）判断出玉兔的正确登陆位置：菲律宾马里亚纳群岛。

高空气象要素

在高空气象变量Z500、T850、T500、Q500、 U500、V500上的测试精度，在所有预测时间均领先于欧洲气象中心的operational IFS。例如，对于Z500 ，3天和5天operational IFS的预测均方根误差为152.8和333.7 ，盘古气象大模型把误差减少到134.5和296.7。对于T850，3天和5天operational IFS的预测均方根误差为1.37和2.06，盘古气象大模型把误差减少到1.14和1.79 。在所有场景中，盘古气象大模型相比operational IFS的均方根误差相对降低都超过10%。使用同等精度下的预报时间间隔来衡量，盘古气象大模型相对欧洲气象中心的operational IFS的精度提升相当于超过10-15小时的“预测时间增益”（即 盘古的预测时间比IFS多10-15小时时，预测精度与IFS相当）。与英伟达的FourCastNet相比，盘古气象 大模型有更大的精度优势——在所有场景中，均方根误差相对降低超过30% ，“预测时间增益”也扩大到36小时以上。

近地面气象要素

在地表气象变量2m温度（T2M ），10m经度方向和纬度方向风速（U10和V10 ）上测试精度，稳定高于欧洲气象中心的operational IFS和英伟达的FourCastNet。使用“预测时间增益”来衡量，盘古气象大模型相对于operational IFS的精度提升相当于超过18小时的“预测时间收益”。例如，对于2m温度，3天和5天operational IFS的预测均方根误差为1.34和1.75 ，FourCastNet的均方根误差为1.39和 2.00，盘古气象大模型把误差减少到1.05 和1.53。对于10米经度方向风速，3天和5天operational IFS的预测均方根误差为1.94和2.90 ，FourCastNet的均方根误差为2.24和 3.41，盘古气象大模型把误差减少到1.61和2.53。

通过空间分布可视化可以发现，盘古气象大模型可以很好地预测精细化的气象特征。但是，AI预报的结果通常更加平滑，而数值预报则更经常地预测出一些不存在的特征。这反映出AI气象预报和传统气象预报间存在差异性和互补性。

通过计算海平面气压、850 hPa旋度、10米风速和850~200hPa厚度，盘古气象大模型可以准确地预测热带气旋的路径。基于2018年的88个热带气旋进行预测评估后发现，盘古气象大模型的预测精度明显高于传统方法。
和ECMWF HRES比较，盘古气象大模型在不同地区、不同强度、不同预测时效上热带气旋路径预测准确度都有明显优势。例如，盘古气象大模型对88个热带气旋路径预测的三天/五天平均误差为120.29公里/195.65公里，明显低于ECMWF HRES的162.28公里/272.10公里。

集合预报

向模型的输入中加入随机柏林噪声（Perlin Noise ），得到99组输入扰动的预报和1组输入未扰动的预报，其短期（<2天）预报精度略低于未经扰动的确定性预报，而其长期（>5天）预报精度明显高于未经扰动的确定性预报。
集成预报的平均值把Z500和U10的7天预测均方根误差从500.3和3.48降低至450.6和2.96 ，相对下降达到10%和15%以上。
结合气象知识使用相似的方法可以得到更加有效的集成预报，例如使用奇异向量法扰动盘古气象大模型的输入。

总结与感悟
1. 华为盘古气象大模型首次在准确性和速度上超过了传统的数值天气预报（NWP）方法。对于AI模型而言，高性能计算资源（强大的GPU、更大内存和更高FLOPs）是进一步提高天气预报准确性的关键。未来，可以(i)加入更多的观测变量，(ii)整合时间维和训练4D深度网络，(iii)使用更深或更宽的网络，还有很大的提高空间。
2. 大模型确实非常厉害，在各个领域都表现出惊人的优势，也是AI模型发展的一大趋势。天气预报长期以来依赖数值模式（物理驱动）方法，用AI模型（数据驱动）来实现天气预报是一种非常大胆和创新的尝试。尽管华为盘古气象大模型具有高性能和高精度的优势，但并不意味着物理驱动失去了发展意义，恰恰盘古气象大模型训练所用的再分析资料就是包含了物理过程信息的。因此，一个优 秀的物理模型，也更有利于训练出一个更优秀的AI模型。

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！