欧洲中期天气预报中心的AI发展之路

2024-06-10 20:23阅读：

http://blog.sina.cn/dpool/blog/u/1392798785

2022年2月，美国英伟达（Nvidia）公司将FourCastNet气象预报模型论文挂在了学术文章在线发表服务器（Arxiv）上，成为在数据驱动全球天气预报模型发展进程中的一项里程碑式成果。其预报精度接近欧洲中期天气预报中心（ECMWF）的综合预报系统（Integrated Forecasting System，IFS），水平分辨率为0.25°，速度则较传统数值算法缩短数万倍。随后，越来越多的用于解决天气预报问题的人工智能研究成果开始涌现，成为AI领域的热点之一。
2022年11月，中国的华为公司团队也在Arxiv上提交了文章《盘古：一个三维高分辨快速准确的全球天气预报系统》（Pangu-Weather: A 3D High-Resolution Model for Fast and Accurate Global Weather Forecast），首次在中长期天气预报的测试中超过了传统数值方法，这篇文章经修改后在《自然》杂志正刊上发表。盘古气

象模型训练和测试均在ECMWF的ERA5再分析数据集上进行，五天预报均方根误差检验低于欧洲气象中心 IFS和FourCastNet，在预报速度上也有了量级上的成倍提升。华为的成果被评为2023年“中国科学十大进展”，位居首位。随后，12月24日，美国谷歌公司的GraphCast智能预报模型论文也在Arxiv上线（GraphCast: Learning skillful medium-range global weather forecasting），据介绍预报准确率也超越了IFS，论文经修改后发表在2023年11月的《科学》杂志上。
2023年则更是成果丰硕，1月份，美国微软团队发布了第一个基于AI的天气和气候基础模型 ClimaX，在中分辨率（1.40625）下，中短期预测上表现与IFS相当甚至更好，而在长期预测上则显示出更大的优势。接着，上海人工智能实验室（AI Lab）于4月发布了全球中期天气预报大模型“风乌”，首次实现在高分辨率上核心大气变量预报实效超过10天，在计算效率上也大幅优于传统模型。2023年6月，复旦大学人工智能创新与产业研究院和大气与海洋科学系联合发布了“伏羲”智能气象大模型。利用AI算法实现了15天全球天气预报，预报精度达到了欧洲中期天气预报中心集合预报的水平。
AI技术用于天气预报领域的进展显然远不止这些，无论是在区域的短临预报还是对整个地球系统的模拟预测，包括解决不确定性问题的集合预报，都有所斩获。
如2023年7月，清华大学与国家气象中心在《Nature》正刊发表文章，介绍了合作开发的极端降水临近预报大模型“NowcastNet”，将数据驱动与物理驱动两大科学范式紧密结合，显著提高了公里尺度下0～3小时极端降水的预报能力。
谷歌公司2020年初开始构建基于深度学习短临降水预测模型MetNet，于2023年6月发布了第三版MetNet-3，引入了部分观测数据对模型训练，除保持了1 公里的空间分辨率和 2 分钟的时间分辨率，预报时效提升到了24小时。

2024年3月18日，在美国加州圣何塞举行的Nvidia GTC 2024大会上，英伟达首席执行官黄仁勋在主题演讲中发布了“Earth-2 Cloud Platform（地球2号云平台）”，利用AI和超算可以预测地球气候变化，并将其可视化，水平分辨率可达两公里，可帮助用户在几秒钟内发出警告和更新预测。

Earth-2 Cloud Platform（地球2号云平台）
2024年4月，谷歌公司又发布了采用生成式概率扩散模型技术的预报模型SEEDS（Scalable Ensemble Envelope Diffusion Sampler），可以从有限的初始场出发，生成一系列反映未来天气不确定性的大规模天气预报集合（Ensemble）方案，以解决预报过程难以克服的不确定性问题，并提升了极端天气的预报效果，且大幅度缩短了预报时间。

欧洲中期天气预报中心的AI发展之路

使用SEEDS生成16,384个成员的集合与相关模式的比较
当各路新兴力量竞相角逐AI预报这一热点领域时，也可从中发现一个独特的视角，即几乎所有发布的中期预报大模型都是在ECMWF的再分析数据集上进行训练的，且训练的结果又都以ECMWF的预报结果作为标准进行比较，判断是否成功。那么，作为在传统数值天气预报领域一枝独秀的ECMWF自身又在做什么呢？那里掌握着最优质气象数据集的科学家如何看待或推进AI技术的应用呢？追踪一下，可以发现ECMWF近年来在这一领域发展的大致脉络和具体做法。
2019年11月，ECMWF召开了首次人工智能技术研讨会，开展了较为广泛的讨论。ECMWF地球系统建模室主任彼得·杜本（Peter Dueben）发表了演讲“利用深度学习改进天气预报的进展和挑战”，阐述了利用AI改进天气预报的总体想法，认为人工智能在天气和气候预测领域有着广泛的应用前景，这些应用涵盖了数值天气预报的整个工作流程，包括利用AI技术处理数据，从数据中学习非常复杂的非线性动力过程，通过深度学习模拟已知的微分方程，构建不很复杂的预报模型，利用机器学习硬件加速预报过程等。
从这些论述中，可以看出对于AI在天气预报领域的可能影响，ECMWF已有了比较完整的认识，且这些认识并不仅是一些构想，而是通过实践取得了初步进展。2020年1月，ECMWF 又举办了一次内部研讨会，旨在让从事机器学习方法的科学家们开展交流，为他们的协同合作创造条件。
会上大约有25个正在开展的项目进行了展示，涵盖了整个数值天气预报工作整个流程，包括卫星观测资料的反演订正、数据同化改进、预报过程不确定性模拟、预报结果的后处理等，还探讨了如何增加足够的GPU资源，支持机器学习应用程序的训练。从2021年开始，ECMWF与欧空局（ESA）每年联合举办一期地球系统观测和预测机器学习研讨会，所研讨的问题较以上所涉及的内容更为广泛，，如提出要要探讨AI应用中的可解释性问题，了解预报模型的内部结构和决策原理，揭开“黑匣子”的奥秘；从需求角度更为关注的问题是AI技术在极端事件预报方面的能力不足问题；在发挥AI模型优势方面则探讨了怎样建立更合理有效的集合预报系统。2024年的联合研讨会已于5月4~7在意大利罗马召开。

欧洲中期天气预报中心的AI发展之路

从时间上看，在推出实际应用的预报模型方面， ECMWF似落后于美国和中国，但这并不意味那里的科学家在这一领域有任何懈怠。实际上，对于在AI预报模型研发的每项成果，ECMWF都在密切关注着，并进行技术分析，做出研判。如中国华为的科学家在研发“盘古”天气模型过程中，就与ECMWF的科学家有过多次深入交流，在ECMWF工作的Matthew Chantry博士正是华为团队在《自然》正刊上发表文章的三位审稿人之一，为文章的修改提出了许多细节上的意见。
“盘古模型”开放后，ECMWF对模型进行了多次测试，并给出了一系列分析报告。2023年5月27日，世界气象组织（WMO）执行理事会召开期间，专门组织了一次“全民早期预警”研讨会，“盘古模型”成为会议探讨的重要议题之一，ECMWF执行总裁Florence Rabier先生对该模型的特点做出了积极评价，认为模型贡献了不可否认的技巧（Undeniable skill），特别指出在计算功耗上显著低于传统方法，并给出了一张非常形象的大象和蚂蚁反差对比图，这一特点使AI模型非常有利于向欠发达地区推广，作为早期预警的工具，显著降低了运行成本。为了检验AI模型的实际能力，ECMWF还先后将英伟达的“FourCastNet”、华为的“盘古天气”和谷歌的“GraphCast”等模型在自己的系统中运行，并将结果公布在网上，供用户使用比较，判别其能力或不足。
2023年夏天，经成员国批准，ECMWF组建了自己的技术团队，在分析比较了已发布的各类AI模型，包括英伟达的 FourCastNet，中国的盘古、风乌和伏羲模型，及谷歌的GraphCast等，团队最终在技术框架上选择了与GraphCast类似的图形神经网络（GNN）方案，以达到网格处理的灵活性和提升参数效率的目的。
经过几个月的研发，2023年10月13日，ECMWF发布了基于AI技术的天气预报模型AIFS（Artificial Intelligence/Integrated Forecasting System）alpha版本，垂直方向包括 13 个等压层级，水平分辨率约110公里，可以对温度、湿度、压力、风等要素进行预测，以6小时的时间间隔，1分钟可以完成10天的全球预报。
从对2023年6~8月的500百帕的高度的均方根误差（RMSE）检验看，已较传统模式IFS有了显著改进。2024 年 1 月 10 日，ECMWF又推出了新的AIFS版本，水平分辨率提升到了28 km （0.25°）,准确率较老版本也有了新的提升，这个版本的产品已同ECMWF的传统模式IFS的产品一起对外发布，供用户使用。

欧洲中期天气预报中心的AI发展之路

欧洲中期天气预报中心的AI发展之路

AI技术在构建天气气候预报模型方面取得了重要进展，但仍处于起步阶段，尚有很多问题需要解决。为了使各成员国在AI领域建立更为紧密的合作联系， 2024年ECMWF启动了一个为期4年的推进计划，其任务包括挖掘ECMWF成员内部资源，扩大在AI领域的工作范围；加强已在进行的混合模型工作，将传统方法和AI方法相结合，开发出更为完整的数据驱动预报系统；进一步发展完善AIFS模型，建立通过仅使用机器学习方法的完整预测链；加强机器学习在地球系统模型中的使用，以支持在数字孪生地球系统开发中不确定性问题的处理能力等。从ECMWF已取得的进展和正在启动的研发计划看，一方面在传统数值模式预报方法上仍在继续发力，同时系统地融入AI元素已成为既定发展方向，包括混合应用和建立独立的AI模型。
在新的赛道上欧洲数值天气预报中心是否能继续保持一枝独秀的地位，则存在许多新的变数，取决于ECMWF自身的努力和竞争对手们的选择和创新能力，也取决于在AI理论和技术领域的发展进度，能取得怎样的突破。

欧洲中期天气预报中心的AI发展之路

举报/Report

我的更多文章

下载客户端阅读体验更佳