欧洲中期天气预报中心的AI发展之路
2024-06-10 20:23阅读:
2022年
2月,美国英伟达(
Nvidia)公司将
FourCastNet气象预报模型论文挂在了学术文章在线发表服务器(
Arxiv)上,成为在数据驱动全球天气预报模型发展进程中的一项里程碑式成果。其预报精度接近欧洲中期天气预报中心(
ECMWF)的综合预报系统(
Integrated
Forecasting
System,
IFS),水平分辨率为
0.25°,速度则较传统数值算法缩短数万倍。随后,越来越多的用于解决天气预报问题的人工智能研究成果开始涌现,成为
AI领域的热点之一。
2022年
11月,中国的华为公司团队也在
Arxiv上提交了文章《盘古:一个三维高分辨快速准确的全球天气预报系统》(
Pangu-Weather:
A 3D High-Resolution Model for Fast and Accurate Global Weather
Forecast),首次在中长期天气预报的测试中超过了传统数值方法,这篇文章经修改后在《自然》杂志正刊上发表。盘古气
象模型训练和测试均在
ECMWF的
ERA5再分析数据集上进行,五天预报均方根误差检验低于欧洲气象中心
IFS和
FourCastNet,在预报速度上也有了量级上的成倍提升。华为的成果被评为
2023年
“中国科学十大进展
”,位居首位。随后,
12月
24日,美国谷歌公司的
GraphCast智能预报模型论文也在
Arxiv上线(
GraphCast:
Learning skillful medium-range global weather
forecasting),据介绍预报准确率也超越了
IFS,论文经修改后发表在
2023年
11月的《科学》杂志上。
2023年则更是成果丰硕,
1月份,美国微软团队发布了第一个基于
AI的天气和气候基础模型
ClimaX,在中分辨率(
1.40625)下,中短期预测上表现与
IFS相当甚至更好,而在长期预测上则显示出更大的优势。接着,上海人工智能实验室(
AI
Lab)于
4月发布了全球中期天气预报大模型
“风乌
”,首次实现在高分辨率上核心大气变量预报实效超过
10天,在计算效率上也大幅优于传统模型。
2023年
6月,复旦大学人工智能创新与产业研究院和大气与海洋科学系联合发布了
“伏羲
”智能气象大模型。利用
AI算法实现了
15天全球天气预报,预报精度达到了欧洲中期天气预报中心集合预报的水平。
AI技术用于天气预报领域的进展显然远不止这些,无论是在区域的短临预报还是对整个地球系统的模拟预测,包括解决不确定性问题的集合预报,都有所斩获。
如
2023年
7月,清华大学与国家气象中心在《
Nature》正刊发表文章,介绍了合作开发的极端降水临近预报大模型
“NowcastNet”,将数据驱动与物理驱动两大科学范式紧密结合,显著提高了公里尺度下
0~
3小时极端降水的预报能力。
谷歌公司
2020年初开始构建基于深度学习短临降水预测模型
MetNet,于
2023年
6月发布了第三版
MetNet-3,引入了部分观测数据对模型训练,除保持了
1
公里的空间分辨率和
2 分钟的时间分辨率,预报时效提升到了
24小时。
2024年
3月
18日,在美国加州圣何塞举行的
Nvidia
GTC 2024大会上,英伟达首席执行官黄仁勋在主题演讲中发布了
“Earth-2 Cloud
Platform(地球
2号云平台)
”,利用
AI和超算可以预测地球气候变化,并将其可视化,水平分辨率可达两公里,可帮助用户在几秒钟内发出警告和更新预测。
Earth-2 Cloud
Platform(地球2号云平台)
2024年
4月,谷歌公司又发布了采用生成式概率扩散模型技术的预报模型
SEEDS(
Scalable
Ensemble Envelope Diffusion
Sampler),可以从有限的初始场出发,生成一系列反映未来天气不确定性的大规模天气预报集合(
Ensemble)方案,以解决预报过程难以克服的不确定性问题,并提升了极端天气的预报效果,且大幅度缩短了预报时间。
使用SEEDS生成16,384个成员的集合与相关模式的比较
当各路新兴力量竞相角逐
AI预报这一热点领域时,也可从中发现一个独特的视角,即几乎所有发布的中期预报大模型都是在
ECMWF的再分析数据集上进行训练的,且训练的结果又都以
ECMWF的预报结果作为标准进行比较,判断是否成功。那么,作为在传统数值天气预报领域一枝独秀的
ECMWF自身又在做什么呢?那里掌握着最优质气象数据集的科学家如何看待或推进
AI技术的应用呢?追踪一下,可以发现
ECMWF近年来在这一领域发展的大致脉络和具体做法。
2019年
11月,
ECMWF召开了首次人工智能技术研讨会,开展了较为广泛的讨论。
ECMWF地球系统建模室主任彼得
·杜本(
Peter
Dueben)发表了演讲
“利用深度学习改进天气预报的进展和挑战
”,阐述了利用
AI改进天气预报的总体想法,认为人工智能在天气和气候预测领域有着广泛的应用前景,这些应用涵盖了数值天气预报的整个工作流程,包括利用
AI技术处理数据,从数据中学习非常复杂的非线性动力过程,通过深度学习模拟已知的微分方程,构建不很复杂的预报模型,利用机器学习硬件加速预报过程等。
从这些论述中,可以看出对于
AI在天气预报领域的可能影响,
ECMWF已有了比较完整的认识,且这些认识并不仅是一些构想,而是通过实践取得了初步进展。
2020年
1月,
ECMWF
又举办了一次内部研讨会,旨在让从事机器学习方法的科学家们开展交流,为他们的协同合作创造条件。
会上大约有
25个正在开展的项目进行了展示,涵盖了整个数值天气预报工作整个流程,包括卫星观测资料的反演订正、数据同化改进、预报过程不确定性模拟、预报结果的后处理等,还探讨了如何增加足够的
GPU资源,支持机器学习应用程序的训练。从
2021年开始,
ECMWF与欧空局(
ESA)每年联合举办一期地球系统观测和预测机器学习研讨会,所研讨的问题较以上所涉及的内容更为广泛,,如提出要要探讨
AI应用中的可解释性问题,了解预报模型的内部结构和决策原理,揭开
“黑匣子
”的奥秘;从需求角度更为关注的问题是
AI技术在极端事件预报方面的能力不足问题;在发挥
AI模型优势方面则探讨了怎样建立更合理有效的集合预报系统。
2024年的联合研讨会已于
5月
4~7在意大利罗马召开。
从时间上看,在推出实际应用的预报模型方面,
ECMWF似落后于美国和中国,但这并不意味那里的科学家在这一领域有任何懈怠。实际上,对于在
AI预报模型研发的每项成果,
ECMWF都在密切关注着,并进行技术分析,做出研判。如中国华为的科学家在研发
“盘古
”天气模型过程中,就与
ECMWF的科学家有过多次深入交流,在
ECMWF工作的
Matthew
Chantry博士正是华为团队在《自然》正刊上发表文章的三位审稿人之一,为文章的修改提出了许多细节上的意见。
“盘古模型”开放后,
ECMWF对模型进行了多次测试,并给出了一系列分析报告。
2023年
5月
27日,世界气象组织(
WMO)执行理事会召开期间,专门组织了一次
“全民早期预警
”研讨会,
“盘古模型
”成为会议探讨的重要议题之一,
ECMWF执行总裁
Florence
Rabier先生对该模型的特点做出了积极评价,认为模型贡献了不可否认的技巧(
Undeniable
skill),特别指出在计算功耗上显著低于传统方法,并给出了一张非常形象的大象和蚂蚁反差对比图,这一特点使
AI模型非常有利于向欠发达地区推广,作为早期预警的工具,显著降低了运行成本。为了检验
AI模型的实际能力,
ECMWF还先后将英伟达的
“FourCastNet”、华为的
“盘古天气
”和谷歌的
“GraphCast”等模型在自己的系统中运行,并将结果公布在网上,供用户使用比较,判别其能力或不足。
2023年夏天,经成员国批准,
ECMWF组建了自己的技术团队,在分析比较了已发布的各类
AI模型,包括
英伟达的
FourCastNet,中国的盘古、风乌和伏羲模型,及谷歌的
GraphCast等,团队最终在技术框架上选择了与
GraphCast类似的图形神经网络(
GNN)方案,以达到网格处理的灵活性和提升参数效率的目的。
经过几个月的研发,
2023年
10月
13日,
ECMWF发布了基于
AI技术的天气预报模型
AIFS(
Artificial
Intelligence/Integrated Forecasting
System)
alpha版本,垂直方向包括
13
个等压层级,水平分辨率约
110公里,可以对温度、湿度、压力、风等要素进行预测,以
6小时的时间间隔,
1分钟可以完成
10天的全球预报。
从对
2023年
6~8月的
500百帕的高度的均方根误差(
RMSE)检验看,已较传统模式
IFS有了显著改进。
2024
年
1 月
10
日,
ECMWF又推出了新的
AIFS版本,水平分辨率提升到了
28
km
(
0.25°)
,准确率较老版本也有了新的提升,这个版本的产品已同
ECMWF的传统模式
IFS的产品一起对外发布,供用户使用。
AI技术在构建天气气候预报模型方面取得了重要进展,但仍处于起步阶段,尚有很多问题需要解决。为了使各成员国在
AI领域建立更为紧密的合作联系,
2024年
ECMWF启动了一个为期
4年的推进计划,其任务包括挖掘
ECMWF成员内部资源,扩大在
AI领域的工作范围;加强已在进行的混合模型工作,将传统方法和
AI方法相结合,开发出更为完整的数据驱动预报系统;进一步发展完善
AIFS模型,建立通过仅使用机器学习方法的完整预测链;加强机器学习在地球系统模型中的使用,以支持在数字孪生地球系统开发中不确定性问题的处理能力等。从
ECMWF已取得的进展和正在启动的研发计划看,一方面在传统数值模式预报方法上仍在继续发力,同时系统地融入
AI元素已成为既定发展方向,包括混合应用和建立独立的
AI模型。
在新的赛道上欧洲数值天气预报中心是否能继续保持一枝独秀的地位,则存在许多新的变数,取决于
ECMWF自身的努力和竞争对手们的选择和创新能力,也取决于在
AI理论和技术领域的发展进度,能取得怎样的突破。
![欧洲中期天气预报中心的AI发展之路 欧洲中期天气预报中心的AI发展之路](https://s15.sinaimg.cn/mw690/001wg2Axzy8fy2THPgYc0&690)