AI气象大模型最新总结 ! 揭秘智能天气预测的新纪元
ClimAI 智慧气象 2024-07-20 09:01:02 阅读 50
引言:
全球目前主要使用的AI气象预测模型包括谷歌DeepMind的GraphCast、华为云的Pangu-Weather、清华大学和中国气象局的NowcastNet、阿里巴巴的SwinVRNN*、复旦大学开发的伏羲、上海人工智能实验室的风乌、英伟达Nvidia的FourCastNet、微软和华盛顿大学的DLWP,以及欧洲中期天气预报中心(ECMWF)的CNN模型。除此之外,还有一些新兴的AI气象模型如前NASA科学家创立的初创公司开发的Zeus AI,专注于短期预测,以及谷歌研究和谷歌DeepMind开发的最新模型MetNet-3,它提供高分辨率的短期天气预测。这些模型利用最新的人工智能和机器学习技术,显著提升了气象预测的准确性和细节层面的分析能力。随着技术进步,未来的气象预测将更加精准和高效。
表1 气象模型一览
全球当前主流的AI气象预测模型主要集中于中短期天气预测,它们大多采用高分辨率(如0.25°*0.25°)来提供更精细的预测结果。这些模型的核心是基于数据驱动,运用了包括Transformer、卷积神经网络(CNN)、图神经网络(GNN)以及U-Net等多种先进的编码算法。它们不仅预报常见的地表和大气变量,还能够处理复杂的气候动态和模式。此外,一些模型还融入了创新的深度学习技术,如生成对抗网络(GANs)和强化学习,以提升预测的准确性和适应性。这些技术的结合使得AI气象模型在处理大规模数据集、实时分析和极端天气事件预测方面表现出卓越的能力。
GraphCast:
图1 GraphCast 10天滚动预测的一部分,显示了700百帕(距地面约3公里)的湿度、地面温度和地面风速
DeepMind 开发出一种用于天气预报的人工智能模型:GraphCast 。它可以在不到一分钟的时间内完成10天内的天气预报,准确性超过了业界公认的高标准的欧洲中期天气预报中心(ECMWF)的高分辨率天气模拟系统(HRES)。它还能够提前预测像飓风、洪水等极端天气事件。DeepMind已开源GraphCast的代码。主要特点:
1、高精度天气预测:GraphCast 能够提供长达10天的天气预测,其准确性超过了行业标准的高分辨率天气模拟系统(HRES),由欧洲中期天气预报中心(ECMWF)制作。
2、极端天气事件的早期预警:GraphCast 能够更早地预测极端天气事件,如准确预测气旋的路径、识别与洪水风险相关的大气河流,以及预测极端温度的发生。这种能力有助于通过更好的准备来挽救生命。
3、基于深度学习的天气预测系统:GraphCast 是一个基于机器学习和图神经网络(GNNs)的天气预测系统。通过训练,GraphCast 学习识别这些数据中的天气模式和趋势。例如,它可以学习识别导致风暴或高温的特定气候条件。
4、全球覆盖:它在全球范围内以0.25度经纬度的高分辨率进行预测,覆盖了地球表面的超过一百万个网格点。能够提供全球范围内的天气预报,这对于国际旅行、全球业务运营和气候研究都非常有用。
5、高效的预测模型:尽管GraphCast的训练过程计算量大,但最终的预测模型非常高效。使用GraphCast进行10天的预测仅需不到一分钟的时间,而传统方法如HRES可能需要数小时的超级计算机计算。
2 Pangu-Weather
图2 盘古大模型结构
2022年11月,来自华为云的研究人员提出了一种新的高分辨率全球AI气象预报系统:盘古气象大模型。盘古采用3D Earth-Specific Transformer(3DEST)神经网络方法,并且使用层次化时域聚合策略来减少预报迭代次数,从而减少迭代误差。盘古的水平分辨率达到0.25°×0.25°,覆盖13层垂直高度,可以每隔1小时为4个地表变量和5个大气变量做7天的预报。盘古大模型的训练和测试均在ERA5数据集上进行,包括43年(1979-2021年)的全球实况气象数据。其中,1979-2017年数据作为训练集,2019年数据作为验证集,2018、2020、2021年数据作为测试集。
盘古气象大模型是首个预报准确率超过传统数值预报方法的AI方法,1小时-7天预测精度均高于传统数值方法(ECMWF IFS),如盘古气象大模型提供的Z500五天预报均方根误差为296.7,显著低于之前最好的数值预报方法(ECMWF IFS:333.7)和AI方法(FourCastNet:462.5)。同时预测速度提升10000倍,能够提供秒级的全球气象预报,包括位势、湿度、风速、温度、海平面气压等。作为基础模型,盘古气象大模型还能够直接应用于多个下游场景。例如,在热带风暴预测任务中,盘古气象大模型的预测精度显著超过欧洲气象中心的高精度预报(ECMWF HRES Forecast)结果。其模型代码已公开,研究成果已登Nature,并在ECMWF实现业务运行。
3 NowcastNet
图3 物理建模与深度学习融合的临近预报大模型NowcastNet
2023年7月,清华大学与国家气象中心、国家气象信息中心合作,发布名为NowcastNet的极端降水临近预报大模型,采用近六年的雷达观测资料完成模型训练。模型分辨率为20km×20km,可以逐10min生成3h的降水预报。在全国62位气象预报专家的过程检验中,该方法大幅领先国际上的同类方法,研究成果现已登Nature。目前,NowcastNet已经在国家气象中心短临预报业务平台(SWAN 3.0)部署上线,将为全国极端降水天气短临预报业务提供支撑。
该模型的核心是端到端建模降水物理过程的神经演变算子,实现了深度学习与物理规律的无缝融合。其次,研究团队提出了对流尺度生成网络,以中尺度演变网络预测结果为条件,通过概率生成模型进一步捕捉对流生消等混沌效应更显著的公里尺度降水过程。
得益于上述融合设计,该模型兼具深度学习与物理建模的优势,在国际上首次将降水临近预报的时效延长至3小时,并弥补了极端降水预报的短板。
4 复旦大学“伏羲”气象大模型
该模型利用AI算法提出了更加高效的U-Transformer结构,通过Cascade的方式级联模型,提升预报精度和时长。该研究使用 ERA5 来训练。最终,伏羲大模型拥有45亿参数,水平分辨率达到0.25°×0.25°,并首次将基于AI的天气预报时长提升到15天,可以每隔6小时为5个地表变量和5个大气变量做15天的预报。伏羲大模型0-9天的预报结果优于ECMWF 集合平均(EM)结果,15天的预报结果分别有67.92% 和 53.75%的变量优于集合平均(EM)结果。针对未来10天的预报,伏羲大模型的预报精度明显优于GraphCast模型和ECWMF HRES确定性预报结果。
5 上海“风乌”全球中期天气预报大模型
基于多模态和多任务深度学习方法构建,AI大模型“风乌”首次实现在0.25°×0.25°分辨率上对核心大气变量进行超过10天的有效预报,可以每隔6小时为4个地表变量和5个大气变量做14天的预报。该研究使用 ERA5 来训练。“风乌”在80%的评估指标上超越DeepMind发布的模型GraphCast。此外,“风乌”仅需30秒即可生成未来10天全球高精度预报结果,在效率上大幅优于传统模型。
据气象专家介绍,尽管目前市面上有一些产品提供未来15天的气象预报服务,但是10天以上的预报性能还具有很大不确定性,无法达到有效预报的标准。实践证明,将观测、数值预报和人工智能相结合,可有效提升数值预报的准确性,“风乌”首次将全球气象预报的有效性提高到了10.75天。
结论:
基于深度学习的天气预报大模型,在过去一年里取得了显著的进展。例如,华为云开发的盘古大模型,不仅源代码公开,还已经在欧洲中期天气预报中心(ECMWF)实现业务运行。这些模型的性能,通过均方根误差(RMSE)或异常相关系数(ACC)等标准进行评估时,显示出与传统IFS模型相媲美的效果。这种评估不仅基于分析场,还包括观测场的考量。
此外,ECMWF强调了这一历史性时刻的重要性,指出基于深度学习的模型因其高速计算能力,能构建高达500个成员的高分辨率集合预报,相较于传统的50个成员预报,这是一个巨大的进步。然而,目前这些模型还依赖于传统物理模型生成的数据,如ERA5数据集,因此混合建模——结合深度学习和传统物理模型——被视为未来发展的关键路径。
这些发展不仅体现了AI技术在天气预报领域的潜力,而且揭示了未来天气预测技术可能的方向,即结合传统物理模型和先进的深度学习算法,以提高预测的准确性和效率。
文章链接(只列举部分):
https://arxiv.org/pdf/2306.12873.pdf
https://agupubs.onlinelibrary.wiley.com/doi/full/10.1029/2022MS003211
https://arxiv.org/pdf/2306.03110.pdf
https://doi.org/10.48550/arXiv.2306.06079
https://www.science.org/doi/10.1126/science.adi2336
https://www.nature.com/articles/s41586-023-06185-3
https://www.nature.com/articles/s41586-023-06184-4
https://arxiv.org/abs/2306.12873
https://arxiv.org/abs/2202.11214
上一篇: 【已解决】安装cv2时Building wheel for opencv-python终端卡死
下一篇: 出走半生终投身于“真正的工作”!Karpathy创立Eureka Labs,拥抱AI教育尤里卡时刻...
本文标签
声明
本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。