A hybrid CNN-LSTM model for typhoon formation
基于时空深度混合模型的台风预测技术
论文原文：https://www.researchgate.net/publication/333008232_A_hybrid_CNN-LSTM_model_for_typhoon_formation_forecasting
一、摘要
台风是一种极端天气事件,会给沿海地区和其他地区造成巨大的生命损失和经 济损失。因此,寻找更准确的台风生成预测模型成为当务之急；随着气象学家、政 府和其他机构寻求减轻这些灾难性事件的影响,强度预测已经变得势在必行。虽然这 一领域的工作取得了很大的进展,本文认为,现有的模型是有缺陷的。传统的基于 流体力学的数值预报模式对台风强度的预报存在困难。基于统计和机器学习的预 测没有考虑到台风形成变量之间的空间和时间关系,导致该模型的预测能力薄弱。 因此,我们提出了一个混合模型,我们认为,它可以对台风的行为进行更真实和准确 的描述,因为它关注大气和海洋学变量的时空相关性。我们的CNN - LSTM模型引入 了3D卷积神经网络( 3DCNN )和2D卷积神经网络( 2DCNN )方法来更好地理解 台风形成特征的空间关系。我们还使用LSTM来检查台风过程中的时间序列关系。 基于三个数据集的大量实验表明,我们的混合CNN - LSTM模型优于现有的方法,包 括许多官方组织使用的数值预报模型；并且是基于统计预测和机器学习的方法。
二、研究现状及问题
由于台风系统的复杂性和多变性，现有的台风预测方法通常很难对台风做到准确的预测。现有台风预测方法一般分为三类：
第一类是基于数值模式的预测方法，如基于区域模式Hurricane Weather and Research Forecasting Model(HWRF)，全球模式ECMWF Global Model(EMX)、集成模式(GFS)预测方法等；
第二类是基于统计分析的预测方法，比如气候持续模型Climatology and Persistence Model(CILIEPER5)、统计动力模型Statistical Hurricane Intensity Prediction Scheme(SHIPS)等；
第三类则是基于机器学习的预测方法，比如逻辑回归Logistic Regression (LR) ，以及人工神经网络Artificial Neural Network(ANN)等。
基于数值模式的预测方法从大气的物理背景场出发，通过求解流体动力学方程来预测台风的活动。而现有的基于统计分析和机器学习的预测方法一般是找出影响台风活动过程中的一些重要变量，然后发掘这些变量与台风形成之间的相关性，以对台风形成以及形成后的路径和强度进行预测。对于路径和强度的预测，现在比较常用的方法是统计-动力方法，该方法以数值天气模式为依托，使用模式运算得出的环境场参量建立统计预测模型。
现有的台风预测方法虽然对于当前的台风预测有不可忽视的作用，但仍然存在很多不足之处。数值模式方法参数化方案和初始条件的不同会对预测的准确度有很大的影响，使得预测结果存在不稳定性。现有的统计方法难以考虑各变量之间的非线性关系，机器学习方法未考虑到各变量的时空相关性，使得预测的准确度有所降低。因此这几种方法均难以取得比较稳定且准确度较高的预测效果。此外，现有的方法基本上着重于台风影响变量的选择，并未对模型有较深层次的改进，过于简单的模型可能难以刻画台风活动的复杂过程。因此如何提供一个高效、易于执行且准确度高的台风预测方法是本领域技术人员极为关注的技术问题。
三、思路和方法
第一步，在现有数值预报、统计学习以及机器学习台风预测方法的基础上，为弥补其计算代价过大、理论机制不明确、未考虑预测变量的复杂关系等不足之处，结合台风数据和环境大气海洋数据的时空特性，将台风预测问题定义为了一个时空变量序列预测问题。
第二步，针对被重新定义的台风预测问题，结合深度学习的优势，提出了一个基于深度学习的解决思路，即本文的时空深度混合台风预测模型。其主要思想是利用历史大气海洋的空间变量数据以及台风最佳路径资料，通过3DCNN（3-Dimensional Convolutional Neural Network）进行大气变量的三维空间特征学习，2DCNN（2-Dimensional Convolutional Neural Network）进行海表变量的二维空间特征，LSTM（Long Short Term Network）进行台风从形成之前到形成之后的时序特征学习，从而达到预测台风的形成以及形成后强度、路径等参量的目的。该模型可以根据不同的预测目标，选择不同的输入、输出（标签）数据集进行模型的训练学习，进而预测不同的对象。
第三步，具体应用是从台风预测中的重点以及难点问题-台风形成及台风强度预测出发，根据本文提出的时空深度混合模型，进行了台风形成与台风强度的预测实验分析以及模型训练过程的重要参数分析。实验过程中工作主要集中于实验数据集的构造、模型中网络的设计与实现，参数的调整以及和与其它方法的对比分析。
本文的核心方法有两点：
（1）将台风预测问题定义为了一个时空序列预测问题，即:
该模式以一个二维空间网格点系统为起点，该系统可用于绘制与大气或海平面现象相关的从TS到台风发展变量的转变。周围的网格地图TS中心以M × M格点表示。L和R表示大气压力等级和变量，O表示海面变量。M × M × L × R网格数据集显示了TS中心周围的大气变量XP。TS中心附近的海面变量XS用M × M × O网格数据集表示。因此，包括大气和海洋在内的空间变量可以表示为X = [XP, XS]。如图一所示：
1.通过2DCNN了解海面变量的空间特征
海面变量在空间上是二维的。之所以使用2DCNN，是因为海面变量也是2D的。通常，一个CNN由输入层、卷积层、池化层、全连接层和激活层组成。输入海面变量后，通过二维卷积层学习空间特征。如图2所示，它的工作原理是从之前的特征图的局部邻域中提取特征，然后通过激活函数去学习。
2.通过3DCNN了解大气变量的空间特征
台风是一种强对流天气。此外，大气变量在空间上是三维的，具有很强的相关性。受传统物理特征如涡度等的启发，CNN可以有效地进行更复杂的特征学习。通过三维滤波器CNN可以学习网格点内大气变量之间的相关性，本文称之为3DCNN。如图3所示，它的工作原理是从整个空间结构中学习特征。
3.通过LSTM学习变量的时间关系
为了解台风路径的时间序列关系，使用了LSTM网络。LSTM是一种改进的递归神经网络模型。它能使误差保持在一个恒定的水平，增强了鲁棒性。当前输入为Xt，最后一个隐藏层状态ht−6，最后一个内存Ct−6。LSTM的工作原理是通过三个门来忘记和记住传入的信息。遗忘门决定了哪些信息应该从Ct−6中丢弃，输入门决定了哪些新信息应该存储在LSTM单元中，Ct表示可以存储在LSTM单元中的信息，输出门决定了哪些信息可以传递到下一个LSTM单元。这些门都是由当前输入信息和最后一个隐藏层状态ht−6决定的。
四、实验
台风形成和强度预报是一个时空序列预报问题，因此有必要根据上述选定的时空数据组织模型的输入输出数据集。对于模型的3DCNN组件，所有输入数据集的形式为N×M×M× L × R。对于我们模型的2DCNN，形式为N×M×M×O。对于模型的LSTM，表单为N×T ×K。在后来的实验中，在WP(西太平洋)中，N = 450。在EP(东太平洋)中，N = 439。在NA(北大西洋)，N = 367。M范围为33 - 161。L = 12。R = 5,O = 1。T在1 - 5之间。K是输入向量的长度，K = 200。这些参数可以根据不同的对象进行调整。在进行台风强度预报实验时，以台风强度为标号。在所有的实验中，70%的样本用于训练，30%的样本用于测试。
本文使用的是世界气象组织WMO版本的IBTrACS的热带气旋最佳路径数据集和ERA-Interim再分析数据集，时间范围为1979 ~ 2016年。其中选取的西太平洋台风数量为239个，热带风暴数量为211个；东太平洋台风数量为219个，热带风暴数量为220个；北大西洋台风数量为181个，热带风暴数量为186个。
台风中心环境变量网格选取的水平范围为4°×4°~20°×20°，大气变量为风的u 分量u 、风的v分量v、温度t、相对湿度rh和位势高度z，垂直方向压力层为1000/975/925/ 850/800/700/600/500/400/300/200/100hPa，海洋变量为海表温度SST。预测时长为24小时，回顾时长为6, 12, 18, 24小时。
对于台风形成预测，如下表1所示，通过不同海域及与不同机器学习算法模型的对比实验，可以发现本文模型在西太平洋区域准确率较高（85.2%），北大西洋略差 (75.9%)，但相对于其他算法模型均有不同程度的提升。同样，对于台风强度预测，如下表2所示，通过与中国气象局CMA（China Meteorological Administration）和美国飓风中心NHC（National Hurricane center）的统计模型及数值模式预报结果进行对比，可以发现本文模型的强度预测误差在西太平洋（7.4 kt）和东太平洋(9.4 kt) 海域均优于现有常用的业务方法，但在北大西洋海域(9.4 kt)虽优于大多数方法，却略差于统计动力学模型-SHIPS (9.1kt)。
表3 台风形成预测实验结果对比 
表4 台风强度预测实验结果对比：
五、总结及未来研究方向
本文研究了一种CNN-LSTM混合模式，该模式对台风的形成和强度具有比现有系统更高的预测潜力。在该模型中，将台风形成的预报定义为一个时空序列预测的分类问题。将台风强度预报问题定义为时空序列回归预报问题。 混合模型的三个组成部分，3DCNN(用于分析三维空间的大气变量);2DCNN(用于分析海面上的信号);结合LSTM(用于捕捉时间相关性)整理数据，分析台风形成和强度变量与时空现象之间的关系。 对于未来的发展，我们将对混合CNN-LSTM模型进行进一步的改进。这将涉及使用更多不同的数据，例如高分辨率卫星信息。此外，由于该模式尚处于起步阶段，试验、经验学习和整合无疑将提高其预测台风形成和强度以及其他气象和海洋现象的效率。该模型最终还可以用作教学工具，为未来对台风现象感兴趣的气象学家提供统一的实验方案。