ConvLSTM foi proposto pela primeira vez pelo artigo "Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting" .
Para entender o ConvLSTM, devemos primeiro revisar o princípio de funcionamento do LSTM .
O LSTM é muito bom no processamento de informações temporais e espaciais. Mas para gráficos tridimensionais, porque há informações espaciais ricas e cada ponto tem uma forte correlação com seus arredores, isso traz redundância.É difícil para o LSTM tradicional descrever essa característica espacial.
Como o LSTM usa um estado totalmente conectado de entrada oculta e uma conversão de estado-saída oculta, ele também pode ser chamado de Fully Connected-LSTM, FC-LSTM.
Para superar as deficiências do LSTM no processamento de informações tridimensionais, o ConvLSTM converte a entrada 2D no LSTM em um tensor 3D, e as duas últimas dimensões são dimensões espaciais (linhas e colunas). Para os dados a cada tempo t, o ConvLSTM substitui parte da operação de conexão no LSTM por uma operação de convolução, ou seja, prevê através da entrada atual e do estado passado dos vizinhos locais.
A expressão do LSTM é a seguinte:
ConvLSTM adiciona a operação de convolução de extração de recursos espaciais à rede LSTM e substitui algumas operações de conexão no LSTM por operações de convolução. Ou seja:
entre eles, ∗ ** significa operação de convolução.
参考：
[1] 《Rede LSTM convolucional: uma abordagem de aprendizado de máquina para previsão a curto prazo》