神经网络——循环神经网络

携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第4天，点击查看活动详情

• 什么是序列模型

  • 序列数据

    • 
    • 
    • OCR识别
  • 结构特征？Or 时序特征

  • 序列模型：Sequence Model

    • 处理输入或者输出为时序数据的机器学习模型
      • RNN 循环神经网络：Recurrent Neural Network
      • 

• 不同RNN应用类型：OvM， MvM

  • One-to-One:Data Transfer / FC

    • 

  • One-to-Many:Music Generation

    • 

  • Many-to-One: Texr Classification

    • 

  • Many-to-Many:ASR

    • 

• 循环神经网络原理

  • 
  • 

• 用BPTT训练RNN

  • 沿时梯度反向传播：Backpropagation Through TIme
    • 
    • 过长的时间导致梯度消失
    • 不当初始化导致梯度爆炸
• 两个重要的变体
  • 
  • 
  • 
• 
• 

• 利用双向、多层RNN增强模型

  • Bi-Directional RNN
    • 
  • Multi-Layer RNN
    • 
• 典型应用范式：Encoder-Decoder
  • 
  • 
• GRU实现唤醒词识别
  • 命令词识别：Speech Command Recognition
  • 关键词检测：Keywords Spotting
    • 
    • SpeechCommandV1