经典模型结构总结，大道至简，探寻最本质之处。

前馈神经网络(FNN, Feedforword Neural Network)

卷积神经网络(CNN, Convolutional Neural Network)

循环神经网络(RNN, Recurrent Neural Network)

Simple RNN

长短时记忆网络(LSTM, Long Short-Term Memory Network)

LSTM 网络引入门控机制（ Gating Mechanism） 来控制信息传递的路径

延时神经网络(TDNN, Time-Delay Neural Network)

第一层权重数：16维特征输入*3帧视野*3个隐层节点=166

第二层权重数：3维隐层节点*10帧视野*4个输出节点=120

可以看作是卷积核比较大的卷积操作，第一层，卷积核16*3；第二层卷积核3*10

FSMN（Feedforward Sequential Memory Network）

FSMN其实就是在FNN基础上，加了一个记忆模块，数学表达式如下。

注意力机制

Transformer

这个模型虽然有点复杂，但其实就是FNN、Attention的堆叠，B站上有详细讲解。

参考资料

[1] GitHub - nndl/nndl.github.io: 《神经网络与深度学习》 邱锡鹏著 Neural Network and Deep Learning

关注、点赞、收藏是对我最大的支持，谢谢^v^?