python code macro

CNN - 卷积神经网络 RNN - 循环神经网络 DNN - 深度神经网络 神经网络的层数直接决定了它对现实的刻画能力，利用每层更少的神级元拟合更加复杂的函数。随着神经网络层数的加深，优化函数越来越容易陷入局部最优解，并且这个“陷阱”越来越偏离真正的全局最优。利用有限数据训练的深层网络，性能还不如较浅层网络。 同时，另一个不可忽略的问题是随着网络层数增加，“梯度消失”现象更加严重。具体地说，我们常用sigmoid作为神经元的输入输出函数，对于幅度为1的信号，在BP反向传播梯度时，每传递一层，梯度衰减为原来的0.25。层数越多，梯度指数衰减后低层基本上接受不到有效的训练信号。