论文题目:The Reversible Residual Network:Backpropagation Without Storing Activations
一、背景介绍
二、神经网络的反向传播(BP)
符号表示:
X1,X2,X3:表示3个输入层节点
Wtji:表示从t-1层到t层的权重参数,j表示t层的第j个节点,i表示t-1层的第i个节点
ati:表示t层的第i个激活后输出结果
正向传播计算过程:
论文题目:The Reversible Residual Network:Backpropagation Without Storing Activations
一、背景介绍
二、神经网络的反向传播(BP)
符号表示:
X1,X2,X3:表示3个输入层节点
Wtji:表示从t-1层到t层的权重参数,j表示t层的第j个节点,i表示t-1层的第i个节点
ati:表示t层的第i个激活后输出结果
正向传播计算过程: