多样本向量化（Vectorizing across multiple examples）
将会了解到如何向量化多个训练样本，并计算出结果。该过程与你在逻辑回归中所做类似。
逻辑回归是将各个训练样本组合成矩阵，对矩阵的各列进行计算。神经网络是通过对逻辑回归中的等式简单的变形，让神经网络计算出输出值。这种计算是所有的训练样本同时进行的，以下是实现它具体的步骤：
图3.4.1
上一节视频中得到的四个等式。它们给出如何计算出z[1] ，a[1] ，z[2] ，a[2] 。
对于一个给定的输入特征向量X ，这四个等式可以计算出α[2] 等于y 。这是针对于单一的训练样本。如果有m 个训练样本,那么就需要重复这个过程。
用第一个训练样本x[1] 来计算出预测值y[1] ，就是第一个训练样本上得出的结果。
然后，用x[2] 来计算出预测值y[2] ，循环往复，直至用x[m] 计算出y[m] 。
用激活函数表示法，如上图左下所示，它写成a[2](1) 、a[2](2) 和a[2](m) 。
【注】：a[2](i) ，(i) 是指第i 个训练样本而[2] 是指第二层。
如果有一个非向量化形式的实现，而且要计算出它的预测值，对于所有训练样本，需要让i 从1到m 实现这四个等式：
对于上面的这个方程中的(i) ，是所有依赖于训练样本的变量，即将(i) 添加到x ，z 和a 。如果想计算m 个训练样本上的所有输出，就应该向量化整个计算，以简化这列。
本课程需要使用很多线性代数的内容，重要的是能够正确地实现这一点，尤其是在深度学习的错误中。实际上本课程认真地选择了运算符号，这些符号只是针对于这个课程的，并且能使这些向量化容易一些。
所以，希望通过这个细节可以更快地正确实现这些算法。接下来讲讲如何向量化这些： 公式3.12：
公式3.13：
公式3.14：
公式3.15：
前一张幻灯片中的for循环是来遍历所有个训练样本。 定义矩阵X 等于训练样本，将它们组合成矩阵的各列，形成一个n 维或n 乘以m 维矩阵。接下来计算见公式3.15：
以此类推，从小写的向量x 到这个大写的矩阵X ，只是通过组合x 向量在矩阵的各列中。
同理，z[1](1) ，z[1](2) 等等都是z[1](m) 的列向量，将所有m 都组合在各列中，就的到矩阵Z[1] 。
同理，a[1](1) ，a[1](2) ，……，a[1](m) 将其组合在矩阵各列中，如同从向量x 到矩阵X ，以及从向量z 到矩阵Z 一样，就能得到矩阵A[1] 。
同样的，对于Z[2] 和A[2] ，也是这样得到。
这种符号其中一个作用就是，可以通过训练样本来进行索引。这就是水平索引对应于不同的训练样本的原因，这些训练样本是从左到右扫描训练集而得到的。
在垂直方向，这个垂直索引对应于神经网络中的不同节点。例如，这个节点，该值位于矩阵的最左上角对应于激活单元，它是位于第一个训练样本上的第一个隐藏单元。它的下一个值对应于第二个隐藏单元的激活值。它是位于第一个训练样本上的，以及第一个训练示例中第三个隐藏单元，等等。
当垂直扫描，是索引到隐藏单位的数字。当水平扫描，将从第一个训练示例中从第一个隐藏的单元到第二个训练样本，第三个训练样本……直到节点对应于第一个隐藏单元的激活值，且这个隐藏单元是位于这m 个训练样本中的最终训练样本。
从水平上看，矩阵A 代表了各个训练样本。从竖直上看，矩阵A 的不同的索引对应于不同的隐藏单元。
对于矩阵Z，X 情况也类似，水平方向上，对应于不同的训练样本；竖直方向上，对应不同的输入特征，而这就是神经网络输入层中各个节点。
神经网络上通过在多样本情况下的向量化来使用这些等式。
向量化实现的解释（Justification for vectorized implementation）
在上一节中，我们学习到如何将多个训练样本横向堆叠成一个矩阵X ，然后就可以推导出神经网络中前向传播（forward propagation）部分的向量化实现。
在这节中，我们将会继续了解到，为什么上一节中写下的公式就是将多个样本向量化的正确实现。
我们先手动对几个样本计算一下前向传播，看看有什么规律：
公式3.16：
这里，为了描述的简便，我们先忽略掉 b[1] 后面你将会看到利用Python 的广播机制，可以很容易的将b[1] 加进来。
现在 W[1] 是一个矩阵，x(1),x(2),x(3) 都是列向量，矩阵乘以列向量得到列向量，下面将它们用图形直观的表示出来: 公式3.17：
视频中，吴恩达老师很细心的用不同的颜色表示不同的样本向量，及其对应的输出。所以从图中可以看出，当加入更多样本时，只需向矩阵X 中加入更多列。
所以从这里我们也可以了解到，为什么之前我们对单个样本的计算要写成 z[1](i)=W[1]x(i)+b[1] 这种形式，因为当有不同的训练样本时，将它们堆到矩阵X 的各列中，那么它们的输出也就会相应的堆叠到矩阵 Z[1] 的各列中。现在我们就可以直接计算矩阵 Z[1] 加上b[1] ，因为列向量 b[1] 和矩阵 Z[1] 的列向量有着相同的尺寸，而Python的广播机制对于这种矩阵与向量直接相加的处理方式是，将向量与矩阵的每一列相加。 所以这一节只是说明了为什么公式 Z[1]=W[1]X+ b[1] 是前向传播的第一步计算的正确向量化实现，但事实证明，类似的分析可以发现，前向传播的其它步也可以使用非常相似的逻辑，即如果将输入按列向量横向堆叠进矩阵，那么通过公式计算之后，也能得到成列堆叠的输出。
最后，对这一段视频的内容做一个总结:
由公式3.12、公式3.13、公式3.14、公式3.15可以看出，使用向量化的方法，可以不需要显示循环，而直接通过矩阵运算从X 就可以计算出 A[1] ，实际上X 可以记为 A[0] ，使用同样的方法就可以由神经网络中的每一层的输入 A[i-1] 计算输出 A[i] 。其实这些方程有一定对称性，其中第一个方程也可以写成Z[1]=W[1]A[0]+b[1] ，你看这对方程，还有这对方程形式其实很类似，只不过这里所有指标加了1。所以这样就显示出神经网络的不同层次，你知道大概每一步做的都是一样的，或者只不过同样的计算不断重复而已。这里我们有一个双层神经网络，我们在下周视频里会讲深得多的神经网络，你看到随着网络的深度变大，基本上也还是重复这两步运算，只不过是比这里你看到的重复次数更多。在下周的视频中将会讲解更深层次的神经网络，随着层数的加深，基本上也还是重复同样的运算。
以上就是对神经网络向量化实现的正确性的解释，到目前为止，我们仅使用sigmoid函数作为激活函数，事实上这并非最好的选择，在下一个视频中，将会继续深入的讲解如何使用更多不同种类的激活函数。