1、导数定义：
设函数y=f（x）在点x0的某个邻域内有定义，当自变量x在x0处有增量Δx，（x0+Δx）也在该邻域内时，相应地函数取得增量Δy=f（x0+Δx）-f（x0）；如果Δy与Δx之比当Δx→0时极限存在，则称函数y=f（x）在点x0处可导，并称这个极限为函数y=f（x）在点x0处的导数记作
需要指出的是：
两者在数学上是等价的。
导函数
如果函数y=f（x）在开区间内每一点都可导，就称函数f（x）在区间内可导。这时函数y=f（x）对于区间内的每一个确定的x值，都对应着一个确定的导数值，这就构成一个新的函数，称这个函数为原来函数y=f（x）的导函数，记作y'、f'（x）、dy/dx或df（x）/dx，简称导数。
导数是微积分的一个重要的支柱。牛顿及莱布尼茨对此做出了贡献。
几何意义
函数y=f（x）在x0点的导数f'（x0）的几何意义：表示函数曲线在点P0（x0,f（x0））处的切线的斜率（导数的几何意义是该函数曲线在这一点上的切线斜率）。
2、简单函数的导函数推导过程：求导数的公式（微分高阶无穷小等于0）
前提，当△x->0 △x^2 == 0（微分公式的定义）
f(x) = x^2
f'(x) = (f(x+△x) - f(x))/△x
f'(x) = ((x+△x)^2 - x^2)/△x
f'(x) = (x^2 + 2*△x*x + △x^2 - x^2)/△x # 此处 △x^2 == 0
f'(x) = 2*△x*x/△x
f'(x) = 2*x
3、单自变量复杂函数求导
单自变量：f(x) = 2*x^2 + 2*x + 2*x^6
因变量：f(x)
4、多自变量复杂函数求偏导
多自变量：f(x,y,z) = 2*x + 2*y^2 + log2(z)（y=1,z=1）
偏导数：
f'(x) = 2
f'(y) = 4*y
f'(z) = (z*log(e)2)^-1
5、向量与向量的运算求导
对向量和向量的运算求偏导数（将向量的每个元素都认为是变量，因为两个向量的运算得到一个常量，所以函数f其实是常量对向量求偏导数）：
f(w,x) = wx（dot） 因为两个向量的点积运算得到一个常量(一个数值)
f([w1,w2...wn],[x1,x2...xn]) = wx = c
f((w1,w2...wn),(x1,x2...xn)) = w1*x1 + w2*x2 + ... + wn*xn
f'(w1) = x1
f'(w2) = x2
...
f'(wn) = xn
f'(w) = x.T
f'(x) = w.T
6、矩阵和向量求偏导：
f(W,x) = Wx（dot） 矩阵和向量原酸得到一个向量，所以是向量对矩阵求偏导和向量对向量求偏导
f([[w11,w12...w1n],
[w21,w22...w2n],
.
.
.
[wm1,wm2...wmn]], [x1, x2,..., xn].T
)
f()1 = w11*x1 + w12 * x2 + w1n * xn
f()2 = w21*x1 + w22 * x2 + w2n * xn
.
.
.
f()m = wm1*x1 + wm2 * x2 + wmn * xn
对W求偏导数的推导过程
f'1(w11) = x1
f'1(w12) = x2
...
f'1(w1n) = xn
f'1(w21) = 0
f'1(w22) = 0
...
f'1(w2n) = 0
f‘(W) = [[[x1,x2...xn],[0,0...,0]...[0,0...0]],...,[[0,0...,0]...[x1,x2...xn]]] 函数f(W，x)对W的导数是一个三维矩阵
f'1(x) = [w11,w12....w1n].T
f'2(x) = [w21,w22....w2n].T
.
.
.
f'm(x) = [wm1,wm2....wmn].T
f'(x) = W.T # 得出对向量的偏导数是原矩阵的转置
7、矩阵和矩阵的求导 N*D D*M：
f(W,X) = WX（dot） 矩阵与矩阵的运算得到得到一个结果矩阵，则是矩阵对矩阵求导，会得到一个4维导数矩阵
f([[w11,w12...w1d], [[x11, x12...x1m],
[w21,w22...w2d], [x21, x22...x2m],
. .
. dot .
. .
[wn1,wn2...wnd]], [xd1,xd2...xdm]]
)
N*M个计算公式，产生N*M个计算结果：
f11() = w11*x11 + w12*x21 + ... + w1d*xd1
f12() = w11*x12 + w12*x22 + ... + w1d*xd2
.
.
.
f1m() = w11*x1m + w12*x2m + ... + w1d*xdm
.
.
.
fnm() = wn1*x1m + wn2*x2m + ... + wnd*xdm
f'11(w11) = x11
f'11(w12) = x21
.
.
.
f'11(w1d) = xd1
f'11(w21) = 0
f'11(w22) = 0
.
.
.
f'11(wnd) = 0
f'11(W) = [[x11,x21,...,xd1],
[0,0,.......,0]],
.
.
.
[0,0,.......,0]],
]]
f'12(W) = [[x12,x22,...,xd2],
[,0,.......,0]],
.
.
.
[0,0,.......,0]],
]]
f'1m(W) = [[x1m,x2m,...,xdm],
[,0,.......,0]],
.
.
.
[0,0,.......,0]],
]]
f'21(W) =
f'22(W) =
.
.
.
f'2m(W)
.
.
.
f'n1(W) =
f'n2(W) =
.
.
.
fnm'(W) =
