机器学习基石 作业0

网上没找到作业0的答案，这是自己做的版本，有一些可能会有错误，欢迎讨论。

1 Probability and Statistics

用数学归纳法。N=1时满足，假定N=n满足，当N=n+1同样满足。得证。

10个挑4个正面 $C_{10}^{4}(1/2)^{4}(1/2)^{6}$
52张牌挑5个。先从13个里挑2个数字，这两种做X和Y时不相同，再计算2种数字的组合方式。 $\dfrac{A_{13}^{2}C_{4}^{3}C_{4}^{2}}{C_{52}^{5}}$

假设已知第一次正面，那么三次都是正面的概率是1/4。而提供的是有一个已知正面，那么三次里每一次都有可能。即 $3*1/3*1/4 = 1/4$。

$p(x=-1| |x|=1) = \dfrac{p(x=-1)}{p(|x|=1)} = \dfrac{1/2*1/4}{1/2*1/4+1/2*1/8} = 2/3$

0.3 0 0.7 0.4

2 Linear Algebra

秩为2

$\begin{pmatrix} 1/8 & -5/8 & 3/4 \\ -1/4 & 1/4 & -1/2 \\ 3/8 & -3/8 & 1/4 \end{pmatrix}$

$\lambda_{1} = 4 \ \ \ \ \ \ \ \lambda_{2}=\lambda_{3}=2$
对应特征向量 $v_{1}= [1\ 2 \ -1] \ \ v_{2}=v_{3} = [1 \ 1 \ -2]$ $v_{2}$和 $v_{3}$只要满足元素和为0即可，也不用相等

(a) svd分解中 $U$和 $V$都是正交矩阵，直接乘即可。
(b)两个矩阵相乘得单位阵

(a) $x^{T}ZZ^{T}x$ = $(Z^{T}x)*{Z^{T}x}$ 结果的每个元素都非负，得证
(b)对称矩阵可以用标准正交阵进行分解，在特征值都为正时结果的每个元素为正。

$\dfrac{x^{T}x}{|x|}$ $\dfrac{x}{|x|}$
$\dfrac{-x^{T}x}{|x|}$ $\dfrac{-x}{|x|}$
0 当u与x垂直时

3 Caculus

普通求导

链式法则普通求导

普通求梯度和黑塞矩阵

二元泰勒展开 https://zhuanlan.zhihu.com/p/33316479
可以用上(3)中的梯度和黑塞矩阵的结果

求导为0的地方是最小值。因为只有一个矩阵为0的位置，而正无穷与负无穷两头对应的结果都是无穷大且值一直大于0。

应该是按矩阵乘法里的每个分量进行求导然后写会矩阵形式。略难写。