经典优化问题的求解（持续更新）

这篇博客将会聊一些经典的需要opt的一些问题，方便我/大家在将来推导公式并需要优化时可以想到对应的方式进行优化。

如果连公式都推导出来了但是不会求解岂不是很尴尬（不知道可以转化成求解的话连代码都写不了= =）

---

Question 1

given matrix A and vector b,minimize ||Ax-b||².(当A的行数大于b的列数时，可能没有满足Ax-b=0)

基础方法x* = (A^TA)^-1A^Tb,这种方法是必然可以求解的。

Question 2

minimize ||Ax||², s.t. ||x||=1.

solution: let A = UDV^T, x = V_-1(the last column of V)