Lecture 12: Nonlinear Transformation非线性变换
12-1 二次Hypotheses
线性假设优点：dVC的复杂度受限制；缺点：在某些点上无法分开，造成Ein很大。
改进：比如用圆圈来区分
那么怎么用圆圈做PLA或回归问题呢？（如何系统地讨论这个问题呢）
设的公式为：
这时，x和z事件中有这样的转化：
所以可以把二次重新转换为一次，接着用线性来进行操作。
根据w指的不同，二次曲线可以为圆，椭圆，双曲线或常数。
更扩展的版本可以为：
可以做出所有二次空间中的曲线。
12-2 非线性变换
如12-1所说，我们可以把任意x空间的非线性转换为z空间的线性，流程非常的简单。
之后可以决定用PLA或分类或线性回归或逻辑回归，全部都可以二次化。
同理，也可以三次化到多次化。
12-3 非线性变换的代价（price）
若q次空间，则大约是q^d次方的复杂度，其中d为x的最大脚标。
所以代价1：难以计算和存储。
可证明代价2：有大的dVC。
另外在分类时可能造成一个trade-off（抉择），要么Ein大，要么Ein小但overkill。
而且visual的结果不一定准确，所以为了保证VC-safety,不要把自己主观的偏见带进去。
12-4 Structured Hypothesis Sets结构假说集
高次空间包含着低次空间，所以Hypothesis也有包含的关系，我们把这种关系叫做structure：
hypothesis增加，选择变多，Ein下降。
H1126会极大地增加model complexity，这时虽然Ein小，但Eout会大，a dangerous path of no return.