Lecture 6:Theory of Generalization
Restriction of Break Point
对于n个点\(x^{(1)},\cdots,x^{(n)}\)，break point=k，我们称此时\(\mathcal H\)的成长函数\(m_\mathcal H(n)=B(n,k)\)，可以证明\(B(n,k)\leq n^k\)(而且这个上界很宽松)
根据Lecture 4推得的公式
\[P(\mathcal D\ is\ bad\ for\ all\ h)\leq 2m\exp(-2\epsilon^2n)\]
即
\[P(\exists h\in \mathcal H\ \mathrm{s.t.}\ |E_{in}(h)-E_{out}(h)|>\epsilon)\leq 2m\exp(-2\epsilon^2n)\]
此时我们希望把其中的m替换为\(n^k\)，但这个替换并不是简单的替换，其中证明很复杂，这里省去，最终可以得到
\[P(\exists h\in \mathcal H\ \mathrm{s.t.}\ |E_{in}(h)-E_{out}(h)|>\epsilon)\leq 2\cdot 2m_\mathcal H(2n)\exp(-2\frac 1 {16}\epsilon^2n)\]
\[P(\exists h\in \mathcal H\ \mathrm{s.t.}\ |E_{in}(h)-E_{out}(h)|>\epsilon)\leq 4m_\mathcal H(2n)\exp(-\frac 1 8\epsilon^2n)\]
我们称这个引入成长函数的新不等式为VC(Vapnik-Chervonenkis) bound
而在已知break point=k时，\(m_\mathcal H(n)=O(n^k)\)，此时我们可以说机器是可以学习的，能够保证\(E_{in}(g)\approx E_{out}(g)\)。