Lecture 2: Learning to Answer Yes/No
感知机假设函数集合
假设未知的目标函数为\(f:\mathcal X \mapsto y\)，学习算法\(\mathcal A\)的任务是，根据已有的训练集\(\mathcal D:(x_1,y_1),\cdots,(x_n,y_n)\)，从假设函数集合\(\mathcal H\)中选出最佳的假设函数\(g\)，使得\(g\approx f\)
对于二分类问题：给出输入特征\(x=(x_1,\cdots,x_d)\)，预测其分类\(y\in \{1,-1\}\)，
感知机算法的假设函数可以描述为：
- \(\sum_{i=1}^d w_ix_i>\)阈值t时，假设函数输出分类为1
- \(\sum_{i=1}^d w_ix_i<\)阈值t时，假设函数输出分类为-1
形式化地可以表示为\(h\in \mathcal H\),
\[h(x)=\mathrm{sign}((\sum_{i=1}^d w_ix_i)-t)\]
(x>0时sign(x)=1;x=0时sign(x)=0;x<0时sign(x)=-1,x=0的情况可以忽略)
为了方便表述，我们令\(w_0=-t,x_0=1\)，列向量\(w=(w_0,\cdots,w_d)^T\),\(x=(x_0,\cdots,x_d)^T\),则
\[h(x)=\mathrm{sign}((\sum_{i=1}^d w_ix_i)+(-t)\cdot 1)\]
\[=\mathrm{sign}(\sum_{i=0}^d w_ix_i)\]
\[=\mathrm{sign}(w^Tx)\]