吴恩达机器学习练习一
1. 最前面是一些octave的基本操作
照着pdf文档练习就好。
2. Linear regression with onevariable
从文件获取数据以及呈现在ex1中已经自动做好。个人所要做的最重要的是编写代价函数以及梯度下降算法。
1）线性回归的目的就是最小化代价函数，因此首先要会根据公司计算出代价函数。
其中
由于x的每一行代表一个样本，而theta是初始化成列向量，因此实际编写程序计算时实际上是h的计算要变成X*theta。代价函数的计算可以写成向量计算的方式：
predictions = X*theta;
sigma=predictions-y;
J= sigma'*sigma/(2*m);
最后一行利用了线性代数中矩阵的计算特点（自己把右边展开下就知道）：（X-Y）2=（X-Y）T*（X-Y）
2）梯度下降公式如下：
编程时可以采用向量计算：
for iter = 1:num_iters %迭代次数
h_theta=X*theta;
delta=(h_theta-y)'*X; %注意转置，画出矩阵就知道为什么这么写。
delta=delta./m;
theta=theta-alpha.*delta'; % alpha.是学习速率，可以认为是模型的一个超参数。
J_history(iter) = computeCost(X, y, theta);
3. Linear regression with multiplevariables
1）当样本的特征x1，x2…取值范围相差很大时，需要做特征缩放，目的是减少迭代次数。
计算时一样采用向量的方式进行计算。尽量不要用循环
mu=mean(X); %求均值
sigma=std(X); %求标准差
X_norm=(X_norm-mu)./sigma; %样本进行特征缩放
2）代价函数的计算及梯度下降
由于单变量的编程中已经写成向量形式，因此基本上代码不用变可以直接使用。
注意：由于之前的样本是经过特征缩放并用于学习，因此模型以后如果用于预测，必须把用于预测的特征X进行特征缩放，然后再进行预测。
3）可以调整超参数alpha，并打印出代价函数与alpha的关系（同样的迭代次数）
可以直观的看到学习速率alpha与代价函数收敛快慢的关系。
综上所述：alpha与特征缩放都会影响到模型的学习收敛速率。
练习的原始材料可以上coursea注册一个账号，加入课程就可以下载。