机器学习02_逻辑回归作业

机器学习逻辑回归_02

---

在本次逻辑回归作业中，我们将建立逻辑回归模型，通过学生的两门成绩，来预测该考生能都被大学录取。

---

I.数据可视化

将作业下载好后，打开octave，cd到machine-learning-ex2/ex2目录中，加载‘ex2data2.txt’（load）,编写plotData.m函数

function plotData(X, y)

figure; 
hold on;

% Find Indices of Positive and Negative Examples
pos = find(y==1); %找到y=1的行坐标
neg = find(y == 0);%找到y=2的行坐标
% Plot Examples
%画出通过的点  用 ‘+’ 表示
plot(X(pos, 1), X(pos, 2), 'k+','LineWidth', 2, 'MarkerSize', 7);
%画出未通过的点 用‘o’ 表示
plot(X(neg, 1), X(neg, 2), 'ko', 'MarkerFaceColor', 'r', 'MarkerSize',7);

hold off;
end

---

II.编写逻辑回归假设函数

逻辑回归与线性回归的假设不同，逻辑回归的假设函数为

其中编写h(x)函数即sigmoid.m函数

function g = sigmoid(z)
%SIGMOID Compute sigmoid function
%   g = SIGMOID(z) computes the sigmoid of z.
% You need to return the following variables correctly 
g = zeros(size(z));

% Instructions: Compute the sigmoid of each value of z (z can be a matrix,
%               vector or scalar).

g = 1./(1+ exp(-z));

end

由上图可以看出当z为0是，g(z) = 1/2 = 0.5 检测函数如下图

---

III.编写cost & grad函数

根据下图公式，在costFunction.m中写出返回的J & grad

function [J, grad] = costFunction(theta, X, y)
m = length(y); 

J = 0;
grad = zeros(size(theta));
%sigmoid位阈值函数
J= -1 * sum( y .* log( sigmoid(X*theta) ) + (1 - y ) .* log( (1 - sigmoid(X*theta)) ) ) / m;

grad = ( X' * (sigmoid(X*theta) - y ) )/ m;               

end

---

IV.拟合函数的实现

逻辑回归与线性回归不同，线性回归在寻找最优或者说最小J（花费时），由于J函数是完全凸函数，所以可以利用梯度下降算法找到最优解。而逻辑回归所J函数则不然(如下图)，无法利用传统的梯度下降算法找到最优解，所以我们要用到Octave中系统的fminunc自定义梯度下降的迭代次数来找到最优的解。

options = optimset('GradObj', 'on', 'MaxIter', 400);
[theta, cost] = fminunc(@(t)(costFunction(t, X, y)), initial_theta, options);
plotDecisionBoundary(theta, X, y);

fminunc的参数说明：

1.@(t)(costFunction(t,X,y)) 是Octave中‘@’的句柄知识，大致可以理解为C语言中的指针。
2.initial_theta 设定好的初始值
3.options是指使用自定义的梯度下降公式‘GradObj’，以及400次的迭代次数(MaxIter)。

最后预测学生两门成绩分别为45,85是可以够录取。
Sorry =.=
忘记截屏啦。。。。。

机器学习第二次作业逻辑回归的附加作业会在下一次的博客中给出,今天出了点小问题。