模式识别与机器学习（2）

参考博客： http://www.cnblogs.com/tornadomeet/archive/2013/03/15/2961660.html
% %%随机梯度下降
% clear all;
% x=load('./ex2Data/ex2x.dat');
% y=load('./ex2Data/ex2y.dat');
% %x=[1.15 1.9 3.06 4.66 6.84 7.95 10,14,16]';
% %x=power(x,0.5);
% %y=power(x,0.5)';
% m=length(y);
% figure;
% %tt=power(x(:,1),2);
% plot(x,y,'o');
% ylabel('Height in meters');
% xlabel('Age in years');
% %%Gradient descent 这是批量梯度
% g=inline('1.0./(1.0+exp(-z))');
% x=[ones(m,1)  power(x,1) ];%这是自变量
% theta=zeros(size(x(1,:)))';   %初始化，这里有两个系数，其实变量代表的是A
% MAX_ITR=1;%迭代次数
% alpha=0.002; %学习率     %之前这里为0.07，所以跑出去了。
% for num_iterations=1:MAX_ITR 
%     for i=1:m
%         t=(g(x(i,:)*theta)-y(i));
%         for j=1:size(x,2)
%             grad=x(i,j)*t;
%             theta(j,1)=theta(j,1)-alpha*grad;   %随机梯度下降
%         end
%         
%         
%     end
% end                            
% hold on;
% %ttt=power(x(:,2),2);
% plot(x(:,2),power(x,1)*theta,'-');
% legend('Training data', 'Linear regression');%标出图像中各曲线标志所代表的意义
% hold off ;

%%批量梯度下降
clear all;
x=load('./ex2Data/ex2x.dat');
y=load('./ex2Data/ex2y.dat');
% x=[1.15 1.9 3.06 4.66 6.84 7.95 10,14,16]';
% x=power(x,0.5);
% y=power(x,0.5);
%tt=power(x(:,1),2);
m=length(y);        %原来是我的 散点画错了
figure;
plot(x,y,'o');
ylabel('Height in meters');
xlabel('Age in years');
%%Gradient descent 这是批量梯度
n=1;
x=[ones(m,1) x];%这是自变量
theta=zeros(size(x(1,:)))';   %初始化，这里有两个系数，其实变量代表的是A

MAX_ITR=150000;%迭代次数
alpha=0.07; %学习率
for num_iterations=1:MAX_ITR   %懂了上标是什么意思的，原来是指维度，即对于一个变量来说指取了
    grad=(1/m)*x'*((x*theta)-y);%第几个实例，一般来说，一张图像是一个变量，图像的维度表示数据
        for ii=1:(n+1)
            for jj=1:(n+1)
                H1(ii,jj) = sum( x(:, ii).*x(:,jj), 1)/m;%多个负号，按理是要负号的啊
            end
        end  %这个挺好，这样对应公式还是挺快的 。    
    
   %theta=theta-inv(H1)*grad; %这是用牛顿法     
    theta=theta-alpha *grad;     %换句话说，譬如这里的年龄是个变量，取了几个值，代表着维度。
   %矩阵相乘就是求和了
end                            
hold on;
%tt=power(x(:,2),2);
plot(x(:,2),x*theta,'-');
legend('Training data', 'Linear regression');%标出图像中各曲线标志所代表的意义
hold off ;


 
% %%采用normal equations方法求解：
% x=load('./ex2Data/ex2x.dat');
% y=load('./ex2Data/ex2y.dat');
% plot(x,y,'*');
% xlabel('height');
% ylabel('age');
% %x = [ones(50,1),x];
% x = [ones(size(x,1),1),x];  %是指有个x^0  所以系数有两个
% w=inv(x'*x)*x'*y;
% hold on
% plot(x(:,2),x*w);   %即 plot(x(:,2),0.0639*x(:,2)+0.7502)%更正后的代码
模式识别与机器学习（2）

猜你喜欢
