机器学习(周志华) 参考答案 第三章 线性模型 3.3

一：matlab实现
1.数据的Excel处理

西瓜数据集3.0

2.代码

# -*- coding: utf-8 -*-

old_l = 0;
n = 0;
b = [0;0;1]; %对应书中（3.25）下的B=(w;b)，因为x有两个属性：密度，含糖率，所以有b三行，还有一个是w*x+b中的b。

x = xlsread('E:\Program Files\octave\西瓜3.0.xlsx', 'Sheet1', 'A1:Q3')
y = xlsread('E:\Program Files\octave\西瓜3.0.xlsx', 'Sheet1', 'A4:Q4')

while(1)
  cur_l = 0;
  bx = zeros(17,1);

  for i=1:17
    bx(i) = b.'*x(:,i);
    cur_l = cur_l + (-y(i)*bx(i)) + log(1+exp(bx(i))); %对应式（3.27）
  end

  if abs(cur_l-old_l) < 0.0001
    break;
  end

  n += 1;
  old_l = cur_l;
  dl = 0;
  d2l = 0;

  for i=1:17 %牛顿法求解（3.29）
    pl(i) = 1 - 1 / (1+exp(bx(i)));
    dl = dl - x(:,i) * (y(i) - pl(i)); %（3.30）
    d2l += x(:,i) * x(:,i).'* pl(i)*(1-pl(i)); %（3.31）
  end
  b -= d2l \ dl;
end

%绘图
for i=1:17
  if y(i) == 1
    plot(x(1,i),x(2,i),'+r');
    hold on;
  else if y(i) == 0
    plot(x(1,i),x(2,i),'og');
    hold on;
  end
end
end  


ply = -(0.1*b(1)+b(3))/b(2);
pry = -(0.9*b(1)+b(3))/b(2);     
line([0.1 0.9],[ply pry]);        

xlabel('density');
ylabel('Sugar content');
title('Rate regression');

3.绘图结果

二：Python实现
1.Excel处理数据

2.代码

# -*- coding: utf-8 -*-
#对率回归分类
import numpy as np
from numpy import linalg
import pandas as pd
#读取数据集
inputfile = 'E:/Program Files/octave/xigua.xlsx'
data_original = pd.read_excel(inputfile, 'Sheet1')
#数据的初步转化与操作--属性x变量2行17列数组，并添加一组1作为吸入的偏置x^=（x;1）
x=np.array([list(data_original[u'密度']),list(data_original[u'含糖率']),[1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]])
y=np.array([1,1,1,1,1,1,1,1,0,0,0,0,0,0,0,0,0])
#定义初始参数
beta = np.array([[0],[0],[1]])       #β列向量
old_l = 0 #3.27式l值的记录，这是上一次迭代的l值
n=0

while 1:
    beta_T_x = np.dot(beta.T[0], x)  # 对β进行转置取第一行（因为β转置后是array([[0, 0, 1]]，取第一行得到array([0, 0, 1])
                                      # ，再与x相乘（dot）,beta_T_x表示β转置乘以x)
    cur_l = 0   #当前的l值
    for i in range(17):
        cur_l = cur_l + ( -y[i]*beta_T_x[i]+np.log(1+np.exp(beta_T_x[i])) )#计算当前3.27式的l值，这是目标函数，希望他越小越好
    #迭代终止条件
    if np.abs(cur_l - old_l) <= 0.000001:   #精度，二者差在0.000001以内就认为可以了，说明l已经很收敛了
        break               #满足条件直接跳出循环

    #牛顿迭代法更新β
    #求关于β的一阶导数和二阶导数
    n=n+1
    old_l = cur_l
    dbeta = 0
    d2beta = 0
    for i in range(17):
        dbeta = dbeta - np.dot(np.array([x[:,i]]).T,( y[i]-(  np.exp(beta_T_x[i])/(1+np.exp(beta_T_x[i])) ) )) #一阶导数
        d2beta =d2beta + np.dot(np.array([x[:,i]]).T,np.array([x[:,i]]).T.T) * (  np.exp(beta_T_x[i])/(1+np.exp(beta_T_x[i])) ) * (1-(  np.exp(beta_T_x[i])/(1+np.exp(beta_T_x[i])) ))
    beta = beta - np.dot(linalg.inv(d2beta),dbeta)
print('模型参数是：',beta)
print('迭代次数：',n)

3.运行结果

来源
用对数几率回归实现周志华《机器学习》习题3.3西瓜分类，python编程

机器学习(周志华) 参考答案 第三章 线性模型 3.3