机器学习之基于最优化方法的最佳回归系数确定

Logistic回归

1.基于Logistic回归和Sigmoid函数的分类

Sigmoid函数单调可微，而且可以输出0和1，所以对于分类来说更好处理
Sigmoid函数如下:

$$\sigma = \frac{1}{1+e^{-z}}$$

2.基于最优化方法的最佳回归系数确定

Sigmoid函数的输入记为z，由下面公式得出:

$$z=w_0x_0+w_1x_1+w_2x_2+...+w_nx_n$$

如果采用向量的写法，上述公式可以写成 $z=w^Tx$

2.1梯度上升法

梯度上升法基于的思想是:要找到某函数的最大值，最好的办法是沿着该函数的梯度方向探寻,梯度上升算法的迭代公式为:

$$w:=w+\alpha \nabla_wf(w)$$
这里 $\alpha$为步长

2.2训练算法:使用梯度上升找到最佳参数

代码如下:

def loadDataSet():
"""这个函数是对数据进行加载和处理"""
    dataMat = []
    labelMat = []
    fr = open('testSet.txt')
    for line in fr.readlines():
        lineArr = line.strip().split()
        dataMat.append([1.0,float(lineArr[0]),float(lineArr[1])])
        labelMat.append(int(lineArr[2]))
    return dataMat,labelMat

def sigmoid(inX):
"""这个就是Sigmoid函数"""
    return 1.0/(1+exp(-inX)) 

def gradAscent(dataMatIn,classLabels):
"""这个函数表示梯度上升算法"""
    dataMatrix = mat(dataMatIn)#将数据转换为矩阵
    labelMat = mat(classLabels).transpose()
    m,n = shape(dataMatrix)     #返回矩阵的行列
    alpha = 0.001
    maxCycles = 500     #最大迭代次数
    weights = ones((n,1))       #ones函数用来构造一个全一矩阵
    for k in range(maxCycles):
        h = sigmoid(dataMatrix*weights)
        error = (labelMat - h)
        weights = weights + alpha * dataMatrix.transpose() * error
    return weights

2.3分析数据:画出决策边界

画出数据集和Logistic回归最佳拟合直线的函数

"""
调用matplotlib画图的流程是：
调用figure()得到fig对象 -> 调用fig.add_subplot(111)得到axis对象 -> 调用plt.plot绘制 -> plt.show()显示出figure
"""
def plotBestFit(weights):
    import matplotlib.pyplot as plt
    dataMat,labelMat = loadDataSet()
    dataArr = array(dataMat)
    n = shape(dataArr)[0]
    xcord1 = [];ycord1 = []
    xcord2 = [];ycord2 = []
    for i in range(n):   #将sigmoid对应的0/1的值分开
        if int(labelMat[i])==1:
            xcord1.append(dataArr[i,1]);ycord1.append(dataArr[i,2])#这里存放的是函数值为1的
        else:
            xcord2.append(dataArr[i,1]);ycord2.append(dataArr[i,2])#这里存放的是函数值为0的
    fig = plt.figure()      #第一步 定义一个新的画布
    ax = fig.add_subplot(111)#第二步 在画布中添加子图 这里参数111，也可以表示成1,1,1,表示添加的子图是1行1列在位置1
    #如果参数是22X，则表示2行2列，这里X可以有1，2，3，4个取值，因为2行2列有4个位置
    ax.scatter(xcord1,ycord1,s=30,c='red',marker='s')   
#前两个参数表示对应点的坐标，s表示点的大小，c表示点的颜色，marker表示点的形状
#这个函数的作用是绘制散点图
    ax.scatter(xcord2,ycord2,s=30,c='green')
    x = arange(-3.0,3.0,0.1)    #制作步长为0.1的数组
    y = (-weights[0]-weights[1]*x)/weights[2]   #w0+w1*x1+w2*x2=0 =>x2=(-w0-w1*x1)/w2
    ax.plot(x,y)    #将x,y表示的点画成一条线
    plt.xlabel('X1');plt.ylabel('X2')
    plt.show()

安装numpy和matplotlib可以在命令行中输入命令 pip3 install numpy/matplotlib

2.4训练算法:随机梯度上升

梯度上升算法在每次更新回归系数时都需要便利整个数据集，一种改进方法是一次仅用一个样本点来更新回归系数，该方法称为随机梯度上升算法
随机梯度上升算法代码如下:

def stockAscent0(dataMatrix,classLabels):
    """
    随机梯度上升算法
    """
    m,n = shape(dataMatrix)
    alpha = 0.01
    weights = ones(n)
    for i in range(m):
        h = sigmoid(sum(dataMatrix[i]*weights))
        error = classLabels[i] - h
        weights = weights+alpha*error*(dataMatrix[i].transpose())
    return weights

2.4随机梯度算法的改进

def stocGradAscent1(dataMatrix,classLabels,numIter = 150):
    """
    随机梯度上升算法的改进
    """
    m,n = shape(dataMatrix)
    weights = ones(n)
    for j in range(numIter):    
        dataIndex = list(range(m))
        for i in range(m):
            alpha = 4/(1.0+j+i)+0.01
            randIndex = int(random.uniform(0,len(dataIndex)))
            h = sigmoid(sum(dataMatrix[randIndex]*weights))
            error = classLabels[randIndex] - h
            weights = weights + alpha * error *dataMatrix[randIndex]
            del(dataIndex[randIndex])
    return weights