C#最小二乘法线性回归

MathNet系列：矩阵生成 \quad 矩阵计算

LinearRegression是MathNet的线性回归模块，主要包括SimpleRegression和MultipleRegression这两个静态类，前者提供了最小二乘法的线性拟合，后者则主要提供一些矩阵方法。后文中，二者简称为SR和MR。

SimpleRegression

SR中提供了静态方法Fit，对给定的两组数$x,y$，找到一组参数$a,b$，使之满足$y=a+bx$，相应地其返回值是一个元组$(a,b)$，示例如下

Random r = new Random(42);
double[] xs = Enumerable.Range(0, 100).Select(x=>x*1.0).ToArray();
var ys = xs.Select(x => 10 * x + 5 + r.NextSingle()).ToArray();

var ab = SimpleRegression.Fit(xs, ys);
Console.WriteLine(ab);
//(5.378808571430682, 10.00077465365039)

其中，预设函数为$y=10x+5$，但由于加上一个恒为正数的随机浮点数，所以$a$的值最终变大了一些，而$b$的值几乎就等于10了。

MultipleRegression

MR顾名思义，用于解决多线性回归问题，其多项式形式如下

$$\begin{array}{rl}{x}_{00}{\beta }_0+x_{01}{\beta }_1+& \cdots +x_{0n}{\beta }_n=y_0\\ x_{10}{\beta }_0+x_{11}{\beta }_1+& \cdots +x_{1n}{\beta }_n=y_1\\ & \cdots \\ x_{m0}{\beta }_0+x_{m1}{\beta }_1+& \cdots +x_{mn}{\beta }_n=y_n\end{array}$$

这种问题一般可以简化为矩阵形式$X\beta =Y$，从而MR中提供的一系列函数，目的都是得到$X\beta =Y$中的$\beta$，共有四个函数，采用了不同的方法，分别为

• DirectMethod 使得残差最小。
• NormalEquations 使用了cholesky分解。
• QR 使用QR分解
• Svd 使用奇异值分解

以DirectMethod示例如下

var MB = Matrix<double>.Build;
var VB = Vector<double>.Build;
Random r = new Random(42);

var m = MB.Random(100, 2);
var ys = Enumerable.Range(0, 100)
    .Select(i => 20 * m[i, 0] + 40 * m[i, 1] + 2 + r.NextSingle())
    .ToArray();
var v = VB.DenseOfArray(ys);

var abc = MultipleRegression.DirectMethod(m, v);
Console.WriteLine(abc);
//19.7598
//40.4447