已知变量X和Y为线性关系（这里XY均为nx1的列向量），为了得知X和Y到底具有怎样的线性关系（也即求解X的系数），如果这是一个工程问题，我们解决这一问题的方法就是对X和Y进行采样，获得很多组样本，然后就能求解出系数了，按照线代的理论，系数矩阵为nxn方阵，且秩为n时，方程具有唯一解，如果采样点过多，也即方程的数目多于未知数的数目，则方程组无解，这时只能求出一个近似解，以不同的目的获得的近似解是不同的，如果为了使方程左右两边的误差的平方和最小，而获得的近似解，就是最小二乘解。这个问题的证明在研究生的矩阵分析引论数学课上学过，现在也忘光了。
例子：假设变量y是n个变量xi的线性组合，求系数。
设方程为AX=y，也即
为了计算出系数a1、a2、···an的值，我们至少需要n次X、Y的采样值，形如：
这样就能求解出系数a1、a2、···an的值了，如果采样样本不止n个，而是多于n个，也不要紧，虽然会会造成方程组无解，但是可以求出最小二乘解。
把方程组写成矩阵形式为：
XA=Y （式2）
至此，就求出了所有的系数ai