极大似然
使用极大似然的大的前提是模型已知，数据独立同分布；
他的价值在于可以通过局部数据来获取全局的参数，具体的实现就是通过求导数为零的方式来创造
评估方法
评估就是利用测试数据来评估一下用训练数据训练的模型。
评估方法牵涉到一个很重要的环节就是对数据集进行划分；主要有三种：第一种留出法（leave out），就是按照比例对数据集进行分割；第二种是交叉验证（cross-validation），就是将数据分成K份；每次用K-1个样本集合进行训练，用第K个样本集合进行测试；第三种就是自助法，用于数据集比较小的场景，就是放回采样法；取出数据作为训练数据，然后再放回去；最后总会有大约1/3的数据没有被训练过，这些数据将会被取出来做测试使用。
平均绝对误差（MAE，Mean Absolute Error）和（平方）根均方差（RMSE，Root Mean Square Error）
平均绝对误差：
根均方差的公式：
RMSE对应的是欧几里得范式（Euclidian norm），即使我们物理意义上面“距离”的概念，称之为l2范式，记做||·||2或者||·||
MAE对应的是l1范式，是物理意义上面的“曼哈顿距离”概念，记做||·||1
那么是麦哈顿距离和欧氏距离呢？红色的线就是麦哈顿距离，绿线就是欧氏距离。
通常情况，l（k）范式和和向量的关系如下：
对于l0范式而言（k=0）只是提供了最基本的向量信息，k值越高提供了值越确定。而且k值越高，向量也就越关注的大量数据，而忽略小量数据；所以RMSE对于极端值更加敏感；但是对于指数级别的罕见的极端值，RMSE通常表现的更好。
原文：The higher the norm index, the more it focuses on large values and neglects small ones. This is why the RMSE is more sensitive to outliers than the MAE. But when outliers are exponentially rare (like in a bell-shaped curve), the RMSE performs very well and is generally preferred.