异方差性

指的是误差项的方差不是常数，有unconditional heteroskedasticity和conditional heteroskedasticity。
这里写图片描述

ID3算法

中文分词

机器如何解读语言？中文分词算法你知道几种？
中文分词的基本原理以及jieba分词的用法

HMM

已知状态序列、观察序列- 最大化似然
序列预测：维特比算法
观察序列- EM算法估计参数
评估- 前向后向算法

A、B：前向、后向算法解决的是一个评估问题，即给定一个模型，求某特定观测序列的概率，用于评估该序列最匹配的模型。
C：Baum-Welch算法解决的是一个模型训练问题，即参数估计，是一种无监督的训练方法，主要通过EM迭代实现；
D：维特比算法解决的是给定一个模型和某个特定的输出序列，求最可能产生这个输出的状态序列。如通过海藻变化（输出序列）来观测天气（状态序列），是预测问题，通信中的解码问题。

非参数统计和参数统计

非参数统计方法
这里写图片描述

统计问题中，如果总体分布不能用有限个实参数来刻画，只能对它作一些诸如分布连续、有密度、具有某阶矩等一般性的假定，则称之为非参数统计问题。非参数统计适用于以下四种情况：1.待分析数据不满足参数检验所要求的假定；2.仅由一些等级构成的数据；3.所提的问题中并不包含参数；4.需要迅速得出结果。选项C中，对就业前景的看法可以描述为对就业看好程度，如“乐观”、“消极”等，这样的数据仅是由一些等级构成，适合使用非参数统计。

切比雪夫不等式

切比雪夫不等式到底是个什么概念

条件熵

最大熵模型中的数学推导
这里写图片描述

\begin{aligned} H (X | Y) = - \sum_{x, y} p (x, y) l o g p (x | y) = - \sum_{x, y} p (x | y) p (y) l o g p (x | y) \end{aligned}

$\begin{align*} H(X|Y)=-\sum_{x,y}p(x,y)logp(x|y)=-\sum_{x,y}p(x|y)p(y)logp(x|y) \end{align*}$

K-L变换和主成分分解

PCA的数学原理

生成模型和判别模型

生成模型与判别模型
 机器学习“判定模型”和“生成模型”有什么区别？
这里写图片描述

非抽样误差

非抽样误差又称“工作误差”。指在调查过程中由于种种人为因素所造成的代表性误差及登记性误差的总称。前者通常是指调查方案设计有缺陷，如题器或指标含义不清、有诱导性;调查员在实施调查中不遵守随机原则，有意多选较好或较差的单位，等等。后者是指在记录、汇总、计算、抄写调查数据资料时所发生的差错。人为因素所造成的代表性误差通常表现为一种系统性的偏差。
它与抽样误差由于随机地观察总体中的一部分单位所造成的样本统计量的波动而产生的代表性误差有着明显的不同。抽样误差也叫随机误差，是指由于抽取的样本随机值的波动，是无法进行避免的。抽样误差是围绕分布中心所表现出的没有方向性的非系统性的误差，工作误差则是稳定的、有方向性的系统性偏差。
避免非抽样误差的主要措施是：(一)严格遵守随机原则，规定应抽选作为样本的调查对象都必须一一调查，不能随便更换、减少或增加，避免有意多选较好或较坏的调查对象来达到自己原定要说明某个问题的目的;(二)搞好问卷设计，严守客观公正的原则，避免题器设计所产生的诱导性因素，并努力使调查项目所涉及的概念指标尽可能地操作化到清晰、明确、唯一的程度; (三)认真培训调查登记人员，做好一切必要的准备工作，尽量不发生填表、登记之类过程中的差错。

径向基函数

所谓径向基函数 (Radial Basis Function 简称 RBF), 就是某种沿径向对称的标量函数。通常定义为空间中任一点x到某一中心点xc之间欧氏距离的单调函数 , 可记作 $\mathcal{K}(||x-xc||)$ , 其作用往往是局部的 , 即当x远离xc时函数取值很小。最常用的径向基函数是高斯核函数 ,形式为 $\mathcal{K}(||x-xc||)=exp\frac{- ||x-xc||^2}{2σ^2}$ 其中 $xc$ 为核函数中心,σ为函数的宽度参数 , 控制了函数的径向作用范围。