A. 数学基础
线性代数
基本概念
标量
向量
矩阵
范数
L1：向量绝对值之和
L2：向量的长度
LP(P趋于无穷)：向量中最大元素的取值
内积
两个向量之间的相对位置：余弦相似度
线性空间
内积空间
内积空间
正交基/标准正交基
特征值和特征向量：矩阵特征值和特征向量的动态意义在于表示了变化的速度和方向。
概率论
基本概念
条件概率
全概率公式
贝叶斯公式：可信度
学派
频率学派
贝叶斯学派
概率估计的方法
最大似然估计法
最大后验概率法
数据类型
离散型数据：概率质量函数
连续性数据：概率密度函数
概率质量函数/概率密度函数
两点分布
二项式分布
泊松分布
均匀分布
指数分布
正态分布
其他
数学期望值
方差
协方差
数理统计
统计量
样本均值
样本方差
基本问题
参数估计：参数估计是通过随机抽取的样本来估计总体分布的方法
点估计
矩估计法
最大似然估计法
评估标准
无偏性：估计量的数学期望等于未知参数的真实值；
有效性：无偏估计量的方差尽可能小；
一致性：当样本容量趋近于无穷时，估计量依概率收敛于未知参数的真实值。
区间估计
假设检验：参数估计的对象是总体的某个参数，假设检验的对象则是关于总体的某个论断，即关于总体的假设。
泛化误差的构成
偏差：偏差表示算法预测值和真实结果之间的偏离程度，刻画的是模型的欠拟合特性；
方差：方差表示数据的扰动对预测性能的影响，刻画的是模型的过拟合特性；
噪音：噪声表示在当前学习任务上能够达到的最小泛化误差，刻画的是任务本身的难度。
最优化方法
基本问题
约束优化：拉格朗日乘子法 - 线性规划
无约束优化
梯度下降法
牛顿法
置信域方法：启发式算法
信息论
基本概念
信息熵
条件熵
信息增益
信息增益比
KL 散度：KL 散度是描述两个概率分布 P 和 Q 之间的差异的一种方法
非负性
非对称性
最大熵原理
逻辑推理
命题逻辑
穷搜：找出所有的组合，然后判断是不是符合所有的逻辑规则
归结算法
Horn子句和限定子句：前向链接和后向链接算法
启发式搜索算法：DPLL
随机搜索算法
一阶逻辑句法
基本句法
对象：常量符号
关系：谓词符号
函数：函词
量词
全称量词
存在量词
嵌套量词
等词
知识库构建过程
确定任务
搜集相关知识
确定词汇表，包括谓词、函数和常量
对领域通用知识编码
对特定问题实例描述编码
把查询提交给推理过程并获取答案
知识库调试
一阶逻辑推理
一般化假言推理规则
合一
前向连接
反向链接
归结