【人工智能】机器学习

机器学习的定义

机器学习的定义：研究如何使用机器来模拟人类学习活动的一门学科。

稍为严格的提法是：机器学习是 一门研究机器获取新知识和新技能，并识别现有知识的学问。

机器学习就是计算机自动获取知识，它是知识工程的三个分支（使用知识、知识表示、获取知识）之一。

机器学习的主要策略

机械学习：记忆，不需要任何推理；

示教学习：接受外部知识时需要一点推理、翻译、转化的工作；

类比学习：只能得到完成类似任务的有关知识，比上两种需要更多推理；

示例学习：事先完全没有完成任务的任何规律性信息，需要的推理最多；

学习中所用的推理越多，系统的能力越强。

机械学习

直接记忆或存储环境提供的新知识，而后通过对知识库的检索来直接使用这些知识，不再需要进行任何的计算和推导。

存储对于任何智能型的程序来说，都是必要的和基本的。

简单的机械学习模型：

扫描二维码关注公众号，回复： 15338028 查看本文章

机械学习需要注意三个重要问题：

1.存储组织信息：适当的存储方式使得检索速度尽可能的快；

2.环境的稳定性和存储信息的适用性：保存的信息必须适应于外界环境的变化；

3.存储与计算之间的权衡

机器学习系统的基本结构

学习的过程是建立理论、形成假设和进行归纳推理。

环境和知识库：以某种知识表示形式表达的信息的集合，分别代表外界信息来源和系统具有的知识。

“环境”：向系统的“学习环节”提供某些信息；

“学习环节”：利用这些信息对系统的“知识库”进行改进，以增进系统“执行环节”完成任务的效能；

“执行环节”：根据知识库中的知识来完成某种任务，同时把获得的信息反馈给“学习环节”。

影响学习系统设计的重要因素：环境向系统提供的信息、知识库

知识的表示方式要兼顾：表达能力强、易于推理、容易修改知识库、知识表示易于扩展。

机器学习方法的分类

基于学习方法的分类：

归纳学习：符号归纳（实例学习、决策树……）、函数归纳（神经网络、示例学习、统计学习）

演绎学习：从基本原理出发进行推演。

类比学习：通过对相似事物进行比较所进行的学习。

分析学习：使用先验知识来演绎推导一般假设。

归纳学习

从个别到一般的，从部分到整体的推理行为。

可分为示例学习、观察与发现学习。前者属于有师学习，后者属于无师学习。

归纳学习的一般模式为：

给定以下：

(1) 观察陈述（事实）F，用以表示有关某些对象、 状态、过程等的特定知识；

(2) 假定的初始归纳断言（可能为空）；

(3) 背景知识，用于定义有关观察陈述、候选归纳断言以及任何相关问题领域知识、假设和约束， 其中包括能够刻画所求归纳断言的性质的优先准则。

示例学习

又称为实例学习，它是通过环境中若干与某概念有关的例子，经归纳得出一般性概念的一种学习方法。

外部环境提供的是一组例子（正例和反例），要从这些特殊知识中归纳出适用于更大范围的一般性知识，以覆盖所有的正例并排除所有反例。

观察与发现学习

又称为描述性概括。目标是确定一个定律或理论的一般性描述，刻画观察集，指定某类对象的性质。

可分为观察学习与机器发现两种。前者用于对事例进行聚类，形成概念描述；后者用于发现规律，产生定律或规则。

类比学习

类比学习是利用二个不同领域（源域S、目标域T）中的知识相似性，可以通过类比，从源域的知识（包括相似的特征和其它性质）推导出目标域的相应知识，从而实现学习。

类比推理过程：

1. 回忆和联想

   想在S中找出与当前情况相似的情况，这些情况是过去已经处理过的，有现成的解决方法及相关的知识。

2. 选择

   从找出的相似情况中选出与当前情况最相似的情况及其有关知识。

3. 建立对应映射

   在S与T的相似情况之间建立相似元素的对应关系，并建立起相应的映射。

4. 转换

   在上一步建立的映射下，把S中的有关知识引到T中来，从而建立起求解当前问题的方法或者学习到关于T的新知识。

类比学习过程：

1. 输入一组已知条件（已解决问题）和一组未完全确定的条件（新问题）
2. 对输入的两组条件，根据其描述，按某种相似性的定义寻找两者可类比的对应关系。
3. 按相似变换的方法，将已有问题的概念、特性、方法、关系等映射到新问题上，以获得待求解新问题所需的新知识。
4. 对类推得到的新问题的知识进行校验。验证正确的知识存入知识库中，而暂时还无法验证的知识只能作为参考性知识，置于数据库中。

类比学习研究类型：

问题求解型：求解一个新问题时，先回忆之前是否求解过类似问题，若是，则以此依据求解新问题。

预测推理型：

• 传统的类比法：用来判断一个不完全确定的事物可能还有其他属性。
• 因果关系型：由因果关系s1（A→B），现在有A‘相似A，则可能有B’，满足A‘→B’

解释学习

根据任务所在领域知识和正在学习的概念知识， 对当前实例进行分析和求解，得出一个表征求解过程的因果解释树，以获取新的知识。

例如，学生根据教师提供的目标概念、该概念的一个例子、领域理论及可操作准则，首先构造一个解释来说明为什么该例子满足目标概念，然后将解释推广为目标概念的一个满足可操作准则的充分条件。

解释学习的一般性描述

EBG：

算法流程：

1.构造解释

运用领域知识DT进行演绎，证明提供给系统的训练实例TE为什么是满足目标概念DC的一个实例。

例如：设要学习的目标概念是“一个物体（Obj1）可以安全地放置在另一个物体（Obj2）上”，即 Safe-To-Stack(Obj1,obj2)

2.获取一般性的知识

任务：对上一步得到的解释结构进行一般化的处理，从而得到关于目标概念的一般性知识。

方法：将常量换成变量，并把某些不重要的信息去掉，只保留求解问题必须的关键信息。可以得到如下一般性知识：
$$Volume(O1,v1)\wedge Density(O1,d1)\wedge \ast (v1,d1,w1)\wedge Isa(O2,table)\wedge Smaller(w1,15)\to Safe-To-Stack(O1,O2)$$

领域知识的完善性对证明的形成起着重要的作用，不完善是难以避免的，此时有可能出现如下两种极端情况：

构造不出解释、构造出了多种解释

解决办法：

提供完善的领域知识；

学习系统也应具有测试和修正不完善知识的能力， 使问题能尽早地被发现，尽快地被修正。

---

机器学习的部分主要内容举例

决策树

别名：判定树、多级分类器。

首先对数据进行处理， 利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。

利用一系列查询回答来判断某一模式的类别是非常直观和自然的做法。后一个问题的提法依赖于前一个问题的回答。这种问答方式对非度量数据特别有效，回答问题中不涉及任何距离度量。

贝叶斯分类器

贝叶斯分类器是一类分类算法的总称，贝叶斯定理是这类算法的核心，因此统称为贝叶斯分类。

贝叶斯决策论通过相关概率已知的情况下利用误判损失（最小错误率准则、最小风险准则、Neyman-Pearson准则、最小最大决策准则）来选择最优的类别分类。

SVM

机器学习方法简介

集成学习（ensemble learning）

组合多个弱监督模型以期得到一个更好更全面的强监督模型，集成学习潜在的思想是即便某一个弱分类器得到了错误的预测，其他的弱分类器也可以将错误纠正回来。

• 序列集成方法，其中参与训练的基础学习器按照顺序生成（例如 AdaBoost）。序列方法的原理是利用基础学习器之间的依赖关系。 通过对之前训练中错误标记的样本赋值较高的权重，可以提高整体的预测效果。
• 并行集成方法，参与训练的基础学习器并行生成（例如 Random Forest）。原理是利用基础学习器之间的独立性，通过平均可以显著降低错误。

增量学习

主动学习

迁移学习

元学习