本篇文章是博主在人工智能等领域学习时，用于个人学习、研究或者欣赏使用，并基于博主对人工智能等领域的一些理解而记录的学习摘录和笔记。若有不当和侵权之处，指出后将会立即改正，还望谅解。
文章分类在学习摘录和笔记专栏：
学习摘录和笔记（1）---《人工智能的 10 个重大数理基础问题》
人工智能的 10 个重大数理基础问题
原文/论文出处：
题目：《人工智能的 10 个重大数理基础问题》
作者：徐宗本
时间：收稿日期: 2021–07–04; 接受日期: 2021–09–30; 网络出版日期: 2021–12–09
来源：中国科学 : 信息科学
1.大数据的统计学基础；
当下人工智能的主流技术 (如深度学习) 是以对大数据的加工处理为基础的，它的模型、分析、计算基础都根置于统计学。统计学一直被认为是主导和引导人们分析和利用数据的学科。所有建模都必须在表示的广泛性和统计推断的易实现性或可解释性之间取得平衡，这是所有方法的瓶颈。
2.大数据计算的基础算法；
大数据分析处理的核心是通过计算对大数据进行加工处理和从中萃取有用信息。人工智能应用的主要障碍之一是，对真正的大数据，大部分已知的核心算法和基础算法失效 (要么不能用，要么算不出满意结果)，例如，还没有一个好的算法能对超过 TB 级的数据进行直接聚类。
缺乏这样的大数据算法之根本原因在于传统计算理论，以及基于传统计算理论的算法设计与分析方法学在大数据环境下失效。美国国家科学院/全国研究理事会在其发表的报告中，将在大数据环境下求解如下7 个数学问题的问题称为 “7 个巨人问题”：
• 基本统计 (basic statistics)；
• 广义 N- 体问题 (generalized N-body problem)；
• 图计算问题 (graph-theoretic computation)；
• 线代数计算 (linear algebraic computation)；
• 最优化 (optimization)；
• 积分 (integration)；
• 比对问题 (alignment problem)。
3.数据空间的结构与特性；
我们所处的世界由人类社会、物理空间 (这二者常统称为现实世界) 和信息空间 (称为虚拟世界)构成。人类社会的构成元素是人，物理空间的构成元素是原子/分子，而信息空间的构成元素是数据。
人工智能作用：在数据空间是利用数据空间的方法认知和操控现实世界的技术。
对常见的这些数据空间，能不能赋予某种数学结构使它们成为数学上的空间呢?
如能，它们又会成为什么样的数学空间?
是内积空间、赋范空间，还是拓扑空间 (请注意，不同的数学空间提供的分析工具是有差别的)?
应该赋予什么样的数学结构才最自然、最合理、最有利于数据分析? 让我们仍以图像空间为例说得更具体一些: 我们能不能通过赋以缩放、卷积、平移 + 旋转等操作或运算，并选取图像差异性的一种度量，如欧氏距离、KL 散度、Wasserstein 距离等，使图像空间成为数学意义下的空间?
如能，怎样的选择和搭配才能使所建立起来的空间更有利于图像分析?
4.深度学习的数学机理；
当代人工智能的主流技术是以深度学习为代表的。 深度学习的巨大成功极大提升了它作为普适AI 技术的主导地位，但另一方面，也唤起人们对深度学习本质局限性和 “后深度学习时代” 的思考。
深度学习的独特优势是，对任意复杂数据都有强的建模能力，只要训练数据足够，就一定可学习、可应用，从而能提供普适的 AI 解决方案。
但它的致命缺陷是，网络结构难设计、结果不具可解释性、易受欺骗等。
5.非正规约束下的最优输运；
人工智能中的诸多问题都是以数据输运 (data transportation) 或者说数据打通为基础的。 例如，机器翻译需要把两种语言打通、把语音与文字打通，机器视觉需要把图像与文字打通。
如何能够实现 “保不变量” 意义下的最优传输? 所有这些是数据转换、打通的基础，也是迁移学习的最根本问题。
6.如何学习学习方法论；
学习方法论是指导、管理学习者如何学习/完成学习任务的一般原则与方法学。
在人工智能从人工化，走向自动化，迈向自主化的大趋势下，让机器学会人类的学习方法论，或者更严格地说，学会模拟学习方法论 (simulate learning methodology，SLM) 成为 AI 发展的必由之路。
函数空间的学习理论是一个尚未得到开垦的领域。
7.如何突破机器学习的先验假设；
机器学习的应用与有效性一直是以一些基本的先验假设为前提的，例如：
(i) 大容量假设:我们总是假设空间 F 的容量是充分大的，它既能包含 但又不依赖于
去构造；
(ii) 独立性假设: 最优性准则是独立于数据生成机制设置的，特别是，损失度量独立于数据而预设等。
所有这些假设是机器学习研究的常规性设置。 这既可以认为是机器学习能得以飞速发展的原由,也是机器学习发展的桎梏。 要提高现有人工智能技术的应用水平与性能，就必须要突破这些机器学习先验假设。
8.机器学习的自动化；
这一新的浪潮应是 “适应环境” 的浪潮，是在克服现有深度学习只适用封闭静态环境、固定任务、鲁棒性不好、解释性不强等缺陷基础上，着力发展对开放动态环境可用、稳健、可解释的、自适应的 AI 技术。一个更为现实而且也是必须实现的中间阶段目标是实现机器学习的自动化“6 个自” 的目标:
• 数据/样本层面: 数据自生成、数据自选择；
• 模型/算法层面: 模型自构建、算法自设计；
• 任务/环境层面: 任务自切换、环境自适应。
9.知识推理与数据学习的融合；
后深度学习时代必然追求把知识推理与深度学习能够结合起来，以使得深度学习在保持强大的数据学习能力基础上，具有更明确的可解释性和更强的泛化性。在数据空间和语义空间之间建立一个中间空间来联通数据与知识应该是一个很好的选择
理论上分析数据 – 知识混合系统也是一个挑战性问题。
10.智能寻优与人工智能芯片问题。
数学的最优化理论与方法提供了寻优的理论基础，但数学方法通常假定目标函数的解析形式、具有凸结构和超参数已知。 解决寻优问题也并不是深度学习的特长。 所以，如何设计寻优的人工智能过程仍远未解决。
人工智能芯片是加速 AI 算法执行的利器，其功能是将 AI 算法中特定重复使用的运算/操作硬件化 (以片上集成电路的方式)，本质是以物理的方式实现数学运算或操作。基于某些更高层次的优化算法 (例如 ADMM) 芯片来加速人工智能算法是值得探讨的方向。
11.其他：
人工智能技术和发展主要是靠 “算例、算法、算力” 所驱动的，其基础是数据，其核心是算法,
数学不仅仅是工具，还是技术内涵本身，而且常常也是最能体现本质、原始创新的部分。
人工智能算法本质上是：
大数据分析处理算法，主要解决大数据分析与处理技术底层依赖的相关数学模型、分析原理与计算方法等问题。
人工智能作用：
在数据空间是利用数据空间的方法认知和操控现实世界的技术
结构化的本质是
寻求数据的数学表示
当一个对象集合被赋予某种数学结构 (运算 + 拓扑) 后可成为数学意义下的空间
深度学习的独特优势是：
对任意复杂数据都有强的建模能力，只要训练数据足够，就一定可学习、可应用,从而能提供普适的 AI 解决方案。
致命缺陷是：网络结构难设计、结果不具可解释性、易受欺骗等。
网络拓扑(Network Topology)结构
是指用传输介质互连各种设备的物理布局。指构成网络的成员间特定的物理的即真实的、或者逻辑的即虚拟的排列方式。如果两个网络的连接结构相同我们就说它们的网络拓扑相同，尽管它们各自内部的物理接线、节点间距离可能会有不同。
在实际生活中，计算机与网络设备要实现互联，就必须使用一定的组织结构进行连接，这种组织结构就叫做“拓扑结构”。
网络拓扑结构形象地描述了网络的安排和配置方式，以及各节点之间的相互关系，通俗地说，“拓扑结构”就是指这些计算机与通讯设备是如何连接在一起的。
欧几里得空间（Euclidean space）
是指一类特殊的向量空间，对通常3维空间V3中的向量可以讨论长度、夹角等几何性质。
文章若有不当和不正确之处，还望理解与指出。由于部分文字、图片等来源于互联网，无法核实真实出处，如涉及相关争议，请联系博主删除。如有错误、疑问和侵权，欢迎评论留言联系作者，或者关注VX公众号：Rain21321，联系作者。