因为精力有限加上涉及的内容太多，无法一次性写完，后续会持续更新~
文章目录
前言
在我因为要为新项目对新技术进行攻克的时候需要做相关实验，但是实验环境并不是在理想环境下，也没 法办到理想的条件下，我得到的实验数据往往伴随着误差，这个时候对实验数据进行分析的时候就会导致无法很好得到一个方程来表达这条曲线，所以因为需要使用函数逼近和曲线拟合。
一、函数逼近
1.背景
函数逼近论，英文approximation theory of functions，它是解决函数的近似表示问题。
2.定义
函数逼近：
用简单函数近似代替给定函数的值
逼近和拟合的区别：
逼近是用连续函数”逼近“连续函数；
拟合指的是用连续函数”拟合“离散数据(某种意义上拟合就是从逼近来的)
逼近（拟合）和插值的区别：
逼近（拟合）并不要求获得的函数通过已知点，只要尽量接近。拟合是整体接近
插值要求获得的函数必须经过已知点，插值是局部限制扫描二维码关注公众号，回复： 14618371 查看本文章
曲线的拟合和插是逼近函数的基本方法：
适用情况：已知函数很复杂很难求解，所以可以用简单的函数去逼近
2.相关知识
研究两个变量之间的关系有相关关系和函数关系。
函数关系是两个变量之间是一种确定性关系。相关关系是一种非确定性关系，即相关关系是非随机变量与随机变量之间的关系。
函数关系是一种因果关系，而相关关系不一定是因果关系，可能是伴随关系。
函数关系与相关关系之间有密切联系，在一定条件下可以互相转化。
线性回归分析：对具有相关关系的两个变量基础上，对于性质不明确的两组数据，可以先做散点图，根据散点图去观察它们的关系和关系的密切程度，然后再进行相关回归分析。
对散点图的数据进行求回归直线方程，再散点图大致呈线性时，求出回归直线方程才有实际意义。
3.适用情况
现在比较火热的关于人工智能、深度学习、在做一些实验处理实验数据时候是需要用到函数逼近和曲线拟合的。
当我们得到的数据是具有规律的，自变量和因变量集合之间存在对应关系，可以通过函数映射表示。
但是由于一些函数公式很复杂，所以即使能得到表达式但是不利于计算和分析数据，尤其这些数据里面可能害存在一定的误差。这时候通过实验得到的离散的数据点，对这个数据进行统计分析，被称作数据拟合（data fitting），也成为回归分析(regression analysis)。
如果数据点都能严格通过函数，则求解函数的问题被称作插值问题。插值公式为
y=f(x)
但是因为实验数据存在误差，所以这时候就是逼近问题了，而逼近问题则是要求函数反映这些样本点的趋势，即函数靠近样本点且误差在某种度量意义下最小,则记它在某个样本数据点的误差为：
m=y-f(x)
对误差向量进行记录，逼近问题就是要求误差向量的某种范数最小，一半采用欧氏范数作为误差度量的标准（因为容易计算）求极小化问题。
无论是插值还是逼近，最主要的我呢提是函数f的类型的选择和表示问题，我认为尤其是逼近函数尤其明显，因为逼近函数不要求一定要通过每个数据点，所以允许和数据点之间存在误差，而这个误差可以很多，所以因此选择适合的函数关系，我认为是逼近问题里的重点和难点。
4.函数逼近
在第三点的最后提出的关于函数的表示是函数逼近的重点和难点问题，在这一块我们将对它进行简单了解。
函数逼近的条件是已知一个函数g（通过观测数据可得到），然后根据这个函数寻找一个函数f，这个函数g在某种意义下是已知函数的最佳近似表示，所以函数f可以成为逼近函数。
而函数逼近问题就是求出这个逼近函数f和已知函数g之间的误差值。而逼近函数f可以选择不同的函数类型、定义等。逼近函数类可以在不同的函数空间有多种选择，常用的函数类有：
多项式函数类
三角多项式类
有理分式集-有理逼近（代数多项式构成）
样条函数集-样条逼近（按照一定条件定义）
径向基函数（RBF逼近）
由正交函数系的线性组合构成的（维数固定的）函数集
二、万能逼近定理
1.定义
在函数逼近论种，如果有一组函数成为一组”基“函数，需要满足一些比较好的性质，比如光滑性、线性无关性，权性（所有基函数和为1），局部支集、完备性、正性、凸性等。完备性是指该组函数的线性组是否能够以任意的误差和精度来逼近给定的函数。所以对于多项式函数类，我们可以用”万能逼近定理“.
2.Weierstrass逼近定理
定义：
对在区间[a,b]上的任意连续函数g，及任意给定的
必存在n次代数多项式
使得
f(x)指的就是逼近函数，Weierstrass逼近定理表明，只要n次数足够高，n次多项式就能以任何精度逼近给定的函数。具体的构造方法有Bernstein多项式或Chebyshev多项式等，这里不详细展开。
类似地，由Fourier分析理论（或Weierstrass第二逼近定理），只要阶数足够高，阶三角函数就能以任何精度逼近给定的周期函数。这些理论表明，多项式函数类和三角函数类在函数空间是“稠密”的，这就保障了用这些函数类来作为逼近函数是“合理”的。
3.如何选择逼近函数
选择什么函数类型作为逼近函数类，取决于逼近函数本身的特点、逼近问题的条件和要求等。
但是在确定逼近函数类型后，但是确定合适的次数和阶数也很重要，因为如果次数偏小，则会欠拟合，如果次数偏多，则会过拟合，如下图所示:
减缓过拟合方法有：去除样本种的噪声（数据去噪-）、增加样本点数据量（数据增广）、简化预测模型、获取额外数据进行交叉验证、对目标函数进行适当的正则化等。
选择拟合函数的数学模型（即逼近函数类及其阶数），需要通过分析确定若干歌模型后经过实际计算，比较和调整最后选择到较好的模型。而这个不断的试验和调试的过程被成为调参，
ps，逼近函数有一个叫”表达能力“的概念，就是函数的未知参数于样本点个数的差，称为自由度，如果未知参数越多，则表达能力越强，在实际拟合问题种，逼近函数的拟合能力并非越强越好，因为只关注样本点处的拟合误差的话，非常强的表达能力会使样本点之外的点的函数值于我们的期望值偏离更多，反而降低函数的预测能力，产生过拟合。
4.最小二乘法
条件：已知逼近函数类型、次数n；
设：
关于最小二乘法一般的方法是给定一组样本点数据，要求在基函数种找到一个函数f使得误差的模的平方最小。则就是平方逼近了。（另外有一种类型叫做一致逼近）
可以在误差项里加歌权，表示不同点处的数据比重不同，这个被称作加权最小二乘法（WLS）。
针对选择逼近函数适合会遇到的过拟合或者欠拟合的问题，可以选择选取较多的基函数和较高的次数，通过稀疏优化来选择（学习）合适的基元函数，这被称作稀疏学习。基函数和稀疏系数可以通过优化学习得到，被称作字典学习。
三、函数逼近之最小二乘法
1.逼近问题
首先，先对自己提问，如果要对数据的点进行处理，把它转换成函数，那那些不在估计的函数方程上的点根据什么去选择它，让它的函数表示能够尽量接近呢？
这时候就有两种想法：
第一种，一致逼近，就是它最大的偏差不超过多少数值；
第二种，平方逼近，平方和不超过。
设基函数为y(x),逼近函数为f(x)，则
一致逼近的公式为：
平方逼近的公式为：
2.最小二乘法
首先，已知一个数据集(xi,yi),(i=1,2…,m>>n)；根据这个数据集构造一个近似函数s(x)去逼近所求函数y=f(x),就是用连续函数去拟合离散函数。
所以根据这个就可以思考如何去求得的最主要的两个问题，选择的函数类型是什么？怎样才算是尽可能的逼近？
1.怎样才算是尽可能的逼近？
让拟合函数值可以和实际测量值的误差越来越小
2.如何让所有偏差全部累积？
最佳平方逼近就由此可得，直接用差值累积的话可能差值有正有负，这样会导致正负抵消，通过这个来判断是不合理的，所以因此引入了平分累积。对平方进行累加作为衡量标准。
红色部分代表着逼近函数，蓝色部分则是你测得数据集得到的基函数。
3.如何选择函数？
可以选择多项式，那它的系数则是要确定的值。
为了能够有统一的函数表达式来作为函数逼近的通用表达式和最小二乘法的计算公式，来解决一般性的连续函数的逼近问题。所以引入了线性无关函数族和内积空间。
还可以使用权函数，可以往最小二乘法里面加入权重，
右边等式可以看作：两个函数的每个取值点的乘积的加权求和。把它连续化可以得到如下函数：
内积空间的性质：在实数领域，内积就是两个向量的点乘。
所以在实数集中向量x和y定义内积:(x,y) = x1y1+…,xnyn.
关于权函数的数学定义，
将两个函数内积，乘以权函数，这个就是内积空间：
这样就可以转换成矩阵，正规方程组：
最小二乘法本质是优化方法。
函数的最佳平方逼近，可以将函数的最佳平方逼近，扩展到连续函数的一般多项式的函数逼近问题 。
图上的矩阵为希尔伯特矩阵，但是它是病态矩阵，所以在n>3的情况下会不再可靠，同样的问题在最小二乘法也会出现。 当x的次数过高会偏差会变大，所以可以利用正交函数族来解决。
正交函数族，如果两个函数在[a,b]区间内积为0，则称f(x)，g(x)在[a,b]上带权正交。
因此引入了正交多项式，有三个性质：
- 线性无关
- 零点都是实的，相异的，全部在(a,b)内部
- 任意相邻3个多项式有如下关系：
先有多项式后有表达式，勒让德的正交多项式有三个性质：正交性，奇偶性，递推关系。
切比雪夫多项式性质：递推关系、正交性、奇偶性
四、函数逼近的插值和曲线拟合的区别
插值：就是给定一些点，要求出一个简单函数，使得该简单函数通过所有点，或者更进一步，要求简单函数的一阶、二阶导数等于某些值或者分段插值时在分段点的左右一阶、二阶导数相等，或者还有其他条件等等。
函数逼近：一直原函数的情况下，找一个简单函数逼近原函数，使得在定义域上的某个点的误差达到最小（这个点时误差达到最大值的点）。
曲线拟合：原函数未知，给定原函数的若干点，在某个简单函数空间找出使得总误差（根据不同定义有不同的误差距离的衡量，一般是均方误差）最小的那个简单函数，而且这个函数要根据特定的问题设计特定的形式。
五、数据增强
前言：因为我的实验数据偏少，即使我学了前面的对函数逼近可以利用的插值和曲线拟合的方法，但是因为数据量少的原因可能会导致我得到的函数会产生很大偏差，可能会产生过拟合问题。实验数据集偏少的原因让我也无法采用稀疏矩阵的方法去优化学习，所以因此我发现了数据增广的方法。
数据增强，英文data augumentation，数据增强主要是为了减少网络的过拟合现象，对训练图片进行变换可以得到泛化能力更强的网络，更好的适应应用场景。
数据增强分为两类：线下增强(offline augmentation)和线上增强(online augmentation)。
线上增强事先会在数据集上执行所有转换，完成后增加数据集大小，适用于较小的数据集。
线上增强是在读取数据后再内存中进行转换，便于处理大规模的数据集，这依赖于强大的CPU处理能力。
数据增广就是里哦用各种操作例如拉伸、旋转、翻转、裁切、填充、遮挡、变色、变对比度、加噪声等使模型学习到更多的”本质“特征，忽略”无关特征“，这是为了使模型获得更好的泛化性能，就抑制过拟合现象。
学习和参考文献
什么是深度学习
这个我只看了前部分，因为我的数据集含量是很少的，是没法做训练集的，我只是想通过有限的数据集去推测歌大体的逼近函数，从而减少误差，达到我想要的功能。我大体看了下后面的，简单总结我对这个文章大体的内容是关于关于深度学习、函数逼近和曲线拟合的问题，然后利用统计学的回归模型对数据的统计进行分析。这里最主要是在通过学习方法选择好合适的逼近函数类型。可以根据稀疏学习的方法，选择合适的样本数据点，就是选择合适的基函数从而可以选择更好的逼近函数，这样避免了过拟合和欠拟合问题。