阶的估计I 无穷小量与强函数1 基本概念 无穷小量与强函数的运算法则

写在前面

阶的估计是一个大家从学数分/高数开始到未来研究工作中出现频率都会非常高的一个词语，特别是对于从事数值计算/理论研究的工作者而言。结合我个人学习与研究经历来说，阶的估计就是尝试用毕生所学分析技巧去计算一个极限/积分/级数或者找它们的上下界的过程，并且这些极限/积分/级数看起来都非常不一般，比如我在科研中遇到过的：
$$f(y)=\int y{e}^{\frac{y^2}{2(1+u^{-2}{\tau }^2)}}\frac{1}{u^2+(u\ln (u^{-2}){)}^2}du$$

目标是估计$f(y)$这个函数关于$y$在$0$处的阶，也就是找到一个$\alpha$使得
$$\underset{|y|\to 0}{\lim }{y}^{-\alpha }f(y)=const$$

这个积分拥有让人一看就想放弃的魔力，但它和贝叶斯统计理论中的一个小问题的一种可行解的稳健性有关，所以我们又不得不尝试搞一下这个积分。

阶的估计的应用非常广泛：数值计算中估计算法的误差/收敛速率，机器学习中估计算法的收敛速率/运算时间/最少样本量，理论统计中计算随机元的concentration、证明估计量的一致性/计算估计量的收敛速率等。并且这些领域有一个共同的特点，那就是这是一个机器无法替代的工作！无法被替代的原因很简单，机器虽然能做数值逼近，但它处理不了无穷这个概念。这是一个好事，说明我们理论工作者在短时间内还是不可或缺的，但这也是一个坏事，意味着我们不得不与这些奇形怪状的极限/积分/级数战斗。所以这个系列的博客就是总结一些大家数分/高数/复变/实变都学过的关于收敛性与阶的判断技巧，希望对大家的学习与科研带来一些帮助。

---

定义1.1 无穷小量
假设$$\underset{x\to x_0}{\lim }f(x)=0$$

称$f(x)$在$x\to x_0$时是无穷小量，记为$f(x)=o(1)$；如果
$$\underset{x\to x_0}{\lim }\frac{f(x)}{g(x)}=0$$

称$f(x)$在$x\to x_0$时关于$g(x)$是无穷小量，记为$f(x)=o(g(x))$，它的含义是在$x\to x_0$时，$f(x)$比$g(x)$更快趋近于0；

定义1.2 等价
如果
$$\underset{x\to x_0}{\lim }\frac{f(x)}{g(x)}=1$$称$f(x)$在$x\to x_0$时关于$g(x)$是等价的，记为$f(x)\sim g(x)$；这个等价的定义也的确是一个等价关系，它满足对称性、自反性与传递性。

定义1.3 强函数
$g(x)>0$，如果$\exists M>0$，
$$|f(x)|\le Mg(x),\forall x\in (a,b)$$

则称$g(x)$在$(a,b)$上是$f(x)$的强函数，记为$f(x)=O(g(x))$;

定义1.4 同阶无穷小量
如果$f(x)=o(1),g(x)=o(1)$，并且$\exists A,B>0$，
$$\underset{x\to x_0}{\mathrm{limsup}}\frac{f(x)}{g(x)}\le A,\underset{x\to x_0}{\mathrm{limsup}}\frac{g(x)}{f(x)}\le B$$

称$f(x),g(x)$在$x\to x_0$时是同阶无穷小量，记为$f(x)\asymp g(x)$（latex: \asymp）

说明 $O$与$o$以及其他几个表示渐近性质的符号被称为渐近记号或者Bachmann–Landau notation。

---

例1.1 假设$ϵ>0$，$A$是任意常数，则$\forall ϵ>0$，当$x\to \infty$时

1. $x^A=o((1+\alpha {)}^{ϵx})$
2. $(\log x{)}^A=o(x^{ϵ})$
3. $(f(x){)}^A=o(e^{ϵf(x)})$, $f(x)$单调递增且是无穷大量(极限为无穷)

这个例子想表达的意思是指数函数增长贼快；先证明第一个式子，根据定义，我们需要说明
$$\underset{x\to \infty }{\lim }\frac{x^A}{(1+\alpha {)}^{ϵx}}=0=\underset{x\to \infty }{\lim }\frac{{ϵ}^A{x}^A}{(1+\alpha {)}^{ϵx}}{=}_{y=ϵx}\underset{y\to \infty }{\lim }\frac{y^A}{(1+\alpha {)}^y}$$

针对$(1+\alpha {)}^y$，我们可以将其离散化后用二项式定理展开做放缩，取$y\to \infty$的一个子列 { n } n ∈ N \{n\}_{n \in \mathbb{N}} { n}n∈N​，用二项式定理，
$$(1+\alpha {)}^n=\sum _{i=0}^n{C}_n^i{\alpha }^n$$

假设$m=[A]+1$，$[A]$表示不大于$A$的最大整数，既然我们要考虑$n\to \infty$的情况，不妨假设$n\ge 2m+1$，则
$$\begin{gathered} \sum _{i=0}^n{C}_n^i{\alpha }^n\ge C_n^{2m+1}{\alpha }^{m+1}\ge \frac{{\alpha }^{m+1}}{(m+1)!}(n-m{)}^{m+1} \\ \ge \frac{{\alpha }^{m+1}}{(m+1)!}{\left(\frac{n}{2}\right)}^{m+1}=\frac{{\alpha }^{m+1}}{2^{m+1}(m+1)!}{n}^{m+1} \end{gathered}$$

所以
$$\frac{n^A}{(1+\alpha {)}^n}\le \frac{2^{m+1}(m+1)!}{{\alpha }^{m+1}}\frac{1}{n}=o(1)$$

因此$x^A=o((1+\alpha {)}^{ϵx})$；

取$\alpha =ϵ-1,x=ϵ\log y$，可以由1得到2；取$x=e^{f(y)}$可以由2得到3。

---

定理1.1 无穷小量与强函数的运算法则

1. 有界函数关于无穷大量是无穷小量：$x\to x_0$时，$f(x)$是无穷大量，$\varphi (x)=O(1)$，则$\varphi (x)=o(f(x))$
2. 强函数的传递性：$f=O(\varphi ),\varphi =O(\psi )$，则$f=O(\psi )$
3. 某函数的强函数是无穷小量，则它本身也是无穷小量：$f=O(\varphi ),\varphi =o(\psi )$，则$f=o(\psi )$
4. 强函数可和：$O(f)+O(g)=O(f+g)$
5. 强函数可积：$O(f)O(g)=O(fg)$
6. 无穷小量与强函数的积是无穷小量：$o(1)O(f)=o(f)O(1)=o(f)$
7. 无穷小量与强函数的和是强函数：$O(f)+o(f)=O(f)$
8. 无穷小量可和：$o(f)+o(g)=o(|f|+|g|)$
9. 无穷小量可积：$o(f)o(g)=o(fg)$
10. 强函数可乘幂：$[O(f){]}^k=O_k(f^k)$，$O_k$说明强函数定义的不等式中的常数与$k$有关
11. 无穷小量可乘幂：$[o(f){]}^k=o(f^k)$
12. 等价不受无穷小量的影响：$f=o(g)$, $g\sim \psi$，则$g\sim \psi \pm f$

说明

1. 为了便于查找使用，关于强函数与无穷小量的运算法则都在这里了，后续的定理/例题中会经常用到这些运算法则。
2. 虽然我们用$O,o$这样的符号定义强函数与无穷小量，并且用等号进行运算，但我们一定要牢记，$O$的本质是一个不等式，$o$的本质是一个极限。

这些运算法则的证明非常简单，基本上就是使用定义进行验证即可，比如第六条，在$x\to x_0$时，假设$\varphi =o(1)$，$g(x)>0$, $\exists M>0$, $|f(x)|<Mg(x),\forall x\in (a,b),x_0\in (a,b)$，根据极限的保号性，
$$0\le \underset{x\to x_0}{\lim }\left|\frac{\varphi (x)f(x)}{g(x)}\right|\le M\underset{x\to x_0}{\lim }|\varphi (x)|=0$$

因此$\varphi (x)f(x)=o(g(x))$。