万能逼近原理（证明)

本文翻译自1989年一篇论文，证明了只有一个隐层的前馈神经网络可以逼近任何连续函数。
单隐层单输出神经网络结构记为:
$$G\left(x\right)=\sum _{i=1}^N{\alpha }_i\sigma \left(y_i^{T}x+{\theta }_i\right)$$
其中$${\alpha }_i,y_i^T,{\theta }_i$$
都是参数，$$\sigma$$
且dim(x)=n
是单变量函数，满足一定条件时,G(x)在R^n->R的连续函数空间中稠密
具体的条件定义为:

也即若对于某个测度
$$\mu (x)$$
任意的$$y\in R^n,\theta \in R$$
都有这个积分为0则称这个函数$$\sigma$$
是discriminatory的
之后很大篇幅都在说满足这个性质的函数是什么：只要有界且满足取无穷时的极限是:

的连续函数即可。
在证明这个定理时利用了泛函分析三大定理之一的保范延拓定理和
里斯表示定理

也就是设S为Theorem 1中的(2)张成的函数空间，则S必然包含在C(In)内,也即n为输入空间到一维的连续函数空间，现断言S的闭包R包含C（In),否则R是C(ln)的闭子空间，由保范延拓定理的推论，存在C(In)上线性有界泛函L，且L不是0泛函，使得L（R）=L（S）=0
这个定理实际上是推论：（夏道行《实变函数与泛函分析》）

因此这个非零的泛函L是存在的。
根据Riesz表示定理，任意C(In)上的函数h(x)的泛函为:
$$L\left(h\right)=\underset{I_n}{\int }h\left(x\right)d\mu \left(x\right)$$
注意该$$\mu (x)$$
只与L有关是广义测度函数

因此根据L(S)=0得知，任意的y,\theta都成立:
$$\underset{I_n}{\int }\sigma \left(y^{T}x+\theta \right)d\mu \left(x\right)=0$$
因此利用discriminatory的性质得到L是0泛函，这与L非零矛盾，因此S在C(In)中稠密。
证明的过程中需注意:这里S是在范数为极大范数(本性上界)上的线性赋范空间，否则R不一定在连续函数空间上。
这里补充证明一下:
若S中一列函数(依范数)
$$F_n\left(x\right)\to F\left(x\right)$$
若记:
$$\Delta F_n=F_n\left(x\right)-F_n\left(x_0\right)$$
则$$\left|\Delta F\right|\le \left|\Delta F-\Delta F_n\right|+\left|\Delta F_n\right|$$
不等号右边第二项可以利用有限项截断，第一项直接利用依范数收敛即可证明F(x)连续，也即R是闭空间。