有啥简单的神经网络万有逼近定理证明方法( 二 )

有啥简单的神经网络万有逼近定理证明方法

有啥简单的神经网络万有逼近定理证明方法

在上图中,记第一个 neuron 的输出为有啥简单的神经网络万有逼近定理证明方法
。其中,有啥简单的神经网络万有逼近定理证明方法
的值决定了阶跃函数的阶跃点,而有啥简单的神经网络万有逼近定理证明方法
和有啥简单的神经网络万有逼近定理证明方法
的值越大,其输出越趋近于阶跃函数。在此基础上,我们可以假设有啥简单的神经网络万有逼近定理证明方法
和有啥简单的神经网络万有逼近定理证明方法
的取值都足够大,并且为了简便,我们记有啥简单的神经网络万有逼近定理证明方法
。那么,在一个 2 hidden neurons 的样例中,设定有啥简单的神经网络万有逼近定理证明方法
和有啥简单的神经网络万有逼近定理证明方法
为所需逼近的区间范围。则最终的输出有啥简单的神经网络万有逼近定理证明方法
里,通过调整有啥简单的神经网络万有逼近定理证明方法
有啥简单的神经网络万有逼近定理证明方法
的大小,我们可以得到任意大小的凸起(下图中的大小为 0.8)。有啥简单的神经网络万有逼近定理证明方法

所以,如果要得到逼近的函数的话,我们只需要构建上述足够多的凸起,并把它们都加在一起就可以了。
■网友
这篇文章还不错,推荐:
【独家】深度学习可以有人类逻辑吗?如何建模逻辑思维?SATNet, PrediNet,深度学习的逻辑思维现状

■网友
类比泰勒展开


推荐阅读