江苏龙网

  1. 首页 > 社会 > >

综艺大集合|如何推导高斯过程回归以及深层高斯过程详解( 二 )


本文插图

由高斯过程先验可知 ， 练习点和测试点的集合是联合多元高斯分布 ， 因此我们可以将它们的分布写成如下形式:
综艺大集合|如何推导高斯过程回归以及深层高斯过程详解
本文插图

这里 ， K是协方差核矩阵 ， 其中它的项对应于观察值的协方差函数 。 这样写 ， 我们可以拿练习子集来进行模型选择 。
综艺大集合|如何推导高斯过程回归以及深层高斯过程详解
本文插图

猜测是意味着f_bar * ,方差可以从协方差矩阵的对角获得Σ*。 请留意 ， 计算平均值和方差需要对K矩阵进行反演 ， 而K矩阵随练习点数的立方而变化 。
内核函数
高斯过程使用惰性学习和点之间的相似性度量(核函数)来猜测练习数据中不可见点的值 。 例如 ， 假如有一个被建模的周期趋势(好比一年以上的温度) ， 那么你可以使用周期核函数 。
综艺大集合|如何推导高斯过程回归以及深层高斯过程详解
本文插图

后面的灰色区域是不确定性(边际猜测分布的+- 2) ， 有了它 ， 假如我们使用周期核函数 ， 我们就能够高度自信地跟踪信号 。
让我们看看一些常见的核函数 。
平方指数内核
平方指数核已经成为GPs事实上的默认核 。 它是通用的 ， 你可以将它集成到你需要的大多数函数中 。 每个函数在其先验中都有无限多个导数 。 它也只有两个参数:
长度标准?决定“摆动”你的函数的长度 。 一般情况下,你无法推断超过?单位阔别你的数据 。
输出方差(方差)决定了函数离均值的均匀间隔 。 每个内核前面都有这个参数;它只是一个比例因子 。
综艺大集合|如何推导高斯过程回归以及深层高斯过程详解
本文插图

同样地 ， 周期核函数(由大卫·麦凯推导)答应人们模拟精确地重复自己的函数 。 其参数很轻易解释:
周期p只是决定了函数的重复之间的间隔 。
的长度标准?决定了长度标准函数一样的SE内核 。
联合内核
核相乘是组合两个核的尺度方法 ， 特别是当它们定义在函数的不同输入上时 。 粗略地说 ， 两个内核的相乘可以被以为是一个AND操纵 。 所以 ， 假如你把两个核相乘 ， 只有当两个基本核都是高值时 ， 得到的核才会有高值 。
例如 ， 一个线性核函数乘以一个周期函数会产生周期性的函数 ， 当我们离开原点时 ， 函数的振幅会增加(如下图右侧所示)
综艺大集合|如何推导高斯过程回归以及深层高斯过程详解
本文插图

此外 ， 一个线性核乘以另一个线性核得到的函数是二次的!这个技巧可以用来产生任意程度的贝叶斯多项式回归 。
深层高斯过程
从数学上讲 ， 深层高斯过程可以看作是一个复合多元函数 ， 其中“深层”方面增加了正态高斯过程的能力 。 可以把它看作如下的嵌套函数(其中g(x)是x上的一个深度高斯过程) 。


推荐阅读


上一篇：社会大爆点|高中数学|公式齐全|简易解题方法

下一篇：减肥餐搭配|初中功课太多写不完, 熬夜写完仍是早上再补? 专家给出公道建议