高斯过程回归GPR

xiaoxiao2021-02-28  24

关键字:核函数,RB超参数调优

对这个很熟悉了,简单写一下

本人用matlab实现了一下:

https://download.csdn.net/download/qq_40597317/10646888

可以参考论文阅读。

一、GP是干什么的

已知n个点的(x,y),想知道在任意一个新的点Xn+1,对应的Yn+1是怎么样的。可以用来进行贝叶斯优化。

二、基本思想

因为高斯分布在自然界无比常见,所以把原来的n个y看成服从高斯分布,来了一个新的Xn+1,这n+1个y还是服从一个联合正态分布的。

三、算法

要点:

1.简单来说,高斯过程可以看成是一个函数,函数的输入是x,函数的输出是高斯分布的均值和方差。

2.y的相关性取决于x,然后由x到y用高斯核函数表示其相关性,至于高斯核函数之前的博客写了一些

3.Y之间的分布用协方差矩阵表示

4、有噪声时把噪声加到对角线上

高斯过程的一个特点就是,对于每个x都有一个对应的高斯分布,而对于一组X={x1,x2,...,xt},即则存在一个联合高斯分布,这个高斯分布满足

其中

即N个分量的多变量高斯随机向量对应于概率密度函数(m和K分别是均值和协方差矩阵)

  5      

 

原来的分布是:

 

如果来了一个新样本x(t+1),那么高斯分布为

 

其中

然后计算f(t+1)的后验分布

四、核函数的选取

对于上面的协方差矩阵K,其中k(x,y)表示核函数,那么这个核函数如选取?

1、高斯核函数

.RBF(高斯核函数,也叫做径向基函数)

 

来源: http://blog.163.com/jia_huiqiang/blog/static/27421002120178734639912/ 

在支持向量机(以下简称SVM)的核函数中,高斯核(以下简称RBF)是最常用的,从理论上讲, RBF一定不比线性核函数差,但是在实际应用中,却面临着几个重要的超参数的调优问题。如果调的不好,可能比线性核函数还要差。所以我们实际应用中,能用线性核函数得到较好效果的都会选择线性核函数。如果线性核不好,我们就需要使用RBF,

一般形式

我们还可以加上一个控制的超参数θ控制内核的宽度

更为一般的情况:加上对角元,这是一种正则化方法(避免过拟合

在GPR里,这是在对角线上加上一组自动相关性确定(automatic relavance determination,ARD)超参θ

对θ的估计可以通过最大对数似然估计得到

2、Matern核

叫平滑系数,和分别是Gamma函数和Bassel函数(这个数学分析学过的)

平滑系数为0.5时,是指数核

平滑系数无穷大时,是高斯核

over,这是我个人的注意点,看不懂的宝宝请移驾https://blog.csdn.net/greenapple_shan/article/details/52402051

转载请注明原文地址: https://www.6miu.com/read-2250383.html

最新回复(0)