关键字：核函数，RBF 超参数调优
对这个很熟悉了，简单写一下
本人用matlab实现了一下:
https://download.csdn.net/download/qq_40597317/10646888
可以参考论文阅读。
一、GP是干什么的
已知n个点的(x,y)，想知道在任意一个新的点Xn+1,对应的Yn+1是怎么样的。可以用来进行贝叶斯优化。
二、基本思想
因为高斯分布在自然界无比常见，所以把原来的n个y看成服从高斯分布，来了一个新的Xn+1，这n+1个y还是服从一个联合正态分布的。
三、算法
要点：
1.简单来说，高斯过程可以看成是一个函数，函数的输入是x，函数的输出是高斯分布的均值和方差。
2.y的相关性取决于x，然后由x到y用高斯核函数表示其相关性，至于高斯核函数之前的博客写了一些
3.Y之间的分布用协方差矩阵表示
4、有噪声时把噪声加到对角线上
高斯过程的一个特点就是，对于每个x都有一个对应的高斯分布，而对于一组X={x1,x2,...,xt}，即则存在一个联合高斯分布，这个高斯分布满足
其中
即N个分量的多变量高斯随机向量对应于概率密度函数（m和K分别是均值和协方差矩阵）
5
原来的分布是：
如果来了一个新样本x(t+1)，那么高斯分布为
其中
然后计算f(t+1)的后验分布为
四、核函数的选取
对于上面的协方差矩阵K，其中k(x,y)表示核函数，那么这个核函数如选取？
1、高斯核函数
.RBF（高斯核函数，也叫做径向基函数）
来源： http://blog.163.com/jia_huiqiang/blog/static/27421002120178734639912/
在支持向量机(以下简称SVM)的核函数中，高斯核(以下简称RBF)是最常用的，从理论上讲， RBF一定不比线性核函数差，但是在实际应用中，却面临着几个重要的超参数的调优问题。如果调的不好，可能比线性核函数还要差。所以我们实际应用中，能用线性核函数得到较好效果的都会选择线性核函数。如果线性核不好，我们就需要使用RBF，
一般形式
我们还可以加上一个控制的超参数θ控制内核的宽度
更为一般的情况：加上对角元，这是一种正则化方法（避免过拟合）
在GPR里，这是在对角线上加上一组自动相关性确定（automatic relavance determination，ARD）超参θ
对θ的估计可以通过最大对数似然估计得到
2、Matern核
叫平滑系数，和分别是Gamma函数和Bassel函数（这个数学分析学过的）
平滑系数为0.5时，是指数核
平滑系数无穷大时，是高斯核
over，这是我个人的注意点，看不懂的宝宝请移驾https://blog.csdn.net/greenapple_shan/article/details/52402051
