前要知识点讲解：
随机向量的期望： 定义：本质上还是对N个数取平均的期望求法，但是这里是以向量表示出来公式： 设 X=⎡⎣⎢⎢⎢x1x2...xn⎤⎦⎥⎥⎥ 是n维随机变量，那么它的期望（均值）为 E(x)=⎡⎣⎢⎢⎢⎢E(x1)E(x2)...E(xn)⎤⎦⎥⎥⎥⎥ ；设 X=⎡⎣⎢⎢⎢⎢x11x21...xp1x12x22...xp2............x1qx2q...xpq⎤⎦⎥⎥⎥⎥ 是 p∗q 阶随机矩阵，那么该随机矩阵的期望为 E(X)=⎡⎣⎢⎢⎢⎢E(x11)E(x21)...E(xp1)E(x12)E(x22)...E(xp2)............E(x1q)E(x2q)...E(xpq)⎤⎦⎥⎥⎥⎥ 协方差： 定义：描述两个随机变量综合偏离程度，其中方差是协方差的特殊情况，即两个随机变量值相同公式： cov(X,Y)=E[(X−E[X])(Y−E[Y])] ，可见X,Y各自的偏移相乘后再求期望即协方差应用：思考联合分布率（X,Y），对于随机变量X,Y大概可以分为三种情况： 当X,Y的偏移量同时满足增大或者减小，即 cov(X,Y)>0 ，呈正相关，这时它们的联合分布呈现一个X增大,Y增大趋势的椭圆 (其中(EX,EY)就是椭圆的中心）当X,Y的偏移量满足X增大Y减小或X减小Y增大，即 cov(X,Y)<0 ，呈正相关，这时它们的联合分布呈现一个X增大,Y减小趋势的椭圆 当X，Y的偏移量为0的时候，即 cov(X,Y)=0 ，即不相关，这时候他们的联合分布为一个圆 协方差矩阵 定义：协方差矩阵的每个元素是各个向量元素之间的协方差，而协方差只能处理二维问题，所以计算多维问题时候，即使用协方差矩阵。而协方差矩阵对角线上衡量的是各个纬度的协方差，当X=Y的时候，就是各个维度的方差，即某一维上的偏移程度。公式： Cov(X,Y)=⎡⎣⎢⎢⎢Cov(x1,y1)⋮Cov(xp,y1)...⋱...Cov(x1,yq))⋮Cov(xp,yq)⎤⎦⎥⎥⎥ 当 X=Y 的时候， Cov(X,X)=⎡⎣⎢⎢D(x1)⋮Cov(xp,x1)...⋱...Cov(x1,xq))⋮D(xp)⎤⎦⎥⎥ 正定矩阵 定义：设M是n阶方阵，如果对于任何非零矩阵 Z ，都有ZTMZ>0，则M为正定矩阵判定：常用的判定性质是利用特征值，令 M−λE=0 ， 如果 λ>0 ，则M为正定矩阵多元正态分布：
分布律： N(x|μ,Σ)=1(2π)D/21(|Σ|)1/2exp{−12(x−μ)TΣ−1(x−μ)} 二元正态分布： 举例：假设X,Y二人同时对小球半径进行测量，各自测100组，求误差的联合概率分布求解：二元正态分布的本质是两个随机变量都符合正态分布又测量误差是服从正态分布的，那么他们的联合分布就是二维正态分布因此求解 P(X,Y)=P(X)∗P(Y) ，忽略掉归一化系数得到公式： exp(−(x−μ1)22σ21−(y−μ2)22σ22) （很显然这就是高中圆锥曲线知识那里的）这里我们为了加深理解，所以进行和分布律之间的化简：我们将 (x−μ1)看为X1 ， (y−μ2) 看作 X2 ，因此原公式变为 −(12σ21X21+12σ22X22) ，因为我们多元正态分布的分布律就是一个正定二次型，二次型矩阵定义： XTAX ，所以X就是 [X1,X2] ，而系数和分布律里的 12 化简了。扩展：根据分布律我们知道， μ 代表了该分布图像的中心偏置 Σ 决定了分布的形状。 当 Σ 为单位矩阵的时候，即 σ1=σ2=1 ，椭圆的长短半径都是1，那么就是一个圆，复合成三维即球体。当 Σ 为对角矩阵的时候，是椭球或椭圆了当 Σ 为非对角矩阵的时候，就是一个带偏置，旋转后的椭球体或者球体为什么要求 Σ 要求正定对称矩阵： 为何要正定：假设 Σ=[−11] ， 我们带入到分布律中，根据矩阵乘法得到 −X2+Y2 ，那么这样的曲线是不可描述的，有可能正相关有可能负相关，最终的曲线就不是正态分布了。为何要对称：做个旋转矩阵，假设 Σ 为对角阵， T 为旋转矩阵，(Tx)TΣ−1(Tx)= xT(TTΣ−1T)x ，得到 Σ∗= TTΣ−1T 还是个对角矩阵！