本篇博文定义两个非常重要的分布,它们在一些统计推断问题中非常有用,也就是 t 分布与F分布。
令 W 表示满足N(0,1)分布的随机变量; V 表示满足χ2(r)分布的随机变量;且 W,V 独立,那么 W,V 的联合pdf,表示为 h(w,v) ,就是 W 的pdf与V的pdf乘积,或者
h(w,v)={12π√e−w2/21Γ(r/2)2r/2vr/2−1e−v/20∞<w<∞,0<v<∞elsewhere定义新的随机变量 T 为 T=WV/r‾‾‾‾√
利用变量替换方法可以得到 T 的pdfg1(t)。方程
t=wv/r‾‾‾√u=v定义了一个变换,将 ={(w,v):−∞<w<∞,0<v<∞} 一一映射到 ={(t,u):−∞<t<∞,0<u<∞} ,因为 w=tu‾‾√/r√,v=u ,所以变换的雅可比绝对值为 ||=u‾‾√/r√ ,所以 T,U=V 的联合pdf为
g(t,u)=h(tu‾‾√r√,u)||={12π√Γ(r/2)2r/2ur/2−1exp[−u2(1+t2r)]u√r√0|t|<∞,0<u<∞elsewhereT 的边缘pdf为 g1(t)=∫∞−∞g(t,u)du=∫∞012πr‾‾‾‾√Γ(r/2)2r/2u(r 1)/2−1exp[−u2(1 t2r)]du
令 z=u[1+(t2/r)]/2 得到
g1(t)=∫∞012πr‾‾‾‾√Γ(r/2)2r/2(2z1+t2/r)(r+1)/2−1e−z(21+t2/r)dz=Γ[(r+1)/2]πr‾‾‾√Γ(r/2)1(1+t2/r)(r+1)/2,−∞<t<∞(1)所以如果 W 满足N(0,1), V 满足χ2(r)且 W,V 独立,那么
T=WV/r‾‾‾‾√(2)就有如上所述的pdf g1(t) 。随机变量 T 的分布通常称为t分布,通过观察可以发现 t 分布完全由参数r决定,也就是卡方分布的自由度。
例1: T 满足自由度为r的 t 分布,那么根据(2),我们可以写成 T=W(/r)−1/2 ,其中 W 满足N(0,1)分布, V 满足χ2(r)分布, W,V 是独立的随机变量。假设 (r/2)−(k/2)>0 ,那么
E(Tk)=E[Wk(Vr)−k/2]=E(Wk)E[(Vr)−k/2]=E(Wk)2−k/2Γ(r2−k2)Γ(r2)r−k/2, k<r(3)为了求 T 的均值,令k=1。因为 E(W)=0 ,所以只要 T 的自由度超过1,T的均值就为0。为了求方差,令 k=2 ,这时候需要 r>2 ,因为 E(W2)=1 ,所以 T 的方差为 var(T)=E(T2)=rr−2(4)
因此自由度 r>2 的 t 分布均值为0,方差为r/(r−2)。
接下来考虑两个独立且自由度分别为 r1,r2 的卡方随机变量 U,V , U,V 的联合pdf h(u,v) 为
h(u,v)={1Γ(r1/2)Γ(r2/2)2r1+r2/2ur1/2−1vr2/2−1e−(u+v)/200<u,v<∞elsewhere我们定义新的随机变量为
W=U/r1V/r2接下里求 W 的pdfg1(w),方程
w=u/r1v/r2,z=v,定义了一对一变换,将集合 ={(u,v):0<u<∞,0<v<∞} 映射到集合 ={(w,z):0<w<∞,0<z<∞} ,因为 u=(r1/r2)zw,v=z ,变换的雅可比绝对值为 ||=(r1/r2)z ,随机变量 W,Z=V 的联合pdf g(w,z) 为
g(w,z)=1Γ(r1/2)Γ(r2/2)2(r1+r2)/2(r1zwr2)r1−22zr2−22exp[−z2(r1wr2+1)]r1zr2假设 (w,z)∈ ,其他地方为零。 W 的边缘pdfg1(w)为
g1(w)=∫∞−∞g(w,z)dz=∫∞0(r1/r2)r1/2(w)r1/2−1Γ(r1/2)Γ(r2/2)2(r1+r2)/2z(r1+r2)/2−1exp[−z2(r1wr2+1)]dz变量代换
y=z2(r1wr2+1)可得
g1(w)=∫∞0(r1/r2)r1/2(w)r1/2−1Γ(r1/2)Γ(r2/2)2(r1+r2)/2(2yr1w/r2+1)(r1+r2)/2−1e−y×(2r1w/r2+1)dy={Γ[(r1+r2)/2](r1/r2)r1/2Γ(r1/2)Γ(r2/2)(w)r1/2−1(1+r1w/r2)(r1+r2)/200<w<∞elsewhere故,如果 U,V 是自由度分别为 r1,r2 的且独立的卡方变量,那么
W=U/r1V/r2的pdf如上所示,该随机变量的分布通常称为 F 分布,可以看出F分布完全由参数 r1,r2 决定。
例2: F 为自由服r1,r2的 F 分布,那么F=(r2/r1)(U/V),其中 U,V 是独立的 χ2 随机变量,自由度分别为 r1,r2 。因此 F 的k阶矩为
E(Fk)=(r2r1)kE(Uk)E(V−k)当然假设右边的期望均存在。根据前面的定理可知 k>−(r1/2) 恒为真,所以第一个期望恒存在,如果 r2>2k 那么第二个期望存在。假设为真,那么 F 的均值为 E(F)=r2r1r12−1Γ(r22−1)Γ(r22)=r2r2−2
如果 r2 非常大,那么 E(F) 约为1。
最后介绍一个定理,它是由上面的 t 分布推导出来的。
定理1:令 X1,…,Xn 是独立同分布的随机变量,且每个都是均值为 μ ,方差为 σ2 的正态分布,定义新的随机变量为
X¯=1n∑i=1nXi,S2=1n−1∑i=1n(Xi−X¯)2那么
X¯ 是 N(μ,σ2n) 分布; X¯,S2 是独立的; (n−1)S2/σ2 满足 χ2(n−1) 分布;随机变量 T=X¯−μS/n‾‾√ 满足自由度为 n−1 的 t 分布。证明:令 X=(X1,…,Xn)′ ,因为 X1,…,Xn 是独立同分布的 N(μ,σ2) 随机变量,所以 X 是多元正态分布N(μ1,σ2I),其中 1 表示元素均为1的向量。令 v′=(1/n,…,1/n)′=(1/n)1′ 。注意 X¯=v′X ,定义随机向量 Y 为 Y=(X1−X¯,…,Xn−X¯)′ ,考虑下面的变换: W=[X¯Y]=[v′I−1v′]X
因为 W 是多元正态随机向量的线性变换,它的均值与方差为
E[W]=[v′I−1v′]μ1=[μ0n]其中 0n 表示元素全为0的向量,协方差矩阵为
Σ=[v′I−1v′]σ2I[v′I−1v′]′=σ2⎡⎣⎢⎢1n0n0′nI−1v′⎤⎦⎥⎥因为 X¯ 是 W 的第一个元素,根据前面的定理可得结论1。接下来因为协方差为0,所以 X¯ 与 Y 独立,但是 S2=(n−1)−1Y′Y ,因此 Y¯ 也与 S2 独立,结论2的证。
考虑随机变量
V=∑i=1n(Xi−μσ)2这个和的每项都是 N(0,1) 随机变换的平方,因此是 χ2(1) 分布。因为它们互相独立,所以 V 是χ2(n)随机变量。注意,
V=∑i=1n((Xi−X¯)+(X¯−μ)σ)2=∑i=1n(Xi−X¯σ)2+(X¯−muσ/n‾‾√)2=(n−1)S2σ2+(X¯−μσ/n‾‾√)2右边两项是独立的,且第二项为标准正态分布的平方即 χ2(1) 分布。取两边的mgf可得
(1−2t)−n/2=E[exp{t(n−1)S2/σ2}](1−2t)−1/2求出的 (n−1)S2σ2 就得到结论3。最后,利用前面三个结论即可得到结论4,
T=(X¯−μ)/(σ/n‾‾√)(n−1)S2/(σ2(n−1))‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾√