Stein引理（Stein's lemma）

Stein引理：假设$X$是均值为$\mu$，方差${\sigma }^2$的高斯随机变量（Gaussian random variable）。进一步假设映射$g$存在期望$\mathbb{E}[g(X)(X-\mu )]$和$\mathbb{E}[g^{\prime }(X)]$，则有 $$\mathbb{E}[g(X)(X-\mu )]={\sigma }^2\mathbb{E}[g^{\prime }(X)]$$一般说，假设$X$和$Y$是联合高斯的，则 $$\text{Cov}(g(X),Y)=\text{Cov}(X,Y)\mathbb{E}(g^{\prime }(X))$$ 证： $$\begin{gathered} \mathbb{E}[g^{\prime }(X)]={\int }_{-\infty }^{+\infty }\frac{\partial g(x)}{\partial x}\mathcal{N}(x|\mu ,{\sigma }^2)\text{d}x \\ \stackrel{(a)}{=}{\left[g(x)\mathcal{N}(x|\mu ,{\sigma }^2)\right]|}_{-\infty }^{+\infty }-{\int }_{-\infty }^{+\infty }g(x)\frac{\partial \mathcal{N}(x|\mu ,{\sigma }^2)}{\partial x}\text{d}x \\ ={\int }_{-\infty }^{+\infty }\frac{(x-\mu )}{{\sigma }^2}g(x)\mathcal{N}(x|\mu ,{\sigma }^2)\text{d}x \\ =\frac{1}{{\sigma }^2}\mathbb{E}[g(X)(X-\mu )] \end{gathered}$$其中，步骤$(a)$成立根据分部积分公式$\int u(x)v^{\prime }(x)\text{d}x=u(x)v(x){|}_{x=-\infty }^{+\infty }-\int u^{\prime }(x)v(x)\text{d}x$。