按概率收敛与几乎处处收敛

#注意 以下内容仅作为个人笔记，初学者请不要参考本篇内容，欢迎学过的同学指正错误。 #正文 首先给出两种收敛的定义。对于一个随机变量序列 $\{{\hat{\theta }}_n(x){\}}_n$，这个随机变量的值由随机变量 $x$ 决定。对于任意正实数 $ϵ$，如果存在一个随机变量 $\theta (x)$ 使下式成立: $$\underset{n\to \infty }{\lim }\mathrm{P}\mathrm{r}(x,|{\hat{\theta }}_n(x)-\theta (x)|<ϵ)=1,$$ 则称序列 $\{{\hat{\theta }}_n(x){\}}_n$ 依概率收敛到随机变量 $\theta (x)$。

如果对于任意正实数 $ϵ$，如果存在一个随机向量 $\theta (x)$ 使下式成立: $$\mathrm{P}\mathrm{r}(x,\underset{n\to \infty }{\lim }|{\hat{\theta }}_n(x)-\theta (x)|<ϵ)=1,$$ 则称序列 $\{{\hat{\theta }}_n(x){\}}_n$ 几乎处处收敛到随机变量 $\theta (x)$。

直观来说，在 $n$ 大到一定程度，前者的含义是 ${\hat{\theta }}_n(x)$ 与 $\theta (x)$ 的距离小于 $ϵ$ 的概率收敛到 $1$ 上；后者的含义是， ${\hat{\theta }}_n(x)$ 与 $\theta (x)$ 的距离以 $100\%$ 的概率在 $ϵ$ 以内。准确来说，几乎处处收敛其实并不要求在 $x$ 的取值范围内所有的取值都使得${\hat{\theta }}_n(x)$ 与 $\theta (x)$ 的距离在 $ϵ$ 以内，要理解这一点需要测度论的知识，我还没接触过这方面的知识，但有一个例子很好理解：对于 $x\in [0,1]$，如果只有 $x=1$ 使得 $|{\hat{\theta }}_n(x)-\theta (x)|\ge ϵ$ 成立，我们仍然可以说 $\{{\hat{\theta }}_n(x){\}}_n$ 几乎处处收敛，这是因为 $\mathrm{P}\mathrm{r}(x=1)=0$，因而 $\mathrm{P}\mathrm{r}(x\in [0,1))=1$。

具体来说，这两种收敛的区别是什么呢？对于足够大的 $n$ 来说，前者不需要满足 $|{\hat{\theta }}_n(x)-\theta (x)|<ϵ$ 在 $x$ 所有的取值范围上成立，也就是可能存在一个区间 $[x_0,x_0+\mathcal{O}(g(x))]$ 使得 $|{\hat{\theta }}_n(x)-\theta (x)|\ge ϵ$ 成立，而后者，如上一段所说的，要求这个不等式最多只能在 $x$ 取某一个值 $x_0$ 上成立。

如果仍然难以理解，这里可以举例子说明。设随机变量 $x$ 是在区间 $[0,1]$ 上的均匀分布，定义关于 $x$ 的随机变量序列为： $${\hat{\theta }}_n(x)=x+x^n.$$ 定义随机变量： $$\theta (x)=x.$$ 可以发现这个随机变量只在 $x=1$ 时才有 $|{\hat{\theta }}_n(x)-\theta (x)|\ge ϵ$ 成立，因此是几乎处处收敛。

对于同样的 $x$，按照另一种方法定义随机变量 ${\hat{\theta }}_n(x)$ 和 $\theta (x)$：

$$\begin{gathered} {\hat{\theta }}_{2^k+i}(x)=1_{x\in [\frac{i}{2^k},\frac{i+1}{2^k}]} \\ k=1,2,3,... \\ i=0,1,...,2^k-1 \\ \theta (x)=0 \end{gathered}$$

可以看到，即使 $2^k+i$ 的值再大， $|{\hat{\theta }}_n(x)-\theta (x)|\ge ϵ$ 成立的概率也不会等于 $0$，但是他们是按概率收敛的。 #参考 几乎必然收敛和依概率收敛 by AlgorithmDog