大数定律与中心极限定理

大数定律

契比雪夫不等式

定理：设随机变量$X$的数学期望$E(X)=\mu$，方差为$D(X)=\sigma^2$，则对任意正数$\varepsilon$，有 $$ P{|X-\mu|\ge\varepsilon}\le \cfrac{\sigma^2}{\varepsilon^2} $$ 即为契比雪夫不等式(Chebyshev)

也可以写成 $$ P{|x-\mu|<\varepsilon}\ge 1- \cfrac{\sigma^2}{\varepsilon^2} $$

大数定律

辛钦大数定律

（弱大数定律）

设 $X_1,X_2,\ldots$ 是相互独立，服从同分布的随机变量序列，且数学期望 $E(X_k)=\mu(k=1,2,\ldots)$，（方差无要求）则对任意 $\varepsilon>0$，有 $$ \lim\limits_{n\rightarrow\infty}P{|\cfrac{1}{n}\sum\limits_{k=1}^{n}X_k-\mu|<\varepsilon}=1 $$

平均数依概率收敛于期望

伯努利大数定律

设$f_A$是$n$次独立重复试验中事件$A$发生的次数，$p$是事件$A$在每次实验中发生的概率，则对于任意的$\varepsilon>0$，有 $$ \lim\limits_{n\rightarrow\infty}P{|\cfrac{f_A}{n}-p|<\varepsilon}=1 \或\ \lim\limits_{n\rightarrow\infty}P{|\cfrac{f_A}{n}-p|\ge\varepsilon}=0 $$ 在$n$充分大时，随机事件”频率$\cfrac{f_A}{n}$与$A$的概率$p$的偏差小于$\varepsilon$“几乎是必然事件

即，==当试验次数很大时，可以用事件的频率来代替事件的概率==

依概率收敛

设$Y_1,Y_2,\ldots$是一个随机变量序列，$a$是一个常数，若对任意$\epsilon>0$，都有 $$ \lim\limits_{n\rightarrow\infty}P{|Y_n-a|<\epsilon}=1 $$ 则称$Y_1,Y_2,\ldots$依概率收敛于$a$X_n\stackrel{P}\rightarrow a$

• 辛钦大数定理有，$\overline{X}=\cfrac{1}{n}\sum\limits_{k=1}^{n}X_k\stackrel{P}\rightarrow\mu$

• 伯努利大数定理有，随机事件发生的频率依概率收敛于概率

中心极限定理

独立同分布的中心极限定理

现象由大量相互独立的因素所影响

大量独立同分布的变量之和的极限分布是正态分布

设$X_1,X_2,\ldots$是相互独立，服从同分布的随机变量序列，且数学期望$E(X_k)=\mu,D(X_k)=\sigma^2$，则随机变量$\sum\limits_{k=1}^n X_k$的标准化变量 $$ Y_n=\cfrac{\sum\limits_{k=1}^{n}X_k-n\mu}{\sqrt{n}\sigma} $$ 的分布函数$F_n(x)$对于任意$x$，有 $$ \lim\limits_{n\rightarrow\infty}F_n(x)=\int_{-\infty}^x\cfrac{1}{\sqrt{2\pi}}e^{-\frac{t^2}{2}}dt=\Phi(x) $$ 推论：当$x$充分大时，有 $$ \cfrac{\sum\limits_{k=1}^{n}X_k-n\mu}{\sqrt{n}\sigma}\stackrel{近似地}\sim N(0,1) \或\ \sum\limits_{k=1}^n \stackrel{近似地}\sim N(n\mu,n\sigma^2) $$ 令$\overline{X}=\cfrac{\sum\limits_{k=1}^nX_n}{n}$，则 $$ \cfrac{\overline{X}-\mu}{\sigma/\sqrt{n}}\stackrel{近似地}\sim N(0,1) \或\ \overline{X}\stackrel{近似地}\sim N(\mu,\sigma^2/n) $$

棣莫弗-拉普拉斯定理

(De Moivre-Laplace)

设随机变量$\eta_n \ (n=1,2,\ldots)$服从$n,p$的二项分布，则对于任意$x$，有 $$ \lim\limits_{n\rightarrow\infty}P{\cfrac{\eta_n-np}{\sqrt{np(1-p)}}\le x}=\int_{-\infty}^x\cfrac{1}{\sqrt{2\pi}}e^{-t^2/2}dt=\Phi(x) $$ 推论：若$X\sim B(n,p)$，当$n$充分大时， $$ X\stackrel{近似地}\sim N(np,np(1-p)) $$ 例