概率论 第一章
概念
随机试验
特性
- 可重复性：可在相同条件下重复进行
- 可观察性：可能结果不止一个，并且能事先知道所有可能结果
- 不确定性：结果无法事先预知
符号：$E$
样本空间
定义：样本点的集合，记作 $S$
情况：有限个，可列个（可以排列成一个数列），不可列
随机事件
- 定义：试验 $E$ 的样本空间 $S$ 的子集称为 $E$ 的随机事件，简称事件
- 若一次事件的结果出现在某一随机事件中，则称该事件发生了
- 特殊事件
- 基本事件：由一个样本点组成的单点集
- 必然事件：样本空间 $S$ 本身
- 不可能事件：空集 $\emptyset$
事件运算
运算符
- 包含：$A\subset B$ A 的发生必然导致 B 的发生
- 相等：$A=B$
- 和事件：$A\cup B$ A 和 B 至少有一个发生
- 积事件：$A\cap B$ 或 $AB$ A 和 B 同时发生
- 差事件：$A-B$ A 发生而 B 不发生
- 不相容事件：$AB=\emptyset$ A 和 B 不能同时发生
- 逆事件（对立事件）：$\overline{A}=B$ 或 $\overline{B}=A$ 满足条件 $A\cup B=S,AB=\emptyset$
推广
- $\bigcup\limits_{i=1}^{n} A_i$ n 个事件至少有一个发生
- $\bigcup\limits_{i=1}^{\infty} A_i$ 无穷个事件至少有一个发生
- $\bigcap\limits_{i=1}^{n} A_i$ n 个事件同时发生
- $\bigcap\limits_{i=1}^{\infty} A_i$ 无穷个事件同时发生
定律
- 交换律、结合律、分配律
- 德摩根定律（对偶律）：$\overline{A \cup B}=\overline{A}\cap \overline{B}\ \overline{\bigcup\limits_{i=1}^{n} A_i}=\overline{A_1}\cap \overline{A_2}\ldots\cap \overline{A_n} \ \overline{\bigcap\limits_{i=1}^{n} A_i}=\overline{A_1}\cup \overline{A_2}\ldots\cup \overline{A_n}$
- ==$A-B=A-AB=A\overline B$==
频率
- 定义
- 频数：n 次实验中事件 A 发生的次数，记为 $n_A$
- 频率：比值 $n_A / n$，记为 $R_{n}(A)$
- 性质
- $0\leq R_{n}(A) \leq 1$
- $R_{n}(S)=1$
- 对于互不相容的事件，$R_n(A_1\cup A_2\cup\ldots\cup A_k)=R_n(A_1)+R_n(A_2)+\ldots+R_n(A_k)$
概率
定义
有随机试验$E$，它的样本空间$S$。对于$E$的每一个事件$A$赋予一个实数（集合函数），记为$P(A)$，称之为概率
满足条件
- 非负性：对于每个事件$A$，有$P(A)\geq 0$
- 完备性：对于必然事件，有$P(S)= 1$
- 可列可加性
性质
- $P(\empty)=0$
- $P(A)\leq 1$
- $P(\overline A)=1-P(A)$
- ==$P(A-B)=P(A)-P(AB)$==
- 若$B \subset A$，有$P(A-B)=P(A)-P(B)$
- （有限可加性）对于互不相容的事件，$P(A_1\cup A_2\cup\ldots\cup A_n)=\sum\limits_{i-1}^{n}P(A_i)$
- ==（加法公式）$P(A\cup B)=P(A)+P(B)-P(AB)$==
- ==$P(A)=0\nRightarrow A=\empty$==
概型
古典概型
定义：样本点有限；每一个基本事件发生的概率等可能
概率计算公式 $$ P(A)=\frac{事件 A 中所含的样本点数}{样本空间 S 中所含样本点数} $$
例
- 100 个产品中有 4 个次品，从中抽 12 个，求恰好有 2 个次品的概率
$$ \frac{C_4^2C_{96}^{10}}{C_{100}^{12}} $$
- 袋中 a 白球 b 红球，k 人作无放回抽取，求第 i 个人取到 白球的概率
$$ \frac{a\cdot A_{a+b-1}^{k-1}}{A_{a+b}^k}=\frac{a}{a+b} $$
几何概型
- 定义：样本空间为一个区间、平面区域、或空间立体的等可能随机试验的概率模型
- 概率计算公式（$\mu$表示区间、平面区域或空间立体的长度、面积或体积）
$$ p(A)=\frac{\mu(A)}{\mu(B)} $$
- 例
- 甲乙相约 7-8 点见面，先到者最多等 20 分钟，过时离开，求两者会面概率
$$ S={(x,y)\mid0\le x\le 60,0\le y\le 60} \ A={(x,y)\mid(x,y)\in S,|x-y|\le 20} \ 画图，求面积比 $$
条件概率
事件 A 已发生的条件下，B 发生的概率，记作$P(B| A)$
==公式：$P(B | A)=\cfrac{P(AB)}{P(A)}$==
划分的概念
满足：
1. $A_1, A_2,\ldots,A_n$互不相容
2. $A_1\cup A_2\cup\ldots\cup A_n=S$
定律
（加法公式）$P(B_1\cup B_2|A)=P(B_1|A)+P(B_2|A)-P(B_1 B_2|A)$
==（乘法公式）$P(AB)=P(B|A)P(A)$==
推广：$P(A_1 A_2 \ldots A_n)=P(A_1)P(A_2|A_1)P(A_3|A_2 A_1)\ldots P(A_n|A_{n-1}\ldots A_2 A_1)$
==（全概率公式）==若$A_1, A_2,\ldots,A_n$是样本空间$S$的划分，$B$为任意一个事件
$$ P(B)=\sum\limits_{i=1}^{n}P(B|A_i)P(A_i) $$
- ==（贝叶斯公式）==
$$ P(A_i|B)=\frac{P(B|A_i)P(A_i)}{\sum\limits_{k=1}^{n}P(B|A_k)P(A_k)} $$
- 取$n=2$，将$A_1$记为$A$，此时$A_2$就是$\overline A$。
（全概率公式） $$ P(B)=P(B|A)P(A)+P(B|\overline A)P(\overline A) $$ （贝叶斯公式） $$ P(A|B)=\cfrac{P(B|A)P(A)}{P(B|A)P(A)+P(B|\overline A)P(\overline A)} $$
独立性
互不相容与独立没有必然联系
概念
若$P(B|A)=P(B)$，意味着$A$的发生不影响$B$的发生
若 $$ P(AB)=P(A)P(B) $$ 则$A$，$B$两事件独立
定理
- 设$P(B)>0$，若$A, B$独立，则$P(A|B)=P(A|\overline B)=P(A)$
- 若$A, B$独立，则$A$与$\overline B$，$\overline A$与$B$，$\overline A$与$\overline B$也独立
推广
有$A_1, A_2,\ldots,A_n$，如果对于其中任意 2 个，3 个，…，n 个事件的积事件的概率都等于各事件概率之积，则$A_1, A_2,\ldots,A_n$相互独立
n 重贝努利试验
若在随机试验$E$中，只关注随机试验$A$即$\overline A$的发生，则称$E$为一个贝努利试验，独立地重复 n 次即为 n 重贝努利试验
设$P(A)=p$，则事件$A$出现了$k$次的概率为
$$
P=C_{n}^{k}\cdot p^k(1-p)^{n-k}
$$
贝叶斯详述
$$ P(H|E)=\frac{P(H)P(E|H)}{P(E)} $$
H：Hypothesis，假设
E：Evidence，证据
比例角度
- 分母：符合特征的概率
- 分子：符合特征同时又符合假设的概率，通常是——符合假设的概率 × 符合假设之中符合特征的概率
新增的信息对假设类别与非假设类别产生的影响不同
若影响相同，则引入的证据是无关特征
我们容易根据似然概率得出看法，天然的将$P(H|E)$ 与 $P(E|H)$视作相同，其实是没有考虑到先验概率带来的影响
假设应该建立在先验概率上，不过先验概率基于个人的经验，必然存在偏差
$P(H)$：先验概率
$P(H|E)$：Posterior，后验概率，将证据考虑之后的概率
$P(E|H)$：Likelihoods，似然概率，在假设成立的情况下，符合证据特征的概率；伴随新增信息带来的可能性
$P(E)$：The total probability of seeing the evidence，通常用全概率公式展开