随机结果如何进入数轴
概率空间 (Ω,F,P) 记录一次随机试验的基本结果、允许讨论的事件以及事件概率。样本点往往携带比问题所需更多的信息。连续抛掷三次硬币的一个样本点可以写成 HTH,而“正面次数”只保留数字二;元件寿命试验记录整条退化轨迹,可靠性分析也许只取首次失效时间。随机变量负责完成这种有明确规则的信息提取。
设 X(ω) 表示样本点 ω 对应的数值。函数规则在试验前已经确定,随机性来自输入 ω 未知。一次试验得到的 X(ω) 是实现值,函数 X 则是从样本空间到实数的映射;事件 {X≤x} 是样本点集合,P(X≤x) 是这个集合的数值概率。区分函数、实现值、事件和概率,是后续公式类型正确的前提。
可测性把数值条件变成事件
实值随机变量
实值随机变量是可测函数
X:(Ω,F)⟶(R,B(R)). 这里 B(R) 是由开区间生成的 Borel σ-代数。可测性要求每个
B∈B(R) 的原像
X−1(B)={ω∈Ω:X(ω)∈B} 都属于 F。
对实值函数,只检查所有半直线也足够:若对每个 x∈R 都有
{ω:X(ω)≤x}∈F,便能推出全部 Borel 集的原像可测。这个等价判据使分布函数中的概率合法。在有限样本空间且 F=2Ω 时,任意实值函数自动可测;连续样本空间中的事件族可能严格小于全部子集,可测性不能省略。
可测性还保证对 Borel 函数 g,复合 g(X) 仍是随机变量。若 g 不是 Borel 可测函数,仅写出形式上的复合并不能保证 {g(X)≤y} 是事件。初等计算里常见的多项式、绝对值、指数、分段连续函数都满足所需可测性。
推前分布与分布函数
推前分布与累积分布函数
随机变量 X 的分布是定义在 Borel 集上的概率测度
PX(B)=P(X∈B)=P(X−1(B)),B∈B(R). 累积分布函数记为
FX(x)=P(X≤x).
推前分布只保留取值规律。定义在不同概率空间上的两个随机变量,只要 PX=PY,便称为同分布;它们的生成机制和样本点标签可以完全不同。分布函数则把整个测度压缩成一条实函数,却仍能唯一确定实值分布。
分布函数的四项性质
任意实值随机变量的分布函数都满足:
- 0≤FX(x)≤1,并且单调不减;
- FX 右连续;
- limx→−∞FX(x)=0;
- limx→∞FX(x)=1。
证明
若 x≤y,则 {X≤x}⊆{X≤y},概率测度的单调性给出
FX(x)≤FX(y)。令 xn↓x,事件
{X≤xn} 递减且交集为 {X≤x};概率测度对递减事件列连续,所以
FX(xn)→FX(x),这就是右连续。最后,事件
{X≤−n} 递减到空集,事件 {X≤n} 递增到整个样本空间,分别得到两端极限。
区间端点决定公式。对 a<b,
P(a<X≤b)=FX(b)−FX(a),
而单点质量是跳跃大小
P(X=x)=FX(x)−FX(x−).
因此,CDF 连续不代表它处处可导;CDF 有跳跃时,跳幅正好记录对应点概率。
更一般的半开、开、闭区间都能由 CDF 和左极限恢复。例如
P(a≤X<b)=FX(b−)−FX(a−).
逐项核对端点比背诵一张公式表可靠:左端点是否保留决定是否减去 FX(a−) 或 FX(a),右端点是否保留决定使用 FX(b) 或 FX(b−)。连续分布中这些差别常被零点概率掩盖,离散和混合分布则会直接改变答案。
反过来,任何满足单调不减、右连续以及两端极限为零和一的实函数,都唯一确定一个实值概率分布。这个事实说明 CDF 不只是展示曲线;即使普通密度不存在,CDF 仍是完整的一维分布表示。数值程序若生成近似 CDF,也必须保持这些结构条件,局部下降或越出 [0,1] 都表示结果尚未成为合法分布。
离散分布与概率质量函数
概率质量函数
若 X 的取值落在至多可数集合 SX 中,则 X 是离散随机变量。其概率质量函数为
pX(x)=P(X=x),x∈SX. 它满足 pX(x)≥0 和
x∈SX∑pX(x)=1. 任意 Borel 集 B 的概率由
P(X∈B)=∑x∈B∩SXpX(x) 给出。
离散 CDF 是右连续阶梯函数,点 x 处的跳跃等于 pX(x)。列概率表时要同时核对支持、非负性和总和;只写一串概率而不说明对应取值,或把两个样本点当成一个后又重复计数,都会改变分布。
Bernoulli 分布取值零、一,参数 p 表示一的概率。二项分布计数固定次数的独立 Bernoulli 成功数。几何分布在不同教材中可能从零或一开始计数,本册若使用它,会在首次出现时明确支持,不能只凭分布名称猜公式。
离散分布的名称通常压缩了一个生成机制。二项模型要求试验次数固定、各次成功概率相同且试验独立;Poisson 模型常用于给定区间内的稀疏计数,但“计数值非负”本身不足以推出 Poisson 分布。模型条件决定 PMF,PMF 再决定概率。若数据存在容量上限、成功概率随次数变化或事件成簇出现,应先调整生成机制,而非只把参数拟合到熟悉公式。
连续分布与概率密度
绝对连续分布与概率密度
若存在可积非负函数 fX,使每个 Borel 集 B 都满足
P(X∈B)=∫BfX(x)dx, 则 X 的分布关于 Lebesgue 测度绝对连续,fX 称为概率密度。归一化条件为
∫−∞∞fX(x)dx=1.
绝对连续时,
FX(x)=∫−∞xfX(t)dt.
微积分基本定理给出 FX′(x)=fX(x) 几乎处处;若 fX 在某点连续,则等式在该点逐点成立。密度有跳跃或只给出可积代表元时,不能把“几乎处处”等式擅自加强为处处可导。
密度值是单位长度上的概率率,不是点概率。若 X 以秒为单位,fX 的单位是每秒。密度可以大于一,例如 [0,0.1] 上的均匀密度为十;总面积仍为一,而每个单点概率仍为零。
同一绝对连续分布的密度只在“几乎处处相等”的意义下唯一。把某个单点处的密度从零改成一百,不改变任何区间积分,也不改变分布。由此可见,单个密度值缺少独立概率意义;稳定对象是对集合的积分。端点包含与否同样不改变绝对连续区间概率,但正文仍保留端点记号,以便与含原子或混合分布的公式一致。
同一组检查怎样用于 PMF 与三角密度
公平硬币独立抛掷两次,令 N 为正面次数。样本点 TT,TH,HT,HH 等可能,因此
pN(0)=41,pN(1)=21,pN(2)=41. 三个数非负且和为一。于是
P(0<N≤2)=pN(1)+pN(2)=3/4,也等于
FN(2)−FN(0)=1−1/4。
再设连续随机变量 X 的候选密度为
fX(x)={2(1−x),0,0≤x≤1,其他. 它在支持上非负,并且
∫012(1−x)dx=[2x−x2]01=1. 因此它是合法密度。所求尾概率为
P(X>21)=∫1/212(1−x)dx=[2x−x2]1/21=41. PMF 用求和归一,PDF 用积分归一;两条路径都要把结果核对到 [0,1]。
一个分布同时含点质量和密度
离散与绝对连续不是全部可能性。仪器在低于检测限时统一报告零,而超过检测限后给出连续读数,所得模型自然含有零点质量和连续部分。此时单一普通密度无法记录零点的跳跃,单一 PMF 也无法枚举连续区间。
离散—连续混合分布
若分布可写成离散测度与绝对连续测度的非平凡加权和,则称为混合分布。CDF 同时具有跳跃与连续增长区段;跳跃记录点质量,连续部分由密度积分记录。
零点质量与均匀连续部分
设 P(X=0)=0.3;以剩余概率 0.7,X 在 [0,1] 上均匀。其 CDF 为
FX(x)=⎩⎨⎧0,0.3+0.7x,1,x<0,0≤x<1,x≥1. 零点的跳幅为 0.3。连续部分在 (0,1) 上的密度为 0.7,但它的积分只有
0.7,不能单独当成整个分布的 PDF。数值核验给出
P(X≤0.2)=0.3+0.7×0.2=0.44, 其中点质量贡献 0.3,区间 (0,0.2] 贡献 0.14。两部分相加与 CDF 一致。
这个模型也给出一种直接生成方法:先抛一枚成功概率为 0.3 的 Bernoulli 开关;成功时输出零,失败时再独立生成 [0,1] 上的均匀数。生成步骤明确了点质量和连续部分的权重。若只对观测值画普通直方图,零点柱可能随分箱宽度变化而显得异常高;CDF 的固定跳幅更准确地显示原子概率。
支持、参数和取值范围
离散变量可用 SX={x:pX(x)>0} 表示正质量支持。连续情形要区分“所用密度为正的区间”和分布的拓扑支持:密度在零测集上的改写不改变分布,所以不能仅凭某个密度代表元在单点取零便从支持中删除该点。初等模型通常直接声明有效区间,并把区间外密度定义为零。
参数必须连同含义书写。本册规定
Exp(λ) 中 λ 是率,均值为 1/λ;
N(μ,σ2) 的第二参数是方差;均匀分布写成
Unif(a,b)。若随机变量带单位,率参数具有倒数单位,正态分布的方差具有单位平方。
相同取值范围不保证相同分布。[0,1] 上的均匀分布与密度 2(1−x) 具有相同区间支持,却给
P(X>1/2) 分别为 1/2 和 1/4。支持先排除不可能取值,概率权重才决定支持内部的相对可能性。
由原像求函数分布
设 Y=g(X)。求 Y 的分布时,最稳健的起点是事件原像:
FY(y)=P(g(X)≤y).
严格单调的 g 允许直接反解不等式;非单调函数通常产生多个原像区间,必须全部合并。CDF 法不要求先猜测密度,也能处理端点、跳跃和混合分布,因此应当作为变量变换的首选核验路径。
分段一一变换的密度公式
平方变换的两个正则逆支为 y 与 −y,各自贡献
(1/2)/(2y),相加正是 1/(2y)。这个推导也说明 Jacobian 是局部区间缩放,不是为了记忆公式而附加的符号。
联合分布记录共同取值
联合、边缘与条件分布
随机向量 (X,Y) 的联合分布是映射
ω↦(X(ω),Y(ω)) 在
R2 上的推前概率测度。联合 CDF 为
FX,Y(x,y)=P(X≤x,Y≤y). 离散情形使用联合 PMF
pX,Y(x,y)=P(X=x,Y=y); 绝对连续情形使用联合密度 fX,Y,使区域 D 的概率为
∬DfX,Y(x,y)dxdy。
联合分布回答两个量如何共同出现。只知道 X 与 Y 各自的边缘分布,通常无法恢复联合分布,因为同一对边缘可以对应独立、正依赖或负依赖。联合 PMF 必须在全部格点上非负且总和为一;联合密度必须在平面上非负且二重积分为一。
二维 CDF 在矩形上满足容斥。对 a<b、c<d,
P(a<X≤b,c<Y≤d)=FX,Y(b,d)−FX,Y(a,d)−FX,Y(b,c)+FX,Y(a,c).
右侧是二维“增量”,必须非负。仅要求 FX,Y 分别随 x,y 单调还不够;矩形增量非负才排除给某些矩形分配负概率。与一维相同,联合 CDF 对相应方向右连续,并在坐标趋于正无穷时恢复边缘 CDF,例如
FX(x)=limy→∞FX,Y(x,y)。
联合表中的边缘、条件概率与依赖
设 X,Y 都取零或一,联合 PMF 为
| X | Y=0 | Y=1 | 行和 |
|---|
| 0 | 1/3 | 1/6 | 1/2 |
| 1 | 1/6 | 1/3 | 1/2 |
| 列和 | 1/2 | 1/2 | 1 |
行和给出 pX,列和给出 pY。例如
P(X=1∣Y=1)=pY(1)pX,Y(1,1)=1/21/3=32. 又有
P(X=Y)=31+31=32. 若 X,Y 独立,则格点 (1,1) 的概率应为
pX(1)pY(1)=1/4,实际值为 1/3,所以二者不独立。条件概率
2/3 也不同于边缘概率 1/2,两条检查相互印证。
边缘化与条件分布
离散联合 PMF 的边缘化是求和:
pX(x)=y∑pX,Y(x,y),pY(y)=x∑pX,Y(x,y).
在 pY(y)>0 时,
pX∣Y(x∣y)=pY(y)pX,Y(x,y).
条件 PMF 对 x 求和为一。连续情形把求和换成积分:
fX(x)=∫−∞∞fX,Y(x,y)dy,
选择联合密度与边缘密度的版本后,对 Lebesgue 几乎所有满足
fY(y)>0 的 y,可以定义一个条件密度版本:
fX∣Y(x∣y)=fY(y)fX,Y(x,y).
连续模型中通常有 P(Y=y)=0,所以不能把
P(X∈A∣Y=y) 当作两个事件概率的普通比值。条件密度提供了联合密度存在时的合法版本;更一般的零概率条件需要正则条件分布,本册不以形式比值替代它。
联合密度还给出连续版本的全概率分解:
fX(x)=∫−∞∞fX∣Y(x∣y)fY(y)dy.
条件密度版本描述几乎每个固定层 y 内的取值规律,边缘密度 fY(y) 提供层权重。密度本身只确定到零测集上的修改;若某个 y 处 fY(y)=0,条件密度在该点的具体取值不影响积分,也没有由上述比值唯一指定的逐点数值。
边缘化会丢失依赖信息,条件化则保留“已知 Y 后 X 如何变化”。同一个联合表既能产生边缘,也能产生许多不同的条件分布,这些对象必须按分母和支持分别核对。
随机变量独立性的分布判据
随机变量独立
随机变量 X,Y 独立,是指对所有 Borel 集 A,B 都有
P(X∈A,Y∈B)=P(X∈A)P(Y∈B). 记为 X⊥Y。
离散情形中,独立等价于对全部支持格点满足
pX,Y(x,y)=pX(x)pY(y).
绝对连续且联合密度存在时,几乎处处的因子化
fX,Y(x,y)=fX(x)fY(y) 推出独立。只在一两个点碰巧相等不足以证明独立;应检查整个支持,或直接证明任意 Borel 集的乘法关系。
若 X⊥Y,则在分母为正时
pX∣Y(x∣y)=pX(x),已知 Y 不改变 X 的分布。反过来,如果每个正概率条件切片都保持同一边缘分布,也能得到独立。独立与互斥含义不同:两个正概率事件互斥时交集概率为零,而乘积概率为正,因而不独立。
独立性在分别作用确定可测函数后仍保留:若 X⊥Y,则
g(X)⊥h(Y)。原因是事件 {g(X)∈A} 只来自 X 的原像,事件
{h(Y)∈B} 只来自 Y 的原像,原有事件族的乘法关系仍适用。反方向不成立;例如把所有取值都映为常数会制造独立的退化变量,却无法恢复原变量是否独立。
三个容易混淆的边界
密度值必须落在零和一之间
概率必须位于 [0,1],密度只需非负且总积分为一。窄支持上的密度可以大于一;概率仍由面积给出。
连续变量在某点概率为零,所以不会取到该值
零点概率不等于空事件。连续模型把总概率分散在不可数多个点上,每个单点都可为零,一次实现仍落在其中某点。有限精度仪器报告的“等于某值”通常代表舍入区间。
相同边缘分布不能确定联合分布
令 X 是公平 Bernoulli 变量。取 Y=X 时,两者边缘都公平且完全同向;取
Y=1−X 时,边缘仍公平但完全反向;另取独立公平的 Y 时,四个格点等概率。三种模型的边缘完全相同,联合分布却不同。
判断分布公式时应按对象检查:CDF 看单调性、右连续和两端极限;PMF 看非负与求和;PDF 看非负与积分;联合分布再加边缘和条件核验。把一种对象的条件套到另一种对象上,是许多错误的根源。
练习:分布表示与依赖计算
练习 1:由 PMF 写出带跳跃的 CDF
- 所属知识
- 离散分布与端点
- 难度
- 2/5
随机变量 X 以概率 0.2,0.5,0.3 分别取值 −1,0,2。写出
FX,并计算 P(−1<X≤2)。
查看提示
按 -1、0、2 三个跳点分段,并用右连续决定端点取值。
查看解答
三个概率非负且和为一。CDF 为
FX(x)=⎩⎨⎧0,0.2,0.7,1,x<−1,−1≤x<0,0≤x<2,x≥2. 所求概率为
FX(2)−FX(−1)=1−0.2=0.8. 直接相加 X=0 与 X=2 的质量也得 0.5+0.3=0.8,端点核验一致。
练习 2:归一化一个二次密度
- 所属知识
- 连续密度与积分
- 难度
- 3/5
设
fX(x)={cx(1−x),0,0≤x≤1,其他. 求 c 与 P(X≤1/2)。
查看提示
先计算从零到一的积分,再利用关于 1/2 的对称性复核概率。
查看解答
归一化给出
1=c∫01(x−x2)dx=c(21−31)=6c, 故 c=6。于是
P(X≤21)=6[2x2−3x3]01/2=6(81−241)=21. 密度满足 fX(x)=fX(1−x),左右各占一半,与积分结果一致。
查看解答
Y 的支持为 [0,2]。对 0≤y≤2,
FY(y)=P(−y≤X≤y)=42y=2y. 因此
FY(y)=⎩⎨⎧0,y/2,1,y<0,0≤y<2,y≥2,fY(y)=21(0<y<2). 正、负两个逆支各贡献 1/4。积分
∫02(1/2)dy=1,归一化成立。
练习 4:由联合表读取条件概率
- 所属知识
- 联合、边缘与条件分布
- 难度
- 3/5
联合 PMF 满足
| X | Y=0 | Y=1 |
|---|
| 0 | 0.1 | 0.2 |
| 1 | 0.3 | 0.4 |
求两个边缘 PMF、P(X=1∣Y=1),并判断 X,Y 是否独立。
查看提示
先对行列求和,再用联合格点除以条件事件的边缘概率。
查看解答
行和给出 pX(0)=0.3,pX(1)=0.7;列和给出
pY(0)=0.4,pY(1)=0.6。所以
P(X=1∣Y=1)=0.60.4=32. 独立时格点 (1,1) 应有概率
0.7×0.6=0.42,实际为 0.4,故不独立。四个格点非负且总和为一,联合表本身合法。
练习 5:两两独立不推出相互独立
- 所属知识
- 独立性的层级
- 难度
- 4/5
令 X,Y 是独立公平 Bernoulli 变量,定义
Z=(X+Y)mod2。证明 X,Y,Z 两两独立,但不相互独立。
查看提示
列出两个公平比特的四个等可能结果,并令 Z 表示奇偶和。
查看解答
(X,Y) 的四个取值 (0,0),(0,1),(1,0),(1,1) 各以概率 1/4 出现,对应
Z 分别为 0,1,1,0。因此 Z 也公平。对任意
a,c∈{0,1},固定 X=a 与 Z=c 会唯一确定 Y,联合概率为
1/4=(1/2)(1/2),故 X⊥Z;同理 Y⊥Z,而
X⊥Y 已知。
然而事件 {X=0,Y=0,Z=0} 的概率为 1/4,三个边缘概率乘积为
1/8,二者不等,所以三者不相互独立。等式
Z=(X+Y)mod2 也表明第三个变量由前两个完全决定。
概念之间的承接
随机变量与分布的进一步学习
课程 · 2013MIT 6.041SC Probabilistic Systems Analysis and Applied Probability
John Tsitsiklis
课程包含讲授、习题、解答和考试,适合系统检验概率计算。
打开官方来源
MIT 6.041SC 的公开课程材料覆盖离散与连续随机变量、分布和密度、多个随机变量以及条件化。阅读时可用本章四项对象检查逐条核对课程例题:合法支持、归一化、边缘化和条件分母。
书籍 · 2023Introductory Statistics 2e
Barbara Illowsky, Susan Dean
提供大量分步例题和练习,适合核对分布、样本统计量、置信区间、假设检验和简单线性回归的基础计算与解释。
打开官方来源
OpenStax 开放教材第 3–4 章提供概率、离散随机变量、期望和标准差的分步算例。它适合复算概率表与分布图;本章关于 Borel 可测性、推前测度和一般分支换元的严格条件仍以概率课程材料和正文推导为准。
两项资源承担不同职责:前者适合沿概率模型的理论结构继续学习,后者提供分步数值语境。阅读外部算例时,仍可依次检查支持、归一化、变量变换和边缘化,确认所用对象与公式条件一致。
下一章:从分布到矩
分布函数保留全部一维概率信息,联合分布保留变量之间的依赖;实际推导常需要更紧凑的数值摘要。下一章以
期望、方差与协方差
为主线,先检查矩的存在条件,再研究线性性、单位、条件期望和全方差。联合分布仍是计算乘积期望、协方差与条件矩的基础,不能在进入下一章后省略。