天天实时：[概率论与数理统计]笔记：2.2 随机变量的数字特征

手机

iphone11大小尺寸是多少？苹果iPhone11和iPhone13的区别是什么？

警方通报辅警执法直播中被撞飞：犯罪嫌疑人已投案

家电

天天实时：[概率论与数理统计]笔记：2.2 随机变量的数字特征

2023-01-04 20:05:47 来源：博客园

2.2 随机变量的数字特征

离散型随机变量的数学期望

设离散型随机变量\(X\)的可能值为\(x_i(i=1,2,\cdots)\)，其概率分布为

\[P\{X=x_i\}=p_i,\quad i=1,2,\cdots,\]

若\(\sum\limits_{i=1}^\infty x_ip_i\)绝对收敛，则记\(E(X)=\sum\limits_{i=1}^\infty x_ip_i\)为随机变量\(X\)的数学期望。

连续型随机变量的数学期望

推导过程

设\(X\)是连续型随机变量，密度函数为\(f(x)\).

【资料图】

根据密度函数的特点，有：

\[P\{x_i其中，\(\Delta x_i=x_{i+1}-x_i\)趋向于\(0\).

因而，概率分布为：

\(x_i\)	\(x_0\)	\(x_1\)	\(\cdots\)	\(x_n\)
\(p_i\)	\(f(x_0)\Delta x_0\)	\(f(x_1)\Delta x_1\)	\(\cdots\)	\(f(x_n)\Delta x_n\)

将其视为\(X\)的离散近似，而离散型随机变量的数学期望为：

\[\sum\limits_{i=0}^nx_if(x_i)\Delta x_i\]

当\(\Delta x_i \to0\)时，根据定积分的定义，上述和式以定积分：

\[\int_a^b xf(x)dx\]

为极限（如果积分存在），于是该定积分的值便是连续型随机变量\(X\)的数学期望。

定义

若\(X\)为连续型随机变量，\(f(x)\)为其密度函数，如果广义积分：

\[\int_{-\infty}^{+\infty}xf(x)dx\]

绝对收敛，则称\(E(X)=\int_{-\infty}^{+\infty}xf(x)dx\)为随机变量\(X\)的数学期望。

随机变量函数的数学期望

一元函数

设\(X\)为随机变量，\(Y=g(X)\)是随机变量函数.

\(E(X)\)	\(E(Y)\)
离散	\(\sum\limits_ix_ip_i\)	\(\sum\limits_ig(x_i)p_i\)
连续	\(\int_{-\infty}^{+\infty}xf(x)dx\)	\(\int_{-\infty}^{+\infty}g(x)f(x)dx\)

为什么连续型随机变量函数的数学期望只将\(x\)改为\(g(x)\)，而\(f(x)\)不用改？
解析：数学期望可以简单概括为\((变量的值\times概率)\)的和式，根据上文中连续型随机变量的数学期望的推导过程，\(f(x)\)属于概率的部分，而随机变量函数其实只改变了变量的值这一部分，所以只将式子前面的\(x\)改为\(g(x)\).

二元函数

设\(X,Y\)为随机变量，\(Z=g(X,Y)\)是二元随机变量函数。

离散

\[E(Z)=\sum\limits_i\sum\limits_jg(x_i,y_j)p_{ij}\]

举例：

\(X\quad\backslash\quad Y\)	0	1	2
1	0.1	0.1	0.2
2	0.2	0.2	0.2

设\(Z=X-Y\)，则：

\[\begin{align*}E(Z)=&\ (1-0)\times0.1+(1-1)\times0.1+(1-2)\times0.2\\&\ (2-0)\times0.2+(2-1)\times0.2+(2-2)\times0.2\\=&\ 0.5\end{align*}\]

连续

二元连续型随机变量函数的数学期望需要计算二重积分：

\[E(Z)=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}g(x,y)f(x,y)\mathrm{d}x\mathrm{d}y\]

数学期望的性质

\(E(C)=C\)，其中\(C\)为常数.
\(E(kX+b)=k\cdot E(X)+b\).
\(E(X\pm Y)=E(X)\pm E(Y)\).
\(E(\sum\limits_i C_iX_i)=\sum\limits_i C_iE(X_i)\)
\(E(\frac{1}{n}\sum\limits_i X_i)=\frac{1}{n}\sum\limits_i E(X_i)\)
若\(X,Y\)独立，有\(E(XY)=E(X)\cdot E(Y)\)

条件期望

定义

一个变量取了某值之后，另一变量的数学期望。

离散：

\(E(X|Y=y_j)=\sum\limits_i x_iP(X=x_i|Y=y_j)\)
\(E(Y|X=x_i)=\sum\limits_j y_jP(Y=y_j|X=x_i)\)

连续：

\(E(X|Y=y)=\int_{-\infty}^{+\infty}xf(x|y)dx\)（计算结果带有\(y\)）
\(E(Y|X=x)=\int_{-\infty}^{+\infty}yf(y|x)dy\)（计算结果带有\(x\)）

随机变量的方差

方差的定义

方差描述了一组数据的偏离程度，计算每个值与平均值的距离\(\frac{1}{n}\sum|x_i-\overline{x}|\)，使用绝对值是为了描述偏离的距离(非负值)，但是绝对值的计算是复杂的，使用平方会更简便：\(\frac{1}{n}\sum(x_i-\overline{x})^2\).

随机变量的方差

离差：\(X-EX\)
方差：\(D(X)=E(X-EX)^2\)
标准差：\(\sqrt{DX}\)

\(X\)是随机变量，离差\(X-EX\)也是一个随机变量，为了消除正负符号影响并且考虑计算方便，使用\((X-EX)^2\)来衡量\(X\)对\(EX\)的偏离，从而方差\(D(X)=E(X-EX)^2\)即为\(X\)对\(EX\)的平均偏离。

计算

离散型：

\[DX=E(X-EX)^2=\sum\limits_i(x_i-EX)^2p_i\]

连续型：

\[DX=E(X-EX)^2=\int_{-\infty}^{+\infty}(x-EX)^2f(x)dx\]

常用计算公式：

\[DX=E(E-EX)^2=EX^2-(EX)^2\]

证明：

\[\begin{align*}\quad E(X-EX)^2 &= E[X^2-2X\cdot EX+(EX)^2] \\&= EX^2-2EX\cdot EX + (EX)^2 \quad \quad \quad (*)\\&= EX^2 - (EX)^2\end{align*}\]

步骤\((*)\)使用了数学期望的性质，这里将\(X\)视为变量，将\(EX\)视为常数，直接提出。

性质

\(D(a)=0\)

\[D(a)=E(a^2)-(Ea)^2=a^2-a^2=0\]

\(D(X+a)=DX\)

\[\begin{align*}D(X+a)&= E(X+a-E(X+a))^2 \\&= E(X+a-EX-a)^2 \\&= E(X-EX)^2 \\&= DX\end{align*}\]

\(D(aX)=a^2DX\)

\[\begin{align*}D(aX)&= E(aX-E(aX))^2 \\&= E(aX-aEX)^2 \\&= E[a^2(X-EX)^2] \\&= a^2E(X-EX)^2 \\&= a^2 DX\end{align*}\]

\(D(kX+b)=k^2DX\)

结合上面两个性质即可证明.

若\(X,Y\)独立，有\(D(X\pm Y)=DX+DY\)

这个性质有两点要注意：
在数学期望的性质中有类似的性质：\(E(X\pm Y)=EX\pm EY\)是在任何时候都成立，而方差的性质需要前提条件：\(X,Y\)独立
数学期望的性质的数学符号是\(\pm\)拆开来也是\(\pm\)，但是方差的性质的符号，内部是\(\pm\)，分开后的符号都是\(+\).

证明：

\[D(X\pm Y)=E(X\pm Y-E(X\pm Y))^2=E(X\pm Y- EX\mp EY)^2\]

这一步主要在于将\(E(X\pm Y)\)拆分，注意符号变化\(\pm\to\mp\).

\[上式= E((X-EX)\pm(Y-EY))^2\]

这一步的关键在于将上一步中的\(\pm Y\mp EY\)合并成\(\pm(Y-EY)\)，这里虽然有两个正负号，但是并不是有4种情况（\(++,+-,-+,--\)）。
事实上，从源头\(D(X\pm Y)\)看来，只有两种情况，再沿着计算步骤算下来，也只有两种情况：
\(+Y-EY\)
\(-Y+EY\)
所以可以合并为\(\pm(Y-EY)\).

\[上式 = E[(X-EX)^2\pm2(X-EX)(Y-EY)+(Y-EY)^2]\]

这一步就是简单的二项式展开。

\[\begin{align*}上式&= E(X-EX)^2+E(Y-EY)^2\pm2E[(X-EX)(Y-EY)] \\&= DX+DY\pm2E[(X-EX)(Y-EY)] \end{align*}\]

利用数学期望的性质展开。
显然，接下来只需要证明\(E[(X-EX)(Y-EY)]=0\)。
此时，因为前提条件为\(X,Y\)独立，根据数学期望的性质有：\(E(XY)=EX\cdot EY\)

\[\begin{align*}E[(X-EX)(Y-EY)]&= E(XY-X\cdot EY-Y\cdot EX+EX\cdot EY)\\&= E(XY)-EX\cdot EY-EX\cdot EY+EX\cdot EY \\&= EX\cdot EY-EX\cdot EY-EX\cdot EY+EX\cdot EY \\&= 0\end{align*}\]

综上，当\(X,Y\)独立时，有\(D(X\pm Y)=DX+DY\).

\(DX=0\Leftrightarrow P\{X=EX\}=1\)

标准化随机变量

定义

标准化随机变量(standardized random variable)是指经过处理，从而具有一些较好性质的随机变量。设\(X\)为随机变量，称\(X^*=\frac{X-EX}{\sqrt{DX}}\)为标准化随机变量。

性质

数学期望为0.

\[EX^*=E(\frac{X-EX}{\sqrt{DX}})=\frac{1}{\sqrt{DX}}(EX-EX)=0\]

方差为1.

\[DX^*=D(\frac{1}{\sqrt{DX}(X-EX)})=\frac{1}{DX}D(X-EX)=\frac{1}{DX}DX=1\]

\(EX,DX\)视为常数.

随机变量的矩

原点矩

定义

\(X\)为随机变量，\(k\)为正整数，如果\(EX^k\)存在（即绝对收敛），则称\(EX^k\)为\(X\)的\(k\)阶原点矩，称\(E|X|^k\)为\(X\)的\(k\)阶绝对矩。

标准化后的三阶矩：\(S=E(\frac{X-EX}{\sqrt{DX}})^3\)称为\(X\)的分布的偏度（skewness），用来比较不同分布的非对称程度。
标准化后的四阶矩：\(K=E(\frac{X-EX}{\sqrt{DX}})^4\)称为\(X\)的分布的峰度(kurtosis)，用来比较分布的扁平程度。

计算

离散：\(\sum x_i^kp_i\)
连续：\(\int_{-\infty}^{+\infty}x^kf(x)dx\)

定理

若随机变量\(X\)的 \(t\) 阶矩存在，则其 \(s\) 阶矩也存在。( \(s

推论

设\(k\)为正整数，\(C\)为常数，如果\(EX^k\)存在，则\(E(X+C)^k\)存在，\(E(X-EX)^k\)存在.

中心距

定义

\(X\)为随机变量，\(k\)为正整数，如果\(EX^k\)存在，则称\(E(X-EX)^k\)为\(X\)的\(k\)阶中心距，称\(E|X-EX|^k\)为\(X\)的\(k\)阶绝对中心距。

数学期望是\(X\)的一阶原点矩。
方差是\(X\)的二阶中心矩。
如果\(EX^2<\infty\)，则\(X\)的数学期望和方差都存在。

计算

离散：\(\sum(x_i-EX)^kp_i\)
连续：\(\int_{-\infty}^{+\infty}(x-EX)^kf(x)dx\)

与矩相关的不等式

定理

设\(h(x)\)是\(x\)的一个非负函数，\(X\)是一个随机变量，且\(Eh(X)\)存在，则对任意\(\varepsilon>0\)，有

\[P\{h(X)\ge\varepsilon\}\le\frac{Eh(x)}{\varepsilon}\]

推论

推论1（马尔可夫不等式）设\(X\)的\(k\)阶矩存在（\(k\)为正整数），即\(E|X|^k<\infty\)，则对任意\(\varepsilon>0\)有

\[P\{|X|\ge \varepsilon\}\le\frac{E|X|^k}{\varepsilon^k}\]

推论2（切比雪夫不等式）设\(X\)的方差存在，则对任意\(\varepsilon>0\)有

\[P\{|X-EX|\ge\varepsilon\}\le\frac{DX}{\varepsilon^2}\]

推论3随机变量\(X\)的方差为0当且仅当存在一个常数\(a\)，使得\(P\{X=a\}=1\)，且该常数\(a=EX\).

使用教材：《概率论与数理统计》第四版中国人民大学龙永红主编高等教育出版社

关键词：随机变量数学期望绝对收敛