计量经济学学习与Stata应用笔记(一)概率统计回顾

记录一下个人计量经济学学习的笔记。

第二章 概率统计

这一章主要是复习本科概率论与应用统计的部分知识。

概率与条件概率

条件概率

P ( A ∣ B ) = P ( A ∩ B ) P ( B ) P(A|B)=\frac {P(A\cap B)}{P(B)} P(A∣B)=P(B)P(A∩B)​

全概率公式

P ( A ) = ∑ i = 1 n P ( B i ) P ( A ∣ B i ) P(A)=\sum_{i=1}^n P(B_i)P(A|B_i) P(A)=i=1∑n​P(Bi​)P(A∣Bi​)

分布与条件分布

分布

F ( x ) = ∫ − ∞ x f ( t ) d t F(x)=\int_{-\infty}^x f(t)\,{\rm d}t F(x)=∫−∞x​f(t)dt

多维随机向量的概率分布

f x ( x ) = ∫ − ∞ ∞ f ( x , y ) d y f_x(x)=\int_{-\infty}^{\infty} f(x,y)\,{\rm d}y fx​(x)=∫−∞∞​f(x,y)dy
F ( x , y ) = ∫ − ∞ x ∫ − ∞ y f ( t , s ) d t d s F(x,y)=\int_{-\infty}^{x} \int_{-\infty}^{y} f(t,s)\, {\rm d}t{\rm d}s F(x,y)=∫−∞x​∫−∞y​f(t,s)dtds

随机变量的数字特征

期望（expectation)

E ( x ) = μ = ∫ − ∞ ∞ x f ( x ) d x E(x)=\mu =\int_{-\infty}^{\infty} xf(x)\,{\rm d}x E(x)=μ=∫−∞∞​xf(x)dx

方差 (variance)

V a r ( X ) = σ 2 = E [ X − E ( X ) 2 ] = E ( X 2 ) − [ E ( X ) ] 2 Var(X)=\sigma^2 =E[X-E(X)^2]=E(X^2)-[E(X)]^2 Var(X)=σ2=E[X−E(X)2]=E(X2)−[E(X)]2

协方差（covariance）

C o v ( X , Y ) = E [ ( X − E ( X ) ) ( Y − E ( Y ) ) ] = E ( X Y ) − E ( X ) E ( Y ) = σ X Y Cov(X,Y)=E[(X-E(X))(Y-E(Y))]=E(XY)-E(X)E(Y)=\sigma_{XY} Cov(X,Y)=E[(X−E(X))(Y−E(Y))]=E(XY)−E(X)E(Y)=σXY​
$Cov(X,Y)>0$则$X$与$Y$正相关，反之则负相关。

相关系数（correlation）

协方差反映了两个变量之间的相关性，即$X$的取值会对$Y$的取值有多大的影响。而为了反映这一影响的大小程度，采用了排除随机变量计量单位的相关系数$\rho$。
ρ = C o r r ( X , Y ) = C o v ( X , Y ) V a r ( X ) V a r ( Y ) = σ X Y σ X σ Y \rho=Corr(X,Y)=\frac{Cov(X,Y)}{\sqrt{Var(X)Var(Y)}}=\frac{\sigma_{XY}}{\sigma_X \sigma_Y} ρ=Corr(X,Y)=Var(X)Var(Y) ​Cov(X,Y)​=σX​σY​σXY​​
可以证明$-1\le \rho \le 1$。

矩（moment）

主要考虑原点矩与中心矩。一阶原点矩为$E(X)$即期望，二阶中心矩为 E [ X − E ( X ) ] 2 E[X-E(X)]^2 E[X−E(X)]2即方差。

偏度（skewness）

偏度为标准化后的三阶中心矩 E [ ( X − μ / σ ) ] 3 E[(X-\mu /\sigma)]^3 E[(X−μ/σ)]3，其反映了密度函数的不对称性。对称分布的随机变量偏度为0（如正态分布）。

峰度（kurtosis）

峰度为标准化后的四阶中心矩 E [ ( X − μ / σ ) ] 4 E[(X-\mu /\sigma)]^4 E[(X−μ/σ)]4，其反映了密度函数的最高处的“尖”与尾部的“厚”。
正态分布的峰度为3。若随机变量X的峰度大于3，则其最高处比正态分布更尖，尾部比正态分布更厚。
定义超额峰度为 E [ ( X − μ / σ ) ] 4 − 3 E[(X-\mu /\sigma)]^4-3 E[(X−μ/σ)]4−3，可用于检验某个分布是否是正态分布。

条件期望与条件方差

条件期望就是条件分布$Y|x$的期望。
E ( Y ∣ X = x ) = E ( Y ∣ x ) = ∫ − ∞ ∞ y f ( y ∣ x ) d y E(Y|X=x)=E(Y|x)=\int_{-\infty}^\infty yf(y|x)\, {\rm d}y E(Y∣X=x)=E(Y∣x)=∫−∞∞​yf(y∣x)dy
同理，条件方差就是条件分布$Y|x$的方差。
V a r ( Y ∣ X = x ) = V a r ( Y ∣ x ) = ∫ − ∞ ∞ [ y − E ( Y ∣ x ) ] 2 f ( y ∣ x ) d y Var(Y|X=x)=Var(Y|x)=\int_{-\infty}^\infty [y-E(Y|x)]^2f(y|x)\, {\rm d}y Var(Y∣X=x)=Var(Y∣x)=∫−∞∞​[y−E(Y∣x)]2f(y∣x)dy
在以上两式中，要注意由于$y$已经在积分中被积掉，条件期望与条件方差只是$x$的函数。

正定与半正定

对于$n\times n$对称矩阵 A \pmb A AAA，如果对任意$n$维非零列向量 c \pmb c ccc，都有二次型 c T A c ≥ 0 \pmb c^T\pmb {Ac}\ge0 cccTAcAcAc≥0，则 A \pmb A AAA为半正定矩阵。
对于$n\times n$对称矩阵 A \pmb A AAA，如果对任意$n$维非零列向量 c \pmb c ccc，都有二次型 c T A c ≥ 0 \pmb c^T\pmb {Ac}\ge0 cccTAcAcAc≥0，则 A \pmb A AAA为正定矩阵。
半负定与负定的定义类似。

协方差矩阵

设 X = ( X 1 , X 2 … X n ) T \pmb X=(X_1,X_2\ldots X_n )^T XXX=(X1​,X2​…Xn​)T为$n$维随机向量，则定义其协方差矩阵为
C o v ( X ) = V a r ( X ) = E [ ( X − E ( X ) ) ( X − E ( X ) ) T ] = [ σ 11 ⋯ σ 1 n ⋮ ⋮ σ n 1 ⋯ σ n n ] Cov(\pmb X)=Var(\pmb X)=E[(\pmb X-E(\pmb X))(\pmb X-E(\pmb X))^T]\\ =\begin{bmatrix} \sigma_{11}&\cdots&\sigma_{1n}\\ \vdots& &\vdots\\ \sigma_{n1}&\cdots&\sigma_{nn} \end{bmatrix} Cov(XXX)=Var(XXX)=E[(XXX−E(XXX))(XXX−E(XXX))T]=⎣⎢⎡​σ11​⋮σn1​​⋯⋯​σ1n​⋮σnn​​⎦⎥⎤​
协方差矩阵为对称半正定矩阵，其中主对角线元素 σ i i = V a r ( X i ) \sigma_{ii}=Var(X_i) σii​=Var(Xi​)。可以证明：

1. E ( A X ) = A E ( X ) E(\pmb {AX})=\pmb AE(\pmb X) E(AXAXAX)=AAAE(XXX)
2. V a r ( X ) = E ( X X T ) − E ( X ) [ E ( X ) T ] Var(\pmb X)=E(\pmb X \pmb X^T)-E(\pmb X)[E(\pmb X)^T] Var(XXX)=E(XXXXXXT)−E(XXX)[E(XXX)T]
3. V a r ( A X ) = A V a r ( X ) A T Var(\pmb{AX})=\pmb AVar(\pmb X)\pmb A^T Var(AXAXAX)=AAAVar(XXX)AAAT

迭代期望定律

E ( Y ) = E X [ E ( Y ∣ x ) ] E(Y)=E_X[E(Y|x)] E(Y)=EX​[E(Y∣x)]
无条件期望$E(Y)$等于给定$X=x$情况下$Y$的条件期望$E(Y|x)$再对$x$求期望。
进一步地，对于任意函数$g$
E [ g ( Y ) ] = E X E [ g ( Y ) ∣ x ] E[g(Y)]=E_XE[g(Y)|x] E[g(Y)]=EX​E[g(Y)∣x]
当期望算子 E X E_X EX​下标被省去时要注意求期望的对象。

随机变量无关的三个层次概念

注意三个概念的关系，不能反推。
相互独立$\Rightarrow$均值独立$\Rightarrow$线性不相关

1. 相互独立： f ( x , y ) = f x ( x ) f y ( y ) f(x,y)=f_x(x)f_y(y) f(x,y)=fx​(x)fy​(y)
2. 均值独立：$E(Y|x)=E(Y)$，条件期望$E(Y|x)$不依赖于$X$的值，注意这种关系不是对称的关系。
3. 线性不相关：$Cov(X,Y)=0$

常用连续型统计分布

1. 正态分布
2. 卡方分布: $Z$~$N(0,1)$，则 Z 2 Z^2 Z2~ χ 2 ( 1 ) \chi^2(1) χ2(1)。卡方自由度取决于正态分布平方和的数目。
3. $t$分布:$Z$~$N(0,1)$，$Y$~ χ 2 ( k ) \chi^2(k) χ2(k)，且$Z$与$Y$相互独立，则 Z Y / k \frac Z{\sqrt{Y/k}} Y/k ​Z​~$t(k)$。
4. $F$分布： Y 1 Y_1 Y1​~ χ 2 ( k 1 ) \chi^2(k_1) χ2(k1​)， Y 2 Y_2 Y2​~ χ 2 ( k 2 ) \chi^2(k_2) χ2(k2​)，且 Y 1 Y_1 Y1​与 Y 2 Y_2 Y2​相互独立，则 Y 1 / k 1 Y 2 / k 2 \frac {Y_1/k_1}{Y_2/k_2} Y2​/k2​Y1​/k1​​~ F ( k 1 , k 2 ) F(k_1,k_2) F(k1​,k2​)。

习题

2.2 证明：
C o v ( X , Y + Z ) = E [ X ( Y + Z ) ] − E ( X ) E ( Y + Z ) = E ( X Y ) + E ( X Z ) − E ( X ) E ( Y ) − E ( X ) E ( Z ) = C o v ( X , Y ) + C o v ( X , Z ) \begin{aligned}Cov(X,Y+Z)=&E[X(Y+Z)]-E(X)E(Y+Z)\\ =&E(XY)+E(XZ)-E(X)E(Y)-E(X)E(Z)\\ =&Cov(X,Y)+Cov(X,Z)\end{aligned} Cov(X,Y+Z)===​E[X(Y+Z)]−E(X)E(Y+Z)E(XY)+E(XZ)−E(X)E(Y)−E(X)E(Z)Cov(X,Y)+Cov(X,Z)​
2.3 证明：
E ( Y ∣ x ) = ∫ − ∞ ∞ y f ( x , y ) f ( x ) d y = ∫ − ∞ ∞ y f ( x ) f ( y ) f ( x ) d y = ∫ − ∞ ∞ y f ( y ) d y = E ( Y ) \begin{aligned}E(Y|x)=&\int_{-\infty}^{\infty}\frac{yf(x,y)}{f(x)}\,{\rm d}y\\ =&\int_{-\infty}^{\infty}\frac{yf(x)f(y)}{f(x)}\,{\rm d}y\\ =&\int_{-\infty}^{\infty}yf(y)\,{\rm d}y\\ =& E(Y)\end{aligned} E(Y∣x)====​∫−∞∞​f(x)yf(x,y)​dy∫−∞∞​f(x)yf(x)f(y)​dy∫−∞∞​yf(y)dyE(Y)​
2.4 考虑到 X = Z Y / k X=\frac Z{\sqrt{Y/k}} X=Y/k ​Z​~$t(k)$， X 2 = Z 2 Y / k X^2=\frac {Z^2}{Y/k} X2=Y/kZ2​~$t(k)$, Z 2 Z^2 Z2~ χ 2 ( 1 ) \chi^2(1) χ2(1), $Y$~ χ 2 ( k ) \chi^2(k) χ2(k)，根据$F$分布的定义有 X 2 X^2 X2~$F(1,k)$。

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！