数一概率论 第七章：参数估计

概率论 第七章：参数估计

通过样本来估计总体的参数，称为参数估计。

7.1 参数的点估计

点估计， 就是从样本出发构造适当的统计量$\hat θ_i=\hat θ_i(X_1,X_2,…,X_n)$作为未知参数$θ_i$的估计量，$i=1,2,…,k$。当取得样本观测值$(x_1,x_2,…,x_n)$后，就用$\hat θ_i=\hat θ_i(x_1,x_2,…,x_n)$作为未知参数$θ_i$的估计值，$i=1,2,…,k$。$θ_i$的估计量和$θ_i$的估计值统称为$θ_i$的估计。

7.1.1 矩估计法

思想：样本矩$\stackrel p →$总体矩

具体做法：设总体$X$含有$k$个未知参数$θ_1,…,θ_k$，且$X$的$m$阶原点矩$α_m=E(X^m)$存在，$m=1,2,…,k$，一般来说，$α_m$是总体参数$θ_1,…,θ_k$的函数，记之为$α_m(θ_1,…,θ_k)$，令

$$\begin{cases} α_1(θ_1,...,θ_k)=A_1\\ α_2(θ_1,...,θ_k)=A_2\\ .............\\ α_3(θ_1,...,θ_k)=A_k\\ \end{cases}$$

解此方程组，其解都是样本的函数，记为

$$\hat θ_i=\hat θ_i(X_1,X_2,...,X_n),i=1,2,...,k,$$

$\hat θ_i$就是$θ_i$的矩估计量，对于一次具体的样本值$(x_1,x_2,…,x_n)$，$\hat θ_i(x_1,x_2,…,x_n)$就是参数$θ_i$的矩估计值，$i=1,2,…,k,$

无论总体$X$的分布类型如何，样本均值$\overline X$是总体均值$μ$的矩估计，并且无偏。

样本二阶中心矩是总体方差的矩估计，但不是总体方差的无偏估计，样本方差是总体方差的无偏估计。

7.1.2 最大似然估计法

设总体$X$的概率分布为$f(x;θ)$，$θ=(θ_1,θ_2,…,θ_k)$为未知参数，$(X_1,X_2,…,X_n)$是从该总体中抽取的样本，则他们的联合概率分布为：

$$L(x_1,x_2,...,x_n;θ)=\prod_{i=1}^{n}f(x_i;θ),$$

这里$θ$被看作是未知的参数。反过来，如果我们把$(x_1,x_2,…,x_n)$看作固定的，而$θ$可以变换，则$L(x_1,x_2,…,x_n;θ)$就是参数$θ$的函数，记为：

$$L(θ)=L(x_1,x_2,...,x_n;θ)=\prod_{i=1}^{n}f(x_i;θ),$$

称函数$L(θ)$为$θ$的似然函数。

用样本$(x_1,x_2,…,x_n)$估计未知参数$θ$，就是选择使似然函数达到最大值的点$\hat θ$作为未知参数的估计，这就是最大似然估计。

$l(θ)=ln L(θ)$（对数似然函数，与$L(θ)$有相同的最大值点）

对数似然方程组:

$$\frac {\partial l(θ)}{\partial θ_i}=0,i=1,2,...,k$$

过程：
①. 似然函数：$L(x_1,x_2,…,x_n;θ)=\prod_{i=1}^{n}f(x_i;θ)$
②. 取对数：$l(θ)=ln L(θ)$
③. 求导：$\frac {\partial l(θ)}{\partial θ_i}=0,i=1,2,…,k$，对数似然方程组
④. 求解方程组

最大似然估计的性质：

设$\hat \theta$是总体$X$的概率密度或分布律中未知参数$\theta$的最大似然估计，$\theta$的函数$u=u(\theta)$具有单值的反函数$\theta=\theta(u)$，则$\hat u=u(\hat \theta)$是$u(\theta)$的最大似然估计。

7.2 估计量的优良性准则

7.2.1 无偏性

$E(\hat θ)=θ$,对一切$θ$成立，则称$\hat θ$为$θ$的无偏估计量。
定理：$E(\overline X)=μ$，$E(S^2)=σ^2$
无偏估计对应的线性函数也是无偏估计。

7.2.2 有效性

$D(\hat θ_1)<D(\hat θ_2)$，则称$θ_1$比$θ_2$有效。

7.2.3 相合估计

设$\hat θ_n=\hat θ_n(X_1,X_2,…,X_n)$是未知参数$θ$估计序列，若$\hat θ_n$依概率收敛于$θ$，即对任意$ε>0$，恒有

$$lim_{n→\infty}P\{|\hat θ_n-θ|<ε\}=1$$

则称$\hat θ_n$是$θ$的相合估计量 或 一致估计量。 (利用切比雪夫不等式证明)

7.3 区间估计

7.3.1 区间估计的基本概念

定义：设$θ$为总体中的未知参数，$(X_1,X_2,…,X_n)$是从总体中抽取的样本，如果存在两个估计量$\hat θ_1=\hat θ_1(X_1,X_2,…,X_n)$和$\hat θ_2=\hat θ_2(X_1,X_2,…,X_n)$，对于给定的$α(0<α<1)$，有

$$P\{\hat θ_1<θ<\hat θ_2\}≥1-α$$

则称区间$(\hat θ_1,\hat θ_2)$为参数$θ$的置信度 或 置信水平至少为$1-α$的置信区间。
（总体均值$μ$置信度为95%的置信区间为$(\hat θ_1,\hat θ_2)$的含义是：区间$(\hat θ_1,\hat θ_2)$含有总体均值$μ$的真值的概率为95%）

构造置信区间的方法——枢轴量法：
（1）. 对称区间长度最短，精度最高。
（2）. 不对称分布习惯上仍取对称的分位点。

常见的上侧分位数等式：

①. $X\sim N(0,1),P\{X≥Z_α\}=α,0<α<1$，对称；
当$α≤0.5$，$Φ(x_α)=1-α$，
当$α＞0.5$，$Z_α=-Z_{1-α}$。

②. $T\sim t_n,P\{T≥t_n(α)\}=α,0<α<1: t_n(1-α)=-t_n(α)$，对称；

③. $χ^2\sim χ^2_n,P(χ^2>χ^2_n(α))=α,0<α<1$，不对称；

④. $F\sim F_{n,m},P\{F≥F_{n,m}(α)\}=α,0<α<1: F_{n,m}(1-α)=\frac 1 {F_{m,n}(α)}$，倒数

7.3.2 单个正态总体参数的置信区间

求均值$μ$的置信区间

①. $σ^2$已知
$\overline X$是$μ$的无偏估计：

$$\overline X\sim N(μ,\frac{σ^2}n)$$

构造枢轴量：

$$Z=\frac {\overline X -μ}{σ/\sqrt n}\sim N(0,1)$$

对于给定$1-α$：

$$P\{|\frac {\overline X -μ}{σ_0/\sqrt n}|<Z_{\frac α 2}\}=1-α$$

置信区间为：

$$(\overline X-\frac {Z_{\frac α 2}σ_0}{\sqrt n},\overline X+\frac {Z_{\frac α 2}σ_0}{\sqrt n})$$

②. $σ^2$未知：
构造枢轴量：

$$T=\frac {\overline X -μ}{S/\sqrt n}\sim t_{n-1}$$

置信区间为：

$$(\overline X-\frac {t_{n-1}(\frac α 2)S}{\sqrt n},\overline X+\frac {t_{n-1}(\frac α 2)S}{\sqrt n})$$

求$σ^2$的置信区间

$μ$未知：

$$χ^2=\frac {(n-1)S^2}{σ^2}\sim χ^2_{n-1}$$

置信区间为：

$$(\frac {(n-1)S^2}{χ^2_{n-1}(α/2)},\frac {(n-1)S^2}{χ^2_{n-1}(1-α/2)})$$

7.3.3 两个正态总体参数的置信区间

求$μ_1-μ_2$的置信区间

①. $σ_1^2,σ_2^2$已知
枢轴量：

$$Z=\frac {(\overline X-\overline Y)-(μ_1-μ_2)}{\sqrt{\frac {σ_1^2} m+\frac {σ_2^2} n}}\sim N(0,1)$$

置信区间：

$$(\overline X-\overline Y-Z_{\frac α 2}{\sqrt{\frac {σ_1^2} m+\frac {σ_2^2} n}},\overline X-\overline Y+Z_{\frac α 2}{\sqrt{\frac {σ_1^2} m+\frac {σ_2^2} n}})$$

②. $σ_1^2,σ_2^2$未知
枢轴量：

$$\frac {(\overline X-\overline Y)-(μ_1-μ_2)}{\sqrt{\frac 1 n+\frac 1 m}\sqrt{\frac {(n-1)S_1^2+(m-1)S_2^2}{n+m-2}}}\sim t_{n+m-2}$$

置信区间：

$$(\overline X-\overline Y-t_{n+m-2}(\frac{\alpha}2){\sqrt{\frac {1} m+\frac {1} n}}S_w,\overline X-\overline Y+t_{n+m-2}(\frac{\alpha}2){\sqrt{\frac {1} m+\frac {1} n}}S_w)$$

其中$S_w=\sqrt{\frac {(n-1)S_1^2+(m-1)S_2^2}{n+m-2}}$

③. 当$σ_1^2\neσ_2^2$未知，且$m=n$
令$Z=X-Y$，则$Z\sim N(μ_1-μ_2,σ_1^2+σ_2^2)$。
置信区间：

$$(\overline Z-t_{n-1}(\frac α 2)\frac {S_z}{\sqrt n},\overline Z+t_{n-1}(\frac α 2)\frac {S_z}{\sqrt n})$$

此时$\overline Z=\overline X-\overline Y$，$S_z^2=\frac 1 {n-1}\sum_{i=1}^n(Z_i-\overline Z)^2=S_1^2+S_2^2-2S_{12}^2$，$S_{12}=\frac 1{n-1}\sum_{i=1}^n[(X_i-\overline X)(Y_i-\overline Y)]$。

④. 当$σ_1^2≠σ_2^2$未知，$m$与$n$都充分大
此时$S_1^2 \stackrel P →σ^2_1$，$S_2^2 \stackrel P →σ^2_2$
枢轴量：

$$Z=\frac {(\overline X-\overline Y)-(μ_1-μ_2)}{\sqrt{\frac {S_1^2} m+\frac {S_2^2} n}}\sim N(0,1)$$

置信区间：

$$(\overline X-\overline Y-Z_{\frac α 2}{\sqrt{\frac {S_1^2} m+\frac {S_2^2} n}},\overline X-\overline Y+Z_{\frac α 2}{\sqrt{\frac {S_1^2} m+\frac {S_2^2} n}})$$

求$σ^2_1/σ^2_2$的置信区间

枢轴量：

$$F=\frac {S_2^2/σ^2_2}{S_1^2/σ^2_1}\sim F_{n-1,m-1}$$

置信区间：

$$(F_{n-1,m-1}(1-\frac α 2)\frac {S_1^2}{S_2^2},F_{n-1,m-1}(\frac α 2)\frac {S_1^2}{S_2^2})$$

7.3.5 单侧置信区间

$σ^2$未知，求$μ$的单侧置信区间：
枢轴量与双侧相同：

$$T=\frac {\overline X -μ}{S/\sqrt n}\sim t_{n-1}$$

对给定置信度$1-α$

$$P\{T<t_{n-1}(α)\}=1-α$$

置信区间为：

$$(\overline X -t_{n-1}(α)\frac S {\sqrt n},+\infty)$$

另外

$$t_{n-1}(α)=-t_{n-1}(1-α)$$

对于给定置信度$1-α$

$$P\{T>-t_{n-1}(α)\}=1-α$$

置信区间为：

$$(-\infty,\overline X +t_{n-1}(α)\frac S {\sqrt n})$$