充分统计量
-
定义: 设样本 X X X的服从分布 f ( X ∣ θ ) f(X|\theta) f(X∣θ), θ ∈ Θ \theta\in\Theta θ∈Θ,设 T = T ( X ) T=T(X) T=T(X)为一统计量,若在已知 T T T的条件下,样本 X X X的条件分布与参数 θ \theta θ无关,则称 T = T ( X ) T=T(X) T=T(X)为 θ \theta θ的充分统计量
-
Example:
设 X = ( x 1 , x 2 , . . , x n ) X=(x_1,x_2,..,x_n) X=(x1,x2,..,xn)是从泊松分布 P ( λ ) P(\lambda) P(λ)中抽取的随机样本,下面将从定义出发证明 T ( X ) = ∑ i = 1 n x i T(X)=\sum_{i=1}^nx_i T(X)=∑i=1nxi是 θ \theta θ的充分统计量∵ x i ∼ P ( λ ) , ∴ ∑ i = 1 n x i ∼ P ( n λ ) \because x_i \sim P(\lambda),\therefore\sum_{i=1}^nx_i \sim P(n\lambda) ∵xi∼P(λ),∴∑i=1nxi∼P(nλ),我们将其记为 T ∼ P ( θ ) , θ = n λ T\sim P(\theta),\theta=n\lambda T∼P(θ),θ=nλ
由已知可得,样本的条件分布为 f ( X ∣ λ ) = ∏ i = 1 n e − λ λ x i x i ! = e − n λ λ ∑ i = 1 n x i ∏ i = 1 n x i ! = e − θ λ T ∏ i = 1 n x i ! f(X|\lambda)=\prod_{i=1}^n\frac{e^{-\lambda}\lambda^{x_i}}{x_i!}=\frac{e^{-n\lambda}\lambda^{\sum_{i=1}^nx_i}}{\prod_{i=1}^nx_i!}=\frac{e^{-\theta}\lambda^{T}}{\prod_{i=1}^nx_i!} f(X∣λ)=i=1∏nxi!e−λλxi=∏i=1nxi!e−nλλ∑i=1nxi=∏i=1nxi!e−θλT
此时样本 X X X的条件分布 f ( X ∣ λ ) f(X|\lambda) f(X∣λ)与参数 λ \lambda λ无关,因此 T ( X ) = ∑ i = 1 n x i T(X)=\sum_{i=1}^nx_i T(X)=∑i=1nxi是 θ \theta θ的充分统计量
因子分解定理
-
从定义出发证明充分统计量显得有些繁琐,因此我们引入因子分解定理
-
定义: 设样本 X = ( x 1 , x 2 , . . , x n ) X=(x_1,x_2,..,x_n) X=(x1,x2,..,xn)的条件分布为 f ( X ∣ θ ) f(X|\theta) f(X∣θ), θ ∈ Θ \theta\in\Theta θ∈Θ, T = T ( X ) T=T(X) T=T(X)为一统计量,则 T = T ( X ) T=T(X) T=T(X)是充分统计量的充分必要条件为条件分布为 f ( X ∣ θ ) f(X|\theta) f(X∣θ)可被分解为如下形式: f ( X ∣ θ ) = g ( T ( X ) , θ ) ⋅ h ( X ) f(X|\theta)=g(T(X),\theta)·h(X) f(X∣θ)=g(T(X),θ)⋅h(X)也就是可被分解为两部分,一部分仅与 T ( X ) T(X) T(X)和 θ \theta θ有关,另一部分为一个常数或仅与样本 X X X有关。
-
重要推论: 若 T = T ( X ) T=T(X) T=T(X)是充分统计量, S = g ( T ) S=g(T) S=g(T)是 T T T一一对应的变换,则 S S S也是 θ \theta θ的充分统计量
-
Example:
证明以下命题:设 X = ( x 1 , x 2 , . . , x n ) X=(x_1,x_2,..,x_n) X=(x1,x2,..,xn)为从正态总体 N ( a , σ 2 ) N(a,\sigma^2) N(a,σ2)中抽取的随机样本,令 θ = ( a , σ 2 ) \theta=(a,\sigma^2) θ=(a,σ2),则 T ( X ) = ( ∑ x i , ∑ x i 2 ) T(X)=(\sum{x_i},\sum{x_{i}^2}) T(X)=(∑xi,∑xi2)为充分统计量,且 ( X ‾ , S 2 ) (\overline{X},S^2) (X,S2)也是充分统计量,此处 X ‾ = 1 n ∑ x i , S 2 = 1 n − 1 ∑ ( x i − X ‾ ) 2 \overline{X}=\frac{1}{n}\sum{x_i},S^2=\frac{1}{n-1}\sum{(x_i-\overline{X})^2} X=n1∑xi,S2=n−11∑(xi−X)2由已知得,样本的条件分布为
f ( x ) = ( 1 2 π σ ) n exp ( − 1 2 σ 2 ∑ ( x i − a ) 2 ) = ( 1 2 π σ ) n exp ( − 1 2 σ 2 ( ∑ x i 2 − 2 a ∑ x i + n a 2 ) ) = g ( T ( X ) , θ ) ⋅ h ( X ) \begin{aligned} f(x) &= (\frac{1}{\sqrt{2\pi}\sigma})^n\exp(-\frac{1}{2\sigma^2}\sum{(x_i-a)^2}) \\ &=(\frac{1}{\sqrt{2\pi}\sigma})^n\exp(-\frac{1}{2\sigma^2}(\sum{x_i^2}-2a\sum{x_i}+na^2)) \\ &= g(T(X),\theta)·h(X) \end{aligned} f(x)=(2πσ1)nexp(−2σ21∑(xi−a)2)=(2πσ1)nexp(−2σ21(∑xi2−2a∑xi+na2))=g(T(X),θ)⋅h(X)
此处的 h ( X ) ≡ 1 h(X)\equiv1 h(X)≡1,至此, T ( X ) = ( ∑ x i , ∑ x i 2 ) T(X)=(\sum{x_i},\sum{x_{i}^2}) T(X)=(∑xi,∑xi2)为充分统计量得证,又因为 ( X ‾ , S 2 ) (\overline{X},S^2) (X,S2)为 T ( X ) = ( ∑ x i , ∑ x i 2 ) T(X)=(\sum{x_i},\sum{x_{i}^2}) T(X)=(∑xi,∑xi2)一一对应的变换,由推论可得, ( X ‾ , S 2 ) (\overline{X},S^2) (X,S2)也是充分统计量
理解:
- 充分统计量对于简化计算是有显著的帮助的
- 一一对应的变换可理解为一个函数
- 样本的条件分布其实就是样本似然
- 无论是从定义出发证明充分统计量,还是通过因子分解定理,都需要先求出样本的条件分布,然后再选择一种方法
- 从定义出发证明需要想方设法消除式子中原来的参数