样本分布

含义

• 又称抽样分布，以样本统计量为数据构成的分布。
  1. 设存在某总体$X_{1}、X_{2}、X_{3}\cdots$
  2. 从中抽取样本量为$n$的样本
  3. 计算其平均数、样本标准差等统计量
  4. 重复2, 3步无数次
  5. 样本量为n的样本平均数和样本标准差组成的分布即是样本分布。
• 谈论样本统计量时，首先要保证各个样本彼此独立，各个样本都服从同样的分布——采用随机抽样的方法。

样本平均数的分布

1. 总体正态，方差($\sigma^{2}$)已知时，$\bar{X}$成正态分布
   • 样本分布的平均数 $\mu_{\bar{X}}=\mu$

     proof

     $$\begin{array}{ll} \because & X \sim \mathcal{N}(\mu,\sigma^{2}) \\ \therefore & E(\bar{X}) = E(\frac{\sum{X}}{n}) = \frac{\sum{E(X)}}{n} = \frac{n\cdot\mu}{n} = \mu \\ \therefore & \mu_{\bar{X}} = \mu \\ \end{array}$$

   • 样本分布的方差 $\sigma^{2}_{\bar{X}} = \frac{\sigma^{2}}{n}$

     proof

     $$\begin{array}{ll} \because & X \sim \mathcal{N}(\mu, \sigma^{2}) \\ \therefore & E(\bar{X} - \mu_{\bar{X}})^{2} = E(\frac{\sum{X}}{n} - \mu)^{2} = \frac{1}{n^{2}} \cdot E(\sum{X} - n\mu)^{2} \\ & = \frac{1}{n^{2}}\cdot\sum{E(X-\mu)^{2}} = \frac{1}{n^{2}}\cdot n \sigma^{2} = \frac{\sigma^{2}}{n} \\ \therefore & \sigma_{\bar{X}}^{2} = \frac{\sigma^{2}}{n} \\ \end{array}$$

   • 样本分布的标准差(也称为标准误$SE$) $\sigma_{\bar{X}} = SE = \frac{\sigma}{\sqrt{n}}$
2. 总体非正态，方差($\sigma^{2}$)已知，样本容量足够大($n>30$)时，$\bar{X}$近似正态分布
   • 样本分布的平均数 $\mu_{\bar{X}}=\mu$
   • 样本分布的方差 $\sigma^{2}_{\bar{X}} = \frac{\sigma^{2}}{n}$
   • 样本分布的标准差(也称为标准误$SE$) $\sigma_{\bar{X}} = SE = \frac{\sigma}{\sqrt{n}}$
3. 总体正态，总体方差未知时，$\bar{X}$呈t分布
   • 样本分布的平均数 $\mu_{\bar{X}}=\mu$
   • 样本分布的标准差(标准误) $S_{\bar{X}} = \frac{\sigma}{\sqrt{n}} \quad \text{for }\sigma^{2} = \frac{\sum_{i=1}^{n}(X_{i} - \bar{X})^{2}}{n-1}$

     proof $\frac{\sum_{i=1}^{n}{(X_{i} - \bar{X})^{2}}}{n-1}$是总体方差$\sigma^{2}$的无偏估计

     $$\begin{array}{ll} \because & X \sim \mathcal{N}(\mu, \sigma^{2}) \\ \therefore & E\big[(X - \bar{X})^{2}\big] = E\big[(X - \mu + \mu - \bar{X})^{2}\big] = E\big\{\big[(X - \mu) + (\mu - \bar{X})\big]^{2} \big\} \\ & = E\big[(X-\mu)^{2} + (\bar{X} - \mu)^{2} - 2(X-\mu)(\bar{X} - \mu)\big] \\ & = E\big[(X - \mu)^{2}\big] + E\big[(\bar{X} - \mu)^{2}\big] - 2 \cdot E\big[(X - \mu)(\bar{X} - \mu)\big]\\ & = \sigma^{2} + \frac{\sigma^{2}}{n} - 2 \cdot E\big[(X - \mu)(\frac{\sum{X}}{n} - \mu)\big] \\ & = \sigma^{2} + \frac{\sigma^{2}}{n} - \frac{2}{n} \cdot E\big[(X - \mu)(\sum{X}- n\mu)\big] \\ & = \sigma^{2} + \frac{\sigma^{2}}{n} - \frac{2}{n} \cdot E\big[(X - \mu)^{2}\big] \\ & = \sigma^{2} + \frac{\sigma^{2}}{n} - \frac{2}{n} \sigma^{2} = \frac{n - 1}{n}\sigma^{2} \\ \because & E\big[(X - \bar{X})^{2}\big] = \frac{\sum{(X - \bar{X})^{2}}}{n} \\ \therefore & \frac{\sum{(X - \bar{X})^{2}}}{n} = \frac{n-1}{n}\sigma^{2} \\ \therefore & \sigma^{2} = \frac{\sum{(X - \bar{X})^{2}}}{n-1} \\ \end{array}$$

4. 总体非正态，总体方差未知，样本量足够大($n>30$)时，$\bar{X}$呈近似t分布
   • 样本分布的平均数 $\mu_{\bar{X}}=\mu$
   • 样本分布的标准差(标准误) $S_{\bar{X}} = \frac{\sigma}{\sqrt{n}} \quad \text{for }\sigma^{2} = \frac{\sum_{i=1}^{n}(X_{i} - \bar{X})^{2}}{n-1}$

t分布

$$t = \frac{\bar{X} - \mu}{\sigma/\sqrt{n}} \quad \text{for } \sigma^{2} = \frac{\sum_{i=1}^{n}{(X_{i} - \bar{X})^{2}}}{n-1}$$

• t分布的形态与$\sigma$无关，与$df = n-1$有关
• t分布中，自由度$df = n-1$

特点

• $\mu = 0$
• 以平均值为0左右对称，左侧t为负值，右侧为正直
• 变量取值 $[-\infty, +\infty]$
• 样本容量$n$趋于$\infty$时，t分布接近正态分布，$\sigma^{2} = 1$
  • 当$n-1 > 30$时，t分布接近正态分布，$\sigma > 1$
  • 当$n-1 < 30$时，t分布与正态分布相差较大，$\sigma >> 1$
  • 随$n-1$减小，离散程度增大，分布图中间变低尾部变高

t表

方差和标准差的样本分布

• 总体正态，样本容量足够大($n>30$)，$s、s^{2}$呈正态分布。
  • 样本分布的平均数 $\bar{X}_{s} = \sigma \quad \bar{X}_{s^{2}} = \sigma^{2}$

    proof

    $$\begin{array}{ll} & \text{Assume we know the population mean }\mu \\ \therefore & s = \frac{\sum (X - \mu)^{2}}{n} \\ \therefore & E(s^{2}) = \frac{1}{n}E(\sum(X-\mu)^{2}) = \frac{1}{n}\cdot n E\big[(X-\mu)^{2}\big] = \sigma^{2} \\ \therefore & \mu_{s^{2}} = \sigma^{2} \text{ and } \mu_{s} = \sigma\\ \end{array}$$

  • 标准差分布的标准差 $\sigma_{s} = \frac{\sigma}{\sqrt{2n}}$
  • 标准差分布的方差 $\sigma^{2}_{s} = \frac{\sigma^{2}}{2n}$

$\chi^{2}$分布

• 含义
  1. 设存在某总体$X_{1}、X_{2}、X_{3}\cdots \quad \text{for } X\sim\mathcal{N}(0,1)$
  2. 从中抽取样本量为$n$的样本
  3. 计算样本各值的平方和$\sum_{i=1}^{n}x_{i}^{2}$
  4. 重复2和3步无数次
  5. 无数个$\sum_{i=1}^{n}x_{i}^{2}$构成的分布即为$\chi^{2}$分布
• 如果将原始$X$值换为$Z$值，同样符合$\chi^{2}$分布 $$\frac{\sum{(X-\mu)^{2}}}{\sigma^{2}} = \frac{n \cdot s^{2}}{\sigma^{2}} \sim \chi^{2}_{n} \quad \text{for } s^{2} = \frac{\sum_{i=1}^{n}(X_{i} - \mu)^{2}}{n}$$
• 总体$\mu$未知时，用样本均值估计 $$\frac{\sum{(X-\bar{X})^{2}}}{\sigma^{2}} = \frac{(n-1)\cdot s^{2}}{\sigma^{2}} \sim \chi^{2}_{n-1} \quad \text{for } s^{2} = \frac{\sum_{i=1}^{n}(X_{i} - \bar{X})^{2}}{n-1}$$

特点

• 一族正偏态分布。$n-1$越小，分布越偏；$df$很大时，接近正态分布；$df \rightarrow \infty$，即为正态分布。
• 都是正值
• $\chi^{2}$分布的和依然是$\chi^{2}$分布，因此，$\chi^{2}$分布具有可加性
• 如果$df>2$，$\chi^{2}$分布，$\mu_{\chi^{2}} = df, \sigma^{2}_{\chi^{2}} = 2df$
• $\chi^{2}$是连续性分布，但是有些离散型分布也接近$\chi^{2}$分布。

F分布

$$F = \frac{\chi_{1}^{2}/df_{1}}{\chi^{2}_{2}/df_{2}} = \frac{s^{2}_{1}/\sigma^{2}_{1}}{s^{2}_{2}/\sigma^{2}_{2}}$$

• 若抽样来自一个总体，$\sigma^{2}_{1} = \sigma^{2}_{2}$
• 因此$F=\frac{s^{2}_{1}}{s^{2}_{2}} \sim F({n_{1}-1, n_{2}-1})$

特点

• 正偏态分布
  • 分布曲线随着分子分母自由度的不同而变化
  • 随着$df_{1}$和$df_{2}$增加，逐渐趋向正态分布
• 总是正值
• 分子自由度为1时，F值与分母自由度相同的概率的t值(双尾概率)的平方相等。 $$F_{\alpha}(1, df_{2}) = t^{2}_{\alpha/2}(df_{2})$$