# 数理统计基础

## 基本介绍

统计学最核心的思想：用样本信息估计总体信息。

但是永远无法获得总体信息，所以我们只能多做实验，然后以某些标准判断该样本能否代表总体。

下面罗列一些常用的判断标准，仅供参考。

## 假设检验

因为我们无法获得总体信息，所以我们一般先根据经验提出**假设**，然后**检验**假设是否成立，这个过程叫假设检验。

假设检验的基本步骤 [^cite_ref-1]：

1. 提出原假设与备择假设
2. 从所研究总体中出抽取一个随机样本
3. 构造检验统计量
4. 根据显著性水平确定拒绝域临界值
5. 计算检验统计量与临界值进行比较

假设检验包含两个相互排斥的假设，分别称为原假设（$H_0$）和备择假设（$H_1$）。

原假设一般是统计者想要拒绝的假设，而备则假设是统计者想要接受的假设。

为什么要拒绝原假设呢？在假设检验中，如果样本中的证据不够充分，我们会选择接受原假设。
只有当样本中出现了足够强的证据时，我们才会推翻/拒绝原假设。
而我们的目标是希望样本能够代表整体，所以当然希望样本提供的信息越多越好。

量化一下拒绝原假设的概率，如下所示：

$$
P(H_0 \text{为假} | H_0 \text{为真}) \leq \alpha
$$

上面这个条件概率表示：我们有多大的把握能够推翻原假设。

如果这个不等式成立，则表示：
我们首先假设了 $H_0$ 为真，但实际上我们用 $H_0$ 为真这个条件算了一下，出现当前这个样本组合的概率是 $\alpha$。

我们用直觉就可以知道，如果这个 $\alpha$ 很小，那么，在原假设成立的条件下，我们几乎不可能得到现在这个结果。
因此，我们就可以有很大的把握拒绝原假设，认为原假设不成立。而这个 $\alpha$ 的学术名字叫显著性水平。
（错的很显著）

原假设为真时，我们拒绝了原假设。这样，我们得到的结论和提出的假设不一致，也就是，我们判断失误了。
而这种类型的失误叫叫第 I 类错误，也叫弃真错误或 $\alpha$ 错误。

相似地，还有第 II 类错误，也叫取伪错误或 $\beta$ 错误。它是指在原假设为假的条件下拒绝原假设。公式如下：

$$
P(H_0 \text{为真} | H_0 \text{为假}) \leq \alpha
$$

有了这个量化指标，我们就能够判断，是否可以认为某些数据是否服从某个分布了。
或者说，是否有足够的理由相信这些数据服从某些分布。

P.S. 原假设一般是假设某个数据是否服从均为为 $x$ 方差为 $y$ 的正态分布或其他分布。

在给出了显著性水平的情况下，根据原假设提出的数据服从的分布，我们**通过查表**可以得到上面不等式是否成立。

上面讲完了假设检验的整体步骤，同时提到了显著性水平和两类错误的概念，下面将对检验统计量做一下梳理。

## 检验统计量

检验统计量是**根据样本数据计算**的**随机变量**，它用在假设检验中。
可以使用检验统计量来确定是否要否定原假设。检验统计量将您的数据与原假设下的预期结果进行比较。
检验统计量可用于计算 p 值 [^cite_ref-2]。

根据原假设中假定的概率模型，不同的假设检验使用不同的检验统计量。常见的检验及其检验统计量包括 [^cite_ref-2]：

```{list-table}
:header-rows: 1

* - 假设检验
  - 检验统计量
* - $Z$ 检验
  - $Z$ 统计量
* - $t$ 检验
  - $t$ 统计量
* - 方差分析
  - $F$ 统计量
* - $\mathcal{X}^2$ 检验
  - $\mathcal{X}^2$ 统计量
```

先看下面公式中，不等式右面的取值，显著性水平 $\alpha$ 这个阈值通常是**人为设定**的，通常取 0.05。

```{math}
:label: eq-001

P(H_0 \text{为假} | H_0 \text{为真}) \leq \alpha
```

如何计算不等式左边的取值？答案是根据样本来算。先对公式 {eq}`eq-001` 进行细节化：

```{math}
:label: eq-002

P(\text{检验统计量} \geq \text{原假设下的某分布}_{\alpha/2}) \leq \alpha
```

以 $Z$ 检验为例，检验统计量为 $Z$ 统计量，这是原假设下的标准正态分布，公式 {eq}`eq-002` 变为公式 {eq}`eq-003` ：

```{math}
:label: eq-003

P(\text{检验统计量} \geq Z_{\alpha/2}) \leq \alpha
```

假设您执行 $\alpha$ 为 0.05 的双尾 $Z$ 检验，[查表获取 $Z$ 统计量](http://staff.ustc.edu.cn/~jbs/applex3.pdf)
（又称为 $Z$ 值）得 $z_{0.05/2} = 1.960$。

1. 首先，通过 $Z$ 值我们可以在分布图上画出一个拒绝域 $(-\infty, z_{0.025}), (z_{0.025}, +\infty)$。
2. 然后，就要计算检验统计量的值了，看看它是不是落在了拒绝域内。

如果计算出来的检验统计量 $\displaystyle\frac{|\bar{x}-\mu_0|}{\sigma/\sqrt{n}}$
的值落在了拒绝域内（也就是说，这个结果大于 1.960），我们就**有理由**拒绝原假设。

假如算出来的检验统计量的值为 $k$，从分布图上，以 $(k, +\infty)$ 为区间，会得到一个概率，这个概率叫 $p$ 值。
如果 $p$ 值比 $\alpha$ 还小，那么我们就有**更充足的理由**来否定原假设。

至此，假设检验就结束了。

需要注意的是，我们这里要否定原假设时，需要保证两个不等式的成立，缺一不可：

1. $\text{检验统计量} \geq \text{原假设下的某分布}_{\alpha/2}$
2. $P(H_0 \text{为假} | H_0 \text{为真}) \leq \alpha$

## 参数估计

- 矩估计
- 最大似然估计
- 区间估计
- 估计评价

显著性水平 $\alpha$ + 置信水平 = 1

## 分布检验

前提条件：

- 总体分布已知
- 非参数假设检验问题

## $\mathcal{X}^2$ 拟合优度检验

- 分布中不含未知参数的 $\mathcal{X}^2$ 检验法
  - 总体为离散分布时的 $\mathcal{X}^2$ 检验法
  - 总体为连续分布时的 $\mathcal{X}^2$ 检验法

- 分布中含未知参数的 $\mathcal{X}^2$ 检验法

## 列联表独立性检验

## 正态性检验

- W 检验
- D 检验

## 方差分析

方差分析是检验两个或多个总体均值之间是否存在差异的方法。

方差分析的目的是将试验误差所引起的结果差异与试验条件的改变（即各因子不同水平的变化）所引起的结果差异区分开，
以便能够抓住问题的实质，此外，还要将试验结果的主要因子和次要因子区分开来，以便集中力量研究几个主要因子。

## 单因素方差分析

实质是检验若干个具有相同方差的正态总体的均值是否相等的一种统计方法。

### 无交互作用的双因素无重复试验方差分析

### 有交互作用的双因素方差分析

## 回归分析

## 正交试验设计

正交试验设计方法是一种研究多因子试验问题的重要数学方法。主要使用正交表这一工具来进行整体设计、综合比较、统计分析。

## 速查表

- [Cheat Sheet of Statistics](https://kdocs.cn/l/cdcIGVv2EHj9)
- [Statistics Handout](https://kdocs.cn/l/cnz6IbIdC1p1)
- [Statistics 100 Final Cheat Sheets - Google Docs](https://kdocs.cn/l/ce7Qrzy5O9zK)
- [Probability and Statistics Cheat Sheet](https://kdocs.cn/l/cdeLJEPc9zWG)

---

[^cite_ref-1]: [统计学假设检验中 p 值的含义具体是什么？](https://www.zhihu.com/question/23149768/answer/2239802323)

[^cite_ref-2]: [检验统计量是什么？](https://support.minitab.com/zh-cn/minitab/18/help-and-how-to/statistics/basic-statistics/supporting-topics/basics/what-is-a-test-statistic/)