FakeOrange机器学习与算法1.3 —— 置信区间，从个体预计整体
学习如何从少量样本估计整体的行为
前言
继续起飞~
今日分析的名言是：
“人都有属于自己的解释方法，质疑，论证，实践，成为自己，只是自己。” —— 本人 （我来搞笑的hhh）
概述
在统计学中，频率学派的思想常用于推断总体参数的值，并对这些估计的准确性进行衡量。点估计、置信区间和Bootstrap方法是频率学派的重要工具，尤其是当我们希望根据样本数据来推测总体的情况时。下面详细介绍这三个概念，帮助你理解它们的原理和应用。
1. 点估计
点估计（Point Estimation）是指使用样本数据对总体参数（如均值、方差等）进行单一值的估计。它为我们提供了一个最可能的“点”，来表示总体参数。
例子和点估计方法
假设我们有一组样本数据，想要估计总体的均值和方差，常用的点估计方法包括：
- 均值的点估计：使用样本均值来估计总体均值。例如，样本均值
Xi是总体均值μ 的一个点估计。
- 方差的点估计：使用样本方差来估计总体方差。例如，样本方差
是总体方差 σ^2 的一个点估计。
点估计的好坏标准
- 无偏性：估计量的期望值应等于被估计的总体参数，即 E(θ^)=θ，其中 θ^是估计量，θ是总体参数。
- 有效性：在所有无偏估计量中，具有最小方差的估计量称为有效估计量。
- 一致性：当样本量趋于无穷大时，估计量会趋近于真实的总体参数。
2. 置信区间
置信区间（Confidence Interval）提供了一个范围，以覆盖总体参数的“可信区间”，而不是单一值。通过置信区间，我们可以用一定的置信水平（如95%）表明总体参数落在此区间的可能性。
置信区间的计算
假设我们希望用样本均值 Xˉ (一版X头上小帽子表示平均数) 来估计总体均值 μ (读 缪)，且样本量为 n。
- 95% 置信区间的公式通常为：
如果样本量较小（如 n<30），通常使用 t 分布来代替正态分布。
置信区间的解释
例如，对于95%的置信区间，如果我们重复采样并多次计算置信区间，则约95%的置信区间会包含总体均值。注意，置信水平是关于区间的概念，而不是某个固定值包含总体均值的概率。
换句话说，真实的总体的平均值有95%的概率会落在我们通过样本预估的整体的置信区间。
示例
假设我们从总体中抽取了一个样本，得到样本均值 Xˉ=50\bar{X} = 50Xˉ=50，样本标准差 s=10s = 10s=10，样本量为100，我们想构建一个95%的置信区间：
这表示我们有95%的信心认为总体均值 μ 落在区间 [48.04, 51.96] 内。
3. Bootstrap方法
Bootstrap方法是一种通过对样本进行重复抽样来估计总体参数分布的方法。Bootstrap不依赖于总体分布的假设，非常适合于样本量较小、总体分布未知的情况。
Bootstrap的原理
Bootstrap方法的核心思想是将样本看作总体的代表，通过从样本中重复抽样来模拟总体。具体步骤如下：
- 从样本中重复抽样：从原始样本中随机有放回地抽取 n 个数据点，形成一个“Bootstrap样本”。
- 计算统计量：对每一个Bootstrap样本，计算感兴趣的统计量（例如均值、方差、中位数等）。
- 重复步骤：重复步骤1和步骤2多次（通常至少1000次），得到许多统计量的值。
- 构建分布：统计量的分布近似于总体参数的分布。
通过Bootstrap方法，可以估计总体参数的标准误差，还可以构建置信区间。
Bootstrap置信区间
使用Bootstrap方法构建置信区间的常见方法之一是百分位法：
- 计算所有Bootstrap样本的统计量。
- 排序这些统计量，并找到下限和上限对应的百分位数。例如，若要构建95%置信区间，则取2.5%和97.5%的统计量作为区间的下限和上限。
示例
假设我们有样本数据 [5,8,7,10,6][5, 8, 7, 10, 6][5,8,7,10,6]，我们想用Bootstrap方法估计均值的95%置信区间：
- 生成Bootstrap样本：随机从 [5,8,7,10,6][5, 8, 7, 10, 6][5,8,7,10,6] 中有放回地抽取5个数据，生成多个样本。例如：[5,7,7,10,8][5, 7, 7, 10, 8][5,7,7,10,8]、[6,6,5,10,8][6, 6, 5, 10, 8][6,6,5,10,8] 等。
- 计算样本均值：对每个Bootstrap样本计算均值。
- 重复和排序：重复生成1000个Bootstrap样本，计算均值并排序。
- 构建置信区间：找到2.5%和97.5%的均值作为95%置信区间的上下限。
总结
- 点估计：用样本数据估计总体参数的单一值，例如用样本均值估计总体均值。
- 置信区间：提供一个区间，使我们能够在给定置信水平下推测总体参数的范围。
- Bootstrap方法：通过对样本进行重复抽样，估计总体参数的分布及其置信区间。
希望这可以帮助你理解点估计、置信区间和Bootstrap方法！这些概念会让你在统计推断中更自信，尤其是在需要对未知总体做出合理推测时。