Понимание доверительного интервала

Я пытаюсь понять концепцию доверительных интервалов. Каково значение точечных оценок и доверительных интервалов? Я понял, что точечная оценка в доверительном интервале по сути является статистикой распределения выборки. Можно ли сказать, что, применив теорему центральной предельной, находя среднее по популяции с помощью ЦПТ, вместо предоставления точечной оценки мы дадим доверительный интервал?

Когда вы смотрите на линейную регрессию $y_i = \beta_0 + \beta_1 x_i + u_i$, вы можете оценить (экс-анте неизвестные) коэффициенты $\beta$ с помощью матричной алгебры $(X’X)^{-1} X’y = \hat{\beta}$.

Точечная оценка будет “лучшей догадкой” $\hat{y}=\hat{\beta} X$.

Каждое $\hat{\beta}$ связано с неопределенностью относительно оценки, выраженной стандартной ошибкой коэффициента (см. этот пост). Доверительный интервал интуитивно говорит о том, что вы хотите найти диапазон, в котором истинное $\hat{\beta}$ находится с вероятностью 95% (при условии нормального распределения). В этом случае вы можете рассчитать доверительный интервал (для $\hat{\beta}$) следующим образом:

$$ CI_{0.95}^{\beta} = [\hat{\beta_i} – 1.96*SE(\hat{\beta_i}), \hat{\beta_i} + 1.96*SE(\hat{\beta_i})].$$

Таким образом, вы можете сказать (при некоторых предположениях), что истинное значение оцененного $\hat{\beta}$ находится в пределах доверительного интервала с вероятностью 95%. Обратите внимание, что в линейной регрессии, когда вы говорите, что коэффициент “статистически значим”, это совпадает с тем, что “доверительный интервал строго положительный или отрицательный” (не пересекает ноль).

Пример на R:

Линейная регрессия:

library("ISLR")
auto = ISLR::Auto
ols = lm(mpg~horsepower,data=auto)
summary(ols)

Результат:

Коэффициенты:
             Оценка Ст. Ошибка t значение Pr(>|t|)    
(Intercept) 39.935861   0.717499   55.66   <2e-16 ***
horsepower  -0.157845   0.006446  -24.49   <2e-16 ***
---
Коды значимости:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Остаточная стандартная ошибка: 4.906 на 390 степенях свободы
Множественный R-квадрат:  0.6059,    Скорректированный R-квадрат:  0.6049 
F-статистика: 599.7 на 1 и 390 СК,  p-значение: < 2.2e-16

Это говорит нам о том, что когда horsepower увеличивается на одну единицу, mpg уменьшается на -0.158 (точечная оценка). Теперь, когда мы спрашиваем, каков истинный эффект (при довольно многих предположениях) с вероятностью 95%, мы смотрим на доверительный интервал.

# Доверительный интервал
confint(ols)

Что дает:

                2.5 %     97.5 %
(Intercept) 38.525212 41.3465103
horsepower  -0.170517 -0.1451725

Мы можем сделать это “вручную”, используя:

# Получить стандартные ошибки
sqrt(diag(vcov(ols)))

(Intercept)  horsepower 
0.717498656 0.006445501

И мы можем рассчитать доверительные интервалы:

# Нижний доверительный интервал
-0.157845 - 1.96*0.006445501

# Верхний доверительный интервал
-0.157845 + 1.96*0.006445501

Что дает:

[1] -0.1704782
[1] -0.1452118

Таким образом, мы можем сказать, что истинный эффект horsepower на mpg находится между -0.17 и -0.15 (и поскольку доверительный интервал не “пересекает” ноль, эффект статистически значим, что означает p-значение < 0.05).

К сожалению, другой ответ неверен в своем интерпретации (частотных) доверительных интервалов. В частности, это:

Таким образом, вы можете сказать (при некоторых предположениях), что истинное значение оцененного $\hat{\beta}$ находится в пределах доверительного интервала с вероятностью 95%.

Нет предположений (о которых я могу подумать), которые могут сделать это утверждение истинным. Хотя я понимаю, что людям хотелось бы, чтобы доверительные интервалы имели такую интерпретацию, на самом деле правильная интерпретация такова:

В частотной настройке, если эксперимент будет повторен при тех же условиях много раз, и та же процедура будет использоваться для вычисления доверительного интервала каждый раз, то примерно 95% этих доверительных интервалов будут содержать истинное значение параметра.

Несколько вещей следует отметить:

1. Доверительный интервал является случайной величиной.
2. Для любого конкретного доверительного интервала для параметра он либо содержит (истинное, неизвестное) значение параметра, либо не содержит. Поэтому мы не можем говорить о вероятности того, что истинные значения находятся в пределах интервала (т.е. утверждение, сделанное в другом ответе, который я процитировал выше).
3. Из-за этих проблем с интерпретацией обычно, объясняя доверительные интервалы неподготовленным людям, они иногда интерпретируются как “правдоподобный диапазон” для параметра.

Если это кажется лишь философской проблемой, посмотрите на следующий (довольно патологический) ответ от @fblundun на Cross Validated здесь:

Что, собственно, является доверительным интервалом?

Я бы посоветовал прочитать всю эту тему на самом деле 🙂

Связанный вопрос – это интерпретация p-значений. Многие люди думают, что p-значение – это вероятность нулевой гипотезы, $\mathcal{H_0}$, быть истинной, учитывая данные,$\mathcal{D}$, то есть.
$$
\mathcal{P}(\mathcal{H_0} | \mathcal{D})
$$

в то время как на самом деле это противоположно – это вероятность наблюдать данные или данные, которые более экстремальны, при условии, что нулевая гипотеза верна:

$$
\mathcal{P}(\mathcal{D} | \mathcal{H_0})
$$

Если мы примем байесовский подход, тогда интерпретация, сделанная в другом ответе, и неправильная интерпретация p-значений выше, были бы возможны.