Вопрос или проблема
На странице [*] 264 описан метод извлечения отсутствующего значения из условного распределения $P(\bf{x}_{mis}|\bf{x}_{obs};\theta)$, которое определяется как:
Я не нашел никакой реализации этого подхода в коде. Мой вопрос: как это реализовать? Нужно ли нам интегрировать распределение относительно предполагаемого интервала $\bf{x}_{mis}$? Или это просто интуитивное математическое представление, которое следует понимать, но реализация отличается?
[*] Теодоридис, С., & Кутрумбас, К. “Распознавание образов.” Четвёртое издание, 9781597492720, 2008
Это просто интуитивное объяснение стратегии для заполнения отсутствующих данных.
На практике распределение $P(x_{mis}|x_{obs};\mathbf{\theta})$ неизвестно и может быть лишь оценено. Лучший способ оценить эту вероятность зависит от конкретного случая. Понимание того, как были собраны обучающие данные, может помочь вам в оценке/определении этого условного распределения.
На практике мы часто не стараемся получить хорошую оценку. Упрощая задачу и предполагая, что все признаки взяты из нормального распределения, можно начать работу.
Это $x_{mis}$ следует $N(\mu, \sigma)$, где
- $\mu = \sum_i^N \frac{x_{obs,i}}{N}$
- $\sigma = \sum_i^N \frac{(x_{obs,i}-\mu)^2}{N-1}$
. Однако такие предположения редко являются реалистичными и не гарантируют создания хороших моделей. См. это.
Ответ или решение
Для реализации однократной импутации на основе условного распределения ( P(\mathbf{x}{mis} | \mathbf{x}{obs}; \theta) ), необходимо следовать определенным этапам. Давайте подробнее рассмотрим процесс и методы, которые можно использовать для этой задачи.
Шаг 1: Определение условного распределения
Во-первых, необходимо понять, что условное распределение ( P(\mathbf{x}{mis} | \mathbf{x}{obs}; \theta) ) в большинстве случаев остается неизвестным. Поэтому нам нужно делать его оценку. Один из наиболее распространенных подходов — использование предположения о нормальном распределении.
Шаг 2: Оценка параметров
Если мы предполагаем, что ( \mathbf{x}_{mis} ) подчиняется нормальному распределению ( N(\mu, \sigma) ), то параметры ( \mu ) и ( \sigma ) можно оценить следующим образом:
-
Среднее (му):
[
\mu = \frac{1}{N} \sum{i=1}^{N} x{obs,i}
] -
Стандартное отклонение (сигма):
[
\sigma = \sqrt{\frac{1}{N – 1} \sum{i=1}^{N} (x{obs,i} – \mu)^2}
]
Шаг 3: Генерация отсутствующих значений
После оценки параметров ( \mu ) и ( \sigma ) можно генерировать значения для отсутствующих данных с использованием стандартной функции генерации случайных чисел из нормального распределения. В Python, например, можно использовать библиотеку NumPy:
import numpy as np
# Предположим, что у нас есть массив наблюдаемых данных x_obs
x_obs = np.array([предположим, ваши, наблюдаемые, данные])
# Оценка параметров
mu = np.mean(x_obs)
sigma = np.std(x_obs, ddof=1)
# Генерация случайного значения для отсутствующих данных
x_mis = np.random.normal(mu, sigma)Шаг 4: Итерация и настройка модели
Импутацию можно повторять для каждого отсутствующего значения. В некоторых случаях также может быть полезно использовать более сложные модели для оценки ( P(\mathbf{x}{mis} | \mathbf{x}{obs}; \theta) ), такие как модели регрессии, которые связывают наблюдаемые и отсутствующие переменные.
Шаг 5: Проверка и оценка
После выполнения импутации стоит проверить качество полученных данных. Для этого можно использовать несколько методов, включая сравнение распределений до и после импутации, а также проведение анализа невязки для проверки модели.
Заключение
Важно помнить, что простые модели могут не всегда обеспечивать качественные результаты. Рекомендуется проводить эксперименты с различными подходами к оценке условного распределения, исследовать различные методы импутации (например, многоразовую импутацию) и использовать оценку качества моделей для достижения лучших результатов.
В заключение, понимание метода однократной импутации из условного распределения является важной частью работы с пропущенными данными. Реализация в программном обеспечении предполагает следование описанным выше шагам, и при наличии сложных данных, использование более сложных статистических моделей может значительно улучшить результаты.