Вопрос или проблема
Я работаю над моделью, в которой исходные данные по своей природе коррелированы группами. Поэтому некоторые из моих наблюдений почти дублируют друг друга, но не совсем.
Проблема довольно проста: у меня есть переменная y, которую нужно предсказать на основе дискретной переменной x и нескольких других потенциальных предикторных переменных, которые могут быть значимыми, а могут и не быть. Наблюдения не совсем независимы, они получены из групп исходных событий, но я хочу лучше справиться с этой ситуацией.
Я мог бы подойти к проблеме, выбрав только одно наблюдение из каждой исходной группы, но, думаю, это приведет к потере большого количества данных и статистической мощности. Я хотел бы использовать некоторый метод, позволяющий сохранить все мои данные, но при этом, возможно, наложить некоторую искусственную схему весов, чтобы снизить вес данных, если в других местах есть близкие дубликаты или если они происходят из одного и того же исходного события.
В частности, я использую байесовский регрессионный подход с pymc3, так что мог бы немного изменить дисперсии в своей функции правдоподобия, чтобы меньше учитывать значения, которые имеют много близких дубликатов из одной и той же исходной группы.
У кого-нибудь есть опыт с подобными проблемами и решениями для их решения?
Считаю, что моя модель в настоящее время сильно переобучена из-за высоких корреляций между некоторыми предикторами и предсказаниями.
Некоторые модели работают нормально с дублирующимися данными. Например, именно так работает увеличенное выборочное количество в несбалансированных наборах данных. Также Наивный Байес должен справляться с этим.
Тем не менее, многие другие модели в конечном итоге приведут к высоким показателям предсказания из-за этого. Дублирующиеся строки могут вызвать проблемы, поскольку одни и те же данные находятся в обучающем и тестовом наборах данных. Эти строки дадут высокой точности модели, поскольку обучающий набор данных уже знает ответ.
Точные дубликаты можно найти и удалить с помощью
df.duplicated()
df.drop_duplicates(inplace=True)
Найти похожие данные будет немного сложнее. Вы можете использовать эти же 2 функции на частичном наборе столбцов, если считаете, что это обеспечит больше совпадений. Или вы можете прогнать данные через кластерный алгоритм (k-средние) и выбрать значения из разных кластеров или добавить колонку весов на основе вывода кластеризации, возможно, разделив на количество точек в каждом кластере. Затем вы можете передать этот вектор весов в модель.
Ответ или решение
Обработка почти дублирующихся наблюдений в регрессионных и байесовских моделях
Обработка дублирующихся или почти дублирующихся наблюдений является важной задачей в статистическом моделировании, особенно когда ваши данные собираются из нескольких связанных групп событий. Использование подходов, позволяющих сохранить все наблюдения, но одновременно снизить влияние повторяющихся данных, требует внимательного анализа и применения соответствующих методов. В этом ответе мы рассмотрим несколько стратегий, которые могут помочь вам улучшить модель, снизить переобучение и учитывать корреляции, существующие в ваших данных.
1. Понимание проблемы
Ваша задача состоит в том, чтобы предсказать зависимую переменную y на основе дискретной переменной x и других потенциальных предикторов. Поскольку данные имеют высокую степень корреляции между наблюдениями, особенно в рамках одной группы, это может привести к переобучению модели и искажению результатов. Проблема усугубляется, когда одни и те же наблюдения могут присутствовать как в обучающем, так и в тестовом множестве, что недопустимо для корректной оценки эффективности модели.
2. Выбор стратегии
a. Уменьшение веса дублирующихся наблюдений
Одним из способов уменьшить влияние почти дублирующихся наблюдений является использование весов в вашем байесовском регрессионном подходе. Например, вы можете присвоить каждому наблюдению вес в зависимости от количества других наблюдений в той же группе. Это позволяет предоставить более высокий вес уникальным наблюдениям и соответственно снизить влияние дублируемых данных:
import numpy as np
# Пример расчета весов
weights = 1 / (np.array([len(group) for group in groups]) + epsilon)b. Кластеризация данных
Кластеризация может быть полезной для выявления групп похожих наблюдений. Используя алгоритмы, такие как K-средние, вы можете разделить ваши данные на кластеры и затем применять среднее значение внутри каждой группы или использовать вес на основе размеров кластеров. Это позволит вам сохранить всю информацию, но при этом уменьшить избыточность:
from sklearn.cluster import KMeans
# Кластеризация данных
kmeans = KMeans(n_clusters=m)
kmeans.fit(X)
data['cluster'] = kmeans.labels_Потом можно использовать переменную cluster для создания весов, подобно указанному выше.
c. Исправление дисперсии в байесовских моделях
Как вы уже упомянули, в приложении pymc3 вы можете настроить дисперсию в вашем вероятностном моделировании, позволяя моделям "наказывать" наблюдения с высокими весами. Это может быть реализовано через специальные условные распределения, учитывающие степени свободы, которые варьируются в зависимости от плотности наблюдений.
import pymc3 as pm
with pm.Model() as model:
# Определение нормального распределения для y
mu = pm.Normal('mu', mu=0, sigma=1)
sigma = pm.HalfNormal('sigma', sigma=1)
# Вероятностная модель с учетом весов
y_obs = pm.Normal('y_obs', mu=mu, sigma=sigma/weights, observed=y)3. Заключение
Обработка почти дублирующихся наблюдений в регрессионных и байесовских моделях требует комплексного подхода с использованием весовых схем, кластеризации и настроек дисперсии. Учитывая специфику ваших данных и корреляции между наблюдениями, вышеописанные методы помогут вам сохранить объем данных без потери статистической значимости и уменьшить риск переобучения модели. Применение этих стратегий должно способствовать созданию более надежных и обобщаемых моделей, способных адаптироваться к более широкой выборке и обеспечивать точные предсказания.