Вопрос или проблема
Предположим, у меня есть сценарий, в котором моей объектом наблюдения является счет, который был выставлен после оказания определенной услуги, и моя цель — предсказать, будет ли этот счет оплачен или нет. У меня есть пользователи в системе, поэтому я включаю переменные пользователя, такие как количество неоплаченных счетов у пользователя, время пользователя в системе обслуживания (стаж) и так далее. Я обучаюсь на первом месяце и тестирую на втором месяце (счета, созданные в эти месяцы, соответственно).
В месяце тестирования количество переменных пользователя увеличится, поэтому, например, если во время обучения у пользователя_1 было 100 дней в моей системе, то, конечно, если в тестовом месяце есть счет, связанный с ним, — его количество дней будет выше.
Считается ли эта аккумулятивная природа таких переменных утечкой данных между обучающей и тестовой выборками (поскольку часть информации, использованной в обучении, используется, в определенном смысле, в тестировании)?
Если данные доступны во время предсказания, то это не утечка данных.
В вашем конкретном примере исторические данные пользователя должны использоваться во время предсказания для построения лучшей модели.
Вам необходимо решить, как разделить данные на обучающую и тестовую выборки. Вы можете разделить по пользователю, по времени или в комбинации.
Да, это явная утечка данных, на самом деле это ловушка, которую многие аналитики данных пропускают.
Логика функции счета, о которой вы говорили, для каждой строки (независимо от того, к какой выборке она принадлежит) должна основываться только на строках, которые “старше” текущей, для которой вы вычисляете счет. Это делает ваши эксперименты и создание признаков более сложными, но это единственный способ действительно отразить данные, которые у вас были (или будут) в реальности.
Ответ или решение
Вопрос: Приводят ли пользовательские аккумулирующие переменные к утечке данных?
Вводные данные
В вашей ситуации, наблюдаемой единицей является счет, выставленный после оказания услуги, и цель заключается в прогнозировании вероятности оплаты этого счета. При использовании пользовательских переменных, таких как количество неоплаченных счетов и стаж пользователя в системе, важно понимать, как именно эти данные могут повлиять на результаты вашей модели и возможны ли утечки данных между обучающей и тестовой выборками.
Определение утечки данных
Утечка данных (data leakage) — это ситуация, когда информация из тестовой выборки неумышленно используется при обучении модели. Это может происходить, когда данные используются в модели, которая не должна к ним иметь доступ, что приводит к завышенной оценке производительности модели.
Аккумулирующие переменные и их природа
В вашем сценарии указано, что при обучении модели на первой выборке, пользовательский стаж и количество неоплаченных счетов учитываются, но эти переменные увеличиваются при переходе к тестовой выборке. Например, если пользователь 1 имел 100 дней стажа в системе на момент расчета в обучающей выборке, то в тестовой выборке этот стаж будет, конечно, превышать 100 дней.
Обсуждение вопроса
В зависимости от того, как вы определяете и используете аккумулирующие переменные, возможно возникновение утечки данных. Если в тестовой выборке вы используете значения переменных, которые накапливаются с учетом данных из тестового периода, это представляет собой утечку, поскольку модель получает доступ к информации, которая является результатом будущих событий.
Однако если вы корректно используете только те данные, которые имели место на момент создания тестового наблюдения (например, учитывая только события до выставления счета), это не будет считаться утечкой данных. Простыми словами, переменные должны формироваться на основе данных, доступных на момент предсказания, исключая события, произошедшие после создания тестового наблюдения.
Рекомендации по предотвращению утечки данных
-
Формирование переменных: Стратегия формирования аккумулирующих переменных должна учитывать только те события и данные, которые произошли до момента, когда вы делаете предсказание. Например, если вы рассчитываете количество неоплаченных счетов, учтите только счета, создавшиеся до текущего месяца.
-
Разделение выборок: При разделении данных на обучающие и тестовые части используйте временные границы, чтобы гарантировать, что тестовые данные всегда представляют собой «будущее» относительно обучающих данных.
-
Документирование процессов: Четко документируйте процесс формирования переменных и распределения данных, чтобы избежать неоднозначностей, которые могут привести к утечкам.
-
Тестирование моделей: После настройки модели выполните проверки, чтобы убедиться в отсутствии утечек, протестировав ее на различных подвыборках и сценариях.
Заключение
Использование аккумулирующих пользовательских переменных может как способствовать улучшению модели, так и привести к утечкам данных. Убедитесь, что вы принимаете во внимание правильные временные рамки и используете только доступные данные на момент предсказания, чтобы избежать связанных с этим проблем. Учет этих аспектов не только повысит производительность модели, но и обеспечит ее надежность в реальных сценариях.