Вопрос или проблема
Предположим, я создаю модель машинного обучения для приложения, где нет необходимости делать предсказания для всех новых образцов, и, получив новый образец, лучше вообще не делать предсказания, если есть опасения, что предсказание вряд ли будет хорошим (например, если новый образец кажется очень отличающимся от обучающих образцов). Я называю идею ограничения того, на каких новых образцах делать предсказания, “ограничениями модели”, потому что не знаю официального термина.
Мой вопрос: существуют ли стандартные методы наложения таких ограничений? Есть ли какие-то исследования на эту тему, к которым вы могли бы меня направить? Несколько базовых идей, которые у меня есть:
-
Использовать метрику расстояния для сравнения нового образца с обучающими данными и делать предсказание только в случае, если есть достаточное количество обучающих данных, достаточно близких к новым данным.
-
Пытаться рассчитать некоторую p-значение, которое указывает, насколько новый образец отличается от обучающих данных, и делать предсказание, только когда это p-значение не слишком велико.
Чтобы расширить идею 2), точный метод может зависеть от распределения обучения, но в простом случае, возможно, можно рассчитать p-значение, которое представляет вероятность того, что выборка из обучающих данных даст результат, по крайней мере, столь же далекий от среднего, как новый образец (например, если мы проводим регрессию $y$ на $x$ и обучающие данные выглядят как стандартное нормальное распределение, делать предсказания только тогда, когда $x$ находится в пределах $[-2, 2]$).
Я был бы признателен за ссылки на литературу, описание любых стандартных методик или даже просто правильную терминологию.
Байесовское машинное обучение является общим подходом к моделированию неопределенности в предсказаниях.
Обученная модель байесовского машинного обучения даст распределение предсказанных целевых значений, из которого можно рассчитать вероятность (или уверенность) в этих значениях. Затем эту вероятность можно использовать в качестве порога для предсказания или отказа от предсказания.
Machine Learning: A Probabilistic Perspective Кевина П. Мёрфи охватывает различные техники байесовского машинного обучения.
Ответ или решение
Модельные Ограничения в Машинном Обучении
Разработка модели машинного обучения для задач, где не требуется предсказание для всех новых образцов, может быть более эффективной, если использовать "модельные ограничения". Это означает, что лучше отказаться от предсказания, если новая выборка значительно отличается от обучающей. Такое решение может быть критически важным в ситуациях, когда ошибка недопустима или имеет существенные последствия.
Основные Методы Установки Ограничений
-
Метрики Расстояния: Одним из основных подходов является использование метрик расстояния, таких как евклидово расстояние или косинусное сходство, для сравнения нового образца с обучающими данными. Прогноз осуществляется только в том случае, если новый образец находится в определенном пределах расстояния от большого числа обучающих выборок.
-
p-значения для Оценки Различий: Возможно использование статистических методов, таких как расчет p-значения, чтобы определить, насколько новый образец отличается от распределения обучающих данных. Это может быть выполнено, например, путем оценки вероятности того, что выборка из обучающих данных окажется столь же далекой от среднего, как новый образец.
-
Байесовские Методы: Применение байесовского подхода в машинном обучении позволяет моделировать неопределенность в предсказаниях, создавая распределение прогнозируемых значений. Из этого распределения можно оценить уверенность и устанавливать пороговые значения для решения о выполнении или отказе от предсказания.
Литература и Ресурсы
Для глубокой теоретической подготовки и практических рекомендаций по применению этих методов можно обратиться к книге "Machine Learning: A Probabilistic Perspective" Кевина П. Мёрфи, где рассматривается широкий спектр техник, связанных с байесовским машинным обучением.
Терминология и Исследования
Хоть термин "модельные ограничения" и не является официально признанным в научном сообществе, идеи, которые вы описали, находят отклик в работах, посвящённых оценке риска и доверия в предсказательных моделях. Вычисление доверительных интервалов, отклонений и использование методов, оценивающих вероятность ошибок, может выступать в качестве ключевых компонентов в этой сфере.
Заключение
Использование модельных ограничений может значительно повысить надежность и устойчивость моделей машинного обучения в критичных приложениях. Такой подход требует комплексного понимания как теоретических, так и практических аспектов обработки и анализа данных. Важно учитывать как статистические, так и вероятностные подходы в создании и применении предсказательных моделей.