Вопрос или проблема
Я хочу объединить предыдущие знания, чтобы улучшить свою модель машинного обучения. В соответствии с правилом Байеса максимальная апостериорная вероятность получается, когда мы умножаем апрiori на MLE. Я умножаю априорную вероятность на результаты прогнозирования вероятности машинного обучения. Однако это не имеет смысла, если я получаю меньшую вероятность. Я что-то упускаю?
Это не так работает:
- Если модель машинного обучения является байесовской, например, наивный Байес, тогда априорная вероятность уже учтена в предсказанной вероятности. Она была рассчитана на обучающем наборе.
- Если это не байесовская модель, то способ вычисления предсказанной вероятности отличается и “полный”, т.е. он не предназначен для модификации. Например, в дереве решений вероятность зависит от того, сколько экземпляров имеет определенную метку в конкретной ветви дерева в обучающем наборе. Снова, не имело бы смысла умножать эту предсказанную вероятность на какой-либо внешний глобальный априор.
Основной принцип в контролируемом машинном обучении заключается в том, что все, что необходимо обучить модели, должно быть получено самой моделью из обучающего набора. Если добавляется какая-либо дополнительная информация, скорее всего, с методом что-то не так.
Кстати, вы правы, что умножение всех предсказанных апостериорных вероятностей на какой-либо внешний априор также испортит вероятностную интерпретацию, поскольку вероятности по классам больше не будут суммироваться до 1.
Ответ или решение
Для успешного комбинирования вероятности априорной информации с результатами вероятностных предсказаний модели машинного обучения необходимо понимать ключевые принципы, лежащие в основе как байесовских, так и небесовских методов.
Контекст и задачи
Вы заявляете о необходимости улучшения предсказательной мощности вашей модели, используя априорные знание. Правило Байеса действительно гласит, что максимизация апостериорной вероятности достигается путем умножения априорной вероятности на максимальное правдоподобие (MLE). Однако возникшая у вас проблема с уменьшением вероятности свидетельствует о некорректном подходе.
Примеры моделей
1. Байесовские модели: Naive Bayes и другие
Если ваша модель является байесовской, например, Naive Bayes, то априорные вероятности уже учтены при расчете предсказанной вероятности. В этом случае вероятностные предсказания непосредственно зависят от шансов, основанных на обучающем наборе данных. Вы умножаете на уже учтенную вероятность, что приводит к избыточной корректировке и, соответственно, менее осмысленным результатам.
2. Небайесовские модели: деревья решений и другие
Для небайесовских моделей, таких как деревья решений, вероятности предсказания рассчитываются на основе конкретных данных, связанных с обучающим набором. Умножение предсказанной вероятности на внешнюю априорную долю не имеет смысла, так как алгоритм уже завершил обработку всех индивидуальных характеристик. Это может привести к исказению вероятностной интерпретации, так как сумма вероятностей по классам может не составить единицы.
Принципы комбинирования
Основным принципом в обучении с учителем является то, что все аспекты, которые необходимо «выучить» модели, должны извлекаться из обучающего набора. Если вы хотите использовать априорные данные, существует несколько подходов:
-
Включение априорной информации в обучающий набор: Вы можете добавить дополнительные признаки, которые отражают вашу априорную информацию, и позволить модели обучиться на этих данных.
-
Байесовская оптимизация гиперпараметров: Используйте Bayesian Optimization для настройки гиперпараметров вашей модели, учитывая вашу априорную информацию о том, какие значения могут быть более актуальными.
-
Комбинирование модели с помощью ансамблей: Вместо прямого умножения вероятностей можно рассмотреть подходы ансамблирования. Например, использовать стеккинг, где одна модель будет учитывать предсказания другой.
Заключение
Резюмируя все вышесказанное, следует помнить, что прямое умножение предсказанных вероятностей на внешние априорные данные может исказить модель и привести к неоптимальным результатам. Я рекомендую исследовать возможность интеграции априорной информации на этапе построения модели, а не на этапе получения предсказаний. Пользуйтесь возможностями байесовских методов разумно, и они смогут значительно укрепить вашу модель.