Вопрос или проблема
Я настроил свои гиперпараметры с помощью случайного поиска и использовал cv=5. Важно ли валидировать гиперпараметры с моделью и тестовыми данными, или можно использовать полученную точность от случайного поиска?
В машинном обучении существует фундаментальная разница между тем, что называется гиперпараметрами и параметрами.
Параметры
Это переменные, которые определяют вашу модель, или, другими словами, связь между вашими входными данными и выходом, который вы пытаетесь предсказать.
Например, в простом линейном регрессии цель состоит в том, чтобы уметь делать предсказания для целевой переменной $y$, учитывая некоторое новое входное значение $x$ входной переменной на основе набора обучающих данных, содержащих $N$ входных значений $\mathbf{x} = (x_1, \dots, x_n)^{\mathbf{T}}$. Связь между входами и выходом выражается как
$$
y = w_0 x + w_1
$$
где $w_0$ и $w_1$ — это параметры, которые наш алгоритм старается “выучить” во время обучения, чтобы сделать максимально точные предсказания для $y$. Дополнительно термин $w_0$ называется весом, а термин $w_1$ называется смещением.
Гиперпараметры
Они отличаются от описанных выше параметров в том смысле, что они влияют на сам процесс обучения. Гиперпараметры можно рассматривать как регуляторы, которые вы настраиваете, чтобы улучшить обучение вашей модели наилучшим образом.
Примером гиперпараметра является скорость обучения $\eta$, используемая для настройки того, насколько далеко друг от друга вычисляются значения при поиске наилучших параметров модели с использованием градиентного спуска. Другой пример — количество деревьев решений в лесу при использовании алгоритма случайного леса.
Настройка гиперпараметров
В отличие от параметров модели, гиперпараметры могут быть установлены пользователем перед обучением модели машинного обучения. Честно говоря, метод перекрестной проверки со случайным поиском, который вы упомянули, довольно эффективен для нахождения наиболее подходящих значений гиперпараметров для конкретной задачи машинного обучения. Вы можете разумно использовать результаты перекрестной проверки для гиперпараметров.
Следующие шаги должны включать тестирование вашей модели на отложенных тестовых данных, чтобы проверить, что ваши параметры модели, определенные в процессе обучения, действительно правильно настраивают вашу модель.
.
Ответ или решение
Вопрос о необходимости валидации гиперпараметров после их настройки через метод случайного поиска (random search) и использования кросс-валидации с параметром cv=5 является важным элементом процессов построения моделей машинного обучения. В ответе мы рассмотрим теоретический аспект гиперпараметров, приведем примеры и рассмотрим их практическое применение.
### Теория
В машинном обучении существует четкое различие между параметрами и гиперпараметрами. Параметры моделей (например, в линейной регрессии это веса $w_0$ и $w_1$) — это величины, которые «учатся» алгоритмом в процессе обучения, чтобы максимально точно предсказать результат на основании входных данных.
С другой стороны, гиперпараметры определяются пользователем до начала процесса обучения и определяют, как именно будет проходить обучение модели. Например, в алгоритме градиентного спуска гиперпараметром будет скорость обучения $\eta$, а в методе случайного леса — количество деревьев. Гиперпараметры играют критическую роль в обучении моделей: корректная их настройка может существенно улучшить качество итоговой модели, тогда как неправильно подобранные гиперпараметры могут привести к недообучению или переобучению.
### Пример
Рассмотрим пример. Если мы используем метод случайного поиска для настройки гиперпараметров, такие как глубина деревьев решений или количество соседей в методе ближайших соседей, мы по сути генерируем несколько различных моделей с разными значениями этих гиперпараметров. Кросс-валидация с cv=5 делит данные на пять фолдов, на четырех из которых модель обучается, а на одном проверяется, и этот процесс повторяется пять раз с разными комбинациями обучающих и валидационных данных.
### Применение
Использование кросс-валидации позволяет получить более надежную оценку работы модели и ее гиперпараметров по сравнению с простой оценкой на одном обучающем и одном валидационном наборе. Тем не менее, важно помнить, что результаты кросс-валидации предоставляют показатели на валидационных наборах данных и не показывают, как модель будет вести себя на новых, ранее невидимых данных.
Следовательно, после настройки гиперпараметров модель обязательно должна быть проверена на отложенной тестовой выборке. Эта выборка не должна использоваться в процессе настройки гиперпараметров или обучения самой модели, чтобы избежать выбросов в оценке модели, вызванных излишним подгонкой под обучающую или кросс-валидационную выборку.
### Заключение
Подводя итог, следует отметить, что просто использование оценок от случайного поиска и кросс-валидации недостаточно для окончательной проверки модели. Необходимо провести финальную валидацию на тестовом наборе данных для получения объективной оценки качества модели. Такая последовательность действий гарантирует, что параметры модели и подобранные гиперпараметры обеспечивают адекватную генерализацию на новых, невиданных данных. Тщательность проверки и повторной проверки позволяет разработчикам убедиться в надежности и устойчивости их модели вне лабораторных условий.