Вопрос или проблема
Wfinetuned = Wpretrained + ΔW, так что мы делаем ΔW = A @ B и |ΔW| >> |A| + |B|, мы счастливы. Но почему мы не используем тот же метод во время обучения? Итак, Wtrained = Winitialized + ΔW, и все еще |ΔW| >> |A| + |B|? И далее мы можем сделать Wtrained = Winitialized + ΔW = C @ D + A @ B, |Winitialized + ΔW| >> |C| + |D| + |A| + |B|?
.
Ответ или решение
Почему LoRA подходит для дообучения, но не для первоначального обучения
Введение
LoRA (Low-Rank Adaptation) является популярной методикой, используемой в области глубокого обучения для дообучения уже предобученных моделей, позволяя адаптировать их к специфическим задачам с минимальными затратами. В этом ответе мы подробно рассмотрим, почему LoRA эффективна для дообучения, но не рекомендуется для первоначального обучения моделей.
Фундаментальная разница между дообучением и первоначальным обучением
Суть работы LoRA заключается в том, что она вносит изменения в уже существующие веса модели, представленные как Wfinetuned = Wpretrained + ΔW. Здесь ΔW — это низкоранговая матрица, которая добавляется к предобученным весам, чтобы адаптировать модель к новым задачам. Основная причина, по которой LoRA эффективна именно на этом этапе, заключается в том, что предобученные веса уже содержат обширные знания, накопленные на больших объемах данных.
1. Проблема первоначального обучения
Во время первоначального обучения модели не обладают никакой предварительной информацией: их веса Winitialized инициализируются случайным образом. Если мы применим аналогичный подход, как в случае с LoRA для дообучения, тогда формула изменится на Wtrained = Winitialized + ΔW, где ΔW снова представляется как матрица, созданная через низкоранговую деформацию. Однако нет достаточного контекста, на котором можно было бы базировать изменение весов, что делает эту процедуру менее эффективной.
Систематически, пусть |ΔW| >> |A| + |B|, но в этом месяце Winitialized не содержит необходимых знаний, чтобы эффективно каскадировать изменения. В начальной стадии обучения важно, чтобы модель была направлена на изучение значимых паттернов из данных, а не на произвольные изменения весов, что может приводить к нестабильного обучения и переобучению.
2. Риски переобучения и неопределенности
Первоначальное обучение — это поиск в большом пространстве гиперпараметров и соотношений, что приводит к случайным и неопределенным результатам. Использование LoRA для первоначального обучения может вызвать проблемы с переобучением, так как модель будет склонна подстраиваться под шум данных, а не извлекать полезные паттерны. Без достаточной структуры, в которую можно было бы встраивать изменения, модель рискует научиться запоминать данные, а не обобщать их.
3. Адаптация к новым задачам
LoRA работает прекрасно на стадии дообучения из-за своей способности к адаптации в рамках существующих структур, уже имеющих смысл. К примеру, Wfinetuned = Wpretrained + A @ B, где A и B могут использоваться для передачи специфической информации. В первоначальном обучении, когда Winitialized отсутствует, возможности адаптации и удержания структуры затруднены.
Заключение
Итак, хотя LoRA демонстрирует выдающуюся эффективность при дообучении предобученных моделей, использование этого метода для первоначального обучения приведет к рискам неопределенности, попыткам моделирования шумов и недостатку базовых знаний о распределении данных. Поэтому для первоначального обучения рекомендуется использовать традиционные методы и только затем прибегать к методам адаптации, таким как LoRA, для того чтобы достичь максимальной эффективности и производительности модели.