Вопрос или проблема
Я хочу создать модель CNN и использую аугментацию данных. Я хочу узнать количество аугментированных изображений в Keras.
Как определить количество тренировочных изображений в Keras после аугментации данных?
Например, если у меня есть 2000 изображений для тренировки и я применяю аугментацию, какое количество изображений будет после аугментации?
Изображения в наборе данных не используются напрямую. Вместо этого модели предоставляются только аугментированные изображения. Таким образом, ваш ответ — 2000 изображений.
Фактически не создаются новые изображения, аугментированные изображения просто будут накладываться на оригинальные изображения, и ваш размер партии останется прежним.
Вы можете генерировать столько аугментированных изображений в Keras, используя ImageDataGenerator. Я столкнулся с той же проблемой и понял, что количество изображений, которые вы можете сгенерировать, бесконечно. Вторая вещь — вы можете ограничить количество создаваемых изображений.
Ответ или решение
Чтобы определить количество обучающих изображений в Keras после применения аугментации данных, необходимо понять несколько ключевых аспектов работы с библиотекой Keras и модулями, связанными с аугментацией.
1. Основы аугментации данных в Keras
Keras предоставляет множество инструментов для аугментации изображений, наиболее распространенным из которых является класс ImageDataGenerator. Это позволяет создать "виртуальное" количество новых изображений путём применения случайных и часто небольших преобразований (вращение, изменение размеров, обрезка, изменение яркости и т.д.) к исходным данным без физического создания новых файлов.
2. Количество изображений после аугментации
Если у вас есть 2000 изображений в наборе для обучения и вы используете ImageDataGenerator, то количество оригинальных изображений остаётся фиксированным на уровне 2000. Аугментация в реальном времени применяется непосредственно во время обучения, где каждое изображение, подающееся в модель, будет изменено с помощью указанных вами параметров аугментации. Именно это изменение создаёт иллюзию наличия значительного количества различных изображений, хотя на самом деле физически их остаётся 2000.
3. Бесконечное количество изображений
При использовании ImageDataGenerator, важно понимать, что вы можете настраивать процесс генерации так, что на каждом этапе обучения может возникать различное представление одного и того же изображения. Фактически это означает, что в ходе многократного использования вашего набора данных мы можем считать, что создаются "бесконечные" различные варианты данных. Однако фактическое ограничение на количество изображений, которые вы можете получить в каждом обучающем батче, определяется настройками аугментации и размерами батча (параметр batch_size).
4. Практические рекомендации
-
Настройки aугментации: Убедитесь, что вы настроили параметры аугментации оптимальным образом. Это включает в себя выбор случайных трансформаций, которые зачастую подойдут для вашей задачи. Например, если вы работаете с изображениями автомобилей, вращение и изменение яркости могут существенно помочь в улучшении обобщающей способности вашей модели.
-
Контроль увеличения: Если вы хотите ограничить количество фактических генераций (например, для получения 10 уникальных изображений из одного оригинала), вы можете управлять параметром
save_to_dirвImageDataGenerator, который позволяет сохранять результаты аугментации в отдельную папку. Это может помочь вам сохранить новые строки данных для дальнейшего анализа.
Заключение
Таким образом, даже с применением аугментации данных в Keras, количество оригинальных изображений остается неизменным — в вашем случае это 2000. Однако благодаря различным трансформациям, созданным на лету, модель может видеть множества уникальных представлений, что расширяет диапазон возможных входных данных во время обучения. Это позволяет улучшить общую производительность модели, не требуя значительного увеличения объема исходных данных.