Вопрос или проблема
В настоящее время я обучаю несколько пользовательских моделей, которые требуют примерно 12 ГБ видеопамяти в лучшем случае. В моей системе около 96 ГБ видеопамяти, и Python/Jupyter все равно умудряется забивать всю видеопамять до такой степени, что я получаю ошибку “Исключение ресурса”. Я уже несколько времени сталкиваюсь с этой странной проблемой, и поэтому буду признателен за любую помощь.
Теперь, когда я загружаю модель на основе VGG, похожую на эту:
from keras.applications.vgg16 import VGG16
from keras.models import Model
import keras
from keras.models import Model, Sequential
from keras.models import Input
input_shape = (512, 512, 3)
base_model = VGG16(input_shape=input_shape, weights=None, include_top=False)
pixel_branch = base_model.output
pixel_branch = Flatten()(pixel_branch)
new_model = Model(inputs=base_model.input, outputs=pixel_branch)
text_branch = Sequential()
text_branch.add(Dense(32, input_shape=(1,), activation='relu'))
# merged = Merge([new_model, text_branch], mode="concat")
merged = keras.layers.concatenate([new_model.output, text_branch.output])
age = Dense(1000, activation='relu')(merged)
age = Dense(1000, activation='relu')(age)
age = Dense(1)(age)
# show model
# model.summary()
model = Model(inputs=[base_model.input, text_branch.input], outputs=age)
Когда я просто запускаю ячейку jupyter с этим кодом и мониторю использование GPU с помощью nvidia-smi, оно составляет 0%. Однако, если я заменяю код в вышеназванной ячейке Jupyter на следующий:
from keras.applications.inception_v3 import InceptionV3
from keras.models import Model
import keras
from keras.models import Model
from keras.models import Sequential
from keras.models import Input
input_shape = (512, 512, 3)
base_model = InceptionV3(input_shape=input_shape, weights=None, include_top=False)
pixel_branch = base_model.output
pixel_branch = Flatten()(pixel_branch)
new_model = Model(inputs=base_model.input, outputs=pixel_branch)
text_branch = Sequential()
text_branch.add(Dense(32, input_shape=(1,), activation='relu'))
# merged = Merge([new_model, text_branch], mode="concat")
merged = keras.layers.concatenate([new_model.output, text_branch.output])
age = Dense(1000, activation='relu')(merged)
age = Dense(1000, activation='relu')(age)
age = Dense(1)(age)
# show model
# model.summary()
model = Model(inputs=[base_model.input, text_branch.input], outputs=age)
Использование GPU начинает зашкаливать, и внезапно почти вся память занята на всех GPU, даже до того, как я выполню model.compile() или model.fit() в Keras!
Я также пробовал как allow_growth, так и per_process_gpu_memory_fraction в TensorFlow. Я все равно получаю ошибку исчерпания ресурсов в момент, когда запускаю model.fit, используя модель на основе Inception. Пожалуйста, обратите внимание, что я не думаю, что это ошибка памяти GPU, так как у меня около 96 ГБ видеопамяти на экземпляре с 8 Tesla K80.
Также имейте в виду, что мой размер пакета составляет 2.
Похоже, ваша проблема связана с вашей аппаратной конфигурацией.
Мне удалось выполнить следующий код на Google Colab, используя GPU, без каких-либо проблем:
import keras
from keras.applications.inception_v3 import InceptionV3
from keras.layers import Dense, Flatten
from keras.models import Model, Sequential, Input
input_shape = (512, 512, 3)
base_model = InceptionV3(input_shape=input_shape, weights=None, include_top=False)
pixel_branch = base_model.output
pixel_branch = Flatten()(pixel_branch)
new_model = Model(inputs=base_model.input, outputs=pixel_branch)
text_branch = Sequential()
text_branch.add(Dense(32, input_shape=(1,), activation='relu'))
# merged = Merge([new_model, text_branch], mode="concat")
merged = keras.layers.concatenate([new_model.output, text_branch.output])
age = Dense(1000, activation='relu')(merged)
age = Dense(1000, activation='relu')(age)
age = Dense(1)(age)
# show model
# model.summary()
model = Model(inputs=[base_model.input, text_branch.input], outputs=age)
Ответ или решение
Обучение модели Inception V3 с использованием Keras и TensorFlow: Решение проблемы с исчерпанием ресурсов GPU
Введение
Обучение глубоких моделей на графических процессорах (GPU) часто сопровождается проблемами с управлением ресурсами, особенно если GPU имеет значительный объем памяти. В данном случае описана проблема с нехваткой ресурсов при попытке обучения модели на основе Inception V3, в то время как аналогичная структура на VGG16 работает без проблем. Рассмотрим подходы к решению этой проблемы.
Проблема
При использовании модели Inception V3 происходит резкое увеличение использования GPU даже без выполнения операций model.compile() и model.fit(). Это может быть связано с особенностями архитектуры данной модели и её потребностями в памяти.
Подходы к решению
-
Обновление TensorFlow и Keras:
Убедитесь, что у вас установлены последние версии TensorFlow и Keras. Разработчики постоянно оптимизируют производительность и управление ресурсами в новых версиях.pip install --upgrade tensorflow keras -
Управление памятью GPU:
Попробуйте использовать следующие настройки для управления памятью GPU:import tensorflow as tf gpus = tf.config.list_physical_devices('GPU') if gpus: try: # Устанавливаем режим роста памяти for gpu in gpus: tf.config.experimental.set_memory_growth(gpu, True) except RuntimeError as e: print(e) -
Использование меньшего размера батча:
Уменьшение размера батча может значительно снизить использование памяти. В вашем случае установите минимально возможный размер (например, 1) и посмотрите, повлияет ли это на ситуацию. -
Контроль за загрузкой модели и данных:
При использовании больших моделей, таких как Inception V3, стоит быть внимательным к тому, как и когда загружается модель и данные. Убедитесь, что загружаете данные в память лишь тогда, когда они действительно нужны. -
Адаптация структуры модели:
Возможно, структура вашей модели требует больших ресурсов, чем VGG. Рассмотрите возможность использования меньшего числа слоев или уменьшения размеров в вашем выходном классе. Например, можно попробовать уменьшить количество нейронов в слоях:age = Dense(500, activation='relu')(merged) age = Dense(500, activation='relu')(age) age = Dense(1)(age) -
Тестирование на меньших размерах изображений:
Попробуйте уменьшить разрешение изображений для обучения и оценки. В вашем случае попробуйте(256, 256, 3)или(128, 128, 3).
Пример кода
Вот пример, как правильно организовать вашу модель с учетом всех рекомендаций:
import keras
from keras.applications.inception_v3 import InceptionV3
from keras.layers import Dense, Flatten, Input
from keras.models import Model, Sequential
import tensorflow as tf
# Настройка оптимизации памяти GPU
gpus = tf.config.list_physical_devices('GPU')
if gpus:
try:
for gpu in gpus:
tf.config.experimental.set_memory_growth(gpu, True)
except RuntimeError as e:
print(e)
input_shape = (256, 256, 3) # пробуйте уменьшить размер
base_model = InceptionV3(input_shape=input_shape, weights=None, include_top=False)
pixel_branch = base_model.output
pixel_branch = Flatten()(pixel_branch)
new_model = Model(inputs=base_model.input, outputs=pixel_branch)
text_branch = Sequential()
text_branch.add(Dense(32, input_shape=(1,), activation='relu'))
merged = keras.layers.concatenate([new_model.output, text_branch.output])
age = Dense(500, activation='relu')(merged)
age = Dense(500, activation='relu')(age)
age = Dense(1)(age)
model = Model(inputs=[base_model.input, text_branch.input], outputs=age)Заключение
Поиск решений для эффективного использования ресурсов при обучении моделей глубокого обучения — это сложная задача, требующая гибкости и экспериментов. Следуя описанным шагам и рекомендациям, вы сможете оптимизировать процесс обучения модели Inception V3 и минимизировать вероятность возникновения ошибок, связанных с исчерпанием памяти GPU.