Изображение в изображение с U-Net без пропускных соединений. Это реально?

В общем, U-Net нужен для создания изображения в другом стиле, но с сохранением структуры. Например, полноценный рисунок из эскиза. Верно?

Я хочу сохранить стиль, но изменить структуру. Например, я хочу взять фото с смятой тканью и получить развернутую ткань. Но я не хочу использовать GAN. Для этого я решил убрать пропуски из U-Net, которые сохраняют структуру. И также я сворачиваю входное изображение в вектор стиля, как в GAN. Верно?

Проблема в том, что этот код успешно обучается, но только если в учебной базе данных нет аугментации. Как только я добавляю к входному изображению (только к входному, так как выход должен оставаться неизменным) угловую аугментацию +/- 5, 10 и 15 градусов, то вместо результата я получаю какой-то шум. Если я начинаю обучение на наборе данных из нескольких примеров, то результат правильный при применении аугментации. Но по мере увеличения числа примеров в наборе данных результат становится хуже.

Но в любом случае моя кривая (Loss:MSE) идеальна ))) Я имею в виду, даже если я получаю какой-то шум в результате (изображение), моя кривая выглядит так, будто я получаю идеальный результат. Просто падающая кривая. И это меня больше всего раздражает. Я не понимаю, как это возможно. Даже если я получаю какой-то шум в результате (изображение), кривая падает, как будто все в порядке. Примерно 0,09/0.05/0.02/0.01/…. Я называю это переобучением просто потому, что не знаю, что это такое. Я имею в виду, когда я не получаю правильный результат, но у вас падает кривая потерь, это называется переобучением. Верно?

Что касается мощности моей модели. Конечно, я думал об этом и изменял количество слоев, фильтров в слоях и нейронов в плотных слоях, но без успеха. Поэтому я думаю, что здесь есть какая-то концептуальная проблема.

Я использую некоторые примеры из учебного набора данных в качестве валидации, потому что хочу быть уверенным, что эта модель может корректно работать как минимум с моими учебными данными. Но, как я уже говорил, с аугментацией я получаю какой-то шум с идеальными потерями (MSE). Неважно, сколько эпох я использую – результат мусорный, кривая идеальна. Скорость обучения = 0.00006 * K (K = 5,4,3,2,1). Вход/выход – изображение (2562563). Adam.

l2_reg = regularizers.l2(1e-6)
initializer = initializers.he_normal()

def build_unet(input_shape=(256, 256, 3)):
    inputs = layers.Input(shape=input_shape)

    c = layers.Conv2D(16, kernel_size=4, strides=2, padding="same")(inputs)
    c = layers.LeakyReLU(negative_slope=0.2)(c) 

    c = layers.Conv2D(32, kernel_size=4, strides=2, padding="same")(c)
    c = layers.LeakyReLU(negative_slope=0.2)(c)

    c = layers.Conv2D(64, kernel_size=4, strides=2, padding="same")(c)
    c = layers.LeakyReLU(negative_slope=0.2)(c)

    c = layers.Conv2D(128, kernel_size=4, strides=2, padding="same")(c)
    c = layers.LeakyReLU(negative_slope=0.2)(c)

    c = layers.Conv2D(256, kernel_size=4, strides=2, padding="same")(c)
    c = layers.LeakyReLU(negative_slope=0.2)(c)

    c = layers.Conv2D(512, kernel_size=4, strides=2, padding="same")(c)
    c = layers.LeakyReLU(negative_slope=0.2)(c)

    # Узкое место
    b = InstanceNormalization()(c)

    b = layers.Reshape((-1,))(b)
    b = layers.Dense(1024, kernel_regularizer=l2_reg,)(b)
    b = layers.LeakyReLU(negative_slope=0.2)(b)

    b = layers.Dropout(0.2)(b)

    b = layers.Dense(1024*4*4, kernel_regularizer=l2_reg,)(b)
    b = layers.LeakyReLU(negative_slope=0.2)(b)
    b = layers.Reshape((4,4,1024))(b)

    # Декодер
    d = layers.Conv2DTranspose(512, kernel_size=4, strides=2, padding="same")(b)
    d = layers.LeakyReLU(negative_slope=0.2)(d)

    d = layers.Conv2DTranspose(256, kernel_size=4, strides=2, padding="same")(d)
    d = layers.LeakyReLU(negative_slope=0.2)(d)

    d = layers.Conv2DTranspose(128, kernel_size=4, strides=2, padding="same")(d)
    d = layers.LeakyReLU(negative_slope=0.2)(d)

    d = layers.Conv2DTranspose(64, kernel_size=4, strides=2, padding="same")(d)
    d = layers.LeakyReLU(negative_slope=0.2)(d)

    d = layers.Conv2DTranspose(32, kernel_size=4, strides=2, padding="same")(d)
    d = layers.LeakyReLU(negative_slope=0.2)(d)

    d = layers.Conv2DTranspose(16, kernel_size=4, strides=2, padding="same")(d)
    d = layers.LeakyReLU(negative_slope=0.2)(d)

    outputs = layers.Conv2D(3, kernel_size=3, padding="same", activation="tanh")(d)

    model = models.Model(inputs=inputs, outputs=outputs, name="build_unet")
    return model

unet = build_unet()

adam_optimizer = Adam(
    learning_rate=0.00006*K,
)

unet.compile(optimizer=adam_optimizer, loss="mse", metrics= None)

Да, возможно реализовать задачу Image-to-Image с использованием U-Net без пропусков, но это значительно снизит способность модели захватывать высокоуровневые признаки из более ранних слоев, что является одной из ключевых сил архитектуры U-Net. U-Net обычно известен своим использованием пропусков, которые помогают передавать детальную пространственную информацию от.encoder к декодеру, что делает его очень эффективным для таких задач, как сегментация изображений и перевод изображений.

Без пропусков сеть может испытывать трудности с сохранением тонких деталей, что приводит к менее точным или низкокачественным выходным данным, особенно для задач, требующих высокой точности, таких как сегментация медицинских изображений или суперразрешение. Однако все-таки возможно модифицировать архитектуру U-Net для определенных случаев использования, но это может потребовать других техник, чтобы компенсировать потерю информации, которую предоставляют пропуски.