Общие вопросы по автоэнкодерам и плохая потеря

Я пытаюсь заставить простой автокодировщик работать с набором данных Iris, чтобы исследовать автокодировщики на базовом уровне. У меня возникает проблема, когда потери модели чрезвычайно высоки (>20).

Может, кто-то поможет мне понять, выглядит ли эта модель нормально на первый взгляд?

Некоторые вопросы, в которых я был бы рад помощи:

• Существует 3 возможных выхода для y – поэтому я использовал Softmax на последнем слое – если я сделаю OHE для вывода, будет ли использование чего-то вроде Sigmoid более уместным, так как значения находятся в диапазоне от 0 до 1?

• Изменение наименьшего изменения в слоях (слой кодирования изменен с 3 на 6) –> вызывает значительное изменение потерь – это нормально?

• Каждый запуск автокодировщика дает другой результат – нормально ли, что он не детерминирован?

• Почему последний слой должен быть того же размера (4), что и входное измерение – можем ли мы заставить его выдавать 3, например? Я знаю, что могу получать данные из латентного слоя, но тогда я не могу подгонять модель на основе этого слоя.

    import pandas as pd
    import numpy as np
  
    from sklearn.model_selection import cross_val_score, train_test_split
    from sklearn.preprocessing import LabelEncoder, OneHotEncoder
    from sklearn.pipeline import Pipeline
    from sklearn import datasets
    from tensorflow.keras.layers import Input, Dense, BatchNormalization, LeakyReLU
    from tensorflow.keras import backend, layers, models, metrics, utils
    from tensorflow.keras import regularizers, Input, Model, optimizers
  
  
    iris = datasets.load_iris()
    x = iris.data
    y = iris.target.reshape(-1, 1)
    X_train, X_test, y_train, y_test = train_test_split(x, y, test_size=0.20)
    input_dim = Input(shape=(X_train.shape[1],))
  
  
    encoded = layers.Dense(6, input_dim='input_dim')(input_dim)
    encoded = BatchNormalization()(encoded)
    encoded = LeakyReLU()(encoded)
    encoded = layers.Dense(3)(encoded)
  
    decoded = layers.Dense(4, activation='softmax')(encoded)
    autoencoder = Model(inputs=input_dim, outputs=decoded)
  
  
    opt = optimizers.Adam(lr=0.00001)
    autoencoder.compile(optimizer=opt
                        , loss="categorical_crossentropy"
                        , metrics=[metrics.CategoricalAccuracy()])
  
  
    history = autoencoder.fit([X_train]
     , [X_train]
     , epochs=16
     , batch_size=2
     , verbose=2
     , validation_data=((X_test),(X_test))
                       )
  

Спасибо за любую помощь!

В вашем вопросе есть некоторая путаница, поскольку вы говорите об AE, но используете softmax в качестве вывода… что почти не имеет смысла

Прежде всего, потеря сама по себе не имеет значения:
Если я дам вам две модели с двумя разными потерями (в вашем случае, двумя AE), вы не сможете никаким образом угадать, какая из них лучшая (поэтому потеря в 20 ничего не значит)

Что касается ваших вопросов:

1. зависит от распределения… one hot encoding выхода предполагает мультиномиальное распределение, которое можно аппроксимировать как softmax, так и sigmoid, но в 99% случаев вы должны использовать softmax, так как он непосредственно кодирует ограничения распределения, и НС не нужно их изучать (как при аппроксимации вероятности, вы можете использовать линейный выходной слой, но НС должна научиться выдавать значения от 0 до 1, и нет никаких гарантий, что она всегда это сделает)
2. автокодировщик направлен на уменьшение размерности… вы начинаете с 4 признаков и позволяете ему использовать 6 измерений (в данном случае мы говорим об избыточном AE, но вам нужно какое-то ограничение, чтобы они работали как ожидается)
3. добро пожаловать в мир не выпуклой оптимизации… если начальная точка случайна (что и есть, поскольку веса инициализируются случайно), вы, вероятно, попадете в другую локальную минимум
4. автокодировщик нацелен на изучение функции идентичности ($decoder(encoder(x)) = x$), поэтому, очевидно, нет, вход должен иметь ту же форму, что и выход

На этом этапе я довольно уверен, что AE – это не то, что вы ищете, а скорее обычная дискриминационная НС (поскольку вы используете cat-cross-ent в качестве функции потерь)