Разница в производительности Sigmoid vs. Softmax

Для той же задачи бинарной классификации изображений, если на последнем слое я использую 1 узел с Sigmoid активацией и binary_crossentropy функцией потерь, процесс обучения проходит довольно гладко (92% точности после 3 эпох на валидационных данных).

Однако, если я изменю последний слой на 2 узла и использую Softmax активацию с sparse_categorical_crossentropy функцией потерь, то модель, похоже, вообще не обучается и застревает на 55% точности (соотношение отрицательного класса).

Эта разница в производительности нормальна? Я думал, что для задачи бинарной классификации Sigmoid с Binary Crossentropy и Softmax с Sparse Categorical Crossentropy должны выдавать похожие, если не идентичные результаты? Или я что-то сделал не так?

Примечание: Я использую оптимизатор Adam и есть один столбец меток, содержащий 0 и 1.

Редактировать: Код для 2 случаев

Случай 1: Sigmoid с binary_crossentropy

def addTopModelMobilNetV1(bottom_model, num_classes):
    top_model = bottom_model.output
    top_model = layers.GlobalAveragePooling2D()(top_model)
    top_model = layers.Dense(1024, activation='relu')(top_model)
    top_model = layers.Dense(1024, activation='relu')(top_model)
    top_model = layers.Dense(512, activation='relu')(top_model)
    top_model = layers.Dense(1, activation='sigmoid')(top_model)
    
    return top_model

fc_head = addTopModelMobilNetV1(mobilnet_model, num_classes)
model = Model(inputs=mobilnet_model.input, outputs=fc_head)
# print(model.summary())

earlystopping_cb = callbacks.EarlyStopping(patience=3, restore_best_weights=True)
model.compile(loss="binary_crossentropy", optimizer=optimizers.Adam(), metrics=['accuracy'])
history = model.fit_generator(generator=train_generator, 
                              steps_per_epoch=train_df.shape[0]//TRAIN_BATCH_SIZE, 
                              validation_data = val_generator,
                              epochs = 10,
                              callbacks = [earlystopping_cb]
                              )

Случай 2: Softmax с sparse_categorical_crossentropy

def addTopModelMobilNetV1(bottom_model, num_classes):
    top_model = bottom_model.output
    top_model = layers.GlobalAveragePooling2D()(top_model)
    top_model = layers.Dense(1024, activation='relu')(top_model)
    top_model = layers.Dense(1024, activation='relu')(top_model)
    top_model = layers.Dense(512, activation='relu')(top_model)
    top_model = layers.Dense(2, activation='softmax')(top_model)
    
    return top_model

fc_head = addTopModelMobilNetV1(mobilnet_model, num_classes)
model = Model(inputs=mobilnet_model.input, outputs=fc_head)

earlystopping_cb = callbacks.EarlyStopping(patience=3, restore_best_weights=True)

model.compile(loss="sparse_categorical_crossentropy", optimizer=optimizers.Adam(), metrics=['accuracy'])

history = model.fit_generator(generator=train_generator, 
                                  steps_per_epoch=train_df.shape[0]//TRAIN_BATCH_SIZE, 
                                  validation_data = val_generator,
                                  epochs = 10,
                                  callbacks = [earlystopping_cb]
                                  )

Это зависит от того, являются ли выходные классы взаимно исключающими. Например, в задаче многоклассовой классификации мы используем несколько сигмоидных функций для каждого выхода, потому что это считается несколькими задачами бинарной классификации.

Но если выходные классы являются взаимно исключающими, в этом случае лучше использовать softmax, потому что он даст вероятность для каждого класса, и сумма всех вероятностей = 1. Например, если изображение собаки, выход будет 90% собака и 10% кошка.

В бинарной классификации единственный выход не является взаимно исключающим, мы определенно используем сигмоидную функцию. Потому что нет других классов, чтобы применить взаимную исключительность.

Вы можете найти краткое резюме здесь: https://stackoverflow.com/a/55936594/16310106