Keras – Реализация пользовательской функции потерь с несколькими выходами

Question 1

Я пытаюсь воссоздать (в гораздо меньшей версии) систему AlphaGo Zero. Однако у меня возникают проблемы с моделью сети. Функция потерь, которую я должен реализовать, следующая:

$$l = (z – v)^2 – \pi^T log(p) + c ||\theta||^2$$

Где:

$z$ — это метка (реальное значение между -1 и 1) одной из двух голов сети, а $v$ — это значение, предсказанное сетью.
$\pi$ — это метка распределения вероятности всех действий, а $p$ — это распределение вероятности всех действий, предсказанное сетью.
$c$ — это параметр регуляризации L2.

Я передаю сети список каналов (представляющих состояние игры) и массив (такого же размера, что и $\pi$ и $p$), представляющий, какие действия действительно являются действительными (путем установки 1, если действительно, 0 в противном случае).

Как видно, функция потерь использует как целевые значения, так и предсказания сети для вычисления. Но после обширного поиска, при реализации своей пользовательской функции потерь, я могу передавать только параметры y_true и y_pred, хотя у меня есть две “y_true” и две “y_pred”. Я пытался использовать индексацию, чтобы получить эти значения, но я уверен, что это не работает.

Моделирование сети и пользовательская функция потерь находится в коде ниже:

def custom_loss(y_true, y_pred):

    # Я уверен, что это не работает

    output_prob_dist = y_pred[0]
    output_value = y_pred[1] 
    label_prob_dist = y_true[0]
    label_value = y_pred[1]

    mse_loss = K.mean(K.square(label_value - output_value), axis=-1)
    cross_entropy_loss = K.dot(K.transpose(label_prob_dist), output_prob_dist)

    return mse_loss - cross_entropy_loss

def define_model():
    """Реализация модели нейронной сети с использованием Keras + Tensorflow."""
    state_channels = Input(shape = (5,5,6), name="States_Channels_Input")
    valid_actions_dist = Input(shape = (32,), name="Valid_Actions_Input")

    conv = Conv2D(filters=10, kernel_size=2, kernel_regularizer=regularizers.l2(0.0001), activation='relu', name="Conv_Layer")(state_channels)
    pool = MaxPooling2D(pool_size=(2, 2), name="Pooling_Layer")(conv)
    flat = Flatten(name="Flatten_Layer")(pool)

    # Объединение разровненных каналов (после пулинга) и действительного действия
    # распределение. Используется только в качестве ввода в голову распределения вероятности.
    merge = concatenate([flat, valid_actions_dist])

    # Распределение вероятности по действиям
    hidden_fc_prob_dist_1 = Dense(100, kernel_regularizer=regularizers.l2(0.0001), activation='relu', name="FC_Prob_1")(merge)
    hidden_fc_prob_dist_2 = Dense(100, kernel_regularizer=regularizers.l2(0.0001), activation='relu', name="FC_Prob_2")(hidden_fc_prob_dist_1)
    output_prob_dist = Dense(32, kernel_regularizer=regularizers.l2(0.0001), activation='softmax', name="Output_Dist")(hidden_fc_prob_dist_2)
    
    # Значение состояния
    hidden_fc_value_1 = Dense(100, kernel_regularizer=regularizers.l2(0.0001), activation='relu', name="FC_Value_1")(flat)
    hidden_fc_value_2 = Dense(100, kernel_regularizer=regularizers.l2(0.0001), activation='relu', name="FC_Value_2")(hidden_fc_value_1)
    output_value = Dense(1, kernel_regularizer=regularizers.l2(0.0001), activation='tanh', name="Output_Value")(hidden_fc_value_2)

    model = Model(inputs=[state_channels, valid_actions_dist], outputs=[output_prob_dist, output_value])

    model.compile(loss=custom_loss, optimizer="adam", metrics=['accuracy'])
    
    return model



# В основном методе
model = define_model()
# ...
# Процедура MCTS для сбора данных для ввода в сеть
# ...

x_train = [channels_input, valid_actions_dist_input]
y_train = [dist_probs_label, who_won_label]

model.fit(x_train, y_train, epochs=10)

Вкратце, мой вопрос: как правильно реализовать эту пользовательскую функцию потерь, которая использует как выводы сети, так и метки значений сети?

Question 2

Поскольку вы смешиваете y_true[0] с y_pred[0] и y_true[1] с y_pred[1], вы можете рассмотреть возможность использования разных потерь для каждого из них и использования loss={'Output_Dist': custom_loss, 'Output_Value': losses.MSE} при компиляции. Внутри он добавит результат каждого из них в финальную потерю.

def custom_loss(y_true, y_pred):
    return -K.dot(K.transpose(y_true), y_pred)

Keras – Реализация пользовательской функции потерь с несколькими выходами

Вопрос или проблема

Ответ или решение

Реализация пользовательской функции потерь с несколькими выходами в Keras

Проблема

Решение

Объяснение кода

Заключение