Вопрос или проблема
У меня есть обученная модель классификации TensorFlow (52 класса).
Последние 3 слоя:
model.add(LSTM(70, return_sequences=False, unroll=True)
model.add(Dense(50))
model.add(Dense(52, activation='softmax'))
Я хочу получить логиты (значения перед softmax), чтобы откалибровать модель (с использованием температурного масштабирования softmax).
Как я могу получить эти логиты?
Если я попробую таким образом:
probabilities = model.predict(input_data)
logits = tf.math.log(probabilities)
Я получу неправильные логиты (потому что softmax делит каждый логит на сумму exp логитов)
Если я попробую таким образом:
logits_layer_model = tf.keras.Model(inputs=model.input, outputs=model.layers[-2].output)
logits = logits_layer_model.predict(input_data)
В этом случае не учитываются веса последнего слоя.
Как мне получить логиты?
Ответ или решение
Чтобы получить логиты из обученной модели TensorFlow, вам необходимо извлечь результаты перед активацией softmax. Это требует доступа к выходу предпоследнего слоя модели, который в вашем случае является слоем Dense с 50 нейронами. Однако для получения логитов, которые представляют собой значения перед применением активации softmax, важно правильно настроить модель для извлечения этих данных.
Вот пошаговая инструкция по получению логитов из вашей модели:
-
Создание новой модели: Вам нужно создать новую модель, которая использует ту же входную часть, что и ваша оригинальная модель, но заканчивается на предпоследнем слое. Для этого вы можете использовать
tf.keras.Model. -
Извлечение логитов: После создания новой модели, вы можете использовать метод
predictдля получения логитов.
Ниже представлено, как это можно сделать в коде:
import tensorflow as tf
# Создание вашей исходной модели
model = tf.keras.Sequential()
model.add(tf.keras.layers.LSTM(70, return_sequences=False, unroll=True, input_shape=(timesteps, features)))
model.add(tf.keras.layers.Dense(50))
model.add(tf.keras.layers.Dense(52, activation='softmax'))
# Создание модели для извлечения логитов
logits_layer_model = tf.keras.Model(inputs=model.input, outputs=model.layers[-1].output)
# Получение логитов
logits = logits_layer_model.predict(input_data)
# Получение логитов перед softmax
logits_layer_model = tf.keras.Model(inputs=model.input, outputs=model.layers[-2].output)
logits = logits_layer_model.predict(input_data)В этом коде первые две строки создают базовую LSTM-модель. Затем создается модель logits_layer_model, которая возвращает результаты предпоследнего слоя, где находятся логиты. При вызове метода predict вы получаете массив логитов, который не подвергался активации softmax.
Важно отметить, что вы не должны использовать tf.math.log(probabilities) для получения логитов, поскольку это приведет к некорректной интерпретации, как вы уже упоминали. Используйте вышеуказанный метод для получения истинных предварительных выходов модели.
Дополнительные советы по калибровке модели
После получения логитов вы можете использовать методы температурной калибровки для улучшения уверенности предсказания вашей модели. Температурное масштабирование позволяет изменять распространение вероятностей, не изменяя порядок предсказаний, что может быть полезно для повышения доверия к результатам.
Чтобы провести температурное масштабирование, вам нужно будет задать значение температуры и пересчитать вероятности:
def softmax_with_temperature(logits, temperature):
logits_scaled = logits / temperature
return tf.nn.softmax(logits_scaled)Этот подход поможет вам более точно настраивать выводы вашей классификационной модели, особенно в задачах с большим числом классов.
В заключение, результат, полученный с помощью нового слоя, будет более подходящим для дальнейших шагов по калибровке. Этот подход легок в реализации и обеспечивает максимальную гибкость для дальнейшего анализа и усовершенствования вашей модели.