Вопрос или проблема
Я решаю задачу классификации с несколькими классами, с меткой в следующей форме [1333201000], а логит-выход модели имеет следующий вид
([[0.4523, 0.0198, -0.1911, -0.0036],
[0.4917, 0.4316, -0.2846, 0.0774],
[0.4827, 0.2323, -0.2338, 0.2975],
[0.0017, 0.0069, 0.1721, 0.1800],
[0.2452, 0.0772, -0.3574, 0.1191],
[0.2852, 0.2769, -0.0884, 0.1215],
[0.0825, 0.2109, -0.3785, 0.0742],
[0.2253, 0.4560, -0.1529, -0.3226],
[0.4251, 0.0682, -0.1916, -0.2752],
[0.3496, 0.2189, -0.1748, 0.2128]])
и я использую CrossEntropyLoss, который представляет собой torch.nn.crossentropyloss. У меня есть проблема с тем, что моя задача подходит для этой функции потерь, и действительно ли эта версия torch похожа на функцию кроссэнтропии: 
Вам предоставлены ваши метки в немного неудобном формате, но этот формат можно распутать, чтобы получить список меток, например, с помощью такого кода на Python.
mylist = [1333201000] # Это то, что у вас есть
categories = [int(category) for category in str(mylist[0])] # Создать список меток
print(categories)
Документация Torch предполагает, что наличие списка (возможно, в виде np.array) индексов меток, как и переменная categories, будет принято.
Ожидается, что целевой показатель этого критерия должен содержать либо:
Затем говорится, что нужно задать значения для ваших четырех классов как 0, 1, 2 и 3, точно так же, как это дает переменная categories выше.
Затем предсказания дают, для каждой истинной метки в categories, предсказанную вероятность появления каждой категории. В задаче предсказания вы хотите, чтобы истинная категория была предсказана близко к единице, а остальные – к нулю, но вам может не всегда так везти.
.
Ответ или решение
Конечно, давайте рассмотрим задачу многоклассовой классификации и использование ошибки перекрестной энтропии (CrossEntropyLoss) в рамках PyTorch.
Решение задачи многоклассовой классификации
Когда мы работаем с задачами классификации, в которых каждый экземпляр данных должен быть отнесен к одному из нескольких классов, одной из ключевых метрик для оптимизации является ошибка перекрестной энтропии. Ваша проблема состоит в том, чтобы проверить, подходит ли используемая вами функция torch.nn.CrossEntropyLoss для вашего случая, и действительно ли она соответствует классическому определению кросс-энтропии.
Применение CrossEntropyLoss в PyTorch
Функция torch.nn.CrossEntropyLoss в PyTorch предназначена для многоклассовой классификации и работает следующим образом:
-
Логиты: Функция
CrossEntropyLossпринимает логиты (сырые результатные значения модели до применения softmax функции). Это полезно, так как функция автоматически применяет softmax внутри себя для вычисления вероятностей классов. -
Целевые метки: Метки, передаваемые в функцию, должны быть в виде индексов классов. В вашем случае, вы можете использовать конвертацию
[1333201000]в список индексов[1, 3, 3, 3, 2, 0, 1, 0, 0, 0], как показано в примере с кодом Python, который вы привели. -
Совпадение с классической формулой: Классическая ошибка перекрестной энтропии рассчитывается по формуле:
[
-\sum_{i=1}^{C} y_i \log(p_i)
]где ( C ) — количество классов, ( y_i ) — бинарная индикаторная переменная (1, если правильный класс, и 0 в противном случае), а ( p_i ) — вероятность предсказания для класса ( i ).
torch.nn.CrossEntropyLossоптимизирована для выполнения именно таких расчетов, при этом автоматически применяя softmax к логитам, которые вы предоставляете.
Практическое применение
Если вы применяете CrossEntropyLoss в PyTorch, уделите внимание следующим моментам:
- Проверьте, чтобы ваши данные корректно были преобразованы в тензоры.
- Убедитесь, что метки находятся в нужном формате (индексы классов).
- Убедитесь, что размерность логитов и меток совпадает по числу элементов (например, если у вас 10 прогнозов, логиты и метки также должны иметь размер 10).
Вывод
Использование torch.nn.CrossEntropyLoss в вашей задаче — это правильный подход. Она автоматически выполняет необходимые преобразования и вычисления для многоклассовой классификации, будь то расчёт грейдиентов или применение softmax, обеспечивая соответствие теоретической формуле кросс-энтропии.
Удачи вам в дальнейшем использовании PyTorch и обучении вашей модели! Если у вас будут дополнительные вопросы или сложности, связанные с оптимизацией или обучением модели, не стесняйтесь обращаться за помощью.