Как передавать входные данные в модели глубокого обучения для задачи ответа на множественный выбор?

Содержание

Вопрос или проблема
Ответ или решение
Основные этапы подготовки данных для модели
Модель глубокого обучения
Выводы

Вопрос или проблема

В настоящее время я работаю над системой ответов на вопросы с множественным выбором. Обучающая выборка состоит из вопроса, ответа и 4 вариантов, и мне нужно предсказать правильный ответ среди 4 вариантов. Иногда есть и один абзац, например:

1.Какое из следующих измеряется с помощью штангенциркуля?

[A] Размеры
[B] Время
[C] Звук
[D] Температура

Ответ: A [Размеры]

Текст главы: [Глава книги, относящаяся к размерам, времени, звуку и температуре]

Как подать этот ввод в любую из моделей глубокого обучения?
Я подумал о двух подходах:

Использование токенов

и правильный, и как one hot encoding => [1, 0, 0, 0]

Использование конкатенации

Генерация фиксированного размера векторного представления слов для каждого текста:

 - Текст главы = [1,1024] 
 - Текст         = [1,1024] 
 - вариант_a     = [1,1024] 
 - вариант_b     = [1,1024] 
 - вариант_c     = [1,1024] 
 - вариант_d     = [1,1024]

final_input = concat( [ Текст главы, Текст, вариант_a, вариант_b, вариант_c, вариант_d] ) ==> [1,6144]

и правильный, и как one hot encoding => [1, 0, 0, 0]

Является ли это хорошим представлением для понимания и логического вывода текста в задаче mcqa?

Основная идея большинства современных архитектур для ответов на вопросы заключается в следующем:

получить общее представление вопроса и входного текста (например, с использованием BERT)
получить представление ответов
выполнить своего рода внимание к ответам: вычислить скалярный балл для каждого из ответов (с помощью скалярного произведения, линейного слоя, многослойного перцептрона) и нормализовать баллы, используя softmax

Архитектуры, как правило, основаны на Модели двунаправленного внимательного потока, хотя она была разработана для слегка другой задачи, и хотя предварительно обученные векторные представления слов и RNN в модели сегодня обычно заменяются моделями, подобными BERT. В 2018 году состоялся конкурс по ответам на вопросы на SemEval, на котором было представлено много интересных идей по этой проблеме.

Ответ или решение

Для решения задачи многовариантного вопроса на основе глубокого обучения, необходимо тщательно продумать, как правильно представить входные данные модели. Это включает в себя как сам вопрос и ответы, так и дополнительный контекст, например, текст главы. В этом ответе мы рассмотрим несколько подходов к этому процессу, основанных на современных методах машинного обучения и технике представления текстовых данных.

Основные этапы подготовки данных для модели

Подготовка входных данных: Входные данные должны быть представлены в форме, с которой может работать модель глубокого обучения. Это значит, что каждая часть входной информации должна быть преобразована в числовое представление. Ваша идея использовать токены и фиксированный размер векторов слов — это хороший старт.
Использование токенов: Ваша идея о том, чтобы использовать токены, подразумевает, что необходимо разбивать текст на отдельные слова или символы и преобразовывать их в числовые представления. Это можно сделать с помощью таких инструментов, как BERT или токенизаторы типа WordPiece, которые преобразуют текст в идентификаторы слов. Например, токенизировать вопрос и каждый из ответов.
One-hot кодирование: Для обозначения правильного ответа можно использовать one-hot кодирование, что позволяет модели распознавать, какой именно ответ был правильным. Например, для ответа A, код будет [1, 0, 0, 0].
Конкатенация: ваш второй подход, заключающийся в конкатенации, также является разумным. Объединив векторы признаков для текста главы, вопроса и каждого из вариантов ответов, вы получаете фиксированный вектор размерности [1, 6144]. Это позволяет модели обрабатывать все входные данные как единое целое. Однако важно убедиться, что все эти представления нормализованы и находятся в одном масштабируемом пространстве.

Модель глубокого обучения

Современные архитектуры для решения задач вопрос-ответ чаще всего основываются на механизмах внимания. Основные идеи следующие:

Общие представления: Создание общего представления для вопроса и входного текста. Это может быть реализовано с помощью BERT или его аналогов, которые позволяют лучше понять контекст.
Представление ответов: Каждое из представлений ответов (варианты A, B, C и D) должно быть таким же образом закодировано, чтобы модель могла проводить сравнения с вопросом.
Механизм внимания: После получения представлений всех элементов, можно использовать механизмы внимания для вычисления оценки (score) каждого ответа в контексте вопроса. Обычно это делается при помощи простого скалярного произведения, линейного слоя или многослойного перцептрона для смешивания информации.

Выводы

Предложенные вами подходы к представлению входных данных являются обоснованными, однако для достижения наилучших результатов настоятельно рекомендую использовать предварительно обученные трансформеры, такие как BERT. Они позволят вам создать более богатое и контекстуально осведомленное представление текста.

Каждый из вышеперечисленных этапов требует тщательной обработки данных, чтобы обеспечить максимальную эффективность вашей модели. Сочетая все эти методы, вы сможете построить мощную систему для решения задачи многовариантного вопроса ответа, которая будет использовать возможности современных достижений в области глубокого обучения.