Вопрос или проблема
Я работаю над созданием модели для классификации типа касания, которое делает пользователь (долгое нажатие, смахивание влево, смахивание вправо и так далее). У меня есть данные с характеристиками, которые описывают касание пользователя, такие как продолжительность, скорость в направлении x, скорость в направлении y и т.д. Одной из характеристик, которая также присутствует, является траектория касания.
Проблема в том, что для касаний, таких как нажатия или долгие нажатия, длина массива траектории составляет 2 или 3 точки, а для смахиваний — от 40 до 100 точек. Я думал, что можно использовать либо дополнение (padding), либо свёрточные нейронные сети (CNN). Но проблема с дополнением заключается в том, что, так как я использую траектории, если я дополню их нулями, это может повлиять на обучение, так как ‘0’ всё равно имеет значение в траекториях как некоторые точки. А проблема с CNN, как мне кажется, в том, что я не знаю, будет ли такая архитектура работать для всех характеристик (продолжительность касания, скорость по x и т.д.), так как они не связаны пространственно. Я могу ошибаться в этом; пожалуйста, исправьте меня, если это так. Я также думал использовать рекуррентные нейронные сети (RNN), но не стал этого делать, так как они в основном используются для задач обработки естественного языка, и все характеристики не связаны друг с другом последовательно.
Какие существуют различные способы обработки таких входных признаков переменной длины для нейронных сетей?
Пожалуйста, проверьте эту ссылку https://sequentia.readthedocs.io/en/latest/sections/classifiers/knn.html
Динамическое выравнивание времени, классификатор k-ближайших соседей
Ответ или решение
Для обработки переменной длины данных, таких как траектории касания пользователя при классификации типов касаний (долгое нажатие, смахивание влево, смахивание вправо и т. д.), существует несколько подходов, которые можно использовать для подготовки ваших данных перед подачей их в нейронную сеть.
1. Использование Zero-Padding
Вы упомянули об использовании padding, не зная, как это повлияет на вашу модель. Для траекторий, где меньшие длины могут быть дополнены нулями, одним из подходов является использование masking. Это позволит модели игнорировать нулевые значения. Например, в Keras есть слой Masking, который игнорирует определённые значения (например, нули) при обучении. Таким образом, вы можете дополнить свои короткие последовательности до максимальной длины, а затем использовать маскирование для того, чтобы модель знала, какие элементы не следует учитывать.
2. Рекуррентные Нейронные Сети (RNN)
Несмотря на то, что RNN часто применяются в задачах обработки естественного языка, они также подходят для работы с последовательными данными, такими как траектории. Если ваши данные (длительность, скорость и т. д.) могут быть представлены в виде временных последовательностей, то RNN или LSTM могут быть полезны. Эти архитектуры будут обрабатывать последовательные данные исходя из их временной зависимости.
Примером может быть использование LSTM для траекторий, где каждый момент времени включает в себя информацию о x- и y-скоростях, а также о времени нажатия.
3. Использование CNN для временных рядов
Хотя вы отмечаете, что CNN обычно используются для изображений, они также могут быть применены к данным временных рядов. Специальные архитектуры могут извлекать локальные временные зависимости и особенности из траекторий. Вы можете применить 1D свёртки к временным сериям, чтобы выявить иерархические зависимости в ваших данных. Для других признаков, таких как длительность касания, можно использовать Dense-сети, которые комбинируют информацию с подвергнутыми свёртке траекториями.
4. Комбинированные Модели
Одним из подходов может быть создание комбинированной модели, в которой используются как CNN для анализа траекторий, так и Dense-слои для обработки других признаков. Например, вы можете применять свёрточные слои к входной последовательности касаний, а затем объединять выходные данные с полносвязными слоями для остальных признаков. Это может быть сделано с помощью слоев объединения (например, Concatenate в Keras).
5. Классификация с помощью динамического временного выравнивания
Вы также можете изучить метод динамического временного выравнивания (DTW) в сочетании с классическим алгоритмом k-ближайших соседей (k-NN), как указано в вашем ссылочном материале. DTW может помочь в сравнении временных рядов разной длины, что может быть полезно для оценки схожести траекторий, прежде чем они будут поданы в классификатор.
Заключение
В зависимости от вашей задачи и доступных ресурсов вы можете применить один из предложенных подходов или их комбинацию. Рекомендуется провести эксперименты с разными архитектурами и методами предобработки данных, чтобы определить, какой из них демонстрирует наилучшие результаты для вашей конкретной задачи классификации.
Если у вас есть дополнительные вопросы или требуется помощь в реализации одного из описанных методов, не стесняйтесь спрашивать.