Как объединить признаки с помощью LSTM?

Вопрос или проблема

mdl_input1 = Input(shape=(max_review_length,)) [max_review_length — это дополненная последовательность, т.е. len(x_train[0])  x_train — это feature_1]   

x = LSTM(100, activation='tanh')(mdl_input1)
x = Dropout(0.2)(x)


mdl_input2 = Input(shape=(30,))  #(30 — длина x_train2[0], т.е. длина feature_2[0])

concat = concatenate([x, mdl_input2])

x = Dense(10)(x)
x = Dense(20)(x)
output = Dense(2)(x)

model = Model([mdl_input1, mdl_input2], output)

model.compile(optimizer="rmsprop", loss="categorical_crossentropy", metrics=['acc'])



model.fit([x_train, x_train2], y_train)

Ответ или решение

Чтобы соединить функции с использованием LSTM для задачи классификации предложений, необходимо правильно определить входные данные, слои модели и их формы. Давайте разберем вашу задачу шаг за шагом, чтобы устранить возникшие ошибки и успешно построить модель.

Шаг 1: Подготовка данных

У вас есть две функции:

1. feature_1 – это последовательности целых чисел, представляющие слова в предложениях, которые необходимо обработать LSTM.
2. feature_2 – это числовые признаки, связанные с каждым предложением.

Убедитесь, что ваши данные правильно подготовлены:

• feature_1 должен иметь форму (количество_предложений, максимальная_длина_предложения, 1) для работы с LSTM.
• feature_2 должен иметь форму (количество_предложений, количество_признаков).

Для этого вы можете использовать np.expand_dims для добавления размерности, если необходимо.

Шаг 2: Определение модели

Теперь мы можем создать модель, которая будет включать LSTM для обработки feature_1 и полносвязный слой для обработки feature_2.

import numpy as np
from keras.layers import Input, LSTM, Dropout, Dense, concatenate
from keras.models import Model

# Пример данных для feature_1 и feature_2
x_train_feature_1 = np.array([[[16],[27],[31],[42]], [[12],[56],[12],[34]]])  # Замените на ваши данные
x_train_feature_2 = np.array([[1,2,0,0,1,0,3,4], [3,4,2,1,3,4,5,7]])        # Замените на ваши данные
y_train = np.array([[1,0], [0,1]])  # Это ваши метки, измените на свои

# Установите параметры
max_review_length = x_train_feature_1.shape[1]  # длина последовательности
num_features = x_train_feature_2.shape[1]  # количество признаков

# Входные слои
mdl_input1 = Input(shape=(max_review_length, 1))  # Добавлено 1 для размерности
mdl_input2 = Input(shape=(num_features,))

# Модель LSTM
x = LSTM(100, activation='tanh')(mdl_input1)
x = Dropout(0.2)(x)

# Объединение
concat = concatenate([x, mdl_input2])

# Полносвязные слои
x = Dense(10, activation='relu')(concat)
x = Dense(20, activation='relu')(x)
output = Dense(2, activation='softmax')(x)  # Предполагаемая активация для бинарной классификации

# Создание модели
model = Model(inputs=[mdl_input1, mdl_input2], outputs=output)

# Компиляция модели
model.compile(optimizer="rmsprop", loss="categorical_crossentropy", metrics=['accuracy'])

# Обучение модели
model.fit([x_train_feature_1, x_train_feature_2], y_train, epochs=10, batch_size=32)

Шаг 3: Прогнозирование

Для прогноза вы также должны убедиться, что входные данные соответствуют тем же формам, что и входные данные во время обучения. Вот пример, как сделать прогноз:

# Пример точки для прогнозирования
x_test_feature_1 = np.array([[[16],[27],[31],[42]]])  # Проверяйте размерность
x_test_feature_2 = np.array([[1,2,0,0,1,0,3,4]])       # Проверяйте размерность

# Прогнозирование
predictions = model.predict([x_test_feature_1, x_test_feature_2])
print(predictions)

Заключение

Обязательно проверьте, что ваши данные имеют правильные формы на всех этапах. Если ошибка продолжает возникать, убедитесь, что вы передаете правильно подготовленные массивы на вход модели. Ваша архитектура модели может быть адаптирована в зависимости от специфики задач и ожидаемых результатов. Надеюсь, это поможет вам успешно использовать LSTM для классификации предложений!