Вопрос или проблема
Я пытаюсь обучить модель LSTM (многие ко одному) с входными мультивариантными временными рядами и категориальным выходом.
После достаточно долгого обучения полученная модель все еще имеет низкую точность и высокую потерю на валидационных данных. Поэтому я начал сомневаться, что выбранные мною признаки для предсказания метки просто неактуальны?
Мне интересно, существуют ли методы для проверки, имеют ли выбранные признаки объяснительную силу по отношению к меткам?
Перед тем как обратиться на Stack Exchange, я немного поисследовал в интернете и нашел мнение, что мы должны использовать PCA, чтобы проверить, зависят ли метки от признаков, что сильно меня запутало. Я думал, что PCA используется для уменьшения размерности признаков и не имеет отношения к меткам. Не упускаю ли я что-то важное?
Ниже приведен отрывок из того, что я только что упомянул.
- Всегда хорошая идея сначала убедиться, что выходная (зависимая) переменная (цель или метка) действительно зависит от входных переменных (признаков). Возможно, вы преследуете призрак, которого не существует. Есть способ это проверить, но перед этим у нас шаг второй.
- Начните с использования z-оценок для нормализации входных переменных. Любая нормализация подойдет, но есть причина использовать именно z-оценки. Это связано с следующим шагом. Вы можете сделать анализ главных компонент (PCA). Он покажет вам вклад каждой из новых переменных (полученных после преобразования) в вариацию выходной переменной.
- PCA четко ответит на вопрос, который я упоминал в начале, о наличии зависимости. Прежде чем выполнять PCA, переменные необходимо нормализовать, используя z-оценки.
Одним из быстрых способов (если данные числовые, а не категориальные) было бы создать тепловую карту корреляции (как реализовано в этой библиотеке) и посмотреть, есть ли какие-либо ячейки, которые особенно коррелируют с вашим столбцом меток. Конечно, это не совсем окончательный метод, потому что корреляции иногда могут охватывать несколько столбцов, но стоит попробовать. Вот хорошее руководство
Ответ или решение
Чтобы проверить, имеют ли выбранные вами признаки реальную зависимость от меток при обучении модели LSTM на многомерных временных рядах с категориальными выходными данными, рекомендуется применить несколько методов анализа. Вот несколько подходов для этого процесса:
1. Оценка корреляции
Первый шаг к пониманию зависимости признаков от меток – это оценка корреляции между ними. Если ваши данные содержат числовые признаки, можно использовать корреляционные матрицы для визуализации взаимосвязей. Например, с помощью библиотеки Seaborn можно построить тепловую карту корреляций, позволяющую увидеть, какие признаки коррелируют с целевой переменной:
import seaborn as sns
import pandas as pd
import matplotlib.pyplot as plt
# Загрузите ваш набор данных
data = pd.read_csv("dataset.csv")
# Построение корреляционной матрицы
correlation_matrix = data.corr()
# Визуализация тепловой карты
plt.figure(figsize=(10, 8))
sns.heatmap(correlation_matrix, annot=True, fmt=".2f", cmap='coolwarm', square=True)
plt.show()Это даст вам представление о том, какие признаки могут оказать наибольшее влияние на выходные данные. Однако, имейте в виду, что корреляция не всегда указывает на причинно-следственную связь.
2. Применение анализа компонент главных
Проводя анализ компонент главных (PCA), можно выявить, какие признаки наиболее значимы для объяснения вариации в данных. PCA помогает уменьшать размерность данных и выявлять важные компоненты, которые лучше всего объясняют разницу между наблюдениями. В данной ситуации важно, чтобы перед применением PCA данные были нормализованы, например, с помощью z-оценок.
from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler
# Нормализация данных
scaler = StandardScaler()
normalized_data = scaler.fit_transform(data)
# Применение PCA
pca = PCA(n_components=2) # указываем количество компонента
principal_components = pca.fit_transform(normalized_data)
# Преобразование в DataFrame для дальнейшего анализа
pca_df = pd.DataFrame(data=principal_components, columns=['PC1', 'PC2'])Теперь можно исследовать, как новые компоненты соотносятся с метками. Например, вы можете визуализировать эти компоненты и их зависимость от целевой переменной.
3. Проверка важности признаков
Другой подход – использовать методы оценки важности признаков, такие как деревья решений или случайные леса. Эти алгоритмы могут помочь понять, какие именно признаки вносят наибольший вклад в предсказание категориальной переменной.
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split
importances = classifier.feature_importances_
# Визуализация важности признаков
feature_names = data.columns[:-1] # предположим, что последняя колонка — это метка
plt.figure()
plt.title("Feature importances")
plt.barh(range(len(importances)), importances, align='center')
plt.yticks(range(len(importances)), feature_names)
plt.xlabel("Importance")
plt.show()4. Статистические тесты
Для категориальных признаков можно применять статистические тесты (например, тест хи-квадрат), чтобы оценить, существуют ли значимые зависимости между признаками и метками. Эти тесты позволяют проверить нулевую гипотезу о том, что нет зависимости между переменными.
Заключение
Каждый из этих методов предоставляет ценную информацию о зависимости между признаками и метками. Последовательно применяя их, вы сможете определить, действительно ли ваши выбранные признаки имеют отношение к категориям выходных данных, и, при необходимости, скорректировать свой метод обучения. Если же обнаружится, что выбранные вами признаки не обеспечивают объяснительной силы, вам может потребоваться пересмотреть их или рассмотреть другие комбинированные источники данных.