Методы прогнозирования/предсказания для качественных данных?

У меня есть набор данных о предупреждениях о продуктах питания, состоящий из номинальных качественных переменных, таких как тип предупреждения, страна происхождения, предпринятые действия и т.д., а также дата записи предупреждения.

Какие существуют методы прогнозирования того, какой тип предупреждения наиболее вероятен в заданном временном интервале, если в нашем наборе данных есть только качественные переменные?
Или, если задать переменную (например, страна происхождения = Франция), как предсказать остальные переменные?

Я использовал алгоритмы машинного обучения ранее, но не с наборами данных, состоящими из номинальных качественных переменных.

С другой стороны, какие наиболее подходящие методы для кластеризации и классификации таких наборов данных?

Я понимаю, что это обширный вопрос, поэтому ожидаю обширные ответы, которые помогут мне в общем плане

У меня зарегистрировано около 50000 предупреждений. На примере изображения показаны не все переменные.

Вы можете закодировать различные столбцы качественных данных, используя LabelEncoder(). Например:

label_encoder = LabelEncoder()
risk = label_encoder.fit_transform(df['RISK_DECISION'])
action = label_encoder.fit_transform(df['ACTION_TAKEN'])
и так далее...

Вы можете преобразовать данные в дамми. См. mode.matrix и пакет dummies1.

Возможно, вам стоит начать с точного определения того, что вы хотите сделать с вашими данными.

Предположительно, вы хотите прогнозировать вероятность каждого типа предупреждения (что, как я полагаю, задается столбцом TYPE), и найти тот, у которого наибольшая вероятность (что сводится к тому, чтобы определить, какой тип предупреждения наиболее вероятен в заданный временной интервал). Если это то, что вы хотите делать, возможно, стоит рассмотреть прогнозирование временных рядов? Это может быть отправной точкой…

Учитывая, что у вас только номинальные качественные переменные, подход как единый-кодирование может помочь в кластеризации, например, вы можете закодировать каждую переменную для каждой наблюдений, а затем вычислить косинусные сходства. Это был бы способ взглянуть на вид расстояния между вашими наблюдениями… даже если это очень базовая идея.

Прогнозирование/предсказание для качественных данных в IT-сфере

Вы столкнулись с задачей прогнозирования на основе набора данных пищевых тревог, содержащего только номинальные качественные переменные, такие как тип тревоги, страна происхождения, предпринятые действия и дата записи тревоги. Рассмотрим, как можно подходить к прогнозированию и анализу подобных данных.

1. Прогнозирование типа тревоги в определенный временной интервал

Для реализации прогнозирования типа тревоги на основе временного ряда можно использовать подходы временных рядов. Поскольку у вас есть только качественные данные, стоит обратить внимание на следующие методы:

• Классификация временных рядов: Вы можете преобразовать временные метки в формат, пригодный для временного анализа, и использовать классификационные алгоритмы, такие как Decision Trees или Random Forest, обученные на данных с временными метками.
• Машинное обучение: Для предсказания категориальных данных можно использовать алгоритмы, такие как Naive Bayes, которые работают с качественными данными.
• Кодирование и нормализация данных: Преобразуйте номинальные данные в числовые с использованием таких инструментов, как LabelEncoder или One-Hot Encoding. Это упрощает интеграцию с алгоритмами машинного обучения.

2. Предсказание оставшихся переменных на основе одной переменной

Например, чтобы предсказать другие переменные на основе «страны происхождения»:

• Мультиноминальная регрессия: Позволяет предсказать более одной зависимой переменной на основе независимой переменной.
• Алгоритмы деревьев решений: Могут быть полезны для моделирования зависимостей между переменными, рассматривая каждую возможную комбинацию значений.

3. Кластеризация и классификация наборов данных с качественными переменными

Для кластеризации и классификации наборов данных, состоящих из качественных переменных, следует учитывать следующие алгоритмы:

• K-мерный анализ (K-means) с предварительным кодированием данных. Подготовьте набор данных, применив One-Hot Encoding, чтобы можно было использовать стандартные алгоритмы кластеризации.
• Иерархическая кластеризация: Для данных с номинальными переменными выполнить иерархическую кластеризацию на основе комбинаторных данных.
• Снежокового кодирования: Применение преобразования данных с использованием специальных метрик сходства, таких как косинусное сходство, для работы с преобразованными номинальными данными.

Перед тем как выбрать конкретное решение, важно четко определить, какие именно показатели важны для вашего анализа. Это позволит более точно подобрать подходящие инструменты и методы анализа.

Регулярное отслеживание результатов с последующей корректировкой методик также поможет добиться лучших результатов в прогнозировании и анализе.