Вопрос или проблема
У меня есть набор данных с тремя независимыми переменными [город, отрасль, сумма], и я хотел бы нормализовать сумму. Но я хочу сделать это с учетом отрасли и города. Простая группировка по городу и отрасли дает мне множество очень разреженных групп, для которых нормализация (min-max и т.д.) не будет особенно meaningful. Есть ли лучший способ это нормализовать?
Нормализация обычно выполняется для каждой характеристики отдельно.
Нормализация означает различные операции для числовых и категориальных данных. Похоже, что сумма является числовой. Как вы упомянули, сумму можно пересчитать по методу min-max. Город и отрасль, по-видимому, являются категориальными. Нормализация категорий обычно означает группировку связанных объектов вместе. Это часто ручной процесс.
Ответ или решение
Для нормализации данных с учетом неравномерных групп, таких как город и отрасль, можно использовать несколько подходов, которые помогут избежать проблем со спарсностью групп при выполнении нормализации, например, с использованием минимального и максимального значения (min-max).
-
Групповая нормализация: Вместо того чтобы нормализовать каждую группу (город и отрасль) отдельно, вы можете объединить группы с небольшой схожестью, чтобы создавать более плотные кластеры. Например, если у вас есть данные о городах, которые схожи по своему экономическому статусу, вы можете сгруппировать их вместе и нормализовать значения объема (amount) для каждой такой группы. Это может быть выполнено с использованием метода кластеризации, такого как K-means, для определения групп, которые могут быть нормализованы вместе.
-
Использование целого набора данных для нормализации: Вместо нормализации внутри группы (город + отрасль), вы могли бы нормализовать на основе всего набора данных. Например, вы можете применять min-max или Z-нормализацию на коэффициентах объема (amount) по всему набору данных, а затем создать отдельные переменные для обозначения города и отрасли. Это позволяет учесть вариации между разными городами и отраслями, сокращая эффект разрозненности. Важно учитывать, что это может привести к получению менее чувствительных показателей для мелких групп.
-
Деление на квантильные группы: Создайте квантильные группы для переменной amount, основанные на распределении значений по всему набору данных. Это создаст равные по количеству группы значений, которые можно будет использовать для дальнейшей обработки. Вы категorizируют данные из каждой группы и затем можете использовать их для анализа или визуализации.
-
Стандартизация (z-оценка): Используйте стандартную нормализацию (z-оценка) для значений объема (amount). Сначала рассчитайте среднее и стандартное отклонение для всего набора данных, а затем преобразуйте значения по формуле:
[
z = \frac{(x – \mu)}{\sigma}
]
где (x) — значение, (\mu) — среднее, (\sigma) — стандартное отклонение. Это может помочь уравновесить влияние различных групп. -
Смешанные методы: Возможно, вам лучше всего подойдет комбинация вышеперечисленных методов. Например, вы можете сначала кластеризовать данные по городам и отраслям, чтобы уменьшить разрозненность, а затем проводить нормализацию внутри этих кластеров или применить z-нормализацию к объединенному набору данных после кластеризации.
Каждый из этих методов имеет свои плюсы и минусы, и правильный выбор зависит от вашей конкретной задачи, структуры данных и целей анализа. Рекомендуется протестировать несколько различных методов, чтобы оценить, какой из них лучше всего подходит для вашего конкретного случая.