Вопрос или проблема
Я работаю с набором данных, который, помимо возраста и дохода клиентов, показывает баланс, который есть у клиента на различных типах банковских счетов: расчетные, акции, инвестиции, сбережения, депозиты, ипотека, кредит и сертификаты. Для счетов, кроме расчетных, 0 означает, что счет для клиентов не существует. В наборе данных 9800 наблюдений клиентов с примерно 6000 расчетных счетов и 4000 сберегательных счетов. Для остальных счетов наблюдений меньше 300.
Я должен использовать анализ кластеризации K-средних для сегментации с целью понять, как клиенты используют предложения по сбережениям и инвестициям, и я использую метод локтя для предсказания количества кластеров. Я в растерянности, следует ли использовать переменную, такую как инвестиции, с всего 250 наблюдениями, с другой переменной, такой как сбережения, у которой 4000 наблюдений. Если я использую такие переменные, то они сильно положительно скошены, и я не уверен, хорошо ли K-средние справляется с этим. Можете ли вы посоветовать, стоит ли включать такие переменные или нет?
Я предлагаю использовать алгоритм, который учитывает категориальные переменные, поскольку есть пропущенные данные. Вы можете закодировать их в формате “один-горячий”, чтобы пропущенные данные были актуальными. Установка их в ноль будет вводящим в заблуждение.
Попробуйте алгоритмы, такие как tSNE и Самоорганизующаяся карта, и используйте расстояние Жаккара/Танимото.
Ответ или решение
Вопрос о том, стоит ли использовать переменные, представляющие непопулярные продукты в вашей базе данных, для кластеризации K-средних, заслуживает тщательного анализа. Ваша целевая аудитория, безусловно, заинтересована в понимании, как именно использование таких переменных может повлиять на результаты анализа.
F – Факты
Ваши данные содержат информацию о 9800 клиентах, включая их возраст, доход и остатки по различным банковским счетам. Как вы правильно заметили, у вас наблюдается значительное расхождение в количестве наблюдений между переменными: у вас 4000 записей для сберегательных счетов и всего 250 для инвестиционных. Сравнивая такие переменные, нужно учитывать, что K-средних чувствителен к масштабированию данных и количеству наблюдений.
O – Объяснение
Кластеризация K-средних работает на основании расстояний между центроидами кластеров, что делает количество наблюдений каждой категории важным фактором. Непопулярные переменные с очень ограниченными данными могут оказать негативное влияние на общую модель, так как они будут менее информативны и потенциально замедлят процесс оптимизации.
Распространенные проблемы:
- Склонность к выбросам: Наличие небольшого количества наблюдений в переменной может привести к тому, что эта переменная будет рассматриваться как выброс, что исказит результаты кластеризации.
- Несоответствие шкал: Поскольку некоторые переменные могут быть значительно более распространены, чем другие, это может привести к смещению результатов в пользу популярных переменных, и менее популярные учетные записи просто потеряются в общей картине.
R – Рекомендации
-
Нормализация данных: В случае, если вы решили включить переменные с меньшим количеством наблюдений, рекомендуется применять нормализацию данных, чтобы уравновесить влияние переменных. Например, вы можете использовать стандартизацию, чтобы сделать распределение значений более ровным.
-
Отбор переменных: Прежде чем включать переменные с малым количеством наблюдений в модель, рассмотрите возможность их исключения или объединения с другими переменными. Например, вы можете создать бинарные переменные (например, «имеет ли клиент инвестиционный счет?»), чтобы избежать проблем со смещением.
-
Выбор другого алгоритма: Как вы уже упомянули, алгоритмы, такие как t-SNE и самоорганизующиеся карты (SOM), могут предоставить более информативные и пригодные для анализа кластеры, особенно когда в данных присутствуют категориальные переменные или пропуски. Попробуйте также методы на основе иерархической кластеризации для предварительной оценки, прежде чем принимать решение о K-средних.
T – Итог
В заключение, включение переменной с малым количеством наблюдений в вашу модель K-средних является рискованным шагом, способным исказить результаты кластеризации. Ваши дальнейшие действия должны сосредоточиться на улучшении качества данных, нормализации и, возможно, выборе другого метода анализа, чтобы обеспечить максимальную информативность и надежность результатов. Работая с данными, помните о важности баланса: сосредоточьтесь на переменных, которые действительно могут дать ценные инсайты для понимания поведения ваших клиентов.