Вопрос или проблема
Предположим, у меня есть классификатор, который сегментирует мои векторные характеристики (например, представляющие соискателей) на 3 разных сегмента A, B, C, присваивая каждому соискателю оценку от 0 (хуже) до 1 (лучше) с помощью, например, логистической регрессии, обученной на исторических данных (истинные метки: 1 = отлично, 0 = плохо), а затем применяя 2 порога (A/B, B/C).
Соискатели в сегменте A одобрены, а соискатели в сегменте C отклонены. Я не уверен в соискателях из сегмента B, поэтому отклоняю их. Но я переживаю о том, что могу упустить некоторых хороших соискателей из сегмента B.
Поэтому я задумываюсь, имеет ли смысл следующий подход: я кластеризую всех соискателей, например, с помощью метода k-средних. Для каждого “хорошего” кластера, т.е. с высоким процентом соискателей из сегмента A, я переназначаю всех соискателей из сегмента B в этом кластере в сегмент A и одобряю их.
Мой вопрос: есть ли какие-либо интуиции или примеры, или, что ещё лучше, теоретические результаты, которые могли бы объяснить, почему этот подход может или не может работать, т.е. приводить к лучшей точности классификации на основе истинных меток (1 = отлично, 0 = плохо)?
Что я пробовал до сих пор:
- Эксперименты показывают, что я действительно могу найти хороших соискателей из сегмента B с помощью кластеризации (используя большое количество кластеров), однако никогда не лучше в среднем, чем просто взять лучших x% соискателей из сегмента B на основе присвоенной оценки.
- В первом исследовании я не смог найти никаких статей или вопросов на этом сайте, связанных с применением кластеризации после классификации. Что кажется распространённым, так это применение кластеризации в качестве предварительного шага.
Проблема с использованием кластеризации таким образом заключается в том, что нет никакой гарантии, что найденные кластеры имеют какое-либо отношение к целевой переменной. Если кластеры основаны на общем признаке, который не имеет отношения к задаче классификации, то целевой класс “B” в ваших “хороших” кластерах будет, вероятно, случайным.
Если вы хотите улучшить классификацию для ваших “B”, я бы предложил попробовать использование градиентного бустинга, или если у вас достаточно образцов для обучения, которые классифицируются как “B”, вы можете попробовать обучить второй классификатор только на этих образцах для обучения. Затем используйте этот классификатор для переклассификации всех случаев, которые первая модель классифицирует как “B”.
Изменение для объяснения градиентного бустинга, как запрашивалось автором вопроса:
Градиентный бустинг – это обучение серии классификаторов с целью улучшить точность по сравнению с первоначальным классификатором. Каждый раз, когда обучается новый классификатор, обучающие образцы взвешиваются так, что те, которые были неправильно классифицированы ранее, имеют более высокий вес, а те, которые были правильно классифицированы, имеют более низкий вес, таким образом, классификатор придаёт большее значение тем образцам, которые были неправильно классифицированы до сих пор. Для выводов серия классификаторов используется как ансамбль, так что конечный прогноз представляет собой комбинацию прогнозов, сделанных каждым классификатором. Один из самых известных алгоритмов градиентного бустинга – это AdaBoost. Несколько блогов, обсуждающих градиентный бустинг, включают Краткое введение в алгоритмы градиентного бустинга в машинном обучении от Сунила Рая или Краткое руководство по градиентному бустингу в машинном обучении от Джоселин Д’Сузы.
Ответ или решение
Использование Класт clustering после Классификации для Повышения Эффективности Классификатора
Введение
При анализе данных и построении прогностических моделей, таких как классификаторы, возникает необходимость повышения их точности и надежности. Одним из подходов, вызывающих интерес, является применение кластеризации после классификации для улучшения обработки неоднозначных данных. Давайте подробнее рассмотрим, как это может выглядеть на примере задачи классификации заявителей и рассмотреть потенциальные преимущества и недостатки такого метода.
Постановка Задачи
В вашем случае вы используете логистическую регрессию для классификации заявителей на три категории: A, B и C, где кандидаты в A одобрены, в C отклонены, а в B — оставлены без окончательного решения. Вы выразили тревогу о том, что отбрасываете потенциально хороших кандидатов из группы B.
Применение Кластеризации
Ваш подход заключается в применении метода кластеризации, например, k-means, к кандидатам, чтобы определить группы (кластеры) с высокой долей заявителей из сегмента A. После этого вы планируете переопределить расценки для кандидатов из группы B, относя их к классу A. Это вызывает ряд важных вопросов.
Интуиции и Теоретические Результаты
-
Вариабельность Кластера и Целевая Переменная:
Проблема с кластеризацией, как вам уже было отмечено, состоит в том, что найденные кластеры могут не иметь никакой связи с целевой переменной (качество кандидата). Если кластеры формируются на основе признаков, которые не коррелируют с качеством кандидатов (например, демографические признаki), переопределение классов для B может оказаться случайным. -
Проверка и Обоснование:
Для обоснования вашего подхода стоит провести экспериментальную проверку, оценив, действительно ли кластеризация приводит к улучшению качества классификации. Можно использовать методы, такие как кросс-валидация, для проверки результатов, а не полагаться только на интуитивные выводы. -
Конкуренция Методов:
Альтернативные методы, такие как бустинг, могут оказаться более эффективными. Бустинг работает путем последовательного обучения нескольких классификаторов, где каждый следующий фокусируется на ошибочно классифицированных примерах. Это позволяет более точно выделять группы сложных кандидатов, таких как те, что попадают в категорию B.
Рекомендации
-
Проверка Кластеров на Соответствие:
Перед тем как применять кластеризацию для пересмотра статусов B, рекомендую исследовать, какие признаки являются основными для определения ваших кластеров, и привязываются ли они к результату (0 или 1) классификации. -
Вторичный Классификатор:
Рассмотрите возможность обучения второго классификатора на примерах из группы B. Это может быть более надежным методом, особенно если у вас достаточно данных для создания отдельной модели. -
Анализ Большого Объема Данных:
Сравните эффективность подхода кластеризации с другими методами, такими как использование ансамблевых методов, которые гармонично комбинируют результаты нескольких алгоритмов без необходимости в сложной переавтосегментации данных.
Заключение
Применение кластеризации после классификации может быть перспективным направлением для улучшения качества моделирования, однако необходимо учитывать его ограничения. Смесь подходов, таких как кластеризация, вторичные классификаторы и бустинг, может быть ключом к повышению точности вашего классификатора. Тщательная проверка и анализ данных, соблюдение лучших практик в обработке информации, а также использование статистических методов оценки помогут вам сделать более точные предсказания и не упустить потенциально ценные кандидаты.