Вопрос или проблема
Предположим, что у меня есть два ранжированных списка, A и B, причем каждый элемент в списках связан с определенным количеством очков:
A = [(I_2, 6), (I_4, 5), (I_1, 3), (I_5, 1)] - очки в порядке убывания
B = [(I_4, 1), (I_3, 0.5), (I_7, 0.25), (I_8, 0.1)] - очки в порядке убывания
Я хочу проверить, дает ли комбинация списков лучшие результаты, чем любой из списков по отдельности. Один из способов объединить A и B — усреднить ранги, отсортировать кортежи и вернуть первые 4. Однако я интересуюсь, можно ли как-то использовать очки для комбинации. Дело в том, что списки A и B получены из различных моделей, поэтому сравнение очков имеет смысл только между элементами одного и того же списка (модели). Как можно действовать, учитывая это? Нормализуя очки (например, сделать 1 максимумом для обоих списков)? Если да, то как именно нормализовать? Также, помимо усреднения и выбора элементов с наибольшими значениями, есть ли другие способы объединить списки?
Ваш главный аргумент состоит в том, что
очки
несравнимы вне модели, которая их предсказала.
То есть, они не имеют общих единиц измерения.
Что ж, давайте приведем их к общему знаменателю,
используем общие единицы.
Существует как минимум два подхода.
(1.) бизнес-ценность
Предположим, что каждый элемент (например, “I_4”)
является бизнес-политикой, такой как
“Используйте креатив I_4 при рекламировании целевой аудитории,”
и затем мы измеряем бизнес-полезность,
возможно, доход или показатель кликов CTR.
Теперь все просто.
Выберите порог полезности,
который отражает стоимость проведения испытания
для малоэффективной политики.
Некоторые испытания просто не будут стоить проведения.
Проведите испытания с каждой из наиболее перспективных политик
в обоих списках и запишите каждую меру полезности.
Теперь объедините списки.
Ранжирование внутри каждого списка просто
помогло нам с принятием решения о пороге.
Внешнее испытание позволило нам сопоставить очки с общей единицей измерения.
(2.) калибровка
Предположим, что эти очки относятся к производительности классификации.
Тогда плац-скалирование и другие
методы калибровки могут найти монотонное отображение
из исходных очков в корректную вероятность.
Ответ или решение
Вопрос о том, как эффективно комбинировать несколько ранжированных списков, представляет собой интересную задачу в области машинного обучения и работы с данными. Предположительно, эти списки формируются различными моделями, и сравнение значений между ними может оказаться ненадежным из-за отсутствия единых единиц измерения. Ниже представлены два подхода, которые помогут вам объединить такие списки более осмысленным образом.
(1.) Бизнес-значимость
Первый подход заключается в оценке значимости каждого элемента списка с позиции бизнес-ценности. Если, например, каждый элемент является бизнес-политикой или решением, вы можете провести реальные эксперименты, чтобы измерить полезность, например, доход или коэффициент кликабельности (CTR).
-
Определите порог полезности: Установите минимальное значение, при котором проведение эксперимента будет иметь смысл. Это позволит вам отсекать менее перспективные варианты.
-
Проведите пилотные испытания: Запустите эксперименты с наиболее потенциональными вариантами из обоих списков и зафиксируйте измерения полезности.
-
Объединение списков: Используйте полученные данные для задания общих единиц измерения полезности. Это позволит адекватно объединить списки и сделать правильные выводы о приоритетности элементов.
(2.) Калибровка
Другой подход предполагает использование методов калибровки, чтобы преобразовать исходные оценки в вероятности, которые будут иметь общий масштаб. Это особенно актуально, если вы имеете дело со значениями, отражающими производительность классификации.
-
Платт-калибровка и другие методы: Применив Платт-калибровку или другие статистические методы калибровки, можно найти монотонное соответствие между исходной оценкой и вероятностью класса.
-
Отображение в единые показатели: Преобразованные значения можно использовать для схожих с бизнес-значимостью целей, но с уклоном в машинное обучение и оценку моделей.
Другие методы комбинирования списков
Кроме агрегации и калибровки, вы можете рассмотреть дополнительные методы комбинирования:
-
Весовое объединение: Чтобы учесть различную надежность моделей, можно присвоить весам оценки от разных источников.
-
Методы ансамбля: Использование ансамблевых методов, таких как бэггинг или стекинг, может помочь интегрировать данные с различных источников, создавая модель, учитывающую преимущества обеих.
-
Машинное обучение для ранжирования: Применить алгоритмы, такие как RankNet или LambdaMART, которые специально предназначены для обучения с ранжированием.
Подход, который вы выберете, должен основываться на ваших бизнес-целях и специфике данных. Успех будет зависеть от тщательной оценки значимости каждого элемента и корректной методики объединения результатов.