Вопрос или проблема
Когда мы используем то одно, то другое?
Мой случай применения:
Я хочу оценить линейное пространство, чтобы увидеть, насколько хороши результаты извлечения. У меня есть набор данных X (m x n) и некоторые веса W (m x 1). Я хочу измерить производительность извлечения ближайшего соседа на W’X с истинным значением Y. Это непрерывное значение, поэтому я не могу использовать простую точность/отзыв.
Если я использую ранговую корреляцию, я найду корреляцию между полученными Y и рангом извлечения. Если я использую nDCG, я буду использовать отсортированные Y для вычисления IDCG.
Я хотел бы сравнить это с корреляционным значением, которое я получаю, когда также изменяю Y. (Например, Y может быть углом наклона головы в одном случае и возрастом в другом)
Центральная проблема в ранжировании заключается в том, чтобы разработать меру для оценки функций ранжирования. В этой статье мы изучаем, с теоретической точки зрения, Нормализованное Дисконтированное Кумулятивное
Увеличение (NDCG), которое является семейством мер ранжирования, широко используемых на практике. Хотя
существуют обширные эмпирические исследования семьи NDCG, мало что известно о ее теоретических свойствах.
NDCG имеет два преимущества по сравнению с многими другими мерами. Во-первых, NDCG позволяет каждому извлеченному документу иметь градуированную релевантность, тогда как большинство традиционных мер ранжирования допускают только бинарную релевантность. … Во-вторых, NDCG включает функцию дисконта по рангу, тогда как многие другие меры равномерно оценивают все позиции.
Ответ или решение
Различия между nDCG и методами корреляции рангов являются важной темой для анализа качества систем ранжирования, особенно с учетом вашего случая применения, где требуется оценка результатов поиска на основании непрерывных значений.
Определение nDCG и методов корреляции рангов
Нормализованный дисконтированный накопленный выигрыш (nDCG) — это метрика, используемая для оценки эффективности систем ранжирования. Она учитывает порядок, в котором элементы представлены, а также градацию их релевантности. Это позволяет учитывать не только то, какие элементы были найдены, но и важность их положения в списке результатов. Для вычисления nDCG необходимо определить идеальный (IDCG) и фактический (DCG) накопленный выигрыш, что позволяет нормализовать результат и оценивать его относительно наилучшего возможного результата.
Методы корреляции рангов, такие как Корреляция Спирмена или Кендалла, оценивают направление и степень ассоциации между двумя ranked набором данных. Эти методы фокусируются на рангировании элементов и игнорируют абсолютные значения, что делает их подходящими для анализа, в которых основное внимание уделяется относительным позициям элементов.
Когда использовать nDCG и когда методы корреляции рангов?
Ваш случай применения подразумевает необходимость оценки результатов ближайшего соседа, где значения Y являются непрерывными и шкалируемыми (например, углы наклона головы или возраст).
-
Использование nDCG
- Применим, когда важно учитывать не только ранг, но и вес (градацию) релевантности каждого элемента.
- Подходит в ситуациях, когда нужно сравнить ранжирование результатов с учетом значимости, например, когда результаты не бинарны (релевантен/нерелевантен).
- Поскольку вы работаете с непрерывными значениями Y, nDCG позволит оценить различные уровни релевантности для единичных позиций.
-
Использование методов корреляции рангов
- Применим для быстрого определения ассоциации между двумя наборами рангов.
- Подходит, когда требуется лишь оценка согласованности между двумя шкалами (например, если вы оцениваете, как хорошо результаты поиска соответствуют определенному критерию, выраженному в Y).
- Методы корреляции лучше использовать в случаях, когда данные уже заранее отсортированы, и вам нужно просто понять, насколько один набор рангов коррелирует с другим, независимо от их значения.
Сравнение и выводы
Если вы хотите анализировать результаты с учетом того, как изменение Y (например, для анализа угла наклона головы и возраста) влияет на ваш вывод, вы можете комбинировать оба метода. Сначала используйте nDCG, чтобы получить оценку качества ранжирования с учетом градации, которая наиболее полно характеризует вашу систему. Затем примите во внимание методы корреляции, чтобы оценить, насколько постоянны или изменчивы результаты в зависимости от ваше шкалирования Y.
В результате, стратегическое использование nDCG обеспечит глубокое понимание уровня релевантности ваших результатов с учетом их порядка, а методы корреляции рангов позволят совершать более быстрые количественные оценки связей между различными наборами данных.