Вопрос или проблема
Мне нужно найти корреляцию между оценками, данными двумя сторонами.
Допустим, у нас есть 2 тренера, а именно А и Б.
Тренер А оценит навыки 12 игроков как “Сильный”, “Умеренный” или “Слабый”. Тренер Б оценит тех же 12 игроков.
Если тренер А оценил всех игроков как “Сильный”, а тренер Б оценил 10 игроков как “Сильный” и 2 игроков как “Слабый”.
Я попытался представить результаты в виде контингентной таблицы и провел тест Сомера D. Однако тест Сомера D показывает 0%, что не отражает истинную корреляцию оценок. Какой тест мы могли бы провести, чтобы найти корреляцию между оценками тренеров?
Вы описываете область международной согласованности оценок.
Существует множество статистических тестов для международной согласованности оценок. Один из самых распространенных для данной ситуации – это каппа Коэна.
Вы также можете попробовать тест хи-квадрат для категориальных данных, чтобы увидеть, есть ли связь, а затем использовать V Крамера для измерения силы ассоциации.
Я не думаю, что стоит проводить какие-либо значимые тесты для такой маленькой выборки.
вариант 1: чисто категориальные значения
Вы можете просто посчитать количество идентичных оценок между двумя оценками и разделить на общее количество игроков.
вариант 2: учитывать порядок: слабый < умеренный < сильный
Определите меру схожести, такую как:
- sim(X, X) = 1
- sim(слабый, умеренный) = 0.5
- sim(умеренный, сильный) = 0.5
- sim(слабый, сильный) = 0
Затем используйте тот же процесс, что и в варианте 1, за исключением того, что для каждого игрока вы добавляете sim(оценкаA, оценкаB) и делите на общее количество. Это также даст вам нормализованный балл от 0 до 1, что немного точнее (значение будет выше или равно значению в варианте 1).
Ответ или решение
Для анализа взаимосвязи между рейтингами двух тренеров в вашем случае можно использовать несколько подходов. Поскольку у вас есть небольшое количество категорий и очень ограниченный размер выборки (12 игроков, оцененных двумя тренерами), важно правильно выбрать метод.
-
Каппа Коэна: Этот тест является стандартным методом для оценки согласия между двумя рейтерами. Он учитывает вероятность случайного совпадения и предоставляет более точное значение согласия, даже при небольшом количестве наблюдений. Каппа может принимать значения от -1 (полное несогласие) до 1 (полное согласие). Если каппа близка к 0, это обычно указывает на отсутствие согласия.
-
Тест Хи-квадрат для категориальных данных: Если вас интересует наличие зависимости между оценками двух тренеров, вы можете использовать тест Пирсона для независимости. Этот тест позволит вам определить, есть ли статистически значимая связь между оценками, но стоит помнить, что при малом размере выборки результаты могут быть неустойчивыми.
-
Cramér’s V: Если после выполнения теста Хи-квадрат вы получите значимые результаты, Cramér’s V может помочь вам определить силу связи между переменными. Он также позволяет интерпретировать величину связи на основе числовых значений, где 0 указывает на отсутствие связи, а 1 — на полную связь.
-
Простое сопоставление: Вы можете просто подсчитать количество идентичных оценок двух тренеров и поделить на общее число игроков, чтобы получить простую меру согласия. Например, если оба тренера оценили одинаково 8 из 12 игроков, вы получите 8/12 = 0.67, что может дать представление о согласии.
-
Оценка на основе порядка: Если вы хотите учитывать порядок оценок (то есть "Слабый" < "Умеренный" < "Сильный"), можно определить меру сходства. Например, если оба тренера оценили игрока как "Слабый", это можно считать 1, если один оценил как "Слабый", а второй как "Умеренный" — 0.5, а если один оценил как "Слабый", а другой как "Сильный" — 0. Таким образом, вы можете подсчитать общее сходство и нормализовать его относительно общего числа игроков.
Исходя из вышеописанного, рекомендуем вам начать с теста Каппа Коэна, чтобы определить уровень согласия между тренерами. Затем по возможности можете использовать тест Хи-квадрат и Cramér’s V для дальнейшего анализа взаимосвязи. Простое сопоставление или оценка на основе порядка также могут быть полезны для понимания согласия между оценками.