Вопрос или проблема
Я анализирую, могут ли 15 книг быть сгруппированы по 6 переменным (из 15 книг 2 написаны одним автором, 6 другим и 7 – другим).
Я посчитал количество вхождений переменных и вычислил процент. Затем я использовал программное обеспечение Orange для использования PCA. Я загрузил файл, выбрал столбцы и строки. И когда дело доходит до PCA, программа спрашивает меня, хочу ли я нормализовать данные или нет, но я не уверен в этом, потому что я уже вычислил процент – отличается ли нормализация от вычисления процента? Более того, под кнопкой нормализации она спрашивает меня показать только:… и мне нужно выбрать число от 0 до 100, но я не совсем понимаю, что это такое.
Можете помочь мне понять, что я должен делать?
Заранее спасибо.
Вам следует нормализовать данные, но это необязательно. Если вы не нормализуете ваши данные, данные с большим диапазоном будут оказывать большее влияние на модель.
Просто постройте ящичковую диаграмму, чтобы сравнить диапазоны ваших данных. Если они имеют разные диапазоны (например, 100->200 и 1->10), вам определенно стоит нормализовать ваши данные. (Например, нормализация по среднему)
.
Ответ или решение
Конечно, давайте рассмотрим процесс анализа данных с использованием метода главных компонент (PCA) в программе Orange и решим возникшие вопросы.
Метод главных компонент (PCA):
PCA — это статистический метод снижения размерности данных. Он позволяет выявить главные компоненты, которые обобщают наиболее важную информацию из исходных данных, сохраняя при этом их дисперсию. Это особенно полезно, когда мы имеем дело с большим числом переменных и хотим упростить анализ.
Вопрос о нормализации:
Вы упомянули, что уже рассчитали процентное содержание, и теперь программа Orange предлагает нормализовать данные. Давайте разберемся, что это значит.
- Нормализация vs. Процентное содержание:
- Процентное содержание (расчет доли) — это преобразование, которое позволяет вам выразить значения переменных в удобной для сравнения форме.
- Нормализация — это процесс приведения данных к общей шкале. Это может включать такой метод как Z-score нормализация (отклонение от среднего деленное на стандартное отклонение) или минимакс-нормализация (приведение значений к диапазону от 0 до 1).
Зачем нужна нормализация в PCA?
Когда переменные имеют разные масштабы, переменные с более широким диапазоном могут существенно больше влиять на результаты анализа. Поэтому нормализация помогает сгладить эти различия, чтобы каждая переменная могла вносить равномерный вклад в анализ главных компонент.
Рекомендация:
Рассмотрите возможность нормализации данных, если диапазоны ваших переменных заметно отличаются друг от друга. Если они схожи (например, уже приведены к процентам), нормализация может оказаться необязательной.
Параметр "показать только":
Далее речь идет о числовом параметре, который вам нужно выбрать (от 0 до 100). В контексте PCA это, возможно, указывает на процент объясненной кумулятивной дисперсии, которую вы хотите видеть. Например, выбор 95% может означать, что вы видите компоненты, которые объясняют 95% общей дисперсии ваших данных.
Подсказка:
- Если диапазоны переменных различаются более чем на порядок — нормализация может быть полезной.
- Для выбора значения параметра "показать только", подумайте о балансе между сложностью модели и полнотой информации. Обычно выбирают значения объясненной дисперсии в диапазоне 70-90%.
Заключение:
Использование PCA в Orange может существенно упростить ваш анализ книг, но важно учесть вышеупомянутые аспекты нормализации и правильного выбора параметров. Надеюсь, эти рекомендации помогут вам уверенно продвигаться в вашем анализе.