Вопрос или проблема
Я ‘думаю’, что это связанный вопрос, но не уверен, как его применить.
Я пытаюсь создать очень грубую систему рекомендаций, используя Amazon ML, лайки в Facebook и исторические действия.
Итак, предположим, что у нас есть несколько пользователей в системе, которая продвигает продукты в нескольких категориях. Чтобы лучше предсказать, какие категории товаров представить пользователю, мы будем рассматривать их прошлые взаимодействия с конкретными товарами и прошлые взаимодействия других пользователей с подобным профилем. Профиль в основном состоит из данных о лайках пользователей в Facebook и некоторой демографической информации.
Я не уверен, как преобразовать данные о лайках в Facebook так, чтобы я мог проводить значимые сравнения между пользователями.
Я уверен, что это очевидно, но я полностью новичок в машинном обучении и науке о данных в целом. Я ограничен возможностями Amazon ML. Сообщите, если вопрос нуждается в более ясном объяснении, конструктивная критика приветствуется.
Редактировать:
Как указал @liangjy, решение для системы рекомендаций в целом будет использовать метод коллаборативной фильтрации. Это наиболее полезно, когда достаточно данных, чтобы связать пользователей на основе их индивидуальных действий. Поскольку у нас нет достаточных/каких-либо данных о новых пользователях, мы пытаемся использовать дополнительные данные (лайки в Facebook в данном случае), чтобы помочь создать эту начальную связь. Где я застрял, так это в огромном количестве профилей/сайтов, которые любой отдельный пользователь мог бы лайкнуть. Мы могли бы сравнивать лайки одного пользователя против десятков тысяч вариантов, которые предоставили другие пользователи. Как лучше всего превратить эти разрозненные данные во что-то управляемое?
Я рассматриваю возможность выбора подмножества пользователей и извлечения топ n сайтов (1,000?) из каждой демографической группы (возраст/пол). Затем сравнивать всех остальных пользователей с этим базовым набором и создавать подгруппы на основе их отношений к этим сайтам. Однако, что-то в этом подходе кажется мне искаженным. Не уверен, в чем дело, но я довольно уверен, что не получу тех результатов, которые ищу.
Это кажется похожим на проблему коллаборативной фильтрации, когда назначаются оценки фильмам на основе похожих пользователей и прошлых отзывов: https://en.wikipedia.org/wiki/Collaborative_filtering. Суть этого подхода заключается в нахождении факторизации низкого ранга матрицы оценок, где у каждого пользователя есть одна оценка для каждого фильма/продукта, и некоторые из оценок не видны.
Ответ или решение
Оптимизация крупных профилей с множеством измерений является важной задачей в создании рекомендательных систем. В этом контексте имеет особое значение использование данных Facebook лайков и демографической информации для построения эффективных систем рекомендаций. Давайте рассмотрим эту задачу с помощью подхода TEA (Теория, Пример, Применение).
Теория
Во-первых, важно понимать, что такая задача может быть решена с помощью методов уменьшения размерности, которые играют ключевую роль в обработке данных с большим количеством измерений. Проблема "проклятия размерности" возникает, когда количество измерений данных становится слишком большим, что усложняет анализ и последующее применение алгоритмов машинного обучения. Для решения этой проблемы используются алгоритмы уменьшения размерности. Два популярных метода в этой области — это Principal Component Analysis (PCA) и t-Distributed Stochastic Neighbor Embedding (t-SNE).
PCA — это линейный метод уменьшения размерности, который преобразовывает данные в новое пространство меньшей размерности, сохраняя при этом как можно больше информации. Он выделяет главные компоненты (направления максимальной дисперсии) и проецирует элементы данных на это подпространство, тем самым максимально сохраняя полезную информацию и снижая влияние шума.
t-SNE, с другой стороны, используется для визуализации многомерных данных и дает лучший результат на более сложных и нелинейных структурах данных, правда, за счет более высоких вычислительных затрат.
Еще один потенциал уменьшения размерности — это использование методов, основанных на разложении матриц, например, Singular Value Decomposition (SVD) или Non-negative Matrix Factorization (NMF). Эти методы могут быть особенно полезны при обработке данных, подобных матрицам предпочтений в рекомендательных системах, где есть большое количество пользователей и продуктов.
Пример
Допустим, у нас есть массив данных, содержащий информацию о лайках пользователей Facebook на различные страницы, которые представляют собой отдельные столбцы в нашей матрице данных. Пользователи — это строки, а ячейки — значение, показывающее, поставил ли пользователь лайк конкретной странице.
При уменьшении размерности данных с использованием PCA мы можем извлечь новые "вымыслимые" признаки или компоненты, которые сокращают общее количество измерений. Например, каждая страница может быть сопоставлена конкретной тематике или категории (например, спорт, кино, музыка). Так, обработав данные, мы можем получить набор новых признаков для каждого пользователя: например, долю лайков в категории спорта, в категории музыки и т.д., что позволяет упростить и ускорить последующую обработку и анализ данных.
Применение
На практике уменьшение размерности позволяет интегрировать Facebook лайки и демографические данные в стандартную матрицу предпочтений, используемую в рекомендательных системах. Поскольку у вас ограниченное количество данных для новых пользователей, комбинированный подход сбора и обработки мультимодальных данных может быть чрезвычайно эффективным.
Для этого можно использовать гибридную рекомендательную систему, объединяющую подходы контентного фильтра и коллаборативного фильтра. В контентном фильтре важна обработка и классификация лайков и демографических данных для формирования профилей пользователей на основе их интересов и предпочтений. Коллаборативный же фильтр поможет выстроить рекомендации на основе действий схожих пользователей, где уменьшение размерности поможет минимизировать забивание данных, обеспечив большую точность и скорость.
Ваша инициатива по созданию подгрупп на основе демографических данных — это полезный шаг, однако, нужно помнить о необходимости сбора большого объема качественной информации для формирования релевантных рекомендаций. Возможно, стоит рассмотреть возможность динамического обновления этих рекомендательных групп и учитывать изменения в предпочтениях пользователей на основе новых лайков, используя методы кластеризации.
Чтобы избежать эффекта дисбаланса, который может возникнуть при выборе топ-N страниц по демографическим группам, рекомендуется рассмотреть все лайки и применять метод уменьшения размерности, например PCA или NMF, чтобы все категории были учтены и обработаны адекватно.
В результате, благодаря эффективному сжатию профилей с множеством измерений, можно создать более персонализированные и актуальные рекомендации, улучшив таким образом пользовательский опыт и повысив вовлеченность.