Фильтрация на основе содержания для рекомендаций по стажировкам без оценок пользователей — это осуществимо?

Я разрабатываю функцию рекомендаций для платформы стажировок студентов. Студенты будут явно выбирать свои интересы и навыки во время регистрации, а рекрутеры будут публиковать предложения стажировок с соответствующими требованиями или тегами (такими как навыки, местоположение и т. д.).

План: Я намерен использовать фильтрацию на основе контента для сопоставления:

Профили студентов (интересы, навыки) Возможности стажировок (теги, описания). Тем не менее, многие примеры, которые я читал, включают матрицы оценок пользователей и предметов или обратной связи.

Вопросы:

1- Нужна ли мне матрица оценок для фильтрации на основе контента, или этот метод может работать лишь с помощью сравнения атрибутов?

2- Необходим ли внешний набор данных, или использование данных, генерируемых внутри (из профилей пользователей и стажировок), будет достаточным?

В настоящее время я нахожусь на стадии планирования и еще не начал программировать, но я хочу убедиться, что этот дизайн жизнеспособен. Буду признателен за любую помощь или разъяснения!

Добро пожаловать в Data Science Stack Exchange @Amira 🙂 Хорошо, что вы думаете о будущем на этапе планирования. Ваша предложенная система рекомендаций для платформы стажировок студентов с использованием фильтрации на основе контента (CBF) кажется мне осуществимой и хорошо соответствует вашему случаю. Далее я постараюсь ответить на ваши вопросы:

1. Нужна ли мне матрица оценок для фильтрации на основе контента, или этот метод может работать лишь с помощью сравнения атрибутов?

Фильтрация на основе контента не требует матрицы оценок. В отличие от коллаборативной фильтрации, которая зависит от взаимодействий пользователей и предметов (например, оценок или обратной связи), CBF использует атрибуты пользователей и предметов для вычисления сходства. В вашем случае:

• Профили студентов: представлены в виде векторных признаков интересов и навыков.
• Возможности стажировок: представлены в виде векторов тегов и описаний.

Меры сходства

CBF сравнивает профили, используя математические меры сходства, такие как:

1. Косинусное сходство:
   $$
   \text{Similarity}(A, B) = \frac{\sum_{i=1}^{n} A_i B_i}{\sqrt{\sum_{i=1}^{n} A_i^2} \cdot \sqrt{\sum_{i=1}^{n} B_i^2}}
   $$
   Идеально подходит для числовых данных, таких как частота тегов, где значения нормализованы к общей шкале.

2. Сходство Жаккара:
   $$
   \text{Similarity}(A, B) = \frac{|A \cap B|}{|A \cup B|}
   $$
   Подходит для двоичных признаков (например, теги навыков).

3. TF-IDF (Частота термина–Обратная частота документа):
   Представьте текстовые описания в виде взвешенных векторов, используя:
   $$
   \text{TF-IDF}(t, d) = \text{TF}(t, d) \cdot \log\left(\frac{N}{\text{DF}(t)}\right)
   $$
   где:

   • $t$: термин
   • $d$: документ
   • $N$: всего документов
   • $\text{DF}(t)$: документы, содержащие $t$

2. Необходим ли внешний набор данных, или использование внутренних данных будет достаточным?

Внешние данные определенно полезны в этом контексте, но внутренних данных должно быть достаточно, при условии что:

• Студенты предоставляют явные интересы и навыки во время регистрации, и
• Рекрутеры присваивают подробные теги или описания к объявлениям.

Внешние улучшения

Внешние наборы данных могут дополнительно улучшить систему за счет:

• Сопоставление синонимов: узнавание эквивалентных терминов (например, “машинное обучение” против “ИИ”).
• Предобученные модели: внедрение текстовых данных в векторные пространства с помощью инструментов, таких как Word2Vec или Sentence-BERT для тонких сравнений.

Рекомендации по внедрению

Предварительная обработка данных

• Стандартизация: нормализуйте термины (например, “Python” против “python”).
• Онтологии: отображение иерархических отношений (например, “data science” включает “машинное обучение”).

Масштабируемость

• Используйте разреженные представления матриц для повышения эффективности.
• Реализуйте быстрый поиск сходства с помощью таких инструментов, как FAISS (Facebook AI Similarity Search).

Проблема холодного старта

Для новых пользователей или стажировок:

• Предоставьте рекомендации по умолчанию, основанные на обобщенных профилях или популярных стажировках.

Включение обратной связи

Даже без явных оценок:

• Собирайте неявную обратную связь (например, клики, заявки).
• Используйте эти данные для корректировки весов признаков и уточнения сопоставления с течением времени.

Подведение итогов

Фильтрация на основе контента является жизнеспособным подходом для вашей платформы рекомендаций стажировок. Она не требует матрицы оценок и может эффективно работать с внутренними данными. Для повышения масштабируемости и точности:

• Начните с простого сопоставления на основе атрибутов.
• Постепенно улучшайте, используя обратную связь и внешние наборы данных.

Ссылки

1. Lops, P., Gemmis, M., & Semeraro, G. (2011). “Content-based Recommender Systems: State of the Art and Trends.” DOI:10.1007/s10462-010-9198-6
2. Manning, C., Raghavan, P., & Schütze, H. (2008). Введение в поиск информации. Онлайн
3. Johnson, J., Douze, M., & Jégou, H. (2019). “Поиск сходства на миллиардном масштабе с помощью GPU.” FAISS