Вопрос или проблема
Я разрабатываю систему рекомендаций, которая должна предоставить моим клиентам информацию о действиях, которые они должны предпринять, чтобы достичь определенных целей.
Основные механизмы этого процесса физические – как действия, так и результаты могут быть измерены физически.
Мой текущий алгоритм основан на предсказательной модели, которая может предсказать ожидаемый результат для данного действия.
Этот результат может быть оценен, и таким образом оценка* многих исходов может привести к нахождению лучшего действия – действия, которое будет рекомендовано.
*оценка основана на расстоянии между исходами и целями.
Эффективность моей предсказательной модели хороша (низкий MAE). Оценка ее производительности основана на предсказании уже предпринятого (исторического) действия и сравнении его предсказания с фактическими (историческими) исходами.
Проблема возникает, когда я пытаюсь оценить качество рекомендаций, поскольку многие рекомендации представляют собой действия, которые не были предприняты, и у меня мало способов оценить их качество.
Я пытался использовать фактические исходы в качестве “целей” для своей системы рекомендаций и сравнивать рекомендованное действие с фактически предпринятым действием.
Я не уверен, что это правильный путь, и любые советы были бы весьма полезны.
Разобраться в причинно-следственных связях в этом типе рекомендательной системы сложно, но вполне осуществимо.
Учитывая, что у вас есть хорошая экспериментальная методология, и ваши оценочные данные генерируются на числах, не использованных для обучения (среди прочих соображений), кажется, что у вас есть лучшая оценка, которую вы можете получить (или вы находитесь в близости к этому) с использованием прошлых данных.
Следующий шаг будет состоять в создании нового эксперимента, в котором вы (в идеале) случайным образом предоставляете рекомендации одной группе и не предоставляете их другой группе, которые иначе идентичны. Затем вы измеряете результаты для обеих групп и статистически сравниваете их, чтобы определить наличие эффекта и его размер.
Предложить это исследование – ваш следующий шаг, если вы находитесь в организации, или провести его, если у вас есть возможность сделать это самостоятельно.
Общий подход к этому – обучение с подкреплением. Он решает проблему оценки неиспользованных действий, выбирая их стохастически, причем степень исследования может быть параметром.
Другой общий подход – разработать хорошую модель окружения. Затем результаты на неиспользованных действиях могут быть оценены с помощью моделирования.
Ответ или решение
Оценка качества и точности рекомендаций в системах рекомендаций
Разработка системы рекомендаций для предоставления клиентам рекомендаций по действиям, которые позволят достичь определённых целей, является сложной задачей. В данной статье мы обсудим методы оценки качества и точности рекомендаций, основываясь на вашей ситуации и механике процесса, связанном с физическими измерениями действия и результатом.
Проблема в оценке качества рекомендаций
Ваш алгоритм, основанный на предсказательной модели, демонстрирует хорошую производительность с низким средним абсолютным отклонением (MAE). Тем не менее, сложность возникает при оценке качества рекомендаций, поскольку многие из рекомендуемых действий не были выполнены и, следовательно, их влияние на результаты не поддается непосредственной оценке. Вы уже пробовали использовать фактические результаты как цели для вашей системы рекомендаций, сравнивая рекомендуемые действия с настоящими действиями. Однако, стоит учитывать, что это может не всегда давать корректную оценку, поскольку альтернативные действия могли бы привести к другим результатам.
Эффективные методы оценки качества рекомендаций
-
Экспериментальная методология: Для оценки рекомендаций можно организовать A/B тестирование. Разделите аудиторию на две группы: одна получит рекомендации, в то время как другой группе рекомендации не будут предоставлены. Это позволит вам собрать статистические данные о результатах для обеих групп и проанализировать влияние рекомендаций на достижения целей.
-
Реинфорсмент-обучение: Еще одним подходом является применение методов реинфорстмент-обучения, которые помогают исследовать неиспользованные действия через стохастический отбор. Вы можете настроить уровень исследования, что позволит балансировать между изучением новых действий и использованием уже известных.
-
Симуляция среды: Создайте детализированную модель окружения, в рамках которой вы сможете имитировать результаты для неиспользованных действий. Симуляционное моделирование позволит вам оценивать потенциальные результаты без необходимости фактически выполнять действие.
Внедрение результатов анализа
После проведения вышеуказанных методов вам следует проанализировать полученные результаты и, при необходимости, улучшить вашу предсказательную модель. Основной акцент следует делать на проверке статистической значимости полученных данных, чтобы убедиться в наличии реального эффекта рекомендаций.
-
Сравнительный анализ: Оцените разницу в целевых показателях между группами. Это будет ключевым этапом для определения реальной ценности рекомендаций.
-
Обратная связь и итерации: Используйте данные и обратную связь от клиентов для постоянного улучшения алгоритма и приведения рекомендаций в соответствие с реальными ожиданиями.
Заключение
Эффективная оценка качества и точности рекомендаций в системе — это непрерывный процесс, требующий сочетания различных методов и подходов. Реализация хорошо продуманной экспериментальной методологии в сочетании с использованием технологий реинфорстмент-обучения и симуляции поможет вам существенно улучшить качество рекомендаций, которые ваша система будет предлагать клиентам.
Помните, что успешная система рекомендаций — это не только правильные алгоритмы, но и глубокая аналитика, основанная на данных, что приведет к более высоким показателям достижения целей вашего бизнеса.