Вопрос или проблема
Контекст
Дорогие телефоны, такие как последние премиальные устройства Pixel/Samsung/Motorola/Xiaomi/Realme, имеют встроенные LLM, доступные для приложений через Google AI Edge SDK / AICore для Android, они могут отвечать на запросы без использования интернета.
Я разрабатываю приложение, которое использует этот SDK для выполнения задач на базе LLM локально, например, для суммирования и определения языка. Я написал запросы для каждой из этих задач.
Проблема
Я хотел бы протестировать запросы моего приложения на всех/большинстве устройств с AICore. Тестирование очень важно, так как каждая модель, предположительно, имеет разный уровень производительности, разную версию Gemini Nano или даже вообще разные LLM.
К сожалению, у меня нет всех этих устройств, они стоят много денег, и эмуляторы не позволяют тестировать встроенные LLM каждого производителя.
Решение
Я хотел бы платформу краудсорсинга, где владельцы этих устройств могли бы легко запускать мои запросы и отправлять мне ответы.
- В идеале она должна позволять мне легко управлять запросами и видеть ответы, классифицированные по модели/версии ОС/версии AICore.
- В идеале владельцам устройств не нужно было бы ничего делать, просто установить приложение. Возможно, запускать его время от времени, если автоматический запуск вызывает сложности.
- В идеале платформу краудсорсинга могли бы использовать и другие разработчики, однако я открыт и к единовременному решению.
- Может быть, это можно интегрировать в само приложение. Во время выполнения оно могло бы определять, имеют ли ответы LLM этого пользователя ценность, и только тогда запускать его, желательно после запроса разрешения пользователя.
Лицензия/цена
В идеале, платформа должна быть с открытым исходным кодом, бесплатной в использовании, а волонтеры были бы мотивированы помочь улучшить мое приложение, которое также является открытым исходным кодом.
Но коммерческие решения, где разработчики приложений платят деньги, и часть этих денег перераспределяется владельцам устройств, также являются приемлемыми вариантами. Некоторые лояльные пользователи могут быть готовы делать это бесплатно, возможно, в обмен на баллы в приложении или ранний доступ.
Ответ или решение
Конечно. Crowdsource-платформы предоставляют отличную возможность для тестирования приложений на большом количестве различных устройств. Чтобы использовать возможности crowdsourcing для вашего приложения, использующего Google AI Edge SDK / AICore на Android, необходимо выстроить тщательно продуманную стратегию.
Основное решение:
-
Создание платформы
- Описание проблемы и ее решение: Разработайте открытую платформу, на которой пользователи могут делиться своими отзывами об эффективности LLM на конкретных устройствах. Введите чёткие метрики для оценки качества откликов, такие как точность, консистентность и время выполнения.
- Удобство использования: Создайте простой в использовании интерфейс управления запросами. Позвольте пользователям сортировать отклики по модели устройства, версии ОС и версии AICore. Это упростит анализ данных.
-
Интеграция с приложением
- Интеграция функционала: Встроенная функциональность может автоматически определять доступность полезных откликов на устройствах пользователей. Предусмотрите возможность предварительного уведомления и получения разрешения от пользователя перед сбором данных.
- Подход с минимальным вмешательством: Сделайте так, чтобы приложение работало в фоновом режиме и автоматически отправляло данные только в случае необходимости. Периодическое выполнение задач должно быть оптимизировано, чтобы не нагружать устройство.
-
Мотивация пользователей
- Программы лояльности: Предложите пользователям паспортные баллы, ранний доступ или иные мотивирующие награды за участие в платформе.
- Сообщество и открытый исходный код: Ваше приложение и платформа также могут быть полностью открытыми. Это привлечет энтузиастов, готовых помочь в развитии проекта из альтруистичных соображений.
-
Юридические и этические аспекты
- Согласие и конфиденциальность: Все тесты должны производиться с явного согласия пользователей, с обязательным уведомлением о целях сбора данных.
- Публичная лицензия: Сделайте платформу с открытым исходным кодом для повышения доверия и прозрачности.
Потенциальные технические решения:
- Веб-платформа с API для взаимодействия с вашей Android-программой.
- Технология P2P: Использование P2P-сетей для сбора данных с устройств пользователей может улучшить масштабируемость и снизить затраты.
Платные и бесплатные альтернативы:
Если поиск добровольцев не приводит к желаемым результатам, можно рассмотреть краудсорсинговые сервисы, такие как Amazon Mechanical Turk, где можно заплатить пользователям за тестирование приложения. Это обеспечит более предсказуемый поток данных.
Заключение:
Для успешного исполнения краудсорсинг-стратегии необходимо тщательно продумать факторы удобства использования, мотивации участников и уважения их конфиденциальности. Открытый исходный код и сообщество — лучшие союзники в создании устойчивой и полезной платформы.