Вопрос или проблема
Я пришел из сферы разработки ПО, и у нас есть отдельные серверы одной и той же базы данных (разработка, тестирование, продакшн). Причина этого в том, что мы разрабатываем наши приложения на основе базы данных разработки, проводим тесты на базе данных тестирования, а продакшн — это продакшн. Это необходимо для создания четкого разделения, чтобы не нарушить работу продакшн при сборке нашего приложения.
Вы тоже обучаете свои модели таким образом? Имеете 3 окружения одной и той же базы данных, и когда ваша модель переходит от разработки к тестированию, затем к продакшену, она обучается в соответствующем окружении?
Пример:
-
Даталог исследует 3 разных алгоритма для классификации. Создает 3 модели (A, B, C), используя базу данных окружения разработки.
-
Даталог оценивает 3 модели и выбирает Модель A после тестирования и валидации.
-
Даталог разворачивает код в окружение ТЕСТИРОВАНИЯ/ПРЕДВАРИТЕЛЬНОГО ПРОСМОТРА (одинаковые гиперпараметры). На этот раз модель обучается с использованием баз данных ТЕСТИРОВАНИЯ/ПРЕДВАРИТЕЛЬНОГО ПРОСМОТРА. Создается версия Модели A с использованием данных из баз данных ТЕСТИРОВАНИЯ/ПРЕДВАРИТЕЛЬНОГО ПРОСМОТРА.
-
Даталог разворачивает код в окружение ПРОД (одинаковые гиперпараметры). На этот раз модель обучается, используя базы данных ПРОД. Создается версия Модели A с использованием данных из баз данных ПРОД.
Нет, вы не обучаете на 3 отдельных базах данных, потому что для каждого набора данных вам нужно было бы начинать всю работу с нуля (исследовательский анализ данных, обработка признаков и т. д.). Вам нужен действительный обучающий набор данных, из которого вы создаете свой валидационный набор данных и тестовый набор данных (отложенный набор как конечный шаг верификации). Да, конечно, вы разворачиваете свою модель, например, как веб-сервис на тестовом сервере, чтобы убедиться, что она работает как ожидалось. Но верификация модели, включая предотвращение переобучения или недообучения, получение хорошей точности и всего прочего, выполняется до любого развертывания.
Просто воспринимайте модель так, как вы воспринимаете изображение или другой ресурс в вашем проекте. Разве вы тоже тестировали бы изображения на этапе предварительного просмотра?
Ответ или решение
Архитектура развертывания модели машинного обучения
Введение
Развертывание моделей машинного обучения (ML) требует четкой стратегии архитектуры, сравнимой с подходом к разработке программного обеспечения. Как и в случае с приложениями, где у вас есть отдельные среды (разработка, тестирование, продакшн), архитектура развертывания ML модели также должна учитывать различные этапы жизненного цикла, включая подготовку данных, обучение и тестирование.
Основные компоненты архитектуры развертывания
-
Изоляция сред:
Разработка и тестирование моделей следует проводить в изолированных средах, чтобы избежать риска влияния непроверенных изменений на рабочую версию. Это может быть организовано следующим образом:-
Разработка (Dev): В этой среде ученые данных работают над первоначальным анализом данных и созданием моделей. Они могут тестировать различные алгоритмы и настраивать гиперпараметры, используя одну и ту же исходную базу данных с соответствующими данными.
-
Тестирование (Test): Здесь модели подвергаются более строгому тестированию. После того как модель прошла предварительные проверки в среде разработки, она развертывается на этапе тестирования для оценки общей производительности и стабильности на тестовых данных, которые могли быть очищены и отобраны из исходной базы данных.
-
Продакшн (Prod): В этой среде модель внедряется для реальных пользователей. Данные, использующиеся для обучения модели, должны быть актуальными и отражать реальное использование в бизнесе.
-
-
Подготовка и контроль данных:
Использование единой базы данных для обучения на различных этапах (разработка, тестирование и продакшн) подразумевает, что данные должны быть тщательно подготовлены и контролированы. Это включает:- Предварительная обработка: Все этапы, такие как очистка данных, нормализация и преобразование признаков, должны выполнены до развертывания.
- Разделение данных: Имеет смысл создать тренировочные, валидационные и тестовые выборки на этапе подготовки данных, что позволит избежать обучения на одних и тех же данных на этапах валидации и тестирования.
-
Версионирование моделей:
Каждая модель, создаваемая на этапе разработки, требует версионирования, чтобы можно было легко отслеживать изменения и откатываться при необходимости. Это достигается с помощью современных инструментов, таких как MLflow или DVC (Data Version Control). -
Контейнеризация:
Развертывание моделей в виде контейнеров (например, с использованием Docker) обеспечивает согласованное и безопасное выполнение моделей в разных средах. Контейнеры позволяют разработать удобный процесс развертывания и переноса модели от разработки к продакшену. -
Мониторинг и оценка работы модели:
После развертывания в продакшн необходимо реализовать мониторинг, чтобы отслеживать работу модели в реальном времени. Важно собирать данные о производительности модели и отзывах пользователей. Это помогает не только в выявлении проблем с моделью, но и в ее дообучении при необходимости.
Заключение
Архитектура развертывания модели машинного обучения представляет собой целостный подход к управлению жизненным циклом модели. Она требует внимательного контроля данных, разработки и тестирования в разных средах, а также мониторинга после развертывания. Такой подход минимизирует риски и позволяет обеспечить развитие модели в ликвидной бизнес-среде, что, безусловно, нужно учитывать при проектировании архитектуры развертывания для моделей ML.