Вопрос или проблема
Как управлять кодом (и блокнотами) в рабочем пространстве ML Scenario Manager в SAP Data Intelligence?
Похоже, что SAP DI не поддерживает прямую интеграцию с Git.
Для каждого сценария ML есть раздел блокнотов, где вы можете загружать/создавать файлы с кодом и/или блокноты Jupyter:
.
Ответ или решение
Управление кодом и блокнотами в ML Scenario Manager в SAP Data Intelligence
Введение
SAP Data Intelligence (SAP DI) предоставляет мощную платформу для управления данными и разработки машинного обучения. Однако многие пользователи сталкиваются с проблемой интеграции Git для управления версиями кода и Jupyter-блокнотов в рабочей области ML Scenario Manager. В данной статье мы рассмотрим, как эффективно управлять кодом и блокнотами в SAP DI, учитывая текущие ограничения платформы.
Проблема интеграции с Git
Необходимость использования систем контроля версий (таких как Git) для управления кодом в ML Scenario Manager возникает из-за необходимости отслеживания изменений, совместной работы и обеспечения воспроизводимости. Однако, как указано, SAP DI не предоставляет встроенной интеграции с Git. Это создает потребность в разработке альтернативных стратегий для управления кодом и блокнотами.
Ваши шаги для эффективного управления кодом:
-
Локальное управление кодом:
- Использование локального репозитория Git: Создайте локальный репозиторий на вашем компьютере для хранения кода и блокнотов. Это позволит вам контролировать версии, создавать ветки для новых функций и сохранять стабильные версии проекта.
- Структурирование файлов: Создайте четкую структуру папок для кодовых файлов и Jupyter-блокнотов, например,
/notebooks
,/src
,/data
. Это облегчает поиск необходимых файлов и уменьшает вероятность путаницы.
-
Экспорт и импорт файлов:
- Экспорт блокнотов из SAP DI: Для работы с вашими Jupyter-блокнотами в локальном окружении, периодически экспортируйте их из SAP DI в формате
.ipynb
. Это сделать легко через интерфейс ML Scenario Manager. - Импорт в рабочую область: После завершения редактирования на локальном компьютере, импортируйте обновленные файлы обратно в SAP DI.
- Экспорт блокнотов из SAP DI: Для работы с вашими Jupyter-блокнотами в локальном окружении, периодически экспортируйте их из SAP DI в формате
-
Использование облачных сервисов Git:
- GitHub, GitLab, Bitbucket: Рассматривайте использование облачных сервисов для хранения ваших репозиториев. Это предлагает дополнительные возможности для совместной работы, таких как pull-запросы и отслеживание проблем.
- Автоматизация процессов: Использование CI/CD (непрерывной интеграции и доставки), подключив обработку на сервере, позволит вам автоматически тестировать изменения, прежде чем они достигнут вашей среды разработки.
-
Документация кода:
- Не забывайте регулярно обновлять README.md файл в вашем репозитории. Документация облегчает другим пользователям (или вам в будущем) понимание структуры проекта и его использования.
-
Резервное копирование и аварийное восстановление:
- Регулярные коммиты: Проводите регулярные коммиты изменений в вашем локальном репозитории, чтобы минимизировать риск потери данных.
- Автоматические резервные копии: Настройте автоматические резервные копии на облачных сервисах, чтобы получить доступ к актуальной версии вашего кода в случае потери.
Заключение
Хотя SAP DI не поддерживает прямую интеграцию с Git, вы можете эффективно управлять кодом и Jupyter-блокнотами с помощью локального репозитория и экспортно-импортного подхода. Следуя предложенным шагам, вы сможете обеспечить стабильность вашего проекта и повысить уровень дальнейшего сотрудничества в вашей команде. Важно понимать, что управление кодом – это непрерывный процесс, требующий привлечения всех участников к следованию установленным стандартам.
Эти меры помогут вам максимально повысить производительность работы в ML Scenario Manager, даже без прямой интеграции с Git, обеспечивая качество и безопасность вашего кода.