Mountpoint-s3-csi-driver для не-AWS хранилища

Содержание

Вопрос или проблема
Ответ или решение
Теория
Пример
Реализация

Вопрос или проблема

Я пытаюсь подключить внешний MinIO S3 bucket к кластеру рабочей нагрузки TKGS как PV. Однако, следуя инструкциям на https://github.com/awslabs/mountpoint-s3-csi-driver/tree/main, я не вижу, где указать S3 endpoint, чтобы направить его на мой minio tenant. Как я могу это настроить? Я что-то очевидное упускаю? Возможно, это работает только с бакетами AWS? Если нет, следует ли это настраивать при установке helm chart или при создании PV?

Или, если mountpoint-s3-csi-driver не является рекомендованным инструментом для подключения MinIO S3 бакетов в кластерах кубернетеса вне AWS, я буду рад попробовать любые другие предложения.

Спасибо!

Ответ или решение

Конечно, интеграция MinIO с Kubernetes, особенно когда дело касается монтирования S3-хранилища как постоянного хранилища (Persistent Volume, PV), может вызвать некоторые вопросы, особенно если использовать драйверы, изначально предназначенные для работы с AWS S3. Ваша задача – использовать mountpoint-s3-csi-driver для подключения к MinIO, и вы столкнулись с проблемой указания адреса S3-эндпоинта. Рассмотрим этот вопрос детальнее.

Теория

Mountpoint S3 CSI Driver – это драйвер контейнерной системы хранения (Container Storage Interface, CSI), разработанный для монтирования Amazon S3-хранилищ в кластерах Kubernetes. Он позволяет использовать S3-бакеты как постоянные хранилища и интегрировать их с Kubernetes-приложениями с помощью стандартизированного интерфейса.

С другой стороны, MinIO – это система хранения объектов с интерфейсом, совместимым с S3 API, что позволяет использовать почти тот же инструментарий, что и для работы с Amazon S3. Однако, из-за различий в инфраструктуре, таких как точки входа и протоколы аутентификации, интеграция иногда требует уточнений и доработок.

Пример

Предположим, что вы следуете стандартному руководству по использованию mountpoint-s3-csi-driver. Вы достигли этапа, когда необходимо указать S3-эндпоинт для MinIO, но обнаружили, что такая опция не была четко описана в документации. Это может связать с тем, что по умолчанию, инструменты, разработанные для работы с AWS, изначально ориентированы именно на AWS-инфраструктуру.

Однако, как это часто бывает в системах с открытым исходным кодом, существует возможность доработки и адаптации под нужды других платформ или локальных развертываний, таких как MinIO.

Реализация

Настройка Helm Chart:
При установке helm chart проверьте, какие параметры можно передать в values.yaml. Если поддерживается сторонний эндпоинт, можно указать MinIO как ваш эндпоинт. Обычно это делается через параметры, такие как s3_endpoint, access_key, и secret_key.
```
s3:
 endpoint: "http://minio.yourdomain.com"
 accessKey: "your-minio-access-key"
 secretKey: "your-minio-secret-key"
```

Создание Persistent Volume (PV):
При создании PV через YAML-манифесты убедитесь, что указываете правильные параметры для подключения к MinIO.

apiVersion: v1
kind: PersistentVolume
metadata:
 name: minio-pv
spec:
 capacity:
   storage: 10Gi
 accessModes:
   - ReadWriteOnce
 mountOptions:
   - nfsvers=4.1
 csi:
   driver: s3.csi.aws.com
   # Убедитесь, что параметры указаны правильно для MinIO
   volumeAttributes:
     s3-endpoint: "http://minio.yourdomain.com"
     bucket: "your-bucket-name"
     accessKeyID: "your-minio-access-key"
     secretAccessKey: "your-minio-secret-key"

Особенности использования MinIO с S3 CSI Driver:
Возможно, вы столкнетесь с необходимостью применения workaround, например, использования дополнительных утилит или кастомных плагины (например, minfs или Rclone), если стандартный подход не решает задачи. Кроме того, изучите возможности конфигурации CSI-драйверов для использования кастомных эндпоинтов.
Альтернативы:
Если использование mountpoint-s3-csi-driver оказывается неудобным, рассмотрите специализированные решения для работы с MinIO и Kubernetes, такие как MinIO Operator. Это решение предоставляет более специализированные инструменты управления и интеграции, включая более простые параметры настройки и оптимизированные процессы взаимодействия.

Подводя итог, настройка MinIO в Kubernetes посредством mountpoint-s3-csi-driver зависит от гибкости конфигурации самого драйвера и требует внимания к деталям в процессе настройки. Тем не менее, трудности, с которыми вы можете столкнуться, становятся более преодолимыми благодаря возможностям кастомизации и альтернативным подходам, подходящим для вашего окружения.