Как увеличить размер диска в StatefulSet

Я управляю развертыванием Elasticsearch в Kubernetes. Я вижу, что дисковое пространство близко к полному, поэтому хотел бы увеличить размер постоянных томов.

Я хочу изменить это значение в Stateful Set:

spec.volumeClaimTemplates[0].spec.resources.requests.storage : "10Gi"

Но когда я делаю это через Kubernetes-dashboard, я получаю следующее сообщение:

Ошибка внутреннего сервера

StatefulSet.apps “es-cluster” недействителен: spec: Запрещено: обновления statefulset > spec для полей, кроме ‘replicas’, ‘template’ и ‘updateStrategy’, запрещены.

Это заставляет меня думать, что мне придется удалить существующий Stateful Set и развернуть новый.

Возможно ли увеличить дисковое пространство на под без прерывания сервиса или потери данных?

Дополнительные детали

У меня несколько подов данных Elasticsearch и я использую количество реплик = 1, так что если я смогу их отключить и обновить дисковое пространство по одному поду за раз, это не должно вызвать проблем. Я просто не вижу, как это сделать с учетом указанных выше ограничений.

Собрал эту процедуру на основе других комментариев на https://github.com/kubernetes/kubernetes/issues/68737. Я протестировал это на kubernetes 1.14:

1. kubectl edit pvc <имя> для каждого PVC в StatefulSet, чтобы увеличить его емкость.
2. kubectl delete sts --cascade=orphan <имя> для удаления StatefulSet и сохранения его подов.
3. kubectl apply -f <имя> для воссоздания StatefulSet.
4. kubectl rollout restart sts <имя> для перезапуска подов, по одному за раз. Во время перезапуска PVC пода будет изменен в размере.

Если вы хотите следить за происходящим, запустите еще два терминала с этими командами перед любыми из команд выше:

• kubectl get pod -w
• kubectl get pvc -w

Чтобы применить этот принцип к helm chart, я смог сделать следующее, основываясь на приведенной выше информации, а также на некоторых рекомендациях в этой теме: https://github.com/kubernetes/kubernetes/issues/68737#issuecomment-469647348

Пример ниже использует следующие значения:

• Имя StorageClass: standard
• Имя StatefulSet: rabbitmq-server
• Имя PersistentVolumeClaim (PVC): data-rabbitmq-server-0
• Имя релиза helm: rabbitmq-server
• ИмяChart helm: stable/rabbitmq

Эти значения можно найти в вашей среде, используя следующие команды:

• Имя PVC и имя StorageClass: kubectl get pvc
• Имя StatefulSet: kubectl get sts
• Имя релиза helm: helm list
• Имя helm chart: Вы должны знать, какой helm chart вы пытаетесь обновить 😀

И вот шаги для обновления размера PV в StatefulSet helm chart:

1. kubectl edit storageClass standard и установить/убедиться, что allowVolumeExpansion: true (в моем случае оно уже было)
2. kubectl delete sts --cascade=orphan rabbitmq-server
3. kubectl edit pvc data-rabbitmq-server-0 и изменить spec size на 50Gi
4. Изменить размер в моем helm chart (rabbitmq-values.yaml) на 50Gi
5. helm upgrade --recreate-pods --reuse-values -f rabbit-values.yaml rabbitmq-server stable/rabbitmq

ЗАМЕТКА: На последнем шаге используется флаг --recreate-pods, чтобы force перезапуск подов, что запускает фактическое изменение файловой системы. Это также вызывает простой для этих подов. Если вы хотите попробовать сделать это без простоя, вы можете попробовать убрать этот флаг и вручную завершать/перезапускать один под за раз или что-то в этом роде.

Вот полный скрипт для изменения размера томов STS на основе других ответов. Мне не пришлось использовать --cascade=false при удалении STS, потому что он уже был уменьшен до 0 перед этим шагом.

1. Убедитесь, что StorageClass поддерживает увеличение объема, если необходимо, отредактируйте его:

kubectl get -o jsonpath="{.allowVolumeExpansion}" sc <SC-NAME>
# должно вернуть true, в противном случае, патчите его:
kubectl patch -p '{"allowVolumeExpansion": true}' sc <SC-NAME>
# затем снова выполните первую команду

2. Уменьшите количество реплик StatefulSet до 0 для возможности изменения объема.

# нам нужно сохранить оригинальное количество реплик, поэтому давайте сохраним его перед уменьшением
REPLICAS=`kubectl get -o jsonpath="{.spec.replicas}" sts/<STS-NAME>`
kubectl scale sts/<STS-NAME> --replicas 0

3. Исправьте PersistentVolumeClaim с новым размером, это немедленно изменит размер PersistentVolume и его диска. Вы можете проверить, описывая PV и проверяя портал облачного провайдера для диска.
   Тем не менее, описание PVC не будет отражать новый размер, пока под не будет запущен, после чего он автоматически изменит размер файловой системы:

NEW_SIZE=128Gi
for i in `seq 0 $[REPLICAS-1]`; do
  PVC=<PVC-NAME-PREFIX>-$i
  echo "Обновление PVC $PVC"
  # Печатаем текущий размер:
  kubectl get -o jsonpath="{.spec.resources.requests.storage} " pvc/$PVC
  # Устанавливаем новый размер:
  kubectl patch -p '{"spec": {"resources": {"requests": {"storage": "'$NEW_SIZE'"}}}}' pvc/$PVC
  # Проверяем PV:
  echo "Ожидание 10 секунд, чтобы PV зафиксировало изменение..."
  echo "Если вы все еще видите такой же размер, не беспокойтесь, чтобы увидеть новый размер, просто запустите этот скрипт снова"
  sleep 10
  PV=`kubectl get -o jsonpath="{.spec.volumeName}" pvc/$PVC`
  kubectl get -o jsonpath="{.spec.capacity.storage} " pv/$PV
  echo "Готово"
done

4. Удалите STS для обновления с новым размером.

kubectl delete sts <STS-NAME> 

5. Воссоздайте STS (helm upgrade или kubectl apply) после редактирования запрашиваемого размера, который должен соответствовать новому размеру, примененному к PVC. После запуска каждый под в
   репликах запустит изменение размера файловой системы, и это немедленно отразится на его PVC

for i in `seq 0 $[REPLICAS-1]`; do
  PVC=<PVC-NAME-PREFIX>-$i
  echo "Проверка размера PVC $PVC"
  # Проверяем текущий размер:
  kubectl get -o jsonpath="{.status.capacity.storage} " pvc/$PVC
done

Несмотря на то что Изменение размера постоянных томов с использованием Kubernetes с Kubernetes 1.11, похоже, что с этим есть некоторые проблемы.

Как обсуждалось в GitHub: StatefulSet: поддержка изменения размера PVC хранилища в K8s v1.11 #68737

Из-за этого ограничения многие операторы баз данных для Kubernetes не поддерживают изменение размера PVC.
Это критическая проблема, потому что когда ваша база данных становится больше, чем вы ожидали – у вас нет выбора, и необходимо создать резервную копию БД и воссоздать новую БД из резервной копии.

Вам следует изменить его, удалив Statefulset, что приведет к удалению всех подов и вызовет простой.

Решение было опубликовано DaveWHarvey

Я обошел это ограничение на elasticsearch из-за работы, которую мне пришлось провести, чтобы избежать невозможности назначить EBS тома, потому что они находятся в неправильной зоне доступности, т.е. я создал statefulset для каждой AZ. Если я хочу изменить некоторые характеристики хранения, я создаю новую “AZ”, используя тот же класс хранения, а затем мигрирую все данные на поды в эту новую AZ, после чего уничтожаю старую AZ.

Надеюсь, это немного поможет вам.

Вот шаги, которые сработали для меня:

1. Убедитесь, что расширение объема включено в классе хранения, используемом в PVC.
2. Используйте kubectl для редактирования PVC, который вы хотите обновить. (Скажем, обновите объем до 50 ГБ)
3. Убедитесь, что kubectl удаляет stateful set с каскадированием=false
4. Отредактируйте Statefulset в файле манифеста.
5. Вернитесь к версии/релизу, который развернут в кластере.
6. Снова выполните kubectl/Helm upgrade стека, чтобы снова создать Statefulset.
7. Теперь у вас должен быть обновленный Statefulset и PVC. (Обновление объема на 50 ГБ)
8. Перезапустите Statefulset с помощью kubectl rollout.

Можно расширить PVC statefulset в AKS, следуя этим четырем шагам: https://stackoverflow.com/a/71175193/4083568

Без удаления sts и поддержания работы вашего сервиса в процессе:

1. отредактируйте все спецификации pvc с новым размером (возможно, также отредактируйте crd, контролирующий размер pvc)
2. для каждого po:
   1. закройте все no
   2. удалите po
   3. подождите, пока pv не станет нового размера
   4. разомкните один no
   5. подождите, пока sts не станет “здоровым”, в зависимости от вашего сервиса
   6. проверьте, что pvc имеет новый размер
   7. перейдите к следующему po