Проблемы с параметрами конфигурации развертывания RDS MySQL Blue Green в Terraform

Вопрос или проблема

Я включил развертывание с синим и зелёным MySQL RDS DB – blue_green_update { enabled = true }. Оно справляется с некоторыми изменениями, например, параметрами aws_db_parameter_group, однако, когда я попытался обновить версию движка с 8.0.34 до 8.0.36, появилась ошибка: “Ошибка: обновление экземпляра RDS DB: переключение развертывания Синий/Зеленый: ожидание завершения: тайм-аут ожидания состояния ‘SWITCHOVER_COMPLETED’ (последнее состояние: ‘AVAILABLE’, тайм-аут: 2ч14м10.134с).” Кто-нибудь знает обходной путь или имеет совет? Спасибо.

Я понимаю, что Terraform не предоставляет никакого контроля над настройками развертывания с синим и зелёным, например, установкой периода тайм-аута, что я бы и попробовал, или добавлением опции –upgrade-target-storage-config (это не актуально, просто пример).

На самом деле провайдер Terraform AWS предлагает возможность контролировать тайм-ауты (по крайней мере, с v3.64.0). Вам нужно лишь добавить блок timeouts в ресурс aws_db_instance:

  timeouts {
    create = "3h"
    delete = "3h"
    update = "3h"
  }

Конкретно для операций обновления версий обычно увеличивают тайм-аут “update”.

Ответ или решение

Проблема, связанная с конфигурацией механизмов Blue-Green Deployment для RDS MySQL через Terraform, привлекает внимание многих специалистов в области ИТ, поскольку такие развертывания представляют собой удобный способ минимизации простоя и рисков при обновлениях базы данных. Однако в своем вопросе вы подняли важный аспект, касающийся временных ограничений и управления конфигурацией через Terraform, что может осложнять процесс перехода между версиями движка базы данных, как это случилось при попытке обновления с версии 8.0.34 до 8.0.36.

Теория:

Blue-Green Deployment — это метод, который предполагает наличие двух одинаковых производственных окружений (зеленого и синего). Основная идея заключается в том, чтобы перенаправить трафик с одного окружения на другое, когда новое окружение готово и протестировано, тем самым уменьшая риск перерывов и неожиданных последствий при обновлении приложения или базы данных. Для RDS MySQL это позволяет, к примеру, обновлять версию движка без простоев.

Terraform — инструмент для управления инфраструктурой как кодом (IaC), который поддерживает работу с AWS и в частности с RDS. Но даже с его поддержкой, управление Blue-Green Deployment может вызвать затруднения из-за ограничений, накладываемых AWS API или самим Terraform.

Пример:

Как вы упомянули, при обновлении версии движка у вас возникла ошибка тайм-аута, что означает, что процесс переключения Blue/Green Deployment не завершился в отведенное время. Это может произойти по многим причинам — от длительных миграций схемы до сбоев в сетях. Однако вы правы в своем предположении, что Terraform может не предоставлять гранулированного управления ими в стандартной конфигурации.

Вы отметили, что в новых версиях провайдера AWS для Terraform доступен блок timeouts, который можно настроить для изменения стандартных параметров времени выполнения операций. Вот пример использования этого блока:

resource "aws_db_instance" "example" {
  # другие параметры вашего ресурса...

  timeouts {
    create = "3h"
    delete = "3h"
    update = "3h"
  }
}

Применение:

Важно осознавать, что настройка более длинного временного интервала для перехода или обновления версии движка может помочь в определенных обстоятельствах, но также важно понимать природу проблем, с которыми вы сталкиваетесь. Если увеличенный таймаут решение не обеспечивает, возможно, стоит рассмотреть другие подходы:

Проверить журнал изменений: Убедитесь, что изменяете соответствующие свойства и оцените, не вызывает ли какая-то из них дополнительные задержки. Крупные изменения схемы могут требовать дополнительных временных затрат.
Проверить конфигурацию окружения: Оцените нагрузку и состояние целевого и исходного окружений. Переоценка необходимых ресурсов может также помочь обработать переключение быстрее.
Диагностика и мониторинг: Воспользуйтесь инструментами мониторинга RDS и CloudWatch для выявления конкретных узких мест в процессе выполнения обновлений. Это может помочь выявить системные сбои или узкие места в производительности.
Дополнительные настройки: Помимо увеличения таймаута, изучите другие параметры, предложенные AWS для Blue-Green Deployment, которые могут быть реализованы вручную или через скрипты автоматизации для специфических случаев использования вашей базы данных.

Таким образом, управление параметрами времени — лишь первый шаг в комплексном подходе к управлению Blue-Green Deployment в RDS MySQL. Надлежащая диагностика, соответствующее планирование и настройка всех аспектов вашего окружения имеют ключевое значение для успешной автоматизации и надежного обновления баз данных.