Создание снимка Docker на EC2 с помощью Terraform

Содержание

Вопрос или проблема
Ответ или решение
Форест (FOREST) подход:
Заключительные мысли:

Вопрос или проблема

У меня есть экземпляр EC2 с базой данных, работающей в Docker. Всё это развёрнуто с помощью Terraform.

Сейчас я хочу реализовать создание снимков, поэтому добавил некоторую конфигурацию Terraform.


# Политика жизненного цикла DLM для автоматических снимков
resource "aws_dlm_lifecycle_policy" "libsql_snapshot_policy" {
  description        = "Политика автоматического создания снимков LibSQL EC2"
  execution_role_arn = aws_iam_role.dlm_role.arn
  state              = "ENABLED"

  policy_details {
    resource_types = ["VOLUME"]

    # Мы используем теги для идентификации ресурсов, которые хотим зафиксировать
    target_tags = {
      "Name" = "${local.project} LibSQL"
    }

    schedule {
      name = "Ежедневные снимки"

      create_rule {
        interval      = 24
        interval_unit = "HOURS"
        times         = ["00:00"] # Время суток для создания снимка
      }

      retain_rule {
        count = 7 # Количество снимков, которые нужно сохранить
      }
    }
  }
}

resource "aws_iam_role" "dlm_role" {
  name = "${local.project}-dlm-role"

  assume_role_policy = jsonencode({
    Version = "2012-10-17"
    Statement = [
      {
        Action = "sts:AssumeRole"
        Effect = "Allow"
        Principal = {
          Service = "dlm.amazonaws.com"
        }
      }
    ]
  })
}

resource "aws_iam_role_policy" "dlm_role_policy" {
  name   = "${local.project}-dlm-role-policy"
  role   = aws_iam_role.dlm_role.id
  policy = jsonencode({
    Version = "2012-10-17"
    Statement = [
      {
        Action = [
          "ec2:CreateSnapshot",
          "ec2:DeleteSnapshot",
          "ec2:DescribeVolumes",
          "ec2:DescribeSnapshots"
        ]
        Effect   = "Allow"
        Resource = "*"
      }
    ]
  })
}

Хотя снимки создаются правильно, если я пытаюсь восстановить один из них, моя база данных становится повреждённой.

После некоторого тестирования я выяснил, что это связано с Docker, потому что если я выполняю:

docker stop container-name
sudo sync

Перед созданием снимка я могу его восстановить без повреждения базы данных.

Есть ли способ выполнить эти команды перед созданием снимка через Terraform?

Ответ или решение

Создание и восстановление снимков EC2 с Docker с помощью Terraform требует внимательного подхода из-за специфики работы контейнеров. Проблема повреждения базы данных при восстановлении снимков может быть связана с тем, что снимки создаются, когда контейнеры Docker все еще работают и имеют открытые соединения к базе данных. Рассмотрим, как правильно настроить процесс создания снимков, чтобы избежать подобных проблем.

Форест (FOREST) подход:

F – Фокус на функциональности:
Вы используете AWS DLM для автоматического создания снимков. Это хороший путь для автоматизации процесса резервного копирования. Однако, чтобы обеспечить целостность данных внутри Docker, необходимо обеспечить, что контейнеры остановлены и все данные записаны на диск перед созданием снимков.

O – Оригинальное решение:
К сожалению, Terraform не предоставляет прямой возможности вставки команд в систему до или после создания снимка. Однако можно использовать дополнительные инструменты автоматизации, такие как AWS Lambda или AWS Systems Manager, чтобы выполнить необходимые действия на вашем EC2 экземпляре перед запуском задания на создание снимка.

Вот как это можно сделать шаг за шагом:

Создайте AWS Lambda функцию: Эта функция будет выполнять команды docker stop и sudo sync. Она может быть написана на Python с использованием библиотеки boto3 для взаимодействия с AWS API и paramiko для выполнения SSH команд на вашем экземпляре EC2.
Используйте AWS Systems Manager Run Command: Вместо прямой связи, вы можете запускать команды через AWS Systems Manager, что позволяет выполнять команды на EC2 без использования SSH, но требуется, чтобы SSM Agent был установлен на вашем экземпляре. Настройка IAM ролей для доступа к SSM также может потребоваться.
Создайте триггеры на основе CloudWatch Events: События создаются по расписанию, они могут запускать вашу Lambda функцию или Systems Manager команду. Это обеспечит автоматическую остановку контейнера перед созданием снимка.

R – Подчеркивание важности:
Обеспечение целостности данных при резервном копировании критически важно для производственных систем. Автоматизация этого процесса не только улучшит надежность, но и снизит риск простоя.

E – Элементы уникальности:
Такой комплексный подход гарантирует, что ваши Docker контейнеры будут корректно остановлены, а данные синхронизированы перед созданием снимков. Это уникальное решение сочетает в себе возможности AWS DLM, SSM, Lambda и Terraform для достижения целостности ваших данных.

S – Простой язык общения:
Сложность предлагаемого решения компенсируется его преимуществами. Четкая архитектура процесса резервного копирования повысит надежность и устойчивость вашего приложения.

T – Подталкивание к действию:
Теперь, когда у вас есть план действий, начните с создания необходимых IAM ролей и Lambda функций. Это займет некоторое время на первоначальную настройку, но обеспечит долгосрочную надежность вашего окружения.

Заключительные мысли:

Решение описанной задачи требует дополнения использования Terraform дополнительными сервисами AWS для достижения полной автоматизации и надежности. Внедрение предложенных инструментов позволит вам провести создаваемые снимки в безопасное состояние и избежать повреждений данных.