Таинственная ошибка AWS SES 421 при максимальном количестве сообщений за сессию.

Кратко: мы использовали AWS SES в течение нескольких лет с нескольких десятков серверов и недавно регулярно получаем ошибку только на одном из них. “Код: 421, ответ: Соединение закрыто сервером. Достигнуто максимальное количество сообщений за сессию.” Мы не можем понять или решить эту проблему.

Подробности

У нас есть лимиты по отправке SES – 100 писем в секунду и 500000 писем в день. Наши серверы отправляют сообщения либо в Восточные США, либо в Центральную Канаду. Мы используем пакеты Pear Net_SMTP и Pear Mail для отправки писем через порт 465 с помощью AWS SES. Каждый сервер отправляет массовые электронные сообщения партиями по 1000 с использованием двух процессов. Только несколько серверов отправляют на конечную точку Центральной Канады, и только один из них сталкивается с этой проблемой. Его нагрузка не значительно отличается от других VPS, которые никогда не имели этой проблемы.

Проблемный VPS получает ошибку с довольно регулярной частотой, но это происходит не всегда. Задания проходят часть партии перед тем, как завершиться ошибкой. Ответ: “код: 421, ответ: Соединение закрыто сервером. Достигнуто максимальное количество сообщений за сессию.”

Мы понимаем, что коды 4xx указывают на временный сбой, но нам интересно узнать, есть ли что-то, что мы можем сделать, чтобы предотвратить этот ответ.

С нашей премиум поддержкой от AWS мы смогли получить не очень полезное объяснение:

Существует множество причин для ошибки “421 соединение закрыто сервером”. Сообщение об ошибке, которое вы поделились, указывает на то, что ошибку вызывает либо слишком много соединений от приложения для отправки электронной почты, либо конгестия на конечной точке SMTP.

Эти ошибки являются транзиторными или временными ошибками, которые происходят, когда наблюдается всплеск одновременных соединений с конечной точкой SMTP, превышающий лимит соединений, доступный для сервера конечной точки SMTP.

Когда конгестия уменьшается, соединения с сервером конечной точки SMTP больше не отвергаются с ошибкой 421.

Чтобы снизить вероятность возникновения ошибки 421, вы можете:

1. Снизить количество одновременных писем, отправляемых на конечную точку SMTP в течение одной сессии.

2. Реализовать логику восстановления и повторной попытки [1] в вашем приложении для отправки, чтобы замедлить количество запросов на соединение и повторить попытки подключений, когда конгестия на конечной точке SMTP исчезнет. Я прикрепил другой документ с примерами кода для реализации логики повторной попытки [2] и логики повторной попытки с паттерном восстановления [3].

Пожалуйста, обратитесь к нашему руководству пользователя SES для получения подробного списка кодов ошибок, возвращаемых конечными точками SMTP, что может помочь вам в расследовании других ошибок, которые вы наблюдаете при подключениях к конечной точке SES SMTP [4].

Мы проверили и не верим, что приближаемся к нашим дневным лимитам или лимитам по количеству писем в секунду на нашем аккаунте. Мы, вероятно, отправляем максимум менее 10 в секунду в Центральную Канаду, суммируя по всем VPS. Более конкретное сообщение об ошибке, которое мы получаем, касается количества писем за сессию, а не количества сообщений в секунду. Поскольку мы используем стандартные библиотеки PEAR, мы не понимаем, как это может быть чем-то странным в нашей реализации SMTP.

Мы снизили количество процессов, отправляющих до 1 на этом сервере, без изменений в ошибках SES.

Это влияет на пропускную способность для этого клиента, так как вместо отправки 1000 писем каждые 5 минут он получает, возможно, 350, прежде чем эта ошибка вызовет сбой задания.