DataDog метрика сумма против счета БД

Содержание

Вопрос или проблема
Ответ или решение
1. Проблемы с синхронизацией
2. Механизм отправки метрик
3. Параллелизм и количество задач
4. Проблемы с агрегацией
5. Ошибки и потери данных
Что делать дальше?

Вопрос или проблема

У меня есть сервис, который вставляет данные в таблицу Postgres и ведет учет метрики DD с количеством вставленных записей. Проблема в том, что когда я запрашиваю количество из БД за некоторый интервал, оно значительно отличается от суммы метрики за тот же интервал, количество из БД всегда в 2-4 раза больше, например, метрика DD показывает 460k за 1 день, а запрос в БД показывает 1.2M вставленных записей. Я использую tracer.dogstatsd.increment для отправки своей метрики. В ECS находятся две задачи с моим сервисом и агентом DD.

Вот данные графика DD:

    "title": "Всего записей",
    "type": "query_value",
    "requests": [
        {
            "response_format": "scalar",
            "queries": [
                {
                    "data_source": "metrics",
                    "name": "query1",
                    "query": "sum:my_service.table_inserts{$env}.as_count()",
                    "aggregator": "sum"
                }
            ],
            "formulas": [
                {
                    "formula": "query1"
                }
            ]
        }
    ],
    "autoscale": true,
    "precision": 2,
    "timeseries_background": {
        "yaxis": {},
        "type": "bars"
    }
}



Что вызывает такое расхождение? Я ожидал, что числа будут довольно близки. Я также проверил логи и не вижу ошибок ни в сервисе, ни в агенте Datadog.

Ответ или решение

Дисбаланс между суммой метрик в DataDog и количеством записей в вашей базе данных является распространенной проблемой, и можно выделить несколько возможных причин подобного поведения. В данной ситуации, когда вы фиксируете количество вставок в Postgres и используете метод tracer.dogstatsd.increment, причиной различий между данными может быть несколько факторов, включая обработку метрик, временные интервалы, а также конфигурацию вашей архитектуры.

1. Проблемы с синхронизацией

Первое, на что стоит обратить внимание, это возможные расхождения во временных интервалах между метриками DataDog и запросами к базе данных. DataDog может не мгновенно отображать метрики, в то время как базу данных можно опрашивать в реальном времени. Если ваши вставки данных происходят на разных ECS задачах, важно убедиться, что каждая задача корректно отправляет метрики и что данные правильным образом агрегируются.

2. Механизм отправки метрик

Функция tracer.dogstatsd.increment увеличивает счетчик каждый раз, когда она вызывается. Если по какой-то причине эта функция вызывается несколько раз для одной вставки (например, в результате повторных попыток в случае ошибок), это приведет к увеличению счетчика в DataDog. Убедитесь, что логика вашего приложения корректно обрабатывает вставку данных и вызовы метода для отправки метрик.

3. Параллелизм и количество задач

Поскольку у вас есть две задачи ECS, стоит проверить, могут ли обе задачи регистрировать одну и ту же вставку. Например, если одна вставка данных обрабатывается обеими задачами, каждая из них будет увеличивать счетчик, что и приведет к увеличению числа. Понаблюдайте за логами и убедитесь, что каждое приложение отправляет метрики только для своих операций.

4. Проблемы с агрегацией

Данные, которые отображаются в DataDog, могут подвергаться агрегации, которая может вызвать различия в результате, особенно если вы используете sum в сочетании с as_count(). Убедитесь, что параметры агрегации и временные интервалы, использованные в запросе к DataDog, совпадают с теми, что используются для получения данных из вашей базы данных.

5. Ошибки и потери данных

Тщательно просмотрите логи вашей системы. Хотя вы уже отметили, что ошибок не обнаружено, стоит также посмотреть на возможные ошибки соединения или таймауты, которые могут привести к потере некоторых метрик. Если ваш DataDog Agent или сеть, по которой он работает, перегружены, это может привести к пропуску метрик.

Что делать дальше?

Логирование: Включите более детальное логирование для отслеживания вызовов increment так, чтобы можно было увидеть, сколько раз эта функция вызывается на самом деле за определенный временной интервал.
Анализ агрегаций: Проверьте, как агрегация происходит как в DataDog, так и в вашей базе данных. Сравните конечные результаты.
Мониторинг производительности: Если возможно, установите инструменты мониторинга, чтобы просмотреть использование ресурсов ECS задач и увидеть, как это может влиять на отправку метрик.
Тестирование: Убедитесь, что каждая задача специализирована и не отправляет совпадающие метрики. Нужно организовать тестирование, при котором у вас будет ясное понимание на уровне потоков данных.

Эти рекомендации помогут вам определить причину расхождения между данными и, возможно, оптимизировать процесс, чтобы избежать подобной ситуации в будущем. Важно помнить, что мониторинг — это непрерывный процесс, и для достижения надежных результатов потребуется постоянный анализ и корректировка метрик.