Вопрос или проблема
Я использую оператор Strimzi Kafka в своем кластере k8s. Все работает отлично, и Kafka работает. Но процесс согласования оператора вызывает изменение в развертывании каждые две минуты, что, согласно этой дискуссии, является вполне нормальным.
Проблема в том, что это событие теперь полностью загромождает каждую предустановленную панель инструментов, которую предлагает Google, делая их почти непригодными для использования. Вот пример скриншота:
Каждые две минуты появляется предупреждение о событии аудита в каждой временной серии, что делает их едва читаемыми и также скрывает “реальные” события.
Существует ли общий способ избавиться от этого, не фильтруя это событие вручную на каждой панели инструментов?
Ответ или решение
Для решения проблемы с загромождением панели мониторинга Google Cloud GKE событиями о патчах развертываний, связанными с оператором Strimzi Kafka, можно воспользоваться несколькими подходами, чтобы упростить восприятие аналитики и сосредоточиться на более критически важных уведомлениях.
1. Настройка журналов
Первый шаг — это улучшение конфигурации журналов Kubernetes и Google Cloud. Вы можете попытаться изменить уровень логирования для Strimzi Kafka оператора или настроить фильтрацию на уровне вывода логов.
Шаги:
- Проверьте параметры конфигурации Strimzi Kafka оператора. Рассмотрите возможность уменьшения частоты изменений, если это возможно.
- Используйте фильтры на уровне логов в Google Cloud Console. Это позволит скрыть ненужные события в логах, которые вы получаете.
2. Применение меток и аннотаций
Используйте метки (labels) и аннотации (annotations) в манифестах модуля Kafka и его компонентов. Это поможет выделять важные события и отсекать менее значимые.
Шаги:
- Добавьте специфические метки к подам и развертыванию вашего Kafka кластера.
- Убедитесь, что операторы и обработчики событий учитывают эти метки, чтобы избежать отображения ненужных событий в дашбордах.
3. Настройка дашбордов
Для уменьшения загромождения в дашбордах Google Cloud можно применить пользовательские фильтры, чтобы скрыть события, не требующие внимания.
Шаги:
- Перейдите на вашу панель мониторинга и выберите нужный график или виджет.
- Настройте фильтрацию по меткам или категориям, чтобы исключить события, связанные с патчами от Strimzi. Это можно сделать через пользовательские выражения в настройках визуализации.
4. Использование сторонних инструментов
Если стандартные возможности Google Cloud GKE не решают проблему, возможно, стоит рассмотреть использование сторонних инструментов для мониторинга и визуализации данных.
Примеры инструментов:
- Prometheus и Grafana: Эти инструменты позволяют гибко настраивать сбор метрик и визуализацию с поддержкой мощного языка запросов. Вы сможете легко исключить события от Strimzi и создавать дашборды, которые действительно отражают критические события.
- ELK Stack (Elasticsearch, Logstash, Kibana): Этот стек позволяет собирать, обрабатывать и визуализировать данные логов. Вы можете настроить правило для исключения событий от Strimzi при обработке логов.
Заключение
Возможные методы, описанные выше, обеспечивают многогранный подход к решению проблемы загромождения дашбордов. В зависимости от ваших требований и архитектуры приложения, вам следует выбрать подходящий метод, который наилучшим образом впишется в ваш рабочий процесс. Эти меры помогут поддерживать чистоту и ясность визуализации дашбордов, сосредоточив внимание на более важных событиях и алиментах вашего Kubernetes кластера.