Вопрос или проблема
В нашей организации мы используем настройку GCP с Kubernetes. Мы генерируем огромное количество логов брандмауэра, так как предоставляем цифровой сервис, который вызывает высокий объем запросов от наших пользователей. Хранение всех этих логов довольно дорогостоящее, особенно если учесть, сколько времени требуется для обнаружения атаки, что приводит к длительному сроку хранения. Использовать логи брандмауэра для устранения неполадок довольно редко (я не припомню, чтобы у нас был такой случай).
Наша цель – снизить стоимость хранения этих логов. Можете ли вы порекомендовать метод, который с одной стороны поддерживал бы видимость (в плане безопасности), а с другой стороны уменьшал бы объем логов? Я слышал о различных подходах: агрегация, развертывание IDS за брандмауэрами и использование этих логов вместо этого, маркировкаseverity логов на основе риска и исключение логов с низкой серьезностью. Но мне хотелось бы услышать ваше мнение о различных подходах.
Мы сертифицированы по ISO 27001 и подлежат GDPR, если эта информация вам интересна.
Ответ или решение
Для решения проблемы высоких затрат на хранение журналов в вашей организации, работающей в GCP и использующей Kubernetes, а также для обеспечения необходимого уровня безопасности, можно рассмотреть несколько стратегий, которые помогут оптимизировать расходы и сохранить видимость.
1. Агрегация и фильтрация журналов
Одним из наиболее эффективных способов снижения объемов хранимых данных является агрегация логов. Это можно сделать путем:
- Фильтрации по уровню серьезности: Вы можете настроить фильтрацию так, чтобы в функционировании ваших систем учитывались только важные события. Например, можно классифицировать журналы на «высокая», «средняя» и «низкая» серьезность и хранить только первые два уровня.
- Сжатие данных: Используйте алгоритмы сжатия логов перед их хранением. Это позволит сохранить все необходимые данные, уменьшая тем самым объем занимаемого пространства.
2. Использование системы обнаружения вторжений (IDS)
Развертывание системы IDS может значительно снизить нагрузку на ваши журналы. IDS будет отслеживать аномалии и потенциальные атаки без необходимости хранить все данные из брандмауэра. В этом случае необходимо направлять логи IDS в более экономичное хранилище.
3. Хранение на основе жизненного цикла данных
Рассмотрите возможность использования политики хранения данных, основанной на жизненном цикле:
- Краткосрочное хранение: Храните логи в доступных и быстрых системах (например, BigQuery или Cloud Storage) в течение первых 30 дней.
- Долгосрочное хранение: Перемещайте старые логи в более дешевые решения для хранения, где доступ к данным будет замедлен, например, в Cold Storage или Archival Storage, где они могут храниться в течение года или более, если это необходимо для соблюдения нормативных требований.
4. Анализ поведения и машинное обучение
Инвестируйте в инструменты анализа поведения и разработки моделей машинного обучения, которые могут предсказывать и выявлять аномалии. Это может помочь вам сосредоточиться только на тех событиях, которые действительно содержат риски.
5. Отслеживание и аудит
Создайте процедуры и автоматизированные инструменты для регулярной проверки и анализа своих логов на наличие критических инцидентов. Это можно сделать через интеграции с SIEM (Security Information and Event Management) для анализа и создания отчетов, что поможет вам удалить излишние данные.
Заключение
Предложенные стратегии помогут вам снизить затраты на хранение логов, сохраняя при этом необходимую видимость и безопасность в соответствии с вашими запросами. Комбинация агрегации, использования IDS, умного управления жизненным циклом данных и анализа на основе поведения позволит эффективно управлять объемами логов и обеспечить высокую степень безопасности.