Приложение Spark Streaming с RocksDB завершает работу OOKilled на K8S

Вопрос или проблема

Spark 3.5.2 на Kubernetes
Конфигурация ресурсов (для приложения с одним исполнителем)
    --conf spark.kubernetes.memoryOverheadFactor=2 \
    --driver-cores=1 \
    --driver-memory 500m \
    --executor-memory 2g \  # + 4 Гб для RocksDB из-за memoryOverheadFactor
    --executor-cores 1 \
    --conf spark.executor.instances=1
Конфигурация приложения Spark
    "spark.sql.streaming.stateStore.providerClass" ->
      "org.apache.spark.sql.execution.streaming.state.RocksDBStateStoreProvider",
    "spark.sql.streaming.stateStore.rocksdb.changelogCheckpointing.enabled" -> "false"
    "spark.sql.streaming.stateStore.rocksdb.compactOnCommit" -> "true",
    "spark.sql.streaming.stateStore.rocksdb.boundedMemoryUsage" -> "true",
    "spark.sql.streaming.stateStore.rocksdb.blockSizeKB" -> "64",
    "spark.sql.streaming.stateStore.rocksdb.blockCacheSizeMB" -> "0",

Ответ или решение

Spark Streaming приложение с RocksDB, получает OOMKilled на Kubernetes

Ваша ситуация с приложением Spark Structured Streaming, развернутым на Kubernetes, и подсистемой хранения состояния RocksDB, действительно выглядит довольно сложной. Давайте разберемся с вашими вопросами и проблемами, которые вы наблюдаете.

Как работает механизм контроля использования памяти в Spark и RocksDB?

Когда вы используете RocksDB в качестве бэкенда состояния в Spark Streaming, необходимо учитывать несколько факторов, связанных с управлением памятью:

1. Общая память – Spark выделяет память для выполнения задач и для хранения состояния. Ваша настройка spark.kubernetes.memoryOverheadFactor указывает, что на каждую гигабайт выделенной памяти Spark необходимо добавить дополнительную память для overhead. Но, как вы заметили, RocksDB также требует дополнительной памяти для своего функционирования, что усложняет ситуацию.

2. Использование RocksDB – RocksDB использует память по-разному, включая кэш для блоков и для выполнения операций записи и чтения. При настройках, таких как boundedMemoryUsage, вы ограничиваете RocksDB в использовании памяти, устанавливая, таким образом, верхний предел, что может привести к дополнительному давлению на память.

3. Контроль за памятью – В Spark есть механизмы, которые помогают контролировать использование памяти, особенно при работе с большими объемами данных. Например, система может временно очищать память, чтобы предотвратить переполнение, а также использует такие методы, как выведение ненужных данных или использование компрессии. Но, если ваше приложение достигает лимитов памяти, оно может быть убито системой.

Ссылки на документацию и источники по контролю памяти в Kubernetes

• Документация по Spark Streaming
• Документация по RocksDB
• Как работать с памятью в Kubernetes
• RocksDB в Apache Spark

Как настроить механизм для поддержания использования памяти на 90% от лимита?

Для того чтобы оптимизировать использование памяти и избежать ситуации OOMKilled, вы можете предпринять следующие шаги:

1. Пересмотрите конфигурацию памяти:

   • Убедитесь, что spark.executor.memory и spark.driver.memory не слишком малы для задач, которые они выполняют.
   • Рассмотрите возможность уменьшения spark.kubernetes.memoryOverheadFactor от 2 до более низкого значения, если это позволяет.

2. Настройка параметров RocksDB:

   • Попробуйте отключить boundedMemoryUsage, чтобы дать RocksDB больше свободы в использовании памяти, но с учетом осторожности, так как это может привести к OOM.
   • Увеличьте значение blockCacheSizeMB, чтобы обеспечить RocksDB более эффективный кэш для блоков данных.

3. Мониторинг и анализ поведения:

   • Активно используйте мониторинг памяти на уровне Kubernetes, чтобы понимать, как именно память используется и где возникают узкие места.
   • Ведите анализ журналов Spark, чтобы выявить, есть ли возможности для оптимизации выполнения задач.

4. Тестирование и итерация:

   • Протестируйте разные конфигурации в контролируемой среде, чтобы понять, какие параметры наилучшим образом соответствуют вашему рабочему процессу.

Заключение

Для успешной работы вашего приложения с RocksDB в Kubernetes необходимо тщательно следить за использованием памяти и процессами ее управления. Убедитесь, что вы используете подходящую конфигурацию, чтобы предотвратить превышение лимитов памяти. Проведение тестирования позволяет найти оптимальные настройки и максимально эффективно использовать ресурсы, доступные вашему приложению.