spark-structured-streaming

Вопрос или проблема Я пытаюсь выполнить внутреннее соединение между двумя стриминговыми датафреймами, где на одном из датафреймов была выполнена агрегация. Результирующий датафрейм всегда оказывается пустым. Тестирование с статическими версиями одних

Вопрос или проблема Я запускаю приложение Spark Structured Streaming на K8S. Приложение развернуто с помощью spark-submit --master k8s://... Используя RocksDB state backend, настраиваю spark.kubernetes.memoryOverheadFactor как 2, потому что сам Spark