Kubernetes: узел(ы) не соответствуют привязке/селектору узлов Pod. предвосхищение: 0 из 9 узлов доступны: 9 Предвосхищение не полезно для планирования.

У меня есть развертывание для Kubernetes, написанное на Terraform. Эти скрипты работали ранее, но после некоторых ошибок с серверами их пришлось перезапустить, и мне пришлось снова развертывать всю инфраструктуру.

У меня есть Stateful set, который работает совершенно нормально, вот файл для этого Stateful set:

resource "kubernetes_service" "cassandra" {
  metadata {
    name = "cassandra"
    namespace = "production"
    labels = {
      app = "cassandra"
    }
  }
  spec {
    selector = {
      app = "cassandra"
    }
    port {
      name        = "cassandra-internal"
      port        = 7000
      target_port = 7000
    }
    cluster_ip = "None"
  }
}
resource "kubernetes_stateful_set" "cassandra" {
  metadata {
    name = "cassandra"
    namespace = "production"
  }

  spec {
    service_name = "cassandra"
    selector {
      match_labels = {
        app = "cassandra"
      }
    }
    replicas = 24
    # replicas = 0
    update_strategy {
      type = "RollingUpdate"
    }
    pod_management_policy = "OrderedReady"

    volume_claim_template {
      metadata {
        name = "cassandra-data"
      }
      spec {
        access_modes       = ["ReadWriteOnce"]
        storage_class_name = "cassandra-storage"
        resources {
          requests = {
            storage = "800Gi"
          }
        }
      }
    }

    template {
      metadata {
        labels = {
          app = "cassandra"
        }
      }
      spec {
        container {
          image = "[REDACTED]cassandra:4.1.5"
          name              = "cassandra"
          image_pull_policy = "Always"
          env {
            name  = "CASSANDRA_SEEDS"
            value = "cassandra-0.cassandra.production.svc.cluster.local"
          }
          volume_mount {
            name       = "cassandra-data"
            mount_path = "/var/lib/cassandra"
          }
          resources {
            limits = {
              memory = "20Gi"
              cpu = "6"
            }
          }
        }

      }
    }
  }
}

Вот развертывание, которое я пытаюсь развернуть в продакшене:

resource "kubernetes_deployment" "kairosdb" {

  depends_on = [
    kubernetes_stateful_set.cassandra
  ]
  metadata {
    name      = "kairosdb"
    namespace = "production"
  }
  spec {
    # replicas = 4
    replicas = 1

    selector {
      match_labels = {
        app = "kairosdb"
      }
    }


    template {

      metadata {
        labels = {
          app = "kairosdb"
        }
      }
      spec {

        container {
          image             = "[REDACTED]/kairosdb-ingest:1.3.0"
          name              = "kairosdb"
          image_pull_policy = "Always"
          port {
            name           = "http"
            container_port = 8080
          }
          port {
            name           = "telnet"
            container_port = 4242
          }
          env {
            name  = "JAVA_OPTS"
            value = " -Djava.net.preferIPv4Stack=true "
          }
          env {
            name  = "CASSANDRA_HOST_LIST"
            value = "cassandra-0.cassandra.production.svc.cluster.local,cassandra-1.cassandra.production.svc.cluster.local,cassandra-2.cassandra.production.svc.cluster.local,cassandra-3.cassandra.production.svc.cluster.local,cassandra-4.cassandra.production.svc.cluster.local,cassandra-5.cassandra.production.svc.cluster.local"
          }


        }

        affinity {
          node_affinity {
            required_during_scheduling_ignored_during_execution {
              node_selector_term {
                match_expressions {
                  key      = "service"
                  operator = "NotIn"
                  values   = ["aux"]
                }

                match_expressions {
                  key      = "environment"
                  operator = "In"
                  values   = ["production"]
                }
              }
             }
          }

        }
      }
    }
  }
}

Но Pod моего развертывания не запускается. При проверке описания пода показывается следующее:

kubectl --namespace production describe pod kairosdb-7dffc4d7c7-tm8kp
Name:             kairosdb-7dffc4d7c7-tm8kp
Namespace:        production
Priority:         0
Service Account:  default
Node:             <none>
Labels:           app=kairosdb
                  pod-template-hash=7dffc4d7c7
Annotations:      <none>
Status:           Pending
IP:               
IPs:              <none>
Controlled By:    ReplicaSet/kairosdb-7dffc4d7c7
Containers:
  kairosdb:
    Image:       [REDACTED]/kairosdb-ingest:1.3.0
    Ports:       8080/TCP, 4242/TCP
    Host Ports:  0/TCP, 0/TCP
    Environment:
      JAVA_OPTS:             -Djava.net.preferIPv4Stack=true 
      CASSANDRA_HOST_LIST:  cassandra-0.cassandra.production.svc.cluster.local,cassandra-1.cassandra.production.svc.cluster.local,cassandra-2.cassandra.production.svc.cluster.local,cassandra-3.cassandra.production.svc.cluster.local,cassandra-4.cassandra.production.svc.cluster.local,cassandra-5.cassandra.production.svc.cluster.local
    Mounts:
      /var/run/secrets/kubernetes.io/serviceaccount from kube-api-access-h5zhl (ro)
Conditions:
  Type           Status
  PodScheduled   False 
Volumes:
  kube-api-access-h5zhl:
    Type:                    Projected (a volume that contains injected data from multiple sources)
    TokenExpirationSeconds:  3607
    ConfigMapName:           kube-root-ca.crt
    ConfigMapOptional:       <nil>
    DownwardAPI:             true
QoS Class:                   BestEffort
Node-Selectors:              <none>
Tolerations:                 node.kubernetes.io/not-ready:NoExecute op=Exists for 300s
                             node.kubernetes.io/unreachable:NoExecute op=Exists for 300s
Events:
  Type     Reason            Age   From               Message
  ----     ------            ----  ----               -------
  Warning  FailedScheduling  104s  default-scheduler  0/9 nodes are available: 3 node(s) had untolerated taint {node-role.kubernetes.io/controlplane: true}, 6 node(s) didn't match Pod's node affinity/selector. preemption: 0/9 nodes are available: 9 Preemption is not helpful for scheduling.

Я не знаю, почему возникает эта проблема.

Я пытался избавиться от блока “affinity”, но проблема в том, что Pod разворачивается на сервере, который мы используем для вспомогательных служб, и идея состоит в том, чтобы развернуть Pod на серверах, которые соответствуют аффинности.

Настаиваю, что развертывание работало нормально до перезапуска серверов, так что проблема может быть связана с этим.

В чем может быть проблема? Любая помощь будет очень ценна.