Сервисы Kubernetes истекают по времени при доступе к подам на разных рабочих узлах.

Я пытаюсь настроить пару рабочих узлов Kubernetes на экземплярах EC2 и сталкиваюсь с проблемой, когда служба, похоже, не “видит” все поды, которые должна видеть.

Моя точная среда — это пара AWS Snowballs, Красный и Синий, и мой кластер выглядит как control, worker-red и worker-blue [1]. Я развертываю пустой сервер на Python, который ждет GET-запрос на порту 8080 и отвечает локальным именем хоста. Я настроил его с достаточным количеством реплик, чтобы и worker-red, и worker-blue имели хотя бы по одному поду. Наконец, я создал службу, спецификация которой выглядит так:

spec:
    type: NodePort
    selector:
        app: hello-server
    ports:
        - port: 8080
          targetPort: 8080
          nodePort: 30080

Теперь я могу проверить, что мои поды работают

kubectl get pods -o wide
NAME                                      READY   STATUS    RESTARTS   AGE   IP              NODE          NOMINATED NODE   READINESS GATES
hello-world-deployment-587468bdb7-hf4dq   1/1     Running   0          27m   192.168.1.116   worker.red    <none>           <none>
hello-world-deployment-587468bdb7-mclhm   1/1     Running   0          27m   192.168.1.126   worker.blue   <none>           <none>

Теперь я могу попробовать к ним обратиться с помощью curl

curl worker-red:30080
greetings from hello-world-deployment-587468bdb7-hf4dq

curl worker-blue:30080
greetings from hello-world-deployment-587468bdb7-mclhm

Вот что происходит примерно в половине случаев. В другую половину случаев curl завершает работу с ошибкой timeout. В частности, запрос к worker-red будет ВЫНУЖДЕННО давать ответ только от hf4dq, а запрос к worker-blue будет ВЫНУЖДЕННО давать ответ только от mclhm. Если я изолирую и восстановлю worker-blue, так что оба моих пода работают на worker-red, таймаутов не возникает, и оба пода отвечают.

Похоже, что служба NodePort не достигает подов, которые не находятся на хосте, к которому я обращаюсь. Насколько я понимаю, это не то, как должны работать службы. Что я упускаю?

[1] Если я настраиваю так, что у меня два рабочих узла на Красном, возникает та же проблема, которую я описываю, но это мой основной случай использования, поэтому я сосредотачиваюсь именно на нем.

Сложно однозначно сказать, что может быть не так, но есть несколько шагов, которые вы можете предпринять для устранения вашей проблемы:

1. Отладка подов, особенно проверьте, есть ли что-то подозрительное в логах:

• kubectl logs ${POD_NAME} ${CONTAINER_NAME}

• kubectl logs --previous ${POD_NAME} ${CONTAINER_NAME}

2. Отладка служб, например, проверив:

• Существует ли служба?

• Работает ли служба по DNS-именам?

• Работает ли служба по IP?

• Правильно ли определена служба?

• Имеет ли служба какие-либо конечные точки?

• Работает ли kube-proxy?

Проходя через эти шаги, вы сможете найти причину вашей проблемы и лучше понять механику работы служб.

Вы используете службу типа NodePort, в этом случае то, что вы наблюдаете, вполне ожидаемо.

Ваша служба соответствует 2 подам, которые работают на двух разных узлах. Поскольку служба типа NodePort, существует присущая ассоциация пода вашей службы и узла, на котором он работает. Если вы обращаетесь к конечной точке worker-red, вы ТОЛЬКО получите ответ от пода worker-red, потому что другой под привязан к другой конечной точке worker-blue:<node-port> и недоступен из конечной точки worker-red. Да, это одна и та же служба, но она поддерживается 2 конечными точками, каждая из которых имеет разные имена хостов.

Вот так в основном работают службы NodePort.

Когда вы объединяете их на одном узле, оба пода доступны с одного и того же имени хоста узла, так что запросы к ним будут работать. Поскольку сейчас обе конечные точки сопоставляются к разным портам, но к одному и тому же имени хоста.

Чтобы лучше понять это, вы можете попробовать изменить тип вашей службы на LoadBalancer. И вы заметите, что сможете получить доступ к обоим подам, используя одно и то же имя хоста, независимо от того, где они запланированы. И это имя хоста/IP-адрес будет адресом LoadBalancer, который будет общим для всех подов в службе.

Надеюсь, это проясняет вашу путаницу!