Работа отображается как “в процессе”, даже после завершения пода.

Вопрос или проблема

status:
  ready: 0
  startTime: '2024-11-25T20:54:56Z'
  terminating: 0
  uncountedTerminatedPods:
    succeeded:
      - 69ec0a89-c6d9-4514-a3cd-ee2c80436bd7

status:
  conditions:
    - lastProbeTime: null
      lastTransitionTime: '2024-11-25T20:55:25Z'
      status: 'False'
      type: PodReadyToStartContainers
    - lastProbeTime: null
      lastTransitionTime: '2024-11-25T20:54:56Z'
      reason: PodCompleted
      status: 'True'
      type: Initialized
    - lastProbeTime: null
      lastTransitionTime: '2024-11-25T20:55:24Z'
      reason: PodCompleted
      status: 'False'
      type: Ready
    - lastProbeTime: null
      lastTransitionTime: '2024-11-25T20:55:24Z'
      reason: PodCompleted
      status: 'False'
      type: ContainersReady
    - lastProbeTime: null
      lastTransitionTime: '2024-11-25T20:54:56Z'
      status: 'True'
      type: PodScheduled
  containerStatuses:
    - containerID: cri-o://5b7bda50433fc6d1951d18e6b8fbdac9538c4661bd65f772f31219a8008adca9
      image: <snip>
      imageID: <snip>
      lastState: {}
      name: add-eta-notifier-rec-runtime
      ready: false
      restartCount: 0
      started: false
      state:
        terminated:
          containerID: >-
            cri-o://5b7bda50433fc6d1951d18e6b8fbdac9538c4661bd65f772f31219a8008adca9
          exitCode: 0
          finishedAt: '2024-11-25T20:55:24Z'
          reason: Completed
          startedAt: '2024-11-25T20:54:57Z'
  hostIP: 172.17.98.168
  hostIPs:
    - ip: 172.17.98.168
  phase: Succeeded
  podIP: 10.131.1.42
  podIPs:
    - ip: 10.131.1.42
  qosClass: Guaranteed
  startTime: '2024-11-25T20:54:56Z'

Ответ или решение

Проблема статуса задания в Kubernetes: Причины и решения

В Kubernetes есть известная проблема, когда статус задания (Job) остаётся "в процессе" (In progress), даже после того как единственный под завершил свою работу со статусом "завершено" (Completed). Давайте разберем причины данной проблемы и возможные решения.

1. Статус задания и пода

В вашем случае под завершился успешно с кодом завершения 0, что означает, что приложение внутри пода отработало корректно. Однако статус задания так и остался "в процессе". Рассмотрим ключевые моменты, которые следует проверить:

a. Текущий статус задания

status:
  ready: 0
  startTime: '2024-11-25T20:54:56Z'
  terminating: 0
  uncountedTerminatedPods:
    succeeded:
      - 69ec0a89-c6d9-4514-a3cd-ee2c80436bd7

В данном статусе мы видим, что ready равно 0, что указывает на отсутствие готовых подов, хотя ваш под действительно завершился. Поле uncountedTerminatedPods показывает, что под был завершён, и это создает несоответствие в учёте завершенных подов.

b. Статус пода

status:
  phase: Succeeded
  containerStatuses:
    - state:
        terminated:
          exitCode: 0
          finishedAt: '2024-11-25T20:55:24Z'

Фаза пода "Succeeded" подтверждает, что работа завершена успешно. Однако могут быть и другие факторы, которые мешают обновлению статуса задания.

2. Возможные причины проблемы

a. Механизм фоновою обновления статусов

Иногда Kubernetes может встречать задержки при обновлении статуса задания из-за сетевых проблем или проблем со связью с API-сервером. Это приводит к временной несостыковке между статусом пода и статусом задания.

b. Проблемы с контроллерами

Контроллеры Kubernetes, которые отвечают за управление заданиями, могут работать некорректно. В некоторых случаях сбои в работе контроллера Jobs могут привести к тому, что задание не будет получать обновления.

c. Ошибки в конфигурации

Некорректные настройки конфигурации вашего задания или версии Kubernetes могут ввести в заблуждение систему и привести к ошибкам в обновлении статусов.

3. Как исправить проблему

a. Проверка логов контроллеров

Просмотрите логи контроллеров Jobs и kube-controller-manager, чтобы выяснить, происходят ли попытки обновления статусов и нет ли ошибок.

b. Обновление Kubernetes

Убедитесь, что вы используете актуальную версию Kubernetes, так как многие проблемы решаются в новых релизах. Проверьте известные ошибки в вашей версии.

c. Перезапуск задания

Если проблема не разрешается, можете удалить и заново создать задание. Это может помочь системе синхронизировать статусы.

d. Параметры задания

Возможно, вам придется пересмотреть и улучшить параметры вашего задания, например, увеличив количество допустимых попыток или изменив настройки завершения.

Заключение

Статус задания в Kubernetes, который показывает "в процессе", при условии, что под завершён, может говорить о нескольких проблемах с подсистемой управления задачами. Анализ статусов, проверка логов и исправление ошибок конфигурации помогут вам разобраться с данной ситуацией и восстановить корректное функционирование вашего кластера.