Использование NVIDIA внутри Guest Arch (Junest) на сервере RedHat

Вопрос или проблема

Я пытаюсь использовать графический процессор NVIDIA на сервере, который работает под управлением Red Hat Linux. Поскольку это удаленный сервер, у меня нет доступа к sudo, поэтому для возможности использовать sudo для добавления/удаления пакетов я использую Junest, который является гостевой средой Arch внутри сервера RedHat и предоставляет мне доступ к sudo, чтобы я мог добавлять/удалять пакеты.

Когда я пытаюсь запустить nvidia-smi изнутри гостевой среды Junest, я сталкиваюсь со следующим сообщением об ошибке:

Failed to initialize NVML: Driver/library version mismatch

Я просмотрел вопрос на StackExchange, где были аналогичные проблемы: Nvidia NVML Driver/library version mismatch, и большинство проблем было решено перезагрузкой. Но в моем случае, поскольку это удаленный сервер, я не могу его перезагрузить.

Один из ответов упоминает, что это связано с несовпадением версий библиотек NVML и NVIDIA, поэтому я запустил cat /proc/driver/nvidia/version из песочницы Junest и получил следующий вывод:

NVRM version: NVIDIA UNIX x86_64 Kernel Module  525.60.13  Wed Nov 30 06:39:21 UTC 2022
GCC version:  gcc version 8.5.0 20210514 (Red Hat 8.5.0-17) (GCC)

Теперь я почти уверен, что путь /proc/driver/nvidia/version относится к гостевой (Junest Arch) среде, а не к хосту (RedHat), но в версии GCC упоминается Red Hat, поэтому я предполагаю, что гостевая среда либо скопировала, либо связала все драйверы хоста.

Чтобы попробовать свои шансы, я явно установил пакеты nvidia-525.60.11 и nvidia-utils-525.60.11 из архива Arch архива, что подтверждается запуском pacman -Q | grep nvidia и выводом:

nvidia 525.60.11-1
nvidia-utils 525.60.11-1

Но все равно я получаю сообщение об ошибке несовпадения версии Driver/library. В этой ситуации, что я могу попробовать, чтобы использовать GPU на удаленном сервере, в гостевой среде Junest?

Ответ или решение

Ваша ситуация, связанная с использованием графического процессора NVIDIA в удаленном сервере, работающем на Red Hat Linux и с использованием Junest для обхода ограничений sudo, представляет собой интересную техническую задачу. Чтобы решить проблему с несовместимостью версии драйвера/библиотеки, нужно внимательно рассмотреть ряд аспектов, связанных с взаимодействием хостовой системы и гuest-среды.

Теоретическая база

Технология управления графическими процессорами NVIDIA на уровне системы в основном осуществляется с использованием набора драйверов NVIDIA и NVIDIA Management Library (NVML). Ключевым требованием для успешной работы является согласованность между установленными версиями драйвера на уровне ядра (хостовой системе) и софтверными библиотеками (в данном случае библиотеками в Junest). Несоответствие версий может вызывать ошибку, которую вы увидели: "Failed to initialize NVML: Driver/library version mismatch."

NVML предоставляет API для управления ресурсами GPU, позволяя мониторить и управлять ими. Эта библиотека тесно связана с ядром системы и, следовательно, конфигурация на уровне хоста оказывает значительное влияние на рабочую гuest-среду.

Пример

На этапе, когда вы получили ошибку и пытались установить нужные версии пакетов из Archlinux, возникла конфликтная ситуация: драйверы и библиотеки, используемые двумя системами (гостевой и хостовой), должны адекватно взаимодействовать. Версия ядра, на которой работает ваш Red Hat сервер, и версия установленных драйверов NVIDIA на хосте могут не совпадать с версиями, которые вы пытаетесь использовать в Junest.

Вы упомянули, что версии nvidia-525.60.11 и nvidia-utils-525.60.11 были установлены в Junest, однако драйвер на уровне ядра (на хосте) имеет другую версию (525.60.13). Это разногласие и вызывает вашу проблему.

Применение

Чтобы сдвинуться с мертвой точки, вам нужно сосредоточиться на согласовании версий библиотеки NVML и установленных драйверов на обеих сторонах (хостовой и гостевой). Может быть полезно воспользоваться следующими подходами:

Проверка и согласование версий:
- Определите точную версию драйвера NVIDIA, устанавливаемого на хост-системе с помощью cat /proc/driver/nvidia/version непосредственно из хостовой системы (если возможно, с помощью помощи системного администратора).
- Попробуйте установить ту же версию nvidia-utils в Junest, соответствующую версии драйвера, установленного на хосте. Это может потребовать поиска архива пакетов Archlinux с точной версией драйвера.
Изоляция и использование ресурсов хоста:
- Если вы имеете доступ к помощи от технического персонала, попытайтесь настроить переменные окружения и пути так, чтобы использовать установленные на хосте библиотеки nvml, например, через настройку LD_LIBRARY_PATH внутри Junest для указания на хостовые библиотеки.
Контейнеризация и изоляция:
- Рассмотрите возможность использования контейнеров, таких как Docker с поддержкой NVIDIA (NVIDIA Docker). Это позволяет более четко изолировать окружение и использовать драйверы, совместимые с ядром системы хоста.
Запрос на координацию с администраторами:
- Определите, есть ли возможность обновить или изменить конфигурацию драйверов на хосте, чтобы они соответствовали вашим потребностям по версиям. Возможно, это включит обновление драйверов на уровне хоста в соответствии с вашей конфигурацией в Junest.
Альтернативные пакеты и библиотеки:
- Изучите альтернативные программные решения и библиотеки для управления GPU, которые могут работать в вашей текущей конфигурации. Это может включать открытые библиотеки или компоненты с более широкой совместимостью версий.

Важно помнить, что работа с аппаратным обеспечением на уровне без привилегий всегда сопряжена с определенными ограничениями. Именно поэтому коммуникация с системными администраторами играет ключевую роль в решении подобных задач. Ваша открытость к альтернативным подходам поможет найти наиболее подходящее решение для ваших потребностей без необходимости вносить радикальные изменения в конфигурацию серверного оборудования.