Вопрос или проблема
Я хотел бы выполнять скрипты на нескольких удаленных хостах, используя fabric.
Пример сетевой структуры показан на рисунке.
Хост 0 – это моя локальная машина. На других хостах я хочу запустить некоторые скрипты (bash или python). Хост 1 и хост 2 имеют несколько сетевых карт. На данный момент, самое простое рабочее решение, которое я нашел для fabric, выглядит следующим образом:
from fabric import Connection
c1 = Connection('[email protected]', connect_kwargs={'password': 'some_password1'})
c2 = Connection('[email protected]', connect_kwargs={'password': 'some_password2'}, gateway=c1)
c3 = Connection('[email protected]', connect_kwargs={'password': 'some_password3'}, gateway=c2)
c4 = Connection('[email protected]', connect_kwargs={'password': 'some_password4'}, gateway=c2)
c1.run('выполняется какой-то скрипт...')
c2.run('выполняется какой-то скрипт...')
c3.run('выполняется какой-то скрипт...')
c4.run('выполняется какой-то скрипт...')
c4.close()
c3.close()
c2.close()
c1.close()
Приемлема ли такая опция использования фабрик? Сколько одновременных открытых соединений лучше поддерживать через хост 2? Существуют ли лучшие практики для таких случаев? Я был бы признателен, если бы вы добавили некоторые объяснения к ответу, касающиеся нагрузки на сеть или аппаратные ресурсы? Я не знаком с сетевым программированием.
Кроме того: на удаленных хостах установлена версия openssh-server 1:6.0, которая не позволяет использовать proxy jump. Я не понял, как использовать proxycommand в fabric в этом случае. Но я думаю, что в случае, когда необходимо выполнить скрипт только на одной машине, например, на хосте 4, лучше всего использовать proxy command в любом случае. Исправьте меня, если я не прав. Извините за английский, я только учусь.
Ответ или решение
Лучшие практики использования Fabric Gateway для выполнения скриптов на нескольких удалённых хостах
Использование Fabric для одновременного выполнения скриптов на нескольких удалённых хостах предоставляет множество возможностей, однако, для достижения оптимальных результатов и минимизации рисков следует учитывать несколько рекомендаций и практик.
1. Архитектура соединений через Fabric
Ваше текущее решение использования классов Connection для построения цепочки соединений через шлюзы (gateways) вполне приемлемо. Это упрощает доступ к удалённым хостам и позволяет выполнять скрипты с одного начального хоста (Host 0).
Предложенная вами структура кода, использующая gateway, позволяет образовать логику многоуровневого соединения, что особенно полезно в многоуровневых сетевых архитектурах. Однако стоит обратить внимание на следующие аспекты:
- Чистота кода: Рассмотрите возможность создания функции для инициализации соединений, что упростит поддержку и повысит читаемость кода.
- Оптимизация: В зависимости от ваших задач, может быть целесообразно переосмыслить количество одновременно открытых соединений, учитывая параметры сети и производительности.
2. Количество одновременных соединений
Что касается числа одновременно открытых соединений, то оптимальное количество зависит от нескольких факторов, таких как:
- Пропускная способность сети: Проверьте, какая максимальная нагрузка на сеть приемлема. Например, две-три одновременные операции могут быть безопасными в условиях высокоскоростной локальной сети, но избыточными в условиях медленного соединения.
- Ресурсы удалённых хостов: Проверьте, сколько одновременных SSH-соединений могут обрабатывать ваши удалённые машины. Ресурсы CPU и память также играют важную роль.
- Тестирование: Рекомендуется провести нагрузочное тестирование, чтобы определить, при какой нагрузке система всё ещё работает эффективно.
3. Нагрузка на сеть и аппаратные ресурсы
При массовом выполнении скриптов через несколько соединений возможно возникновение следующих проблем:
- Сетевые задержки: Одновременные соединения могут создать дополнительные задержки, если пропускная способность сети будет превышена.
- Увеличение нагрузки: Слишком большое количество одновременных операций может привести к истощению системных ресурсов и, в конечном итоге, к сбоям в работе скриптов.
В связи с этим, рекомендуется анализировать и оптимизировать соединения, чтобы минимизировать нагрузку.
4. Использование ProxyCommand в Fabric
Поскольку на удалённых хостах установлена старая версия OpenSSH, которая не поддерживает ProxyJump, можно рассмотреть вариант использования ProxyCommand. Fabric поддерживает это через connect_kwargs, указывая команду прокси. Пример для подключения к Host 4, используя ProxyCommand:
from fabric import Connection
# Используем ProxyCommand для обхода ограничений
c1 = Connection('user@host1', connect_kwargs={'password': 'your_password'})
c4 = Connection('user@host4',
connect_kwargs={'password': 'your_password',
'connect_kwargs': {'proxy_command': 'ssh -W %h:%p user@host2'}})
c4.run('executing script on host 4...')
c4.close()Этот подход позволяет организовать доступ даже к тем хостам, которые могут быть недоступны напрямую через SSH.
Заключение
Применяя вышеперечисленные лучшие практики работы с Fabric, можно достичь более эффективного и стабильного выполнения скриптов на нескольких удалённых хостах. Рекомендуется тщательно анализировать каждое решение и тестировать его на практике, чтобы гарантировать высокую производительность и надёжность системы. Оптимизация соединений, разумное количество одновременно открытых сессий, а также использование прозрачных прокси-соединений помогут вам избежать многих распространённых проблем и сделать вашу сетевую архитектуру более управляемой.