Использование именованных каналов при объединении gpg-зашифрованных разделенных файлов tar.gz

Вопрос или проблема

Операционные системы – Archlinux и NixOS.

Короче говоря, я не понимаю, почему это:

for part in ./offsite-backup.2025-02-16T10-23-18.part*.tar.gz.gpg; do 
    gpg --decrypt --always-trust --recipient offsite-backup $part > ${part%.gpg}; 
    rm $part
done

cat ./offsite-backup.2025-02-16T10-23-18.part*.tar.gz | tar -xzf - -C restored

не работает так же, как это:

mkfifo decrypted.pipe

cat decrypted.pipe | tar -xzf - -C restored &

for part in ./offsite-backup.2025-02-16T10-23-18.part*.tar.gz.gpg; do 
    gpg --decrypt --always-trust --recipient offsite-backup $part > decrypted.pipe
    rm $part
done

Первый вариант работает отлично. Второй дает мне множество ошибок от gzip о неожиданных окончаниях файлов. Но кажется, что с точки зрения tar, и, следовательно, gzip, данные, которые они получают, должны быть идентичными.

Возможность использовать второй подход была бы полезна, потому что это позволило бы мне избежать создания промежуточных файлов .tar.gz, чтобы завершить распаковку. Мне приходится временно хранить весь архив, чтобы его распаковать, но, насколько я могу судить, это не должно быть необходимо.

Ответ или решение

Использование именованных каналов (Named Pipes) в Linux для обработки зашифрованных и сжатых данных действительно может приводить к определенным неожиданным аспектам, и ваше наблюдение эта ситуация подтверждает. Давайте более подробно разберем, почему первая командная последовательность работает, тогда как вторая дает сбои при обработке данных gzip.

Теория

Именованные каналы или FIFO (First In, First Out) обеспечивают метод межпроцессного взаимодействия, позволяя данным передаваться от одного процесса к другому. Когда вы создаете именованный канал с помощью mkfifo, он действует как временное файловое пространство, где один процесс может записывать данные, а другой — читать их одновременно.

В вашем случае процесс декодирования gpg записывает в именованный канал, а tar, в свою очередь, считывает из него. Казалось бы, что это идеально подходит для случая, когда мы хотим избежать создания промежуточных файлов на диске.

Пример

В вашей первой командной последовательности процесс декодирования создает временные файлы, которые проходят через цепочку инструментов gpg -> .tar.gz, где tar и gzip могут обрабатывать данные, будучи уверенными, что все части доступны. Затем cat объединяет очищенные .tar.gz файлы в один поток, который tar потом распаковывает.

Однако во втором подходе могут возникнуть следующие проблемы:

1. Буферизация: Вероятно, вашей команде распакования не хватает данных, поступающих через канал, чтобы корректно завершить операцию. Это может быть связано с тем, что файл обрабатывается частями, и данных, передающихся через канал, временно недостаточно для непрерывной работы tar. Именованный канал может не успевать наполняться вовремя для чтения tar, вызывая ошибку "unexpected end of file".

2. Сигнал EOF: В командной строке обработка ни одного компонента не является одновременной, и перед тем как все нужные данные поступят из последнего файла, tar может среагировать на отсутствие данных в канале как на конец файла и завершить выполнение (что проявляется в ошибках gzip).

3. Асинхронность: Когда команды не синхронизированы должным образом (особенно с использованием & в команде параллельного выполнения), процессы могут не дождаться завершения друг друга, что может привести к ошибкам декомпрессии и распаковывания, особенно если tar завершает работу до того, как вся необходимая информация будет передана по каналу.

Применение

Чтобы справиться с этими проблемами, можно предпринять несколько шагов:

1. Контроль буферизации: Вы можете попробовать управлять размером буфера, используя менее распространенные возможности dd или ведя расчеты вручную, чтобы замедлить строки записи в канал. Это обеспечит, чтобы и tar, и gpg работали синхронно.

2. Процессы синхронизации: Убедитесь, что процесс декодирования завершает работу до того, как начнется последующий этап. Используйте методы синхронизации процессов, такие как wait или xargs с ограничением по CPU, чтобы удерживать процессы в нужной последовательности.

3. Ошибка EOF: Иногда tar может ожидать EOF (end of file), чтобы его зависимость gzip завершила работу правильно. Убедитесь, что используется правильная команда, или посмотрите на опции, как -z у tar на gzip, для корректного завершения.

Возможно, стоит рассмотреть использование других утилит для управления передачей данных между процессами или отладки, таких как strace или lsof, чтобы проследить, как данные проходят через систему, и точно определить, на каком этапе происходит ошибка EOF. Подробная диагностика иногда указывает на сбои в компиляции программ из-за несоответствия версий зависимостей на Archlinux и NixOS, тем более если они использовали разные версии библиотек общих компонентов, таких как GNU tar или либрарий для работы шифрования.

В итоге, такой подход требует многоразовых итераций и может определить узкие места в вашей операционной цепочке, но результатом станет более элегантное и оптимизированное решение проблемы с шифровании и декомпрессией через именованные каналы, без создания временных файлов, при этом обеспечивая сохранность и целостность вашего данных.