Почему эта команда медленная только при записи в конвейер?

Вопрос или проблема

$ time <command>
...
<command>  0.14s user 0.09s system 83% cpu 0.272 total

$ time ( <command> | grep <expression> )
...
( <command> | grep <expression> )  0.13s user 0.11s system 2% cpu 10.65 total

time ( cat file | grep <expression> )

time ( <command> | cat )

Ответ или решение

Почему команда медленнее работает при выводе в конвейер?

В вашем случае разница во времени выполнения команды, которая напрямую выполняется в стандартном выводе, и её использование в конвейере, действительно вызывает вопросы. Давайте детально разберём возможные причины задержки и способы их устранения.

1. Проблемы с буферизацией

Когда вы запускаете команду напрямую, она выводит данные в стандартный вывод, который буферизуется. То есть, все данные, которые отправляются, накапливаются в памяти до тех пор, пока не будет достигнут определённый размер, или поток не будет закрыт. В случае, когда команда используется в конвейере, состояние буферизации может поменяться. Возможно, grep по умолчанию работает в режиме "по строке" (line-buffered), что приводит к частым обращениям к системным вызовам для чтения данных, снижая общую производительность команд.

2. Производительность команды

Некоторые команды при выводе в конвейер могут вести себя иначе, чем при прямом выводе. Например, если эта команда использует асинхронную обработку вывода или должна дожидаться начала работы следующей команды в конвейере, это может способствовать значительным задержкам.

3. Контекст переключения процессов

Когда вы используете конвейер, происходит переключение контекста между процессами. Это добавляет накладные расходы, поскольку операционная система должна дополнительно управлять несколькими потоками, что требует времени и ресурсов. Если grep запускается в пределах нового процесса, переключения могут вызвать значительное замедление, особенно если происходит много "малых операций".

4. Загрузка системы

Если в системе выполняется множество процессов, это может увеличить время ожидания, особенно для операций ввода-вывода. Что касается обходных манёвров для ускорения, убедитесь, что текущая загрузка системы не влияет на выполнение команд.

Способы ускорения

1. Измените способ буферизации: Попробуйте добавить опцию --line-buffered в grep для более эффективного использования вывода в режиме реального времени:

   time ( <command> | grep --line-buffered <expression> )

2. Используйте временные файлы: Раз уж вывод в файл дает более высокую производительность, вы можете создавать временные файлы и затем читать их с помощью grep:

   <command> > temp_file && grep <expression> temp_file

3. Эффективные команды: Изучите, возможно ли использование альтернативных утилит вместо grep, которые могут быть более оптимизированы для работы в конвейерах, таких как awk, sed и т.д.

4. Обработка в ручном режиме: Если это возможно, разрешите вашей команде выполнять более длительные операции параллельно. Использование & для асинхронного выполнения может снизить задержку.

Заключение

Задержка в 10 секунд при использовании команды в конвейере связана с изменением режима буферизации, затратен на переключение процессов, а также с внутренними механизмами обработки команд. Оптимизация использования grep, изменение способов буферизации и управление затратами на переключение контекста может помочь существенно сократить время выполнения ваших команд.