Почему так много данных btrfs-send для reflinks

Вопрос или проблема

btrfs subvolume create 1

dd if=/dev/urandom of=1/a bs=64 count=3110017

sudo btrfs send -p 1_ro0 1_ro1 | wc -c

#!/bin/bash

btrfs subvolume create 1

rm -rf 1/*
dd if=/dev/urandom of=1/a bs=64 count=3110017
sudo btrfs subvolume snapshot -r 1 1_ro0
cp --reflink=always 1/a 1/b
sudo btrfs subvolume snapshot -r 1 1_ro1
sudo btrfs send -p 1_ro0 1_ro1 | wc -c
sudo btrfs subvolume delete 1_ro0 1_ro1


rm -rf 1/*
dd if=/dev/urandom of=1/a bs=64 count=3110016
sudo btrfs subvolume snapshot -r 1 1_ro0
cp --reflink=always 1/a 1/b
sudo btrfs subvolume snapshot -r 1 1_ro1
sudo btrfs send -p 1_ro0 1_ro1 | wc -c
sudo btrfs subvolume delete 1_ro0 1_ro1

rm -r 1

clone           ./1_ro1/b                       offset=0 len=134217728 from=./1_ro1/a clone_offset=0
clone           ./1_ro1/b                       offset=134217728 len=64823296 from=./1_ro1/a clone_offset=134217728
...

write           ./1_ro1/b                       offset=197918720 len=49152
write           ./1_ro1/b                       offset=197967872 len=49152
write           ./1_ro1/b                       offset=198017024 len=49152
write           ./1_ro1/b                       offset=198066176 len=49152
write           ./1_ro1/b                       offset=198115328 len=49152
write           ./1_ro1/b                       offset=198164480 len=49152
... (намного больше)

Ответ или решение

Проблема с объемом данных, получаемым при использовании команды btrfs send, связана с особенностями работы системы файлов Btrfs, особенно в контексте операций с референциями (reflinks) и тем, как они обрабатываются при создании снимков и отправке данных.

Причины высокой суммы данных при btrfs send

1. Отличия в размере данных: Как вы заметили, различие в количестве записанных байтов (3110017 против 3110016) приводит к заметной разнице в размере данных, отправляемых через btrfs send. Это связано с тем, что при создании файла с размером, кратным определенному порогу, Btrfs может использовать более эффективные методы копирования, такие как clone, что позволяет избежать дублирования данных.

2. Динамика управления данными: Когда вы используете cp --reflink=always, и размер файла не соответствует определенному критерию (например, не является кратным размеру блока), это может привести к тому, что Btrfs будет считывать данные из файла более фрагментированными кусками и записывать их в новом месте как обычные записи (write), а не как ссылки на существующие блоки. Это, в свою очередь, значительно увеличивает объем передаваемых данных.

3. Структура данных Btrfs: В Btrfs данные организованы в формате, который оптимизирует использование пространства на диске через снапшоты и референции. Однако существует вероятность, что при использовании различных комбинаций снимков и референций Btrfs может решить, что данные были изменены, и соответственно, передает их как обычный запись вместо использования ссылок.

4. Фрагментация и пробелы: Хотя вы упомянули, что эта ситуация не может быть связана с пробелами, важно учитывать влияние фрагментации файловой системы и как она обрабатывает свободное место. При наличии многих фрагментов данных размер может увеличиться, особенно если они не выравнены по размеру блока.

Рекомендации

1. Использование одного размера блока: Если есть возможность, старайтесь использовать размеры файлов, которые кратны размеру блока вашей файловой системы. Это может помочь уменьшить количество записей write и увеличить количество записей clone при выполнении btrfs send.

2. Обновление btrfs-progs: Убедитесь, что у вас установлена последняя версия btrfs-progs, так как разработчики могут внедрять исправления и улучшения, которые могут повлиять на производительность и поведение системы с точки зрения управления данными.

3. Мониторинг и тестирование: Продолжайте тестировать разные подходы к созданию файлов и снимков. Важно понимать, как системные события влияют на ваши результаты, поскольку каждая операция может интерпретироваться Btrfs по-разному в зависимости от конфигурации и состояния файловой системы.

Заключение

Выводы из вашего тестирования показывают, что Btrfs является сложной системой, и ее поведение может варьироваться в зависимости от мелких изменений в данных и их размещении. Изучение особенностей работы этой файловой системы и экспериментирование с параметрами может привести к более предсказуемым и эффективным результатам.