Как удалить дубликаты файлов

Я использую UbuntuStudio 20.04.

Я хочу знать, существует ли какое-либо Linux-приложение (с GUI) для удаления дубликатов файлов, не только по именам файлов, но и по их содержимому.

Я говорю о сравнении длины и внутренних значений, чтобы узнать, есть ли дубликаты файлов, даже если их имена не одинаковы (например, одно и то же видео с разными именами в разных папках).

Есть ли что-то подобное? Где?

fdupes

Не знаю о программе с GUI, но есть мощный инструмент командной строки: fdupes

Ищет заданный путь на наличие дубликатов файлов. Такие файлы находятся путем сравнения размеров файлов и MD5-хешей, за которыми следует побайтное сравнение.

Исходный код на GitHUB
Страница справочника Ubuntu

Установка

sudo apt install fdupes

Использование

# Список дубликатов в целой директории
# -r : рекурсивно
fdupes -r /path/to/adir

# Список и удаление дубликатов в директории
# -r : рекурсивно
# -d : сохранить первый файл, удалить другие дубликаты
fdupes -rd /path/to/adir

Связано: Где fslint (поисковик дубликатов файлов) для Ubuntu 20.04?

dupeGuru

Посмотрите на dupeGuru. Это альтернатива с GUI.

dupeGuru — это кроссплатформенный (Linux, OS X, Windows) инструмент с GUI для поиска дубликатов файлов в системе. Он в основном написан на Python 3 и имеет особенность использования нескольких комплектов GUI, при этом во всех случаях используется тот же основной код на Python. На OS X интерфейс написан на Objective-C и использует Cocoa. На Linux и Windows интерфейс написан на Python и использует Qt5.

Для установки выполните:

sudo apt install dupeguru

Я нашел список некоторых GUI-программ для поиска дубликатов во время поиска и подумал, что добавлю его сюда, так как эта страница имела довольно хорошие рейтинги SEO в моих поисках.

Обратите внимание, что они все должны быть дистрибутивно-агностичными (например, они должны работать с Ubuntu, а также с любым другим дистрибутивом), но я не тестировал их. Перечисленные приложения действительно соответствуют требованиям, упомянутым в оригинальном сообщении, по моим данным (например, они являются Linux родными приложениями и имеют GUI, по описаниям все они должны работать как детекторы дубликатов). Я постарался сделать свои записи также довольно дистрибутивно-агностичными.

Ссылка содержит таблицу, которая пытается провести сравнение функций. Я не собираюсь копировать таблицу, но понимаю, что людям нравится, когда в ответах больше, чем просто ссылка, поэтому я также перечислю приложения из списка вместе с некоторыми моими собственными заметками:

• DupeGuru: То же самое, что предлагается в другом ответе, это то, что я бы рекомендовал большинству пользователей (особенно для тех, кто на Ubuntu, так как есть официальный PPA для Ubuntu Focal/Bionic/Xenial в момент написания или deb файлы на странице релизов их GitHub). Если вы используете дистрибутив на базе не Ubuntu/Debian, есть tar файл или вы можете скомпилировать из исходников.
• Rmlint-GUI: Некоторые страницы упоминали, что она ранее называлась “Shredder”. Онлайн много хороших упоминаний, но я пока сам не пробовал ее. Я нашел эту ссылку на документацию до того, как нашел связанную таблицу сравнения. В данный момент я не на компьютере с Ubuntu, но согласно repology она должна быть в центральных репозиториях большинства дистрибутивов, включая Ubuntu, Debian, Arch, Manjaro, Fedora и многих других. Она не имеет предварительно скомпилированных бинарных релизов на GitHub, но может быть скомпилирована из исходников.
• DetWinner: Я не знаю о нем ничего. Интересно, что в их readme на GitHub написано, что он поддерживает “поиск и удаление дубликатов файлов и похожих изображений“. Имеется flatpak здесь. Но он не присутствует ни в одном центральном репозитории какого-либо дистрибутива (по данным repology), и не предлагает snap или предварительно скомпилированные бинарные файлы. Если flatpak не подходит, скомпиляция из исходников может быть единственным другим путем.
• Czkawka: Интересный интерфейс на основе Rust, но может возникнуть проблема, если вы хотите только отчет без фактического удаления дубликатов (см. примечание и связанную проблему ниже — я лично не проверял эту проблему, просто передаю предупреждение). Согласно этой странице, она должна быть доступна через snap, flatpak, appimage, менеджер `cargo` для Rust, PPA, AUR (для пользователей Arch), предварительно скомпилированные бинарные файлы на GitHub, или путем скомпиляции из исходников.
• FSlint: Это приложение было устаревшим в Ubuntu 20.04 и позже из-за зависимостей Python2, но существуют обходные пути, если вас устраивает установка устаревших пакетов или использование неофициального snap. Я не рекомендую это большинству пользователей. (если только не появится новый форк для Python3… не стоит задерживать дыхание по этому поводу, так как разработчик — pixelb — уже заявил “Мне действительно не хватает времени [для продолжения поддержки fslint] честно говоря.” и рекомендовал czkawka как более современную замену).

Однако я думаю, что по крайней мере один из связанных проектов может потребовать ручной компиляции, если вы не используете flatpak и другие подобные приложения.

Есть и по крайней мере одна проблема, о которой стоит знать: пользователь в связанном потоке сообщил, что “Czkawka просто удалит все копии файла без предупреждения, в отличие от FSlint“. Я видел на одной странице для него упоминание о кнопке “Предварительный просмотр”, так что возможно, что существуют разные действия и только предварительный просмотр не делает изменений. Так что неясно из комментариев, была ли это ошибка / непредвиденное поведение программы или недопонимание со стороны пользователя. В любом случае, если вы решите попробовать Czkawk, кажется разумным для начала провести несколько тестов на данных, которые вы не боитесь потерять.

rmlint

rmlint — это отличный инструмент, написанный на Rust. Он не будет напрямую удалять файлы, но генерирует настроенный rmlint.sh, который предлагает несколько параметров для выполнения задачи.

Примеры:

# Поиск дубликатов файлов размером более 10 МБ с индикатором прогресса
rmlint -T "df" --size 10M -g

# Запустить необязательный графический интерфейс для rmlint под названием Shredder
rmlint --gui 

rmlint находит потери пространства и другие дефекты на файловой системе и предлагает их удалить. Он способен найти:

• Дубликаты файлов и директорий.
• Неотрезанные исполняемые файлы
• Неработающие символические ссылки.
• Пустые файлы.
• Рекурсивные пустые директории.
• Файлы с неработающими идентификаторами пользователей или групп.

Еще одна отличная альтернатива — czkawka