Поиск дубликатов картинок linux

Open source duplicate image finder for Linux?

Is there a free and open source duplicate image finder for Linux based systems? Finding exact duplicates (based on content, not file name) is sufficient for me, but the ability to find similar images would certainly be great, too.

1 Answer 1

Digikam

Add all the photos to your collection. In the menu, select “Tools / Find duplicates”. This will look for duplicates accross your whole collection.

Findimagedupes

A command line tool. Pass all the images you want to compare on the command line.

Geeqie (formerly gqview)

In the menu, select “File / Find duplicate”. Drag and drop image files do the duplicates window. You can drop directories to add their contents recursively.

Fdupes

A command line tool to find byte-for-byte duplicates in a directory tree.

findimagedups will also descend hierarchies, does not require byte-level duplication and (more importantly) can keep records to speed up future runs (because the initial pass over a large stash of images can take a long time).

I think jdupes (github.com/jbruchon/jdupes) would be a good update / addition to this list. It is based on fdupes but advertises speed and feature improvements.

You must log in to answer this question.

Linked

Related

Hot Network Questions

Subscribe to RSS

To subscribe to this RSS feed, copy and paste this URL into your RSS reader.

Site design / logo © 2023 Stack Exchange Inc; user contributions licensed under CC BY-SA . rev 2023.7.14.43533

Linux is a registered trademark of Linus Torvalds. UNIX is a registered trademark of The Open Group.
This site is not affiliated with Linus Torvalds or The Open Group in any way.

By clicking “Accept all cookies”, you agree Stack Exchange can store cookies on your device and disclose information in accordance with our Cookie Policy.

Источник

Есть ли способ найти дубликаты изображений в Ubuntu?

Мне интересно, есть ли способ сравнить папки в Ubuntu? Я много раз пытался упорядочить свои папки с фотографиями. и по этой причине у меня есть несколько папок, содержащих одни и те же файлы (возможно, несколько дополнительных), и было бы здорово иметь инструмент для определения, какие файлы являются дополнительными и какие файлы идентичны.

PS Я только что нашел приложение, которое хорошо работает. Это называется FSlint. Вот ссылка на него с подробным описанием: http://www.addictivetips.com/ubuntu-linux-tips/clean-up-ubuntu-remove-duplicates-with-fslint-filesystem-lint/

4 ответа

diff поможет вам найти дубликаты файлов в двух разных каталогах, но если ваш беспорядок больше или если по какой-либо другой причине вы хотите найти дублированные (точные) файлы изображений во всем каталоге, включая подкаталоги, вы можете использовать образ gthumb средство просмотра браузера, которое, вероятно, уже установлено в вашей системе.

Gthumb предоставляет инструмент для поиска дубликатов медиа / аудио / видео / изображений / текста / всех файлов в каталоге. Для этого просто выберите каталог в режиме просмотра, который отображает левую панель с вашим деревом каталогов, а затем в меню выберите «Правка»> «Найти дубликаты». диалоговое окно показывает дубликаты и позволяет выбрать, какие файлы) удалить. Эта процедура наглядна и полезна во многих случаях; но это медленно, если у вас слишком много дубликатов файлов для удаления.

Источник

4 полезных инструмента для поиска и удаления дубликатов файлов в Linux

Организация вашего домашнего каталога или даже системы может быть особенно сложной, если у вас есть привычка загружать всевозможные материалы из Интернета.

Часто вы можете обнаружить, что загрузили одни и те же mp3, pdf, epub (и любые другие расширения файлов) и скопировали их в разные каталоги. Это может привести к тому, что ваши каталоги будут загромождены всевозможными бесполезными дубликатами.

В этом руководстве вы узнаете, как находить и удалять дубликаты файлов в Linux с помощью инструментов командной строки rdfind и fdupes, а также с помощью инструментов с графическим интерфейсом под названием DupeGuru и FSlint.

Предупреждение: всегда будьте осторожны с тем, что вы удаляете в своей системе, так как это может привести к нежелательной потере данных. Если вы используете новый инструмент, сначала попробуйте его в тестовом каталоге, где удаление файлов не будет проблемой.

1. Rdfind — находит дубликаты файлов в Linux

Rdfind возникает при поиске избыточных данных. Это бесплатный инструмент, используемый для поиска дубликатов файлов в нескольких каталогах или в них. Он использует контрольную сумму и находит дубликаты на основе файлов, содержащих не только имена.

Rdfind использует алгоритм для классификации файлов и определяет, какой из дубликатов является исходным файлом, а остальные считает дубликатами. Правила ранжирования таковы:

• Если A был найден при сканировании входного аргумента раньше, чем B, A имеет более высокий рейтинг.
• Если A был найден на глубине ниже, чем B, A имеет более высокий рейтинг.
• Если A был найден раньше, чем B, A имеет более высокий рейтинг.

Последнее правило используется, в частности, когда два файла находятся в одном и том же каталоге.

Чтобы установить rdfind в Linux, используйте следующую команду в соответствии с вашим дистрибутивом Linux.

$ sudo apt-get install rdfind [On Debian/Ubuntu] $ sudo yum install epel-release && $ sudo yum install rdfind [On CentOS/RHEL] $ sudo dnf install rdfind [On Fedora 22+] $ sudo pacman -S rdfind [On Arch Linux]

Чтобы запустить rdfind в каталоге, просто введите rdfind и целевой каталог. Вот пример:

Как видите, rdfind сохранит результаты в файле с именем results.txt, расположенном в том же каталоге, где вы запустили программу. Файл содержит все дубликаты файлов, которые нашел rdfind. Вы можете просмотреть файл и удалить повторяющиеся файлы вручную, если хотите.

Еще одна вещь, которую вы можете сделать, это использовать параметр -dryrun , который предоставит список дубликатов без каких-либо действий:

$ rdfind -dryrun true /home/user

Когда вы найдете дубликаты, вы можете заменить их жесткими ссылками.

$ rdfind -makehardlinks true /home/user

И если вы хотите удалить дубликаты, вы можете запустить.

$ rdfind -deleteduplicates true /home/user

Чтобы проверить другие полезные параметры rdfind, вы можете использовать руководство rdfind с.

2. Fdupes — поиск дубликатов файлов в Linux

Fdupes — еще одна программа, которая позволяет вам идентифицировать дубликаты файлов в вашей системе. Он бесплатный, с открытым исходным кодом и написан на C. Он использует следующие методы для определения дубликатов файлов:

• Сравнение частичных подписей md5sum
• Сравнение полных подписей md5sum
• проверка побайтового сравнения

Как и у rdfind, у него есть похожие параметры:

• Рекурсивный поиск
• Исключить пустые файлы
• Показывает размер повторяющихся файлов
• Немедленно удалять дубликаты
• Исключить файлы с другим владельцем

Чтобы установить fdupes в Linux, используйте следующую команду в соответствии с вашим дистрибутивом Linux.

$ sudo apt-get install fdupes [On Debian/Ubuntu] $ sudo yum install epel-release && $ sudo yum install fdupes [On CentOS/RHEL] $ sudo dnf install fdupes [On Fedora 22+] $ sudo pacman -S fdupes [On Arch Linux]

Синтаксис Fdupes подобен rdfind. Просто введите команду, а затем каталог, который вы хотите сканировать.

Для рекурсивного поиска файлов вам нужно будет указать параметр -r , подобный этому.

Вы также можете указать несколько каталогов и указать каталог для рекурсивного поиска.

Чтобы fdupes вычислил размер файлов-дубликатов, используйте параметр -S .

Для сбора сводной информации о найденных файлах используйте параметр -m .

Наконец, если вы хотите удалить все дубликаты, используйте параметр -d , подобный этому.

Fdupes спросит, какие из найденных файлов удалить. Вам нужно будет ввести номер файла:

Однозначно не рекомендуемое решение — использовать параметр -N , который приведет к сохранению только первого файла.

Чтобы получить список доступных параметров для использования с fdupes, просмотрите страницу справки, выполнив команду.

3. dupeGuru — поиск дубликатов файлов в Linux

dupeGuru – это кроссплатформенный инструмент с открытым исходным кодом, который можно использовать для поиска дубликатов файлов в системе Linux. Инструмент может сканировать имена файлов или содержимое в одной или нескольких папках. Это также позволяет вам найти имя файла, похожее на файлы, которые вы ищете.

dupeGuru поставляется в разных версиях для платформ Windows, Mac и Linux. Его функция быстрого алгоритма нечеткого сопоставления поможет вам найти дубликаты файлов в течение минуты. Его можно настраивать, вы можете извлекать точные дубликаты файлов, которые хотите, и стирать ненужные файлы из системы.

Чтобы установить dupeGuru в Linux, используйте следующую команду в соответствии с вашим дистрибутивом Linux.

--------------- On Debian/Ubuntu/Mint --------------- $ sudo add-apt-repository ppa:dupeguru/ppa $ sudo apt-get update $ sudo apt-get install dupeguru

--------------- On Arch Linux --------------- $ sudo pacman -S dupeguru

4. FSlint — поиск дубликатов файлов для Linux

FSlint – это бесплатная утилита, которая используется для поиска и очистки файловой системы от различных форм мусора. Он также сообщает о дублирующихся файлах, пустых каталогах, временных файлах, повторяющихся/конфликтующих (двоичных) именах, неверных символических ссылках и многом другом. Он имеет как режимы командной строки, так и режимы графического интерфейса.

Чтобы установить FSlint в Linux, используйте следующую команду в соответствии с вашим дистрибутивом Linux.

$ sudo apt-get install fslint [On Debian/Ubuntu] $ sudo yum install epel-release && $ sudo yum install fslint [On CentOS/RHEL] $ sudo dnf install fslint [On Fedora 22+] $ sudo pacman -S fslint [On Arch Linux]

Заключение

Это очень полезные инструменты для поиска дубликатов файлов в вашей системе Linux, но вы должны быть очень осторожны при удалении таких файлов.

Если вы не уверены, нужен вам файл или нет, было бы лучше создать резервную копию этого файла и запомнить его каталог перед его удалением. Если у вас есть какие-либо вопросы или комментарии, отправьте их в разделе комментариев ниже.

Источник

Поиск дубликатов файлов в Linux

Дубликаты файлов могут появляться при сохранении резервных копий на диск, одновременном редактировании нескольких версий одного и того же файла или при изменении структуры каталогов. Одни и те же файлы могут быть сохранены несколько раз с различными именами или в разных папках и только засоряют дисковое пространство.

Охота на них каждый раз может стать большой проблемой. Но к счастью существует маленькая утилита которая может сберечь ваше время потраченное на поиск и уничтожение дубликатов файлов на компьютере — FSLint. Она написана на Python. Время навести порядок и удалить старые файлы.

Поиск дубликатов файлов в Linux

Вы можете установить утилиту из официальных репозиториев большинства дистрибутивов Linux. Давайте рассмотрим пример для Ubuntu. Сначала обновите списки пакетов:

После завершения установки вы можете запустить утилиту из главного меню:

В главном окне программы можно выбрать различные варианты поиска неисправностей файловой системы. По умолчанию выбран Поиск дубликатов, ещё вам предстоит настроить папки, в которых будет выполнятся поиск, по умолчанию добавлена только домашняя папка:

После того как вы выберите каталоги, запустите поиск дубликатов Linux. Для этого надо нажать кнопку Поиск. Утилита сразу же начнёт выводить обнаруженные дубликаты файлов:

Когда поиск завершится вы сможете удалить файлы, которые вам не нужны, для этого выделите их мышью и нажмите кнопку Удалить. Программа спросит подтверждения действия и удалит файл:

Также вы можете объединить файлы дубликаты с помощью жесткой ссылки. По нажатию кнопки Объединить, утилита объединяет все файлы кроме выделенных. Кроме того, утилита позволяет искать несовместимые имена файлов, временные файлы, плохие ссылки, пустые директории и многое другое. Поэкспериментируйте с ней если будет желание.

Обнаружили ошибку в тексте? Сообщите мне об этом. Выделите текст с ошибкой и нажмите Ctrl+Enter.

Источник