Переименование файлов с помощью find, sed и xargs
Данное сообщение не претендует на оригинальность, это просто очередной пример того, как можно переименовать много файлов с помощью командной строки в Linux, используя find , sed , xargs и mv .
Общий вид #
- Вывести имена нужных файлов ( ls , echo или find ).
- Произвести замену каждого имени и вывести старое имя и новое имя ( sed ).
- Применить к каждой паре старое имя – новое имя команду mv ( xargs ).
На языке bash эти 3 команды могут выглядеть так:
ls | sed | xargs mv echo | sed | xargs mv find | sed | xargs mv
Мы будем говорить о последнем варианте, поскольку find является очень мощной и гибкой утилитой для поиска файлов.
Пример №1 #
Простейший случай, необходимо произвести такую замену с большим количеством файлов:
01-filename.txt → 01-new.txt 02-filename.txt → 02-new.txt . Для экспериментов создадим директорию ~/test/ .
Теперь в директории ~/test/ должно появиться 5 пронумерованных файлов. Выведем эти файлы (точка после find означает, что поиск надо проводить в текущей директории; ключ -type f просит выводить только файлы).
find #
./1-filename.txt ./2-filename.txt ./5-filename.txt ./4-filename.txt ./3-filename.txt Потоковый редактор sed в команде find | sed получает поток названий файлов от find. И с каждым названием файла он может делать какую-то операцию. Нас интересует замена, общий вид которой в sed выглядит так.
sed #
Общий вид команд в редакторе sed:
sed 's/old/new/g' sed 's#old#new#g' sed 's:old:new:g' Если выполнить данные команды, то sed будет ждать ввода аргументов с клавиатуры. После каждого нажатия Enter sed выведет строку, заменив в ней ‘old’ на ‘new’, если ‘old’ будет присутствовать в введённой строке. Но обычно sed используется либо в связках типа find | sed , либо принимает в качестве аргумента имена файлов, чтобы произвести замены внутри файлов.
Заметьте, что вы сами можете выбирать разделитель — например, / , # или : (хотя можно использовать почти любой символ), комбинировать их нельзя. Буква ‘s’ — заменить (от англ. substitute); буква ‘g’ (от англ. global) в конце стоит для того, чтобы замена происходила во всей строке не только для первого вхождения, а столько раз, сколько там встретится «old». Когда в заменяемых выражениях встречаются слэши ( / или \ ), то каждую из них приходится предварять дополнительным обратным слэшем, тогда код слишком сильно напоминает частокол и удобнее использовать двоеточие или что-то другое в качестве разделителя.
Итак, посмотрим, что мы можем сделать двумя первыми шагами find | sed :
find . -type f | sed 's:filename:new:g'
./1-new.txt ./2-new.txt ./5-new.txt ./4-new.txt ./3-new.txt Отлично, нужные нам имена выведены. Но в третьем шаге утилите xargs нужны и старое, и новое имя файла, чтобы применить к ним команду mv . Поэтому модифицируем команду sed :
Знак «p;» (p — print), стоящий перед «s», просит sed выдавать не только результат, но и исходный материал. Теперь вывод будет такой:
find . -type f | sed 'p;s:filename:new:g'
./1-filename.txt ./1-new.txt ./2-filename.txt ./2-new.txt ./5-filename.txt ./5-new.txt ./4-filename.txt ./4-new.txt ./3-filename.txt ./3-new.txt То, что нужно. Переходим к третьему шагу.
xargs #
Программа xargs работает с потоками данных. Утилита принимает один поток и может «распараллелить» его на несколько. Чтобы было лучше понятно, посмотрите простые примеры:
echo "1 2 3 4 5 6 7 8 9" | xargs -n1
echo "1 2 3 4 5 6 7 8 9" | xargs -n2
echo "1 2 3 4 5 6 7 8 9" | xargs -n3
echo "1 2 3 4 5 6 7 8 9" | xargs -n4
Для переименования файлов, очевидно, нам нужен ключик -n2 , тогда xargs разделит поток из старых и новых имён в две колонки.
find . -type f | sed 'p;s:filename:new:' | xargs -n2
./1-filename.txt ./1-new.txt ./2-filename.txt ./2-new.txt ./5-filename.txt ./5-new.txt ./4-filename.txt ./4-new.txt ./3-filename.txt ./3-new.txt Отлично. Осталось перед каждой парой вставить mv , и переименование произойдёт. Выполняем:
find . -type f | sed 'p;s:filename:new:' | xargs -n2 mv
Вывода никакого не последует, но переименование произошло. Чтобы быть уверенным в результате, можно произвести проверку перед выполнением этой команды. Для этого надо добавить ключ -p к xargs . Тогда утилита будет показывать, что она сделала бы без ключа -p . Можно нажимать Enter и просматривать, что собирается сделать команда. Изменения применены не будут.
find . -type f | sed 'p;s:filename:new:' | xargs -n2 -p mv
Если результаты устраивают, то нужно убрать ключ -p и повторить команду.
Пример №2 #
В директориях dir1/subdir1/ , dir1/subdir2/ ,… dir5/subdir5/ лежат файлы filename.txt. Нужно вытащить их оттуда, но уже с разными именами.
dir1/subdir1/filename.txt → dir1-subdir1-filename.txt dir1/subdir2/filename.txt → dir1-subdir2-filename.txt . dir5/subdir5/filename.txt → dir5-subdir5-filename.txt При необходимости создадим и очистим нашу экспериментальную директорию ~/test/ и создадим там необходимую структуру файлов:
mkdir -p ~/test/ rm ~/test/* cd ~/test/
mkdir -p dir/subdir touch dir/subdir/filename.txt
Итак, у нас получилось 25 файлов filename.txt в директориях dir1/subdir1/ , dir1/subdir2 ,… dir5/subdir5/ .
find #
Выведем эти файлы. В этом случае -type f тоже сработал бы, но воспользуемся для разнообразия поиском по имени. Также используем звёздочку вместо точки, чтобы избавиться от ведущего ./ в выводе.
dir1/subdir2/filename.txt dir1/subdir4/filename.txt dir1/subdir1/filename.txt dir1/subdir5/filename.txt dir1/subdir3/filename.txt . sed #
Попросим sed заменить все слэши на дефисы.
find * -name 'filename.txt' | sed 'p;s:/:-:g'
xargs #
find * -name 'filename.txt' | sed 'p;s:/:-:g' | xargs -n2 -p mv
Убедившись, что всё произойдёт правильно, убираем ключ -p и повторяем команду.
Пример №3 #
В директории лежат файлы, пронумерованные от 0 до 1001. Если их выводить командой ls , они будут отсортированы по имени не так, как этого хотелось бы [1] . Добавим необходимое количество нулей в названия файлов.
0-filename.txt → 0000-filename.txt . 50-filename.txt → 0050-filename.txt . 150-filename.txt → 0150-filename.txt . 1001-filename.txt → 1001-filename.txt При необходимости создаём тестовую директорию и/или чистим её и создаём наши 1001 файл:
mkdir -p ~/test/ rm -r ~/test/* cd ~/test/
Можно действовать так (не лучший вариант).
user test $
user test $
user test $
ls | sed 'p;s:^\(8\)-:000\1-:g' | xargs -n2 mv ls | sed 'p;s:^\(63\)-:00\1-:g' | xargs -n2 mv ls | sed 'p;s:^\(449\)-:0\1-:g' | xargs -n2 mv
Первая команда всем файлам, начинающимся с одной цифры, добавит 3 нуля. Вторая команда всем файлам, начинающимся с двух цифр, добавит 2 нуля. Третья команда всем файлам, начинающимся с трёх цифр, добавит 1 ноль.
Здесь использованы регулярные выражения в sed . Разберём конструкцию
- ^ означает, что нужно искать с начала имени
- конструкция \(. \) позволяет заключённое в неё использовать как \1 в шаблоне замены
- 483 означает три любые цифры подряд.
- — — просто дефис.
- В принципе, с этим можно справиться командой ls -v (natural sorting: 10 будет выведено после 9, а не после единицы), но мы всё-таки для упражнения произведём переименование. ↩︎
© Сергей Лисаков, 2023. Сайт собран Hexo.
Переименование группы файлов по маске
Доброго дня. Есть некоторое количество файлов в названиях которых надо произвести изменения. Некоторые символы заменить, в определённый блок символов, разделённый «_», добавить дополнительный символ. Порылся на форуме и в гугле, нашёл интересную команду rename, но т.к. от программирования далёк не могу понять как именно сделать изменения по маске файла, т.к. все названия однотипные и менять в них тоже нужно одно и тоже. Интересует синтаксис команды и её применение к группе файлов. Спасибо.
- Приводи примеры, экстрасенсов тут нет.
- Приводи команды, которые ты использовал.
- Подходящие инструменты — bash, sed, rename, python, perl, emacs, krename, thunar, nautilus на твой вкус.
$ ls -1 kotlin-daemon.2021-10-* kotlin-daemon.2021-10-12.00-22-53-396.00.log kotlin-daemon.2021-10-12.10-35-13-169.00.log kotlin-daemon.2021-10-12.22-17-21-764.00.log kotlin-daemon.2021-10-21.16-19-19-453.00.log kotlin-daemon.2021-10-21.22-44-02-369.00.log kotlin-daemon.2021-10-21.22-44-02-369.00.log.lck $ rename kotlin java kotlin-daemon.2021-10-* $ ll java-daemon.2021-10-* java-daemon.2021-10-12.00-22-53-396.00.log java-daemon.2021-10-12.10-35-13-169.00.log java-daemon.2021-10-12.22-17-21-764.00.log java-daemon.2021-10-21.16-19-19-453.00.log java-daemon.2021-10-21.22-44-02-369.00.log java-daemon.2021-10-21.22-44-02-369.00.log.lck 
Читай man rename, в инете полно примеров. Первая ссылка в утке.
Прошу прощения, вот примеры для переименования. В файлах помечено что нужно заменить. У меня получается заменить только Y на N и расширение с .log на .bak. Не могу понять как прибавить одну цифру в номер после даты.
123456_UVAO_**Y**_20211019_**001**_00000.**log** 123456_UVAO_**Y**_20211019_**002**_00000.**log** 123456_UVAO_**Y**_20211019_**003**_00000.**log** 123456_UVAO_**Y**_20211019_**003**_00000.**log** надо переименовать в 123456_UVAO_**N**_20211019_**1**001_00000.**bak** 123456_UVAO_**N**_20211019_**1**002_00000.**bak** 123456_UVAO_**N**_20211019_**1**003_00000.**bak** 123456_UVAO_**N**_20211019_**1**003_00000.**bak** Дошёл вот до такого rename, дальше продвинуться не могу rename -v -n ‘y/Y?log/N?bak/’ *.log
Возможно проще или удобнее эту задачу решить через mv,bash,sed . Но там я пока вообще не понимаю в какую сторону копать.
Что значит звёздочик в именах файлов? Вобще вам нужно s/// выражение, а не y///. С помощью y/// в только транслируете символы, а не добавляете новые. Не проверял:
Ваш пример взорвёт ТСу мозг, так как в современных дебианах под именем rename находится не бинарник из util-linux, а преловый скрипт (CPAN rename).
Звёздочки задумывались как выделение жирным, что бы понять что заменить, не учёл что они в коде не работают. Так что просто убираете все звёздочки — это имя файла) Спасибо за ваш вариант, но не сработал.
А есть идеи не через rename?
Звёздочки задумывались как выделение жирным
Это усложняет регулярное выражение, так лучше не делать.
foxy_ant ★★ ( 23.10.21 21:17:25 MSK )
Последнее исправление: foxy_ant 23.10.21 21:18:48 MSK (всего исправлений: 1)
Не могу понять как прибавить одну цифру в номер после даты.
foxy_ant ★★ ( 23.10.21 21:38:20 MSK )
Последнее исправление: foxy_ant 23.10.21 21:39:41 MSK (всего исправлений: 1)
Ну повтори prename на свой лад.
Это усложняет регулярное выражение, так лучше не делать.
Моя ошибка, не учёл что «**» — выделение жирным не будет работать в рамках ««`» — выделения кода. Из-за этого ввёл в заблуждение.
Это сработало, но почему-то теперь не срабатывает смена расширения файла. s/Y?_20211019_/N_20211019_1/ меняет первые 2 параметра. Сможете доразложить, а то уже ничего понять не могу. Через что можно добавить третий аргумент?
Кстати, а можно ли запустить 2 rename последовательно, друг за другом в одну строку?
можно ли запустить 2 rename последовательно, друг за другом в одну строку?