How do I copy a folder keeping owners and permissions intact?
With the result that all folders on the external drives are now owned by root:root . How can I have cp keep the ownership and permissions from the original?
12 Answers 12
sudo cp -rp /home/my_home /media/backup/my_home -p same as --preserve=mode,ownership,timestamps --preserve[=ATTR_LIST] preserve the specified attributes (default: mode,ownership,timestamps), if possible additional attributes: context, links, xattr, all Much better to use cp -a . This also includes the -r ecursive flag, but it does more than that—it preserves everything about the file; SELinux attributes, links, xattr, everything. It’s «archive mode.» There are better tools for making a backup, but if you’re using cp for a backup, don’t use anything other than cp -a .
It works, but Patience is Good here. The command will only set everything right when it finishes: While it’s still copying a directory, and you’re running cp as root, the directory will be owned by root. It will only set it to the right permissions when it finishes with this directory.
cp -a doesn’t work on some systems: e.g. OS X, where (in some versions at least) one needed to use cp -pR . On my current OS X system though (10.10.15), cp -a seems to be honored.
If I use cp -a to copy a folder structure then use diff <(getfacl -R folder1) <(getfacl -R folder2) i sill seem to get different access control lists :(
sudo rsync -a /home/my_home/ /media/backup/my_home/ -a, --archive This is equivalent to -rlptgoD. It is a quick way of saying you want recursion and want to preserve almost everything (with -H being a notable omission). The only exception to the above equivalence is when --files-from is specified, in which case -r is not implied. Note that -a does not preserve hardlinks, because finding multiply-linked files is expensive. You must separately specify -H. See this question for a comparison between cp and rsync : https://stackoverflow.com/q/6339287/406686
Note the trailing slashes (see manpage for details).
+1, cp -p is nice, but I like rsync ‘s output so much more in general that I’ve aliased pcp to time rsync —progress -ah . Stands for «progress copy» in my mind. And both accept -r , so it works well for general terminal usage — but unfortunately, not in combination with sudo as shown in this question/answer.
NB: rsync -a , does not preserve extended attributes ( -X ) and no ACLs ( -A ) — the short description says archive mode; equals -rlptgoD (no -H,-A,-X) . E.g. SELinux contexts will not be preserverd without -X . For many use cases this is fine, but if you make a backup of your system partition, missing -X might break quite a lot. As far as I know, cp -a really preserves all file attributes.
Just tested this, while sudo cp -a preserves ownership and groups, sudo rsync -a changes them into root. So, @Perseids is correct.
@JohnHamilton Under Mint, this works perfectly. it only changes ownership and groups later on (I can’t tell when). I’ve just copied my whole /home folder with rsync -aX /home /mnt/sdd/ and it worked like a charm.
Where -a is short for —archive — basically it copies a directory exactly as it is; the files retain all their attributes, and symlinks are not dereferenced ( -d ).
-a, --archive same as -dR --preserve=all I use cp -pdRx which will -p preserve mode, ownership & timestamps, -d preserve links (so you get symlinks instead the file contents copied), -R do it recursively and -x stay on one file system (only really useful if you’re copying / or something with an active mount point).
PS: -R instead of -r is just habit from using ls -lR .
Actually there is a difference between -r and -R . Check the man page (even the particular part too long to be quoted here).
I don’t think there is (although there may once have been and may still be on some versions of Unix). See man7.org/linux/man-pages/man1/cp.1.html It simply says -R, -r, —recursive copy directories recursively .
You can do something like this:
tar cf - my_home | (cd /media/backup; sudo tar xf - ) tar keeps permissions, ownership and directory structure intact, but converts everything into a stream of bytes. You run a «subshell» (the parenthesized commands) that change directory, and then get tar to reverse the conversion. A steam of bytes becomes directories and files with correct ownership and permissions.
@lucidbrot — I would think tar and cp -rp would differ only in corner cases — how they handle symbolic links or other special files, handling extended attributes of some filesystems, or dealing with sparse files.
cp has an option to preserve file ownership. From the manual page of cp :
-p Cause cp to preserve the following attributes of each source file in the copy: modification time, access time, file flags, file mode, user ID, and group ID, as allowed by permissions. Access Control Lists (ACLs) and Extended Attributes (EAs), including resource forks, will also be preserved. The answer is simple: cp has a -p option that preserves permissions (here’s a fish).
But as Wojtek says in his comment, man cp (reading the fine manual) would be a good starting point (want to learn how to fish?).
you can use preserve=all, then your copy will keep all attributes like owner, group and timestamp of your files. So, do your backup safely with the following command.
cp -r --preserve=all /home/my_home /media/backup/my_home I had a similar problem that I wanted to copy a large folder from one hard drive to a new one but took a while for me to consider the different partition formats.
The original was on an ext4 formatted partition on the extraction location was an external drive formatted as exFat . Once I realized this I formatted the external hard drive to ext4 and it worked, but I also used the -h flag for de-refenrencing symlinks.
tar -cf myfolder.tar myfolder cd /path/to/new/harddrive tar -xhf myfolder.tar I was using Ubuntu 22.04, for additional details.
Wanted to share this experience in case someone else finds it helpful.
rsync is good for copying terabytes of data. it adds reusability. And there are flags now to also copy extended attributes which is main issue in other comments.
rsync -aHAXS —info=progress2 —partial SOURCE_DIR DESTINATION_DIR
--hard-links, -H preserve hard links --acls, -A preserve ACLs (implies --perms) --xattrs, -X preserve extended attributes --sparse, -S turn sequences of nulls into sparse blocks This answer seems to be exactly like the accepted answer (save the for sudo call, which however the OP seemes to be necessary . )
Also, you cannot preserve ownerships while copying unless you are root. Otherwise on systems with a per-user disk quota, it would allow an user to fill up other users’ disk quota by making copies of their files, as a form of a local denial-of-service attack.
well ive using Linux Zorin and my issue was trying to copy over my home folder to an external drive while my computer is booted on a iso ( bootable usb drive ) as ive messed up my sdd and it now doest bootup properly so im doing a new install, this time i hope to install windows 7 then zorin OZ successfully or just Zorin OS, im not sure if i should dual boot or do linux with virtual machine.
install caja ( through command line or software store )
run caja as root ( i used command line and run it as ROOT )
copy and paste my files i wanted, skipped the stuff that didnt want to copy and hopefully the ones i dont care about )
for me 20gb of my home folder is taking forever, the few minutes it has been feels like an internity right now.
Hope this helps anyone even with all my rambling here.
Команда cp: правильное копирование папок с файлами в *nix
В этой статье будут раскрыты некоторые неочевидные вещи связанные с использованием wildcards при копировании, неоднозначное поведение команды cp при копировании, а также способы позволяющие корректно копировать огромное количество файлов без пропусков и вылетов.
Допустим нам нужно скопировать всё из папки /source в папку /target.
Первое, что приходит на ум это:
Сразу исправим эту команду на:
Ключ -a добавит копирование всех аттрибутов, прав и добавит рекурсию. Когда не требуется точное воспроизведение прав достаточно ключа -r .
После копирования мы обнаружим, что скопировались не все файлы — были проигнорированы файлы начинающиеся с точки типа:
.profile
.local
.mc
и тому подобные.
Потому что wildcards обрабатывает shell ( bash в типовом случае). По умолчанию bash проигнорирует все файлы начинающиеся с точек, так как трактует их как скрытые. Чтобы избежать такого поведения нам придётся изменить поведение bash с помощью команды:
Чтобы это изменение поведения сохранилось после перезагрузки, можно сделать файл wildcard.sh c этой командой в папке /etc/profile.d (возможно в вашем дистрибутиве иная папка).
А если в директории-источнике нет файлов, то shell не сможет ничего подставить вместо звёздочки, и также копирование завершится с ошибкой. Против подобной ситуации есть опции failglob и nullglob . Нам потребуется выставить failglob , которая не даст команде выполниться. nullglob не подойдёт, так как она строку с wildcards не нашедшими совпадения преобразует в пустую строку (нулевой длины), что для cp вызовет ошибку.
Однако, если в папке тысячи файлов и больше, то от подхода с использованием wildcards стоит отказаться вовсе. Дело в том, что bash разворачивает wildcards в очень длинную командную строку наподобие:
cp -a /souce/a /source/b /source/c …… /targetНа длину командной строки есть ограничение, которое мы можем узнать используя команду:
Получим максимальную длину командной строки в байтах:
…. Maximum length of command we could actually use: 2089314 ….Итак, давайте будем обходиться вовсе без wildcards.
И тут мы столкнёмся с неоднозначностью поведения cp . Если папки /target не существует, то мы получим то, что нам нужно.
Однако, если папка target существует, то файлы будут скопированы в папку /target/source.
Не всегда мы можем удалить заранее папку /target, так как в ней могут быть нужные нам файлы и наша цель, допустим, дополнить файлы в /target файлами из /source.
Если бы папки источника и приёмника назывались одинаково, например, мы копировали бы из /source в /home/source, то можно было бы использовать команду:
И после копирования файлы в /home/source оказались бы дополненными файлами из /source.
Такая вот логическая задачка: мы можем дополнить файлы в директории-приёмнике, если папки называются одинаково, но если они отличаются, то папка-исходник будет помещена внутрь приёмника. Как скопировать файлы из /source в /target с помощью cp без wildcards?
Чтобы обойти это вредное ограничение мы используем неочевидное решение:
Те кто хорошо знаком с DOS и Linux уже всё поняли: внутри каждой папки есть 2 невидимые папки «.» и «..», являющиеся псевдопапками-ссылками на текущую и вышестоящие директории.
- При копировании cp проверяет существование и пытается создать /target/.
- Такая директория существует и это есть /target
- Файлы из /source скопированы в /target корректно.
Поведение этой команды однозначно. Всё отработает без ошибок вне зависимости от того миллион у вас файлов или их нет вовсе.
Выводы
Если нужно скопировать все файлы из одной папки в другую, не используем wildcards, вместо них лучше использовать cp в сочетании с точкой в конце папки-источника. Это скопирует все файлы, включая скрытые и не завалится при миллионах файлов или полном отсутствии файлов.
Послесловие
vmspike предложил аналогичный по результату вариант команды:
ВНИМАНИЕ: регистр буквы T имеет значение. Если перепутать, то получите полную белиберду: направление копирования поменяется.
Благодарности:
- Компании RUVDS.COM за поддержку и возможность публикации в своем блоге на Хабре.
- За изображение TripletConcept. Картинка очень большая и детальная, можно открыть в отдельном окне.
