Tar and split linux

Split and Join tar.gz file on Linux

One time, when we want to uploading a file, we are having difficulties because the file size is too large and our internet speed is so slow. Therefore, we must split our file into some small parts so we can upload it per small parts. How to do this?

First, we must compress the file with tarball archiver.

$ tar -cvvzf .tar.gz /path/to/folder

This command file archive our folder to *.tar.gz. We can use file instead of path to folder for the argument. Then we will split up our file archive into small parts.

$ split -b 1M .tar.gz “parts-prefix”

-b 1M will split the file into 1 Megabytes size of file.The “part-prefix” will give the prefix name of our parts of file.

We have a video file name video.avi that have size of 30 MB. We will split it into 5 MB per parts. We can do :

$ tar -cvvzf test.tar.gz video.avi

$ split -v 5M test.tar.gz vid

This command will create the archive file name test.tar.gz. Then, it will split into (approximately) six parts of 5MB file. They have prefix “vid”, so the result will be vidaa, vidab, vidac, vidad, vidae, and vidaf. We can use number instead of letter on the suffix by adding -d option on the split command

$ split -v 5M -d test.tar.gz video.avi

to join this file, we can use cat command.

$ cat vid* > test.tar.gz

Источник

How to Split Large ‘tar’ Archive into Multiple Files of Certain Size

Are you worried of transferring or uploading large files over a network, then worry no more, because you can move your files in bits to deal with slow network speeds by splitting them into blocks of a given size.

In this how-to guide, we shall briefly explore the creation of archive files and splitting them into blocks of a selected size. We shall use tar , one of the most popular archiving utilities on Linux and also take advantage of the split utility to help us break our archive files into small bits.

Before we move further, let us take note of, how these utilities can be used, the general syntax of a tar and split command is as follows:

# tar options archive-name files # split options file "prefix”

Let us now delve into a few examples to illustrate the main concept of this article.

Example 1: We can first of all create an archive file as follows:

$ tar -cvjf home.tar.bz2 /home/aaronkilik/Documents/*

To confirm that out archive file has been created and also check its size, we can use ls command:

Then using the split utility, we can break the home.tar.bz2 archive file into small blocks each of size 10MB as follows:

$ split -b 10M home.tar.bz2 "home.tar.bz2.part" $ ls -lh home.tar.bz2.parta*

As you can see from the output of the commands above, the tar archive file has been split to four parts.

Note: In the split command above, the option -b is used to specify the size of each block and the «home.tar.bz2.part» is the prefix in the name of each block file created after splitting.

Example 2: Similar to the case above, here, we can create an archive file of a Linux Mint ISO image file.

$ tar -cvzf linux-mint-18.tar.gz linuxmint-18-cinnamon-64bit.iso

Then follow the same steps in example 1 above to split the archive file into small bits of size 200MB .

$ ls -lh linux-mint-18.tar.gz $ split -b 200M linux-mint-18.tar.gz "ISO-archive.part" $ ls -lh ISO-archive.parta*

Example 3: In this instance, we can use a pipe to connect the output of the tar command to split as follows:

$ tar -cvzf - wget/* | split -b 150M - "downloads-part"

In this last example, we do not have to specify an archive name as you have noticed, simply use a — sign.

How to Join Tar Files After Splitting

After successfully splitting tar files or any large file in Linux, you can join the files using the cat command. Employing cat is the most efficient and reliable method of performing a joining operation.

To join back all the blocks or tar files, we issue the command below:

# cat home.tar.bz2.parta* >backup.tar.gz.joined

We can see that after running the cat command, it combines all the small blocks we had earlier on created to the original tar archive file of the same size.

Conclusion

The whole idea is simple, as we have illustrated above, you simply need to know and understand how to use the various options of tar and split utilities.

You can refer to their manual entry pages of to learn more other options and perform some complex operations or you can go through the following article to learn more about tar command.

For any questions or further tips, you can share your thoughts via the comment section below.

Источник

🗃️ Как разбить tar-архив на несколько блоков определенного размера на Linux

Архивы tar можно разделить на несколько архивов определенного размера, что удобно, если вам нужно поместить на диски большой объем содержимого.

Это также полезно, если у вас есть огромный архив, который вам нужно загрузить, но вы предпочитаете делать это по частям.

В этом руководстве мы покажем вам команды, необходимые для разделения архивов tar на несколько блоков в системе Linux.

Это будет работать независимо от того, какой тип сжатия (или его отсутствие) вы используете.

Таким образом, файлы с расширениями, такими как .tar, tar.gz, tar.xz и т. д., иожно разбить на части.

Мы также покажем вам, как извлекать файлы из архивов, разделенных на множество файлов.

В этом руководстве вы узнаете:

Как разделить архивы tar на несколько блоков

Чтобы разделить архивы tar на несколько файлов, мы передадим нашей команде tar команду split.

Давайте посмотрим на пример.

Эта команда разделит tar-архив, сжатый gzip, на блоки по 5 МБ:

$ tar cvzf - example-dir/ | split --bytes=5MB - myfiles.tar.gz.

$ ls myfiles* myfiles.tar.gz.aa myfiles.tar.gz.ac myfiles.tar.gz.ae myfiles.tar.gz.ag myfiles.tar.gz.ab myfiles.tar.gz.ad myfiles.tar.gz.af

Что действительно важно, так это то, что вы также включили параметр -, который отправляет вывод tar в stdout.

Утилита split может затем интерпретировать эти данные и разбить их на несколько файлов определенного размера.

Если вам нужно разделить ваши архивы на другой размер, просто укажите правильный размер после параметра –bytes = в команде split.

Как открыть разбитые на части архивы tar

Чтобы открыть только что созданный разделенный tar-архив, вы можете использовать команду cat, переданную по пайпу команде tar.

$ cat myfiles.tar.gz.* | tar xzvf -

Параметры, которые вы используете с tar, должны быть тем, что вы обычно используете для извлечения архива, вместе с параметром -.

В нашем случае мы извлекаем tar-архив, который был сжат с помощью gzip, поэтому мы используем xzvf.

Заключение

В этом руководстве мы увидели, как создавать tar-архивы в Linux и разбивать их на несколько блоков определенного размера.

Команды tar и split идеально подходят для этой работы.

Это та самая тема в Linux о двух или более командах, которые нужно связать вместе для достижения единой цели, и это прекрасный пример этого.

itisgood

📜 Сколько Килобайт в 1 Мегабайте?

🔋 Как получать уведомление о состоянии аккумулятора, когда батарея полная или разряженная

You may also like

📜 Чтение файла построчно на Bash

📧 В чем разница между IMAP и POP3

✔️ Как управлять контейнерами LXD от имени обычного.

📜 Руководство для начинающих по созданию первого пакета.

Феноменальная популярность электроники Xiaomi: основные причины

📜 Получение вчерашней даты в Bash: Практическое руководство

Использование специальных гелей при мышечных болях

📦 Как расширить/увеличить файловую систему VxFS на Linux

Услуги по размещению серверного оборудования в ЦОД

Для чего выполняется ИТ консалтинг на предприятиях?

Leave a Comment Cancel Reply

• Свежие записи

• Категории

• Теги

• itsecforu.ru

• Страны посетителей

IT is good

В этой статье вы узнаете, как удалить удаленный Git-репозиторий. Процесс прост, но его полезно запомнить, чтобы избежать неожиданностей в будущем. Git – это…

В 11-й версии своей операционной системы Microsoft серьезно переработала интерфейс и убрала несколько привычных функций. Нововведения не всем пришлись по душе. Мы дадим…

Продажа ноутбука нередко становится хлопотным занятием. Кроме поиска покупателя, продавцу необходимо подготовить устройство перед проведением сделки. Но если последовательно выполнить все шаги, ничего…

Вы можете оказаться в ситуации, когда вам нужно использовать скрипт шелла для чтения файлов построчно. В этом руководстве я расскажу о нескольких способах…

Вторичное жильё выгоднее для молодых семей, желающих приобрести свою первую квартиру. Сталкиваясь с ипотечным кредитованием, можно избежать много лишней суеты и проблем, если…

Источник

Split files using tar, gz, zip, or bzip2 [closed]

I need to compress a large file of about 17-20 GB. I need to split it into several files of around 1GB per file. I searched for a solution via Google and found ways using split and cat commands. But they did not work for large files at all. Also, they won’t work in Windows; I need to extract it on a Windows machine.

Many compression programs (e.g. like 7-Zip) is able to split the compressed file into volumes of a specified size for easier distribution.

If one of the two viable solutions posted here doesn’t pan out, he’ll be needing a programming solution.

4 Answers 4

You can use the split command with the -b option:

It can be reassembled on a Windows machine using @Joshua’s answer.

copy /b file1 + file2 + file3 + file4 filetogether 

Edit: As @Charlie stated in the comment below, you might want to set a prefix explicitly because it will use x otherwise, which can be confusing.

split -b 1024m "file.tar.gz" "file.tar.gz.part-" // Creates files: file.tar.gz.part-aa, file.tar.gz.part-ab, file.tar.gz.part-ac, . 

Edit: Editing the post because question is closed and the most effective solution is very close to the content of this answer:

# create archives $ tar cz my_large_file_1 my_large_file_2 | split -b 1024MiB - myfiles_split.tgz_ # uncompress $ cat myfiles_split.tgz_* | tar xz 

This solution avoids the need to use an intermediate large file when (de)compressing. Use the tar -C option to use a different directory for the resulting files. btw if the archive consists from only a single file, tar could be avoided and only gzip used:

# create archives $ gzip -c my_large_file | split -b 1024MiB - myfile_split.gz_ # uncompress $ cat myfile_split.gz_* | gunzip -c > my_large_file 

For windows you can download ported versions of the same commands or use cygwin.

Источник