Linux удалить последние строки

Удалить последнюю строку из файла в Bash

Опция -i не существует в версиях GNU sed старше 3.95, поэтому вы должны использовать ее как фильтр с временным файлом:

cp foo.txt foo.txt.tmp sed '$ d' foo.txt.tmp > foo.txt rm -f foo.txt.tmp 

Конечно, в этом случае вы также можете использовать head -n -1 вместо sed . MacOS: В Mac OS X (по состоянию на 10.7.4) эквивалент команды sed -i выше

В Mac OS X (как в 10.7.4), эквивалент sed -i команды выше sed -i » -e ‘$ d’ foo.txt . Кроме того, head -n -1 настоящее время не будет работать на Mac.

Не могли бы вы объяснить, что делает регулярное выражение $ d? Это вопрос об удалении последней строки, поэтому я думаю, что это самая важная часть для всех, кто просматривает этот вопрос. Спасибо 🙂

@Miro: отнюдь не $ d регулярное выражение. Это команда sed. d — это команда для удаления строки, а $ означает «последнюю строку в файле». При указании местоположения (называемого «диапазон» в sed lingo) перед командой эта команда применяется только к указанному местоположению. Итак, эта команда явно говорит: «в диапазоне последней строки в файле, удалите его». Довольно гладко и прямо к делу, если вы спросите меня.

Когда в конце файла есть несколько пустых строк, кажется, что удаляются последние две пустые строки вместо последней одной пустой строки.

Это, безусловно, самое быстрое и простое решение, особенно в больших файлах:

head -n -1 foo.txt > temp.txt ; mv temp.txt foo.txt 

Если вы хотите удалить верхнюю строку, используйте это:

что означает выходные линии, начинающиеся со строки 2.

Не используйте sed для удаления строк из верхней или нижней части файла — это очень медленно, если файл большой.

head -n -1 не работает на голове bdsutils. по крайней мере, в той версии, которую использует macos, так что это не работает.

@johannes_lalala На Mac вы можете brew install coreutils (основные утилиты GNU) и использовать ghead вместо head .

Вот простой bash-скрипт, который автоматизирует его, если у вас есть несколько файлов с разным количеством строк внизу для удаления: cat TAILfixer FILE=$1; TAIL=$2; head -n -$ $ > temp ; mv temp $ Запустите его для удаления 4 строк, например, из myfile: ./TAILfixer myfile 4 Конечно, сначала сделайте его исполняемым с помощью chmod +x TAILfixer

Спасибо, потому что это сработало, но, несмотря на все сравнения с sed , эта команда тоже чертовски медленная

У меня были проблемы со всеми ответами здесь, потому что я работал с огромным файлом (~ 300 Гбит), и ни одно из решений не масштабировалось. Здесь мое решение:

dd if=/dev/null of= bs=1 seek=$(echo $(stat --format=%s ) - $( tail -n1 | wc -c) | bc ) 

В словах: найдите длину файла, в который вы хотите закончить (длина файла минус длина его последней строки, используя bc ), и установите эту позицию как конец файла ( на dd на один байт /dev/null на него).

Это быстро, потому что tail начинает чтение с конца, а dd будет перезаписывать файл на месте, а не копировать (и анализировать) каждую строку файла, что является тем, что другие решения делают.

ПРИМЕЧАНИЕ. Это удаляет строку из файла на месте! Сделайте резервную копию или проверку на фиктивный файл перед тем, как попробовать его в своем собственном файле!

Я даже не знал о дд. Это должен быть главный ответ. Спасибо вам большое! Обидно, что решение не работает для (заблокированных) сжатых файлов.

Очень, очень умный подход! Просто примечание: он требует и работает с реальным файлом, поэтому его нельзя использовать на каналах, подстановках команд, перенаправлениях и подобных цепочках.

пользователи Mac: dd if = / dev / null of = bs = 1 seek = $ (echo $ (stat -f =% z | cut -c 2-) — $ (tail -n1 | wc -c) | bc)

Источник

Remove the last line from a file in Bash

The -i option does not exist in GNU sed versions older than 3.95, so you have to use it as a filter with a temporary file:

cp foo.txt foo.txt.tmp sed '$ d' foo.txt.tmp > foo.txt rm -f foo.txt.tmp 

Of course, in that case you could also use head -n -1 instead of sed .

On Mac OS X (as of 10.7.4), the equivalent of the sed -i command above is

On Mac OS X (as of 10.7.4), the equivalent of the sed -i command above is sed -i » -e ‘$ d’ foo.txt . Also, head -n -1 won’t currently work on a Mac.

Could you explain what ‘$ d’ regex does? It’s question about removing last line, so I think this is the most important part for everyone viewing this question. Thanks 🙂

@Miro : By no means is $ d a regex. It is a sed command. d is the command for deleting a line, while $ means «the last line in the file». When specifying a location (called «range» in sed lingo) before a command, that command is only applied to the specified location. So, this command explicitly says «in the range of the last line in a file, delete it». Quite slick and straight to the point, if you ask me.

This is by far the fastest and simplest solution, especially on big files:

head -n -1 foo.txt > temp.txt ; mv temp.txt foo.txt 

if You want to delete the top line use this:

which means output lines starting at line 2.

Do not use sed for deleting lines from the top or bottom of a file — it’s very very slow if the file is large.

head -n -1 doesn’t work on bdsutils’ head. at least not in the version macos is using, so this doesn’t work.

@johannes_lalala On Mac, you can brew install coreutils (GNU core utilities) and use ghead instead of head .

Here is a simple bash script that automates it in case you have multiple files with different number of lines at the bottom to delete: cat TAILfixer FILE=$1; TAIL=$2; head -n -$ $ > temp ; mv temp $ Run it for deleting 4 lines for instance from myfile as: ./TAILfixer myfile 4 of course first make it executable by chmod +x TAILfixer

Thumbs up because it worked, but for all the comparison to sed , this command is pretty darn slow as well

For large files

I had trouble with all the answers here because I was working with a HUGE file (~300Gb) and none of the solutions scaled. Here’s my solution:

filename="example.txt" file_size="$(stat --format=%s "$filename")" trim_count="$(tail -n1 "$filename" | wc -c)" end_position="$(echo "$file_size - $trim_count" | bc)" dd if=/dev/null of="$filename" bs=1 seek="$end_position" 

Or alternatively, as a one liner:

dd if=/dev/null of= bs=1 seek=$(echo $(stat --format=%s ) - $( tail -n1 | wc -c) | bc ) 

In words: Find out the length of the file you want to end up with (length of file minus length of length of its last line, using bc ), and set that position to be the end of the file (by dd ing one byte of /dev/null onto it).

This is fast because tail starts reading from the end, and dd will overwrite the file in place rather than copy (and parse) every line of the file, which is what the other solutions do.

NOTE: This removes the line from the file in place! Make a backup or test on a dummy file before trying it out on your own file!

Источник

Команда Sed для удаления строки

Добавить в избранное

Главное меню » Команда Sed для удаления строки

S ed — это встроенный в Linux инструмент для работы с текстом. Термин sed означает «редактор потока». Несмотря на название, sed сам по себе не является текстовым редактором. Вместо этого он принимает текст в качестве входных данных, выполняет различные модификации текста в соответствии с инструкциями и распечатывает выходные данные.

Эта статья продемонстрирует, как использовать sed для удаления строки из текста.

Sed в Linux

Полное имя sed дает нам представление о методе его работы. Sed принимает вводимый текст как «поток». Текст может поступать откуда угодно — из текстового файла или стандартного вывода (STDOUT). После ввода данных sed работает с ним построчно.

Для демонстрации я сгенерировал простой текстовый файл.

Удаление строки с помощью sed

Чтобы удалить строку, мы воспользуемся командой sed «d». Обратите внимание, что вы должны объявить, какую строку нужно удалить. В противном случае sed удалит все строки.

Удалить одну строку

Следующая команда sed удалит первую строку текста.

В основном, чтобы удалить строку, вам нужен номер строки целевой строки. Удалим строку 5.

Чтобы удалить последнюю строку текстового файла, вместо ручного вычисления номера строки используйте «$».

Удалить диапазон строки

Sed может удалить ряд строк. Здесь минимальное значение строки равно 1, а максимальное значение строки — 5. Чтобы объявить диапазон, мы используем запятую (,).

Удалить несколько строк

Что, если строки, которые вы хотите удалить, не находятся в фиксированном диапазоне? Взгляните на следующую команду sed. Обратите внимание, что мы используем точку с запятой (;) в качестве разделителя. По сути, каждый параметр с разделителями представляет собой отдельную команду sed.

Удалить все строки, кроме указанного диапазона

В следующем примере sed сохранит только строки, описанные в диапазоне. Здесь, «!» — оператор отрицания, указывающий sed сохранить определенные строки.

Удалить пустые строки

Если в тексте есть несколько пустых или пустых строк, следующая команда sed удалит их все.

Удалить линии по шаблону

Sed может искать определенный узор и выполнять указанные действия на линии. Мы можем использовать эту функцию для удаления определенных строк, соответствующих шаблону.

Давайте посмотрим на следующую демонстрацию. Sed удалит любую строку, содержащую строку «the».

Мы также можем описать несколько строк для поиска. Каждая строка разделяется символом «\|».

Удалить строки, начинающиеся с определенного символа

Чтобы обозначить начало строки, мы будем использовать символ каретки (^).

Следующая команда sed удалит все строки, начинающиеся с цифры. Здесь группа символов «[:digit:]» описывает все цифры (0–9).

Мы также можем описать несколько символов для действительного совпадения. В следующем примере будут найдены все строки, начинающиеся с «t» и «b».

В следующем примере показано, как удалить все строки, начинающиеся с символа верхнего регистра. Здесь мы используем группу символов верхнего регистра «[: upper:]».

Если целевые строки содержат символы нижнего регистра в начале, используйте группу символов нижнего регистра «[: lower:]».

Удалить строки, заканчивающиеся определенным символом

Чтобы обозначить конец строки, мы можем использовать символ «$». Он описывает совпадение с последним вхождением шаблона.

В следующем примере sed удалит строки, заканчивающиеся на «e».

Попробуем поискать по нескольким символам.

Удаление строк, соответствующих шаблону, и следующей строки

Мы уже продемонстрировали, как удалить строку, если шаблон совпадает. Мы также можем расширить и удалить следующую строку.

Ознакомьтесь со следующей командой sed.

Sed будет соответствовать строке, содержащей «the», и также удалит следующую строку.

Удаление строки от совпадения с шаблоном до конца

Мы можем расширить предыдущий пример, чтобы приказать sed удалить все строки, начиная с первого совпадения шаблона.

Здесь sed удалит строку, которая соответствует шаблону «первая» и все последующие строки.

Последняя мысль

Sed — простой инструмент. Однако он может творить чудеса благодаря поддержке регулярных выражений. Sed также легко интегрируется в различные скрипты.

Это было всего лишь краткое руководство, демонстрирующее одну из функций sed — удаление строк. С помощью sed вы можете делать множество других вещей.

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Источник