Поиск файлов по содержимому в Linux
Иногда может понадобится найти файл, в котором содержится определённая строка или найти строку в файле, где есть нужное слово. Это может понадобится для поиска логов, поиска конфигурационных файлов, если вы не знаете где они находятся или для поиска файлов с программным кодом.
Раньше для этих целей использовалась только утилита grep, однако сейчас существует огромное количество других программ, которые могут делать это быстрее и предоставляют более удобный интерфейс. В этой статье мы рассмотрим самые интересные из них и несколько примеров как ими пользоваться.
Поиск файлов по содержимому в Linux
Все утилиты в этой статье работают только в терминале. Если вас интересуют приложения с графическим интерфейсом, посмотрите статью поиск файлов в Linux. Большинство описанных ниже команд имеют примерно одинаковый синтаксис:
$ команда опции паттерн /путь/к/папке
Паттерн для поиска может быть обычным словом, но большинство команд ожидают, что это будет регулярное выражение, поэтому если в вашем запросе есть спец. символы, вы можете получить в результате не то, что ожидаете. Путь к папке, как правило, указывать не обязательно, тогда команды используют текущую папку для поиска. А теперь давайте рассмотрим каждую команду подробнее.
1. Grep
Прежде чем перейти к современным утилитам, давайте рассмотрим команду grep. Она входит в набор программ GNU и используется для поиска строк в файлах и файлов по их содержимому уже очень давно.
По умолчанию grep фильтрует один файл или стандартный ввод. Для того чтобы выполнять поиск в папке по нескольким файлам, нужно включить рекурсивный поиск с помощью опции -r. Например, найдем все файлы в папке /etc/, которые содержат строку root:
sudo grep -r «root» /etc/
Команда grep не подсвечивает вхождения символов которое вы искали цветом, для этого можно использовать опцию —color=always. Но в большинстве дистрибутивов эта опция уже прописана в алиасе для этой команды, поэтому вывод будет выглядеть вот так:
sudo grep —color=always -r «root» /etc/
С помощью опции -С или —context вы можете включить отображение не только текущей строки, в которой было найдено вхождение но и нескольких строк до и после. В этом параметре надо указать количество строк для отображения:
sudo grep -r -С2 «root» /etc/
По умолчанию grep ожидает, что поисковый запрос может быть регулярным выражением, но поддерживается только базовый синтаксис. Для включения расширенного синтаксиса нужно использовать опцию -E. Например, для того чтобы найти все файлы содержащие переменные, начинающиеся на букву A в папке /etc/ выполните:
sudo grep -r -E «^A[A-Z_]+\ wp-block-image size-large»>
А для того чтобы искать именно фиксированную строку, а не регулярное выражение используйте опцию -F или команду fgrep. Например, так можно найти все файлы содержащие секцию [Install] в папке /usr/:
sudo grep -r -F «[Install]» /usr/
2. Ripgrep
Это популярная альтернатива grep написанная на Rust. Она может делать всё то же самое что и grep, но быстрее, а ещё её гораздо удобнее использовать. Рекурсивный поиск включён по умолчанию, и подсветка вхождений и имени файла разными цветами тоже работает без дополнительных опций, а также она пропускает скрытые файлы, бинарные файлы и файлы, перечисленные в .gitignore. Для установки ripgrep в Ubuntu используйте такую команду:
Если вы выполните команду, указав путь к файлу, то она найдёт и отобразит все вхождения искомого слова в этом файле. Например:
sudo rg root /etc/passwd
Если же передать папку, то команда будет искать во всех файлах, которые находятся в этой папке. По умолчанию используется текущая папка. Например, для того чтобы найти все файлы, содержащие слово «root» в каталоге /etc/ используйте такую команду:
sudo rg root /etc/
Также, как и при использовании grep, можно отобразить не только строку со вхождением но и несколько строк до и после. Например, по две:
sudo rg -C2 root /etc/
А вот полный синтаксис регулярных выражений здесь работает по умолчанию. Например:
sudo rg «^A[A-Z_]+ wp-block-image size-large»>
Если же вы хотите указать что надо искать именно строку, а не регулярное выражение, используйте опцию -F:
sudo rg -F «[Install]» /usr/
3. Ack
Если вам нужно найти файл с исходным кодом зная строку, которая в нём есть, то для этого существуют более подходящие утилиты чем grep. Например, ack. Она появилась уже довольно давно и предназначена именно для работы с исходным кодом. Кроме всех возможностей grep она позволяет пропускать файлы резервных копий, внутренние файлы репозиториев .git и .svn, а также дампы памяти. Кроме того, вы можете выбрать типы файлов, в которых будет выполняться поиск и даже указать определённую часть файла. Для установки программы в Ubuntu используйте такую команду:
Самый простой пример — поиск всех файлов содержащих слово root в папке /etc/:
Или же регулярное выражение, как в предыдущем разделе для поиска файлов с переменными, начинающимися на букву A:
sudo ack «^A[A-Z_]+ wp-block-image size-large»>
Для того чтобы вывести не только строку с вхождением, но и строки до и после неё используйте опцию -C. По умолчанию выводится по две строки:
sudo ack -C «root» /etc/
Команда ack позволяет указать тип файлов, в которых надо выполнять поиск. Это очень удобно для поиска по исходникам. Вы можете выбрать только исходные файлы Си, JavaScript или PHP и так далее. Все доступные типы файлов можно посмотреть с помощью команды:
ack —help-types
Например, для того чтобы выполнять поиск только в XML файлах используйте опцию —type со значением xml:
sudo ack —type=xml «root» /etc/
Ещё одна интересная возможность утилиты ack — настройка частей файла, в которых будет выполняться поиск с помощью регулярного выражения. Для этого предназначены опции —range-start и —range-end и это будет работать как в рамках одной строки так и в рамках всего файла. Например, для поиска только в комментариях XML файлов можно использовать такую команду:
sudo ack —type=xml —range-start=»\» «root» /etc/
4. Sliver Searcher
На данный момент это одна из самых популярных программ для поиска текста по файлам в Linux. Она была спроектирована в качестве альтернативы для ack, как инструмент для поиска кода. В дополнение к основным возможностям ack, она значительно быстрее и учитывает настройки исключений из файлов .gitignore и .hgignore. Для установки программы в Ubuntu используйте такую команду:
sudo apt install silversearcher-ag
Рассмотрим тот же пример, что и в предыдущих разделах. Для того чтобы найти все файлы содержащие слово root в папке /etc/ выполните:
sudo ag «root» /etc/
Аналогично grep и ripgrep, ag ожидает регулярное выражение в качестве паттерна поиска, поэтому вы можете использовать его без каких либо дополнительных опций. Например:
sudo ag «^A[A-Z_]+ wp-block-image size-large»>
Но если вы хотите чтобы поисковый запрос рассматривался именно как строка, используйте опцию -Q. Например, для поиска всех файлов, содержащих секцию [Install] в папке /usr/ выполните:
sudo ag -Q «[Install]» /usr/
Здесь тоже можно вывести несколько строк до и после строки со вхождением с помощью опции -С.
В отличие от grep и ripgrep, команда ag позволяет указать тип файлов в которых вы хотите выполнять поиск. Посмотреть все доступные типы файлов можно с помощью такой команды:
ag —list-file-types
Например, для того чтобы искать только по ini файлам используйте такую команду:
sudo ag —ini «root» /etc/
Утилита также позволяет использовать регулярное выражение для фильтрации файлов по имени перед тем как выполнять поиск по содержимому. Для этого нужно использовать опцию -G. Например для того чтобы выполнять поиск только по файлам, имя которых заканчивается на conf, выполните:
sudo ag -G .*\.conf$ root /etc/
5. Skim
Это ещё одна интересная утилита для нечеткого поиска в реальном времени, написанная на Rust. По умолчанию она ищет файлы по имени, но её можно использовать вместе с одной из выше перечисленных утилит для поиска файлов по содержимому в реальном времени. Пакета с программой пока нет в официальных репозиториях, но вы можете установить её с помощью cargo:
Команда выполняет поиск только в текущей папке и указать другую папку нельзя, поэтому нужно сначала перейти в нужную папку используя команду cd. Например:
Затем используйте такую команду для того чтобы объединить sk с Silver Searcher для фильтрации файлов по содержимому:
Здесь опция —ansi включает отображение цветов, -i включает интерактивный режим, а опция -c задает команду, которая будет выполнена при вводе какого-либо запроса, строка <> будет заменена на то, что вы введете при поиске. Просто выполните команду и начинайте вводить слово которое хотите искать:
Дальше вы можете использовать все функции фильтрации нечеткого поиска для обработки результатов.
Производительность grep, rg, ack и ag
Перед завершением статьи хочу привести небольшой тест производительности выше перечисленных утилит для поиска текста по файлам в Linux. Я скачал и распаковал исходники ядра Linux версии 6.2.10, а затем использовал каждую из утилит для того чтобы найти все файлы, которые содержат слово ext4 и btrfs. Между разными утилитами система перезагружалась, для того чтобы исключить влияние кэша. Вот результаты:
| Команда | Время, с | Команда | Время, с |
| grep -r ext4 ./ | 23.167 | grep -r btrfs ./ | 3.860 |
| rg ext4 ./ | 27.164 | rg btrfs ./ | 1.387 |
| ack ext4 ./ | 36.141 | ack btrfs ./ | 7.206 |
| ag ext4 ./ | 24.594 | ag btrfs ./ | 3.158 |
Как видите, сразу после запуска системы все команды работают примерно одинаково. Однако после того, утилиты, написанные на Rust эффективнее используют кэш, поскольку при повторных запусках для того же набора файлов работают быстрее аналогов на Си.
Выводы
В этой статье были рассмотрены самые часто используемые утилиты для поиска файлов по содержимому и поиска текста в файлах в Linux. Как видите, существует достаточно инструментов чтобы было из чего выбрать. Все команды довольно похожие, но каждая из них имеет свои особенности. А что используете вы? Напишите в комментариях!
Обнаружили ошибку в тексте? Сообщите мне об этом. Выделите текст с ошибкой и нажмите Ctrl+Enter.
Find text in files using the Linux grep command
Using grep, you can quickly find text matching a regular expression in a single file, a group of files, or text coming from stdin.
Searching for patterns of text in files or text streams is one of the most common tasks you’ll perform in your sysadmin career. This is a valuable skill that allows you to check a variety of system configurations, analyze data, troubleshoot logs, and perform many other activities.
Training & certification
The most common way to find text in a Linux system is using the command-line utility grep . This utility was originally developed for the Unix operating system in the early 1970s. Grep evolved over the years, and the most common version available today for Linux, GNU grep, has additional features such as colored output. However, its main functionality is still the same.
Using grep , you can quickly find text matching a regular expression in a single file, a group of files, or text coming from stdin using the shell pipe operator.
This article covers how to use the grep command to find text.
Find text in a file
The most basic way to use grep is searching for text in a single file. To do this, type grep followed by the text pattern to search for and the file name to search in. For example, to find which port the Secure Shell (SSH) daemon uses, search for Port in file /etc/ssh/sshd_config :
$ grep Port /etc/ssh/sshd_config Port 22 #GatewayPorts noNotice that grep finds all lines that match the text pattern regardless of where the pattern is located.
Extend grep with regular expressions
In the previous example, when you searched for Port in the SSH configuration file, grep returned two lines. The line you were looking for, Port 22, and an additional line containing the search pattern. In some cases, that’s exactly what you want. In other cases, grep could find too many entries that you’re not interested in, requiring you to sort through them to find the desired information.
To avoid that, you can use regular expressions to be more specific about what you’re looking for. For example, to find only lines that start with the word Port , you can use the regular expression operator ^ , like this:
$ grep ^Port /etc/ssh/sshd_config Port 22