Open file limits linux

How to Change Open File Limit in Linux

In Linux, there are limits defined by the system for anything that consumes resources. For example, there are limits on how many arguments can be passed to a certain command, how many threads can run at the same time, etc.

Similarly, there is a limit on the number of open files. As you might know, an open file is actively being used in some of the other programs and hence consumes memory.
You can view and modify the open file limit with the command ‘ulimit‘.

Now, there are two types of limits defined: Hard limit and Soft limit.

• The hard limit for open files is a statically set value, and can only be altered by the ‘root‘ user of Linux.
• The soft limit is one that can be altered by processes dynamically, i.e., in the runtime, if the process is in need of more open files than the number allowed by the soft limit.

Needless to say, a soft limit is something that could lead to security issues.

Check Open File Limits in Linux

To view or list the hard limit of files, run:

Similarly, for viewing soft limit, run:

Here the ‘S’ and ‘H’ stand for soft and hard limits respectively, whereas the ‘n’ denotes the number of open files.

Change Open File Limits in Linux

Let’s now try to modify these limits by simply adding a third argument for the new value of the limit after ‘Sn’ or ‘Hn’ .

$ ulimit -Sn 5000 $ ulimit -Hn 5000

However, the limits altered in this way remain modified temporarily till the session (i.e. the terminal) is open. Follow the steps below to permanently modify the limits.

Permanently Set Open File Limits in Linux

Open the file ‘/etc/security/limits.conf‘ in ‘vim‘ or any editor of your choice. Note that this is a write-protected file and should be opened with ‘sudo‘ or as an administrator.

$ sudo vim /etc/security/limits.conf

Note that the limits can be set for all users, or for individual users. The syntax to set a hard limit is:

The ‘*’ is signifying that the limit is for all users. The second string on the line is a type of limit, which is ‘hard’ in this case.

The third string is the limit that we want to modify. In our case, it is ‘nofile’, i.e. number of files. Like this other limits can also be set here, Eg. ‘noproc’ for a number of processes. Finally, the fourth string is the new limit to be set for the number of files.

If you want to set the limit only for a particular user, you can do so like the following:

Here ‘abhi’ is the name of the user.

Now, we will add these lines to the file and then see if the limit has been altered.

These limits will require the user to logout and log back in, as the older limits are still being considered by running programs. Run ulimit again to verify if the limits are indeed changed.

Conclusion

In this article, we have seen how to change the limit on the number of open files in Linux. Run ‘ulimit —help’ if you want to know the command in more detail.

Thanks for reading, and let us know your thoughts or questions in the comments below!

Источник

How to Increase Number of Open Files Limit in Linux

In Linux, you can change the maximum amount of open files. You may modify this number by using the ulimit command. It grants you the ability to control the resources available for the shell or process started by it.

In this short tutorial we will show you how to check your current limit of open files and files descriptions, but to do so, you will need to have root access to your system.

First, Lets see how we can find out the maximum number of opened file descriptors on your Linux system.

Find Linux Open File Limit

# cat /proc/sys/fs/file-max 818354 

The number you will see, shows the number of files that a user can have opened per login session. The result might be different depending on your system.

For example on a CentOS server of mine, the limit was set to 818354, while on Ubuntu server that I run at home the default limit was set to 176772.

If you want to see the hard and soft limits, you can use the following commands:

Check Hard Limit in Linux

# ulimit -Hn 4096 

Check Soft Limits in Linux

# ulimit -Sn 1024 

To see the hard and soft values for different users, you can simply switch user with “su” to the user which limits you want to check.

# su marin $ ulimit -Sn 1024 

$ ulimit -Hn 4096 

How to Check System wide File Descriptors Limits in Linux

If you are running a server, some of your applications may require higher limits for opened file descriptors. A good example for such are MySQL/MariaDB services or Apache web server.

You can increase the limit of opened files in Linux by editing the kernel directive fs.file-max . For that purpose, you can use the sysctl utility.

For example, to increase open file limit to 500000, you can use the following command as root:

You can check the current value for opened files with the following command:

With the above command the changes you have made will only remain active until the next reboot. If you wish to apply them permanently, you will have to edit the following file:

Of course, you can change the number per your needs. To verify the changes again use:

Users will need to logout and login again for the changes to take effect. If you want to apply the limit immediately, you can use the following command:

Set User Level Open File limits in Linux

The above examples, showed how to set global limits, but you may want to apply limits per user basis. For that purpose, as user root, you will need to edit the following file:

If you are a Linux administrator, I suggest you that you become very familiar with that file and what you can do to it. Read all of the comments in it as it provides great flexibility in terms of managing system resources by limiting users/groups on different levels.

The lines that you should add take the following parameters:

Here is an example of setting a soft and hard limits for user marin:

## Example hard limit for max opened files marin hard nofile 4096 ## Example soft limit for max opened files marin soft nofile 1024 

Final thoughts

This brief article showed you a basic example of how you can check and configure global and user level limits for maximum number of opened files.

While we just scratched the surface, I highly encourage you to have a more detailed look and read regarding /etc/sysctl.conf and /etc/security/limits.conf and learn how to use them. They will be of great help for you one day.

Источник

Увеличить Max Open File Limit в Unix/Linux

Несколько раз я сталкивался с ошибкой «Too many open files»(Слишком много открытых файлов) на сервере с высокой нагрузкой. Это означает, что сервер исчерпывает ресурс на максимальный предел открытых файлов (max open file limit). Теперь вопрос в том, как я могу увеличить лимиты открытых файлов на Linux? Да все очень просто, в своей статье «Увеличить Max Open File Limit в Unix/Linux» покажу как это выполняется.

Увеличить Max Open File Limit в Unix/Linux

Приведу команды на различные Unix/Linux ОС

Увеличить Max Open File Limit в Linux

Для начала проверим какой предел установлен в ОС:

Увеличиваем данный предел в Linux

Мы можем увеличить лимиты для открытых файлов:

Если есть необходимость увеличить лимит временно (для тестирования, например), то можно это сделать так:

# echo "500000" > /proc/sys/fs/file-max

Если есть необходимость увеличить лимит навсегда, то можно это сделать так:

# vim /etc/sysctl.conf [. ] fs.file-max = 500000 [. ]

Эти настройки будут сохраняться даже после перезагрузки системы. После добавления конфигурации в файл, выполните следующую команду, чтобы изменения вступили в силу:

Настройка лимитов для каждого пользователя

# vim /etc/security/limits.conf

* hard nofile 500000 * soft nofile 500000 root hard nofile 500000 root soft nofile 500000

Проверка установленных лимитов

Используйте следующую команду, чтобы увидеть максимальное чисто для открытых файлов:

Подключаемся от пользователя (у меня это nginx):

Проверяем параметры Hard лимитов :

В консоле, можно ввести данную команду (очень удобно отображает):

# for pid in `pidof nginx`; do echo "$(< /proc/$pid/cmdline)"; egrep 'files|Limit' /proc/$pid/limits; echo "Currently open files: $(ls -1 /proc/$pid/fd | wc -l)"; echo; done

Проверяем параметры лимитов Soft :

Увеличить Max Open File Limit в Mac OS X

Выполним проверку лимитов с помощью:

Увеличюем nginx worker_rlimit_nofile в nginx ( на уровне Nginx)

В nginx также можно увеличить лимиты с директивой worker_rlimit_nofile, которая позволяет увеличить этот лимит, если это не хватает данного ресурса на лету на уровне процесса:

И прописываем (редактируем):

# set open fd limit to 30000 worker_rlimit_nofile 30000;

После чего, проверяем конфигурацию nginx и перезапускаем его:
Save and close the file. Reload nginx web server, enter:

# nginx -t && service nginx -s reload

В комментариях писали что нельзя установить данные лимиты для Kali Linux. Вот, решил показать наглядный пример:

Включение ограничений на основе PAM в Unix/Lixux

Для Debian/Ubuntu

Редактируем файл (Debian/Ubuntu):

session required pam_limits.so

# vim /etc/security/limits.conf

* soft nofile 65536 * hard nofile 200000

Для CentOS/RedHat/Fedora

Редактируем файл (Debian/Ubuntu):

session required pam_limits.so

# vim /etc/security/limits.conf

* soft nofile 65536 * hard nofile 200000

У меня все! Статья «Увеличить Max Open File Limit в Unix/Linux», завершено.

3 thoughts on “ Увеличить Max Open File Limit в Unix/Linux ”

Мужикам на картинке к статье явно не повезло. Свет приглушён, явно видно зелёный оттенок табличек аварийного освещения — либо дело за полночь, либо у них блекаут и работают от дизеля. Сидят за консолью. По сети, оно, похоже, уже не отвечает. Плохо дело. Стул притащили. Значит, давно не отвечает. Надо было прописать MAX OPEN FILE LIMIT заранее, а не когда уже навернулось.

Добавить комментарий Отменить ответ

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.

Рубрики

• Arch Linux (167)
• Commands (36)
• Debian's (635)
  • Administration tools Ubuntu (37)
  • Backups Debian's (7)
  • Database в Ubuntu (58)
  • Games (игры) (1)
  • Monitoring в Debian и Ubuntu (49)
  • Virtualization в Ubuntu / Debian/ Linux Mint (41)
    • Docker (22)
    • Kubernetes (6)
    • KVM (4)
    • OpenVZ (3)
    • Vagrant (5)
    • VirtualBox (6)
    • ArgoCD (1)
    • Concourse (1)
    • Gitlab (1)
    • Jenkinks (4)
    • Spinnaker (1)
    • Apache (32)
    • Cherokee (1)
    • FTP-services (5)
    • Lighttpd (1)
    • Nginx (26)
    • PHP (27)
    • Proxy для Debian's (2)
    • Tomcat (4)
    • Панели управления в Ubuntu/Debian/Mint (24)
    • Установка и настройка почты на Ubuntu/Debian (12)
    • Хранилища (clouds) (2)
    • Administration tools freeBSD (19)
    • Database во FreeBSD (52)
    • Monitoring во freeBSD (37)
    • Virtualization во FreeBSD (22)
    • VoIP (1)
    • Установка Web сервисов (91)
    • Установка и настройка почты (6)
    • Установка из ports (пакетов) (19)
    • Установка из sorce code (исходников) (23)
    • Непрерывная интеграция (CI) (27)
    • Database в MacOS (36)
    • Monitoring в Mac OS (31)
    • Security (безопасность) (12)
    • Virtualization в Mac OS (30)
      • Docker (19)
      • Kubernetes (6)
      • Vagrant (5)
      • VirtualBox (5)
      • ArgoCD (1)
      • CircleCI (1)
      • Concourse (1)
      • Gitlab (1)
      • Jenkinks (4)
      • Spinnaker (1)
      • Administration tools CentOS (49)
      • Backups RPM's (4)
      • Database в CentOS (68)
      • Monitoring в CentOS (67)
      • Virtualization в CentOS/ Red Hat/ Fedora (42)
        • Docker (23)
        • Kubernetes (6)
        • KVM (5)
        • OpenVZ (2)
        • Vagrant (5)
        • VirtualBox (6)
        • VMWare (3)
        • ArgoCD (1)
        • Concourse (1)
        • Gitlab (1)
        • Jenkinks (4)
        • Spinnaker (1)
        • Apache (35)
        • Cherokee (1)
        • DNS (3)
        • FTP (10)
        • Nginx (33)
        • PHP (34)
        • Proxy для RedHat's (2)
        • Tomcat (2)
        • Voice (2)
        • Панели управления в CentOS/Red Hat/Fedora (27)
        • Прокси сервер на CentOS/RHEL/Fedora (4)
        • Установка и настройка почты на CentOS/RHEL/Fedora (14)
        • Хранилища (clouds) (1)

        соц сети

        

        

        

        Архив новостей

        Свежие записи

        Свежие комментарии

        • Глеб к записи Установка Adobe Flash Player в Debian/Ubuntu/Mint
        • Максим к записи Заблокировать User Agents используя Nginx
        • Денис к записи Как включить EPEL репозиторий на CentOS
        • Гость к записи Закомментировать/Раскомментировать строки vi/vim в Unix/Linux
        • Sergey к записи Установка и настройка OpenVPN сервера на Debian/Ubuntu/Linux Mint

        Источник