Linux зависает при копировании

ROSAForum

Зависание системы при копировании файлов на флеш диск [РЕШЕНО]

asupstudent Сообщения: 128 Зарегистрирован: 15 май 2012, 13:44 Operating system: ROSA Marathon 2012 (LTS) Откуда: г. Кулебаки, Нижегородская область

Зависание системы при копировании файлов на флеш диск [РЕШЕНО]

Сообщение asupstudent » 29 авг 2012, 13:30

При копировании файлов (если их много и они маленькие) происходит зависание системы. Зависнет — оп — отпустит — зависнет — оп — отпустит.
Производитеьность во время копирования снижается в разы. (файловая система NTFS, драйвер NTFS-3G)
Ваши соображения .

Re: Зависание системы при копировании файлов на флеш диск

Сообщение OTM0P03OK » 29 авг 2012, 13:41

echo never > /sys/kernel/mm/transparent_hugepage/defrag

asupstudent Сообщения: 128 Зарегистрирован: 15 май 2012, 13:44 Operating system: ROSA Marathon 2012 (LTS) Откуда: г. Кулебаки, Нижегородская область

Re: Зависание системы при копировании файлов на флеш диск

Сообщение asupstudent » 29 авг 2012, 13:54

asupstudent Сообщения: 128 Зарегистрирован: 15 май 2012, 13:44 Operating system: ROSA Marathon 2012 (LTS) Откуда: г. Кулебаки, Нижегородская область

Re: Зависание системы при копировании файлов на флеш диск

Сообщение asupstudent » 29 авг 2012, 15:33

asupstudent Сообщения: 128 Зарегистрирован: 15 май 2012, 13:44 Operating system: ROSA Marathon 2012 (LTS) Откуда: г. Кулебаки, Нижегородская область

Re: Зависание системы при копировании файлов на флеш диск

Сообщение asupstudent » 29 авг 2012, 16:55

Протестировал лучше — все равно подвисает (100 % загрузка ЦП)
скриншот прилагаю

Галахов Роман Сообщения: 2337 Зарегистрирован: 26 фев 2012, 20:02 Operating system: Rosa R12.1 Fresh Plasma (HP ProBook 440 G4 (y7z81ea)) Откуда: Моск. обл. Волоколамск

Re: Зависание системы при копировании файлов на флеш диск

Сообщение Галахов Роман » 29 авг 2012, 20:46

Тут еще, может быть, проблема в том используется ли кеширование/буферизация маленьих файлов при копировании? Если используется — то как?
Для того чтобы собрать маленькие файлы и правильно их распределить, тратится много ресурсов и Ваше скачкообразная загрузка как раз и происходит из-за этого процесса нахождения- распределения- записи. И по каждому файлу отдельная задача в процессах и когда одновременно выполняется много задач загрузка на полную, когда задач новых нет «простой». А если сделать предварительное кеширование/буферизачию, и записывать всё единой задачей, загрузка должна быть как при записи больших файлов. Если смотреть Win-программы, хороший пример Тотал командер — сразу 3 варианта для разных по объему файлов.
Это в недефрагментируемых файловых системах можно пренебрегать кешированием. А в дефрагментируемых кеширование/буферизация нужна, а для мелких файлов необходима.
Также и в windows: копирование мелких файлов без кеширования даёт большую загрузку, чем при копировании крупных файлов. А в некоторых местах там даже можно включить автокеширование поумолчанию.

asupstudent Сообщения: 128 Зарегистрирован: 15 май 2012, 13:44 Operating system: ROSA Marathon 2012 (LTS) Откуда: г. Кулебаки, Нижегородская область

Re: Зависание системы при копировании файлов на флеш диск

Сообщение asupstudent » 29 авг 2012, 21:11

Я когда отмонтирую флешку через плазмоид, система еще какое — то время сбрасывает кэш (я так понимаю) в данном случае минуты 4 — 5.
Склонен думать причина файловая система NTFS. Завтра попробую на ext2 без журнала. Сравню варианты. Еще не знаю где управлять кэшированием.
Использую Krusader.
Думаю также что 893 файла как в данном случае это не очень много
спасибо за ответы

Галахов Роман Сообщения: 2337 Зарегистрирован: 26 фев 2012, 20:02 Operating system: Rosa R12.1 Fresh Plasma (HP ProBook 440 G4 (y7z81ea)) Откуда: Моск. обл. Волоколамск

Re: Зависание системы при копировании файлов на флеш диск

Сообщение Галахов Роман » 29 авг 2012, 22:49

Если эти файлы примерно равны или меньше 5 мб, то для копирования без кеширования (для NTFS, FAT и т.п) — достаточно много, так как уже если файлов больше 100, то загрузка системы на некоторое время может увести систему в зависание.

asupstudent Сообщения: 128 Зарегистрирован: 15 май 2012, 13:44 Operating system: ROSA Marathon 2012 (LTS) Откуда: г. Кулебаки, Нижегородская область

Re: Зависание системы при копировании файлов на флеш диск

Сообщение asupstudent » 04 сен 2012, 15:44

Протестировал флешку используя файловую систему ext3, система чуть чуть подвисала, но скопировла файлы намного быстрее, использовал внешнеий HDD USB зависаний вообще не было, скопировал очень быстро

Источник

Дичайшие тормоза при копировании файлов

Здравствуйте!
У меня пока мало опыта в юникс-системах, и мне нужна помощь в решении одной серьёзной проблемы, которая меня дико выбешивает. Проблема эта связана, на самом деле, не конкретно с манжарой, а с любым линукс-дистрибутивом. Помимо манжары я пробовал Suse, Ubuntu, Kubuntu, Mint, пробовал разные DE(XFCE, KDE, Cinnamon, Gnome), больше всего мне запала манжара, которой я сейчас пользуюсь, но и здесь меня преследует проблема, которая преследовала меня во всех вышеперечисленных дистрибутивах — невыносимые тормоза при копировании относительно больших(более гигабайта) файлов. Если я попытаюсь, к примеру, скопировать фильм с одного раздела на другой, система просто впадает в кому — становится невозможным что-либо нажать, выделить, открыть\закрыть, даже курсор мыши иногда замирает. При этом неважно, копирую ли я на флешку, телефон, или раздел HDD, файловая система носителя также не имеет значения. Проблема проявляется как на стационарной машине, так и на ноуте, и только в юникс-системах.
Читал я многие забугорные и наши форумы — с проблемой сталкивались многие. Кто-то советует отключить Swap, кто-то — изменить ‘vm.dirty_bytes’ и ‘vm.dirty_background_bytes’ в ‘sysctl.conf’, кто-то предлагает сменить планировщик. Мне нихрена не помогает.
Буду премного благодарен за любую помощь в решении проблемы.

14 комментариев

Отправка специалистом технической поддержки ссылки на руководство по эксплуатации и другую документацию, не является отказом в предоставлении поддержки.
bash.org

Хмм… У меня проблема наблюдалась при работе с NTFS, но действительно, Double Commander копирует даже 50-70 gb без каких-либо тормозов.

Тоже поначалу грешил на то, что копирую с NTFS на EXT4, но при копировании с EXT4 на EXT4 ситуация ничуть не лучше.

Попробовал — копирует реально быстро, но система при этом, к сожалению, всё такая же некликабельная и мёртвая, в некоторых случаях только кнопка ‘reset’ спасает. При этом загрузка ЦП и памяти вполне себе обычная, своп не используется, а индикатор активности HDD на корпусе стабильно горит на полную.

Судя по тому что у вас этот косяк проявляется на многих дистрах линукса можно предположить что это проблема скорее совместимости вашего железа с unix системами!

Странно, таких проблем не замечал, ноуты не пользовал но стационарные на чипсэтах intel, AMD, nvidia под управлением Debian (ubuntu) и Manjaro никогда не тормозили при копировании даже образов системы (20-40 гб), более того заметил, что каталоги с кучей мелких файлов копируются намного быстрее чем винде (есть опыт), думаю что Kreon прав.

Всем привет, это снова я. Спасибо всем за ответы!
Хотел бы поделиться очень интересным наблюдением:
Только что загрузился с Live-образа манжары и скопировал фильм весом 53 Гб с NTFS на NTFS раздел. Весь процесс копирования занял менее 10-ти минут, при этом не было ни малейшего намёка на какие-либо тормоза, копирование проходило абсолютно незаметно. Можно было спокойно пользоваться браузером, ковырять рабочий стол, запускать приложения, даже копировать что-то ещё параллельно, — никаких, даже малейших фризов, не наблюдалось. Попробовал также пару других дистров в режиме Live-Iso — ситуация аналогичная, при копировании даже больших файлов система работает запредельно плавно.
Из этого следует, как не трудно догадаться, что проблема тормозов при копировании файлов возникает лишь в установленной системе и не появляется в системе, запущенной в Live-режиме.
Есть идеи, с чем это может быть связано? Может, конфиги какие поковырять?

Хммм
Координальное различие лайв режима и установленной системы это то что все файлы дистра в оперативе а не на венике.
Я бы посоветовал чекнуть раздел на котором устанвливаешь системы(root, home и тд) на целостность может куча битых секторов, а так же попробывал низкоуровневым форматированием пройтись по всем разделам кроме файлопомоек, ну и проверил что все они в ext4)))

Если вы пробовали, как писали раньше, на разных компьютерах, то битые или сектора с большой задержкой чтения жёсткого диска не может одновременно проявляться на разным машинах, но почему и в Suse, Ubuntu, Kubuntu, Mint (DE сдесь мало играет роль) тоже самое? Вопрос. А вот Live-режим, почему не создаёт проблем? Вот и в моём случае Manjaro в Live-режиме выходит в интернет, а в установленной системе — нет. Помоему здесь есть скорее связь, чем совпадение.

Не обратил внемание на разные компы, сорян. Но с другой стороны тогда это какая то магия, железо то разное)))
И в моем пониманиии тут какой то не фарт у ТСа, а раз мы расматриваем не фарт, то вариант с тем что у него на 2 компах лешли веники равносилен варианту что не освместимости железа(так что я бы все равно чекнул).
Если откинуть не фарт, то в сузом остатке вижу только то что надо постараться разобраться что одно и то же в этих установках на разныъ машинах в порядке бреда перечесляю:
1. Плохой образ/флешка с дистром
2. Не верная разметка винта и/или выбор файловых систем
3. ТС нам не скащал что ставит систему на внешний винт который для установки подключал к разным машинам
4. Какое то железо или софт юзаемый ТСом присутвиет на всех машинах и приводит к тормазам
5. ТС не корректо настроил что нить в биосе на всех машинах или проводит не правильную установку систем ждя своего типа биоса(читай не по туториалам)
5. рукикрюки )))))
з.ы.
Блин не уклаыдывается у мнея в голове разные дистры, разные машины/железо баг один

Источник

Долгое копирование на флешку в ОС Linux x64

Зачастую пользователи Linux разных дистрибутивов сталкиваются с проблемой копирования данных на USB флешку. Проблема заключается в том, что копирование больших файлов сначала происходит очень быстро, а потом на нескольких процентах до завершения копирования зависает на длительное время.

Самое интересное, что иногда копирование происходило за несколько секунд, файловый менеджер выдавал окошко об успешном выполнении задачи, но на флешки продолжал мигать светодиод, свидетельствующий о том, что процесс записи еще запущен. Отмонтировать ее тоже нельзя, давалось предупреждение, что файлы будут повреждены или USB flash drive выйдет из строя.

Проблема

Я тоже столкнулся с такой проблемой. Сначала я думал, что может быть проблема в драйверах? Проблема с моим компьютером, не все железо благоприятно восприняло Debian 9. Или материнская плата работает не во всю мощность, потому как копирование в ОС Windows 7, 10 происходило ровно нормально. Четко, быстро, с процентами. Данная проблема возникала совершенно на разных компьютерах с которыми я имел дело. Но все оказалось немного иначе.

Дело в том, что в 64-ех разрядных система Linux есть известный баг, который обещают исправить с новыми обновлениями ядра. Так как шестидесяти четырех разрядные системы способны оперировать куда большими объемами памяти, то они быстро копируют файлы в кэш ОЗУ, а потом неспешно записывают из него на флешку.

Подчеркну, что описанная мной проблема возникает именно на 64-битных Linux с большим объемом ОЗУ.

Решение

Итак, для решения проблемы, в командной строке от администратора нужно выполнить следующее:

# echo $((16*1024*1024)) > /proc/sys/vm/dirty_background_bytes # echo $((48*1024*1024)) > /proc/sys/vm/dirty_bytes

На все машины 64-bit я добавляю эти команды в файл автозапуска скриптов /etc/rc.local .

#!/bin/sh -e # # rc.local # # This script is executed at the end of each multiuser runlevel. # Make sure that the script will "exit 0" on success or any other # value on error. # # In order to enable or disable this script just change the execution # bits. # # By default this script does nothing. echo $((16*1024*1024)) > /proc/sys/vm/dirty_background_bytes echo $((48*1024*1024)) > /proc/sys/vm/dirty_bytes exit 0

Данное решение возможно (скорее всего) снизит производительность (скорость записи) USB устройств – но это компромисс между задержкой и скоростью. Чтобы вернуться к настройкам по умолчанию, сделайте следующее:

# echo 0 > /proc/sys/vm/dirty_background_bytes # echo 0 > /proc/sys/vm/dirty_bytes

…которые являются значениями по умолчанию, что означает, что поведение обратной записи будет контролироваться параметрами dirty_ratio и dirty_background_ratio.

Примечание для не очень опытных пользователей linux:

файлы в каталоге /proc являются псевдо-файлами – просто каналами связи между ядром и пользовательским пространством. Никогда не используйте редактор, чтобы изменить или посмотреть на них; вместо этого воспользуйтесь приглашением терминала от суперпользователя, например, sudo (Ubuntu) или su (Debian) и используйте echo и cat для внесения изменений.

Источник