Re-Enumerate and use PCIe SSD in Linux without shutdown
Good day, I am currently working on a project where PCIe SSDs are constantly being swapped out and tested through benchmark programs such as VDBench and Iometer. The problem I face right now, which is only on the Linux side (got it working fine on windows), is that if the drives were not on at initial boot-up, they never appear under GParted or Disks. Here’s what I have done: Cold boot, PCIe Add-in-card SSD is off. It is then powered on through a pass through card that is logically controlled to make sure power and shorts are not an issue. I turn the device on, then run:
sudo sh -c "echo 1 > /sys/bus/pci/rescan" The device shows with no issues in the tree. When I check under Disks however, it is not there. I have tried a bunch of different commands with none of them seeming to help me. I have tried
sudo sh -c "echo 1 > /sys/bus/pci/devices/0000:82:00.0/remove" sudo sh -c "echo 1 > /sys/bus/pci/rescan" sudo sh -c "echo 1 > /sys/bus/pci/devices/0000:82:00.0/enable" [ 68.128778] pci 0000:82:00.0: [8086:0953] type 00 class 0x010802 [ 68.128797] pci 0000:82:00.0: reg 0x10: [mem 0x00000000-0x00003fff 64bit] [ 68.128820] pci 0000:82:00.0: reg 0x30: [mem 0x00000000-0x0000ffff pref] [ 68.133398] pci 0000:84:00.0: [1c58:0003] type 00 class 0x010802 . [ 68.141751] nvme 0000:82:00.0: enabling device (0100 -> 0102) . [ 1264.718446] pcieport 0000:03:04.0: BAR 14: no space for [mem size 0x00400000] [ 1264.718448] pcieport 0000:03:04.0: BAR 14: failed to assign [mem size 0x00400000] [ 1264.718451] pcieport 0000:03:04.0: BAR 13: no space for [io size 0x1000] [ 1264.718453] pcieport 0000:03:04.0: BAR 13: failed to assign [io size 0x1000] Although I have a feeling that those are unrelated to what I am doing, although I’d be happy for someone to prove me wrong. So, after all of these attempts, does anyone know if there is a way (or if it is even possible) to scan for this PCIe Add-in NVMe SSD and be able to use it without rebooting? I also took a look at some of the threads for other HDDs that reference a rescan for sata based drives, but this is NOT that, so referencing that won’t help either. Thanks in advance.
PCI-e SSD для свопа занидорага
Поцоны, господа, и прочая публика разных степеней почтенности. Не очень разбираюсь во всех этих новомодных ехал m.2 через NVME.И хочу спросить вопрос. Тут в одну машину нужно добавить по возможности быстрого свопа по причине нехватки слотов под оперативку. Правильно в такой ситуации менять всю систему на свежую. Но дорого. Поскольку m.2 слотов тоже не завезли, а PCI-e SSD тоже дорого, то предварительно самое бюджетное решение выглядит так: — Intel Optane Memory Module 16 GB PCIe M.2 80mm, 1 шт. — какой-нибудь PCI-e to m.2 адаптер. 10 Gb система, 6 Gb swap, широко гуляем! Насколько оптимально решение?
Чувствую, что если памяти хронически не хватает, то даже быстрый своп не поможет.
Кстати, а зачем систему на этот ssd? Отдай уж только под своп.
greenman ★★★★★ ( 09.12.17 16:42:52 MSK )
Последнее исправление: greenman 09.12.17 16:46:35 MSK (всего исправлений: 2)
Лучше на отдельный. Но дороже. А так — SATA 3.0 на материнке тоже нету. Потому и Омск. Впрочем, добавил тег.
Загугли как расшифровывается RAM. Юзать SSD можно, но сильно зависит от характера использования.
причине нехватки слотов под оперативку
Intel Optane Memory Module 16 GB
10 Gb система, 6 Gb swap, широко гуляем!
Меняй машину, такое больно читать
Оптан вообще не для этого, это кэш IO, а не диск для установки ОС или своп.
Купи себе простой NVMe SSD + PCIe адаптер и всё.
Займи пицот долларов, разбогатею — отдам!
Оптан — самый дешёвый SSD с быстрым интерфейсом же? Следующий в списке Adata XPG SX7000, в джва раза дороже и неизвестно, сколько проживёт в режиме «эрзац-оперативки». А столько софта, чтоб забить 120 гигабайт SDD, у меня нету.
Я тебя умоляю, у нас NVMe-шный ssd пишет по полтора терабайта в день уже больше полугода и помирать даже не планирует.
Ты раньше денег на новый комп напопрошайничаешь, чем он сдохнет.
mersinvald ★★★★★ ( 09.12.17 20:07:31 MSK )
Последнее исправление: mersinvald 09.12.17 20:07:46 MSK (всего исправлений: 1)
Ну и да, чет я сомневаюсь, что у тебя кам Kaby Lake, чтоб этот оптан поддерживать.
От в том и вопрос. Как обычный SDD, только мелкий, оно при отсутствии свежих фирменных интеловских технологий работать будет? Или усё огорожено?
LittleKawaiiNeko ★★ ( 09.12.17 20:53:01 MSK )
Последнее исправление: LittleKawaiiNeko 09.12.17 20:53:29 MSK (всего исправлений: 1)
Оксюморон. И деньги сольёшь, и всё равно к оперативке по эффективности это не приблизится.
Продай старые модули озу и купи новые максимального объёма, у eccшных потолок выше обычных.
Да, всякие целероны и ризены тащемт 64гига озу поддерживают, тебе мало?
у регистровых потолок выше. обычные есс — лимит тот же (2 гига модуль для ддр2, 8 гигов модуль для ддр3), и максимум 2 модуля на канал.
К смене процессора, материнки, памяти и блока питания я готов морально, но не готов финансово.
16 гигов ram? swap — вообще не нужен.
Вот это норкомания. В принципе, конечно, можно попробовать, хотя и не факт что оно в твоей ископаемой материнке заработает. Проще к метро пойти мелочи на новый комп настрелять.
Он стоит как саташный на 120 гигов.
Kaby Lake, чтоб этот оптан поддерживать.
В качестве ускорителя. Впрочем, как ускоритель кроме десяточки ничего не поддерживается.
Могу ли я использовать память Intel Optane в моей системе на базе процессора Intel® Core™ шестого поколения? Нет. Системы на базе процессоров Intel® Core™ шестого поколения не поддерживают память Intel Optane в качестве решения ускорения системы. . Поддерживается ли ОС Linux* для ускорения системы с помощью памяти Intel Optane? Нет. На ускоренном диске SATA должна быть установлена 64-разрядная версия ОС Windows® 10. . Могу ли я использовать модуль памяти Intel Optane в качестве автономного загрузочного диска или диска данных вместо ускорения системы? Вы можете использовать память Intel Optane в качестве автономного твердотельного накопителя NVMe*. Однако мы не поддерживаем эту конфигурацию.
Вроде будет. Но, как пишут, скорость записи (по сравнению с PCI-e SSD) низкая.
While the random write performance of Optane is very low, given the intended use-case for this 3DXPoint memory.
greenman ★★★★★ ( 10.12.17 09:09:51 MSK )
Последнее исправление: greenman 10.12.17 09:11:39 MSK (всего исправлений: 1)
Intel Optane Memory Module 16 GB
NVMe карты бывают только двух видов: 1) От самсунгов и 2) ненужные.
И да, при выборе м2 нужно внимательно следить чтоб SATA версию не купить, ибо смысла нету.
З.Ы. У меня тут назрел вопрос: зачем интел на 16гб с отвратительными показателями и за 40€, если можно за 120€ самсунь на 250гб взять?
Intel 16GB | Samsung 960 EVO 250GB Read: 900MB/s | 3200MB/s Write: 145MB/s | 1500MB/s Price: ~40€ | ~120€ 16 гигов ram? swap — вообще не нужен.
В тегах предусмотрительно присутствует омск.
Он стоит как саташный на 120 гигов.
В наших широтах столько стоит 32 Gb. Самый дешёвый 120 — нонейм, на который тестов не находится — сильно дороже.
Ну и я правильно поминаю, что как раз эти параметры для «эразц-оперативки» важны? https://www.anandtech.com/show/11210/the-intel-optane-memory-ssd-review-32gb-. Оптан-то сильно лучше конкурентов выглядит.
ЭЭЭммм, я что-то вообще не понял нахрена он нужен.
Продвигают для ускорения hdd на десяточке (с современным процессором и чипсетом).
Там выше ссылка, по которой у Трансцендов, отличающихся только объёмом, сильно разная скорость записи. Если оно у SDD настолько сильно влияет, то слив 32 Gb Оптана 2 Tb конкурентам не удивителен.
Технологии для облегчения анальных болей пользователям десяточки. Которые я хочу приспособить в качестве костылей и подпорок под ограничения не совсем нового железа.
LittleKawaiiNeko ★★ ( 10.12.17 09:26:31 MSK )
Последнее исправление: LittleKawaiiNeko 10.12.17 09:27:10 MSK (всего исправлений: 1)
Кстати, 16 и 32GB Optan-ы тоже заметно различаются.
greenman ★★★★★ ( 10.12.17 09:27:09 MSK )
Последнее исправление: greenman 10.12.17 09:32:13 MSK (всего исправлений: 2)
Так для ускорения рид-врайт важен, а у оптана эти показатели говно.
Этот Самсунг ценой чуть менее, чем в половину сборочки на LGA 2011.
в 2017 КМК NVMe единственная железка которая реально увеличивает производительность системы не на какие-то «мифичиские 7% прироста мощности цпу».
зато на него можно будет не тлоько свопиться, но и всю систему поставить. Или две=)
Всмысле «в ваших широтах»? В ваших широтах запрещено покупать товары с доставкой из Москвы?
Только в местячковых Кеях можно?
Zswap используй, вроде лучше чем zram.
Я смотрю, идея положить своп в рамдиск обрастает ответвлениями.
Для ускорения важна низкая латентность, а не заоблачная пропускная способность. Вот как раз латентность у оптана низкая, а главное предсказуемая, поскольку не зависит от «умной» прошивки nand-контроллера.
Если в системе не на Кобеляке оно не видно как диск, то ой :/ Цены на другие PCI-e m.2 SSD обессмысливают затею.
Да ничего в оптане не огорожено. Это просто nvme pcie 3.0 x2 ssd. И сам ssd будет работать на любом pcie 3.0 x2. Интел говорит о том, что их технология ускорения, использующая этот ssd, будет работать только начиная с 7gen core cpu и 200 series pch и только под виндой. Под линуксом же все равно придется обмазаться lvmcache, bcache, или flashcache.
Преимущества перед другими ssd только в низкой латентности. Благодаря низкой латентности оптаны дают высокий иопс даже на нагрузках с низким параллелизмом (т.е. с малым queue depth). А не как самсунги, которые своей маркетинговой пропускной способности достигают только при qd=32.
Чувствую, что если памяти хронически не хватает, то даже быстрый своп не поможет.
Заметно, при компиляции массивных программ, как load average снижается с правильного 7-8-15, до неприлично низкого 1-2.
И своп, пусть даже на самом скоростном SSD — проблемы не решит.
Правильное решение проблемы сегодня — 16ГБ ОЗУ.
Да, и мысль свою сведу к тому, что научился собирать пакеты на немецком сервере Open Suse.
Всё хорошо, быстрые сервера, но памяти — не хватает.
Вот какой-нибудь может и не заработать с оптаном.
The Optane Memory SSD will not function in a M.2 slot that provides only SATA connectivity.
Где-то и своп быстрый может помочь, а 16ГБ ОЗУ что мертвому припарка — все зависит от ситуации.
Я совсем недавно неприлично извращался на Nehalem’е со свопом на рамдиске по iSCSI, а поскольку для отдачи оперативы, именно как оперативы через любые фабрики нет готового решения для неадаптированных программ вариантов не было. Был выставлен высокий приоритет этого «свопа», объем оперативы 2×50Гб был просунут в два портала, в итоге получилось 148ГБ суммарно. Но этого было мало и решением был SSD.
Установил NVME SSD Samsung PRO960 1TB, который при этом выступал в роли свопа с самым низким приоритетом, объемом в 300ГБ. Выкрутил опции VM swappiness=2 и vfs_cache_pressure=1000 на оптимальное на мой взгляд использование родного ОЗУ, в итоге приоритетность при выделении: родное_ОЗУ -> своп_в_ОЗУ -> своп_в_ssd. Это все дало прирост в производительности в сравнении с дисковым свопом более чем на 50%. Итого получилось 448ГБ суммарно, а объем выделения памяти задачей таки уже стал меньше имеющихся ресурсов — 180-350ГБ по факту. Как выяснилось расход ресурсов SSD за две недели примерно составил 25% — это 250-300ТБ объема! Вот такой расклад.
Эта же задача была синхронно запущена на более современном — Sandy Bridge с бОльшим ОЗУ -128Гб, но дисковым свопом. Этот ощутимо проиграл — более чем на неделю, но задачу в итоге не доделал — остановили при двухкратном превышении времени.