Медленная работа ZFS тома

[Neus]

использую в качестве торентокачалки и файлопомойки - ничего не тюнил (есть ли смысл?)
бывает когда по сетке что-то большое льёшь скорость проседает

пока скорость инета << диска нету смысла тюнить

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Alvares]

Я же написал, ооткуда брать данные и куда их девать

Код: Выделить всё

1. dd if=/dev/random of=/storage/rnd_file bs=4k count=4M
2. dd if=/dev/random of=/storage/rnd_file2 bs=1M count=4k
3. cp /storage/rnd_file /storage/rnd_file_new
4. dd if=/storage/rnd_file2 of=/dev/null

И что это даст? рандомизированный файл? Так я любой фильм могу почитать - он достаточно рандомизированный и несжимаемый, чтоб этого хватило. А вот мерить скорость винта чтением из /dev/random - это чревато. У меня, например, из /dev/random не читается быстрее, чем 65 МБ/с. И если так тестировать, то окажется, что типа винт быстрее не пишет. А на самом деле дело совсем даже не в винте.

dev/random только для того, чтобы сгенерировать ДЕЙСТВИТЕЛЬНО РАНДОМНЫЙ поток.
тестирование идет потом - копированием и чтением.
Для чего: файл, забитый нулями прекрасно архивируется (не так ли?), рандомный гораздо хуже (o shit!). На ФС, где включено compression=on будет бред. У меня (в виртуалке на хилом нубуке с тормозным винтом) на ZFS с включенным сжатием, созданной из файлов на UFS2 при работе с /dev/zero показания запредельные для винта даже в нативной системе. Реально винт дает метров 60 в секунду максимум на линейном чтении, а при тестировании показывал около 200. При записи еще хлеще.
Вот вам и будет более-менее реальное тестирование скорости. Размеры файлов специально сделал больше RAM, чтобы гарантированно не влезло в кеш. Можно для верности перегружаться...

[FiL]

чтение - да. А запись где у тебя меряется я не вижу. Потому как копированием внутри одного винта запись не померять.

[Alvares]

при наличии одного винта никак не получится. А чистых данных большого объема взять неоткуда.
Но вопрос изначально было в том, что чтение на уровне 84м. Вот его и померяем.

[tom.cat]

Код: Выделить всё

1. dd if=/dev/random of=/storage/rnd_file bs=4k count=4M
2. dd if=/dev/random of=/storage/rnd_file2 bs=1M count=4k
3. cp /storage/rnd_file /storage/rnd_file_new
4. dd if=/storage/rnd_file2 of=/dev/null

Вот что получилось:

Код: Выделить всё

# dd if=/dev/random of=/storage/rnd_file bs=4k count=4M
4194304+0 records in
4194304+0 records out
17179869184 bytes transferred in 419.939413 secs (40910352 bytes/sec)

Следующий:

Код: Выделить всё

# dd if=/dev/random of=/storage/rnd_file2 bs=1M count=4k
4096+0 records in
4096+0 records out
4294967296 bytes transferred in 92.513329 secs (46425389 bytes/sec)

При # cp /storage/rnd_file /storage/rnd_file_new результат:

Код: Выделить всё

# zpool iostat 5
               capacity     operations    bandwidth
pool        alloc   free   read  write   read  write
----------  -----  -----  -----  -----  -----  -----
storage     4,05T  4,07T    143      3  16,9M   194K
storage     4,05T  4,07T    571    570  70,9M  63,7M
storage     4,05T  4,07T    273    727  33,9M  87,0M
storage     4,05T  4,07T    545    570  67,6M  63,6M
storage     4,05T  4,07T    534    574  66,3M  63,8M
storage     4,05T  4,07T    440    561  54,6M  65,1M
storage     4,05T  4,07T    623    534  77,3M  60,2M
storage     4,06T  4,07T    394    492  48,9M  53,9M
storage     4,06T  4,07T    631    563  78,3M  62,7M

И последний:

Код: Выделить всё

# dd if=/storage/rnd_file2 of=/dev/null
8388608+0 records in
8388608+0 records out
4294967296 bytes transferred in 42.662787 secs (100672450 bytes/sec)

Вроде более менее нормально. Для торрентов и закачке по гигабитной сети хватит.

[Alvares]

нормально. 100 мб/с чтение, 65 мб/с копирование в пределах тома.

[DarkAGeS]

товарищи, подскажите куда копать:

На фрибсд 9.2х64 имею пул из трех 2тб дисков разной модели. На каждом устройство geli и из них слеплен пул raidz1 размером соответственно около 4тб.

Все это дело железобетонно работало на протяжении полугода (через самбу шарю файлопомойку) и вот дойдя до размера свободного пространства около 10гб все начало жутко тормозить на запись. При 50гб свободного пространства все работало нормально.

Я освободил места до 93гб, но скорость не желает возвращаться. Даже при записи с флэшки!!! фоток или скачке торрента на полной скорости интернета (около 5мб/с) на шару все встает колом через 10-15 секунд причем подвисает конкретно, венда ругается что шара недоступна, секунд через 20-30 отвисает.

Грешил на сетевуху - дело точно не в ней, ибо на соседний пул из других дисков все пишется очень бодро. На чтение все работает так же быстро как раньше.
Грешил на самбу - тоже дело не в ней - по фтп та же песня и даже вообще без сети - при копировании с соседнего пула на больной все так же как будто подвисает, но по крайней мере копируется до конца, но с крайне маленькой скоростью - раз в 10 меньшей, чем та что была.

smartctl длинный тест всех трех винтов прошел, в смарте криминала нет.
zpool status все ок, делал полный scrub - сделался в общем то шустро (хотя начало было медленным, потом разогнался), учитывая что 4тб
всякие iostat и vmstat прояснения не дали

короче помогите куда копать

[DarkAGeS]

дополнение:
сервер не трогался несколько месяцев никак вообще кроме файлопомойки, еще иногда руками синхронизирую пару удаленных рейдов (кстати на больной пул).
Еще стал слышен странный звук из системника - вроде как со стороны дисковой системы, потому что появляется при начале записи на шару. Раньше звука не было. И проблема началась именно после того как услышал впервые этот звук.
Поэтому подозреваю что заболел какой то из трех винтов - как проверить?

[DarkAGeS]

добавил инфы тут:
https://www.linux.org.ru/forum/admin/10 ... d=10590110
и тут:
https://www.linux.org.ru/forum/admin/10 ... d=10590185

[fedextm]

Если есть возможность выключить сервер, попробуйте проверить утилитами Victoria или mhdd (запускаются из-под доса). Возможно есть бэд сектора на каком-то диске.

[DarkAGeS]

тоже об этом думал, но нашел вот такую статейку
http://myfreebsd.ru/no-range/proverka-z ... -v-freebsd
поставил на проверку подозреваемый винт (текущий каталог на другом пуле):

Код: Выделить всё

dd_rescue -v -l error.log -o bad.log /dev/ada2 /dev/null

[DarkAGeS]

параллельно и с других двух запустил то же самое в другие лог-файлы.
посмотрим чем закончится

[Mikl]

освободить место.

[DarkAGeS]

места свободно 21%,
скраб после этого прошел без ошибок,
полное чтение через dd_rescue со всех дисков прошло бз ошибок,
zpool status - ok,
в smart все хорошо.

но проблема не уходит - при копировании на проблемный пул обычно старт хороший на несколько секунд, затем пауза, затем может еще немного покопировать уже на минимальной скорости, потом опять пауза и подвисание. отвисает через секунд 15 после отмены копирования. на соседнем пуле в том же системнике все хорошо.

[fedextm]

У каждого производителя винтов есть утилиты, например у сигейт - это SeaTools и т.п. Возьмите эти программы соответственно вашим винтам и просканируйте их. Возможно хардверная ошибка.

[DarkAGeS]

решил проблему - помог тупо zpool offline/online одного из винтов рейда, так что имейте ввиду. что за глюк я так и не понял

[fedextm]

Значит ошибки таки были это все равно как в хардверном рейде - один диск пишет, что оффлайн, и если его переткнуть, после ребилда еще работает без ошибок, какое- то время.