Низкая скорость чтения на ZFS (i386)

Проблемы установки, настройки и работы Правильной Операционной Системы

Модератор: terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
nsand
мл. сержант
Сообщения: 132
Зарегистрирован: 2008-03-08 15:25:07
Откуда: Россия, Пенза
Контактная информация:

Низкая скорость чтения на ZFS (i386)

Непрочитанное сообщение nsand » 2009-09-14 11:46:47

Всем привет. Такая проблема, скорость чтения на zfs (там два винта) макс 20 мбайт.сек, в то время как запись на них 50-80 Мбайт/сек.
Когда-то ковырял в 7.0 тюнингом получал чтение в 100-105 Мбайт.сек, сейчас в
В компе 3 гига ОЗУ.
FreeBSD nsand.home 8.0-BETA4 FreeBSD 8.0-BETA4 #0: Fri Sep 11 18:51:18 UTC 2009 root@nsand.home:/usr/obj/usr/src/sys/GENERIC_MY i386
в ядре с поддержкой KVA_PAGES=500 , именно 500 а не 512 :)

Код: Выделить всё

nsand% cat /boot/loader.conf
nvidia_load="YES"
snd_hda_load="YES"
atapicam_load="YES"
#hw.ata.atapi_dma=1
#ipfw_load="YES"
#if_nfe_load="YES"
#if_ath_load="YES"
#cpufreq_load="YES"
#vfs.zfs.vdev.cache.size="5M"
kern.maxvnodes="400000"
# 1 вариант тюнинга
#vm.kmem_size="999M"
#vm.kmem_size_max="999M"
#vfs.zfs.prefetch_disable="0"
#vfs.zfs.arc_max="483M"
#vm.kmem_size_max="1G"
#vm.kmem_size="1G"
#vfs.zfs.zil_disable="0"
#vfs.zfs.cache_flush_disable="1"
# 2 вариант тюнинга
#vm.kmem_size=671088640
#vm.kmem_size_max=671088640
#vfs.zfs.arc_max="448M"
#vfs.zfs.cache_flush_disable=1
# 3 вариант
vfs.zfs.prefetch_disable=1
vfs.zfs.zil_disable=0
vfs.zfs.cache_flush_disable=1
vm.kmem_size=671088640
vm.kmem_size_max=671088640
vfs.zfs.arc_max="448M"
Может у кого-то было подобное или кто знает решение ?

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

paradox
проходил мимо
Сообщения: 11620
Зарегистрирован: 2008-02-21 18:15:41

Re: Низкая скорость чтения на ZFS (i386)

Непрочитанное сообщение paradox » 2009-09-14 11:49:36

кто ж на бете сидит
все уже на 9куррент
там zfs ух как попилили
добавили практически все

зы
правда не знаю добавили ли это все в 8бету

Аватара пользователя
nsand
мл. сержант
Сообщения: 132
Зарегистрирован: 2008-03-08 15:25:07
Откуда: Россия, Пенза
Контактная информация:

Re: Низкая скорость чтения на ZFS (i386)

Непрочитанное сообщение nsand » 2009-09-14 11:50:55

На 9 боязно пока лезть, тут бету бы довели до ума.. ))

paradox
проходил мимо
Сообщения: 11620
Зарегистрирован: 2008-02-21 18:15:41

Re: Низкая скорость чтения на ZFS (i386)

Непрочитанное сообщение paradox » 2009-09-14 11:54:07

9куррент это как раз для декстопов))
а 8бета это для серверов развивают
:-D

Гость
проходил мимо

Re: Низкая скорость чтения на ZFS (i386)

Непрочитанное сообщение Гость » 2009-09-14 12:30:30

попробуй ahci(4)[1] драйвер и потюнь vfs.zfs.vdev.(min|max)_pending, vfs.zfs.vdev.aggregation_limit.

[1] http://forum.lissyara.su/viewtopic.php?f=46&t=18762

Гость
проходил мимо

Re: Низкая скорость чтения на ZFS (i386)

Непрочитанное сообщение Гость » 2009-09-14 12:33:09

еще можно попробовать поднять vfs.zfs.arc_min

Аватара пользователя
nsand
мл. сержант
Сообщения: 132
Зарегистрирован: 2008-03-08 15:25:07
Откуда: Россия, Пенза
Контактная информация:

Re: Низкая скорость чтения на ZFS (i386)

Непрочитанное сообщение nsand » 2009-09-15 17:38:31

Гость писал(а):попробуй ahci(4)[1] драйвер и потюнь vfs.zfs.vdev.(min|max)_pending, vfs.zfs.vdev.aggregation_limit.
изменение параметров vfs.zfs.vdev (min|max) почти не влияет на результат.
да, буду пробывать zfs.arc.min, на него немного реагирует но только скорость записи, чтение встало в 13 Мб.сек и все :(
может все-та из-за беты, и включенного в ней дебага. Бум копать дальше. Но запись-то иногда до 100Мб.с скачет.

Аватара пользователя
f_andrey
майор
Сообщения: 2651
Зарегистрирован: 2007-12-26 1:22:58
Откуда: СПб
Контактная информация:

Re: Низкая скорость чтения на ZFS (i386)

Непрочитанное сообщение f_andrey » 2009-09-15 17:55:43

Топикстартер, а вот объясните мне убогому какой кармический смысл мучатся с применением 128-битная файловая система, сидя на старой как говно мамонта 32битной системе, неужели у вас процессор не поддерживает 64 бита? память вижу ну в принципе уже вполне можно порассуждать, да и докупить никогда не поздно :oops:
Если ваша тема перенесена, то смотри http://forum.lissyara.su/viewtopic.php?f=1&t=32308

paradox
проходил мимо
Сообщения: 11620
Зарегистрирован: 2008-02-21 18:15:41

Re: Низкая скорость чтения на ZFS (i386)

Непрочитанное сообщение paradox » 2009-09-15 17:58:06

нвидия

paradox
проходил мимо
Сообщения: 11620
Зарегистрирован: 2008-02-21 18:15:41

Re: Низкая скорость чтения на ZFS (i386)

Непрочитанное сообщение paradox » 2009-09-15 18:00:15

и даже не просто нвидия
а он еще и в игрушки играет
которые я так думаю нуждаються во всяких 3d

Аватара пользователя
nsand
мл. сержант
Сообщения: 132
Зарегистрирован: 2008-03-08 15:25:07
Откуда: Россия, Пенза
Контактная информация:

Re: Низкая скорость чтения на ZFS (i386)

Непрочитанное сообщение nsand » 2009-09-15 18:56:17

f_andrey писал(а):какой кармический смысл мучатся с применением 128-битная файловая система, у вас процессор не поддерживает 64 бита? память вижу ну в принципе уже вполне можно порассуждать, да и докупить никогда не поздно :oops:
Вобщем какая она 128 или 256 для меня не важно.. важно что она выдержала более 100 корок ядра не потеряв данных, удобство пользования, остаток свободного места на все системы.
Процессор 64 бита.. но что это дает ? ... на АМД64 если идти, то там много прог не идет, nvidia не идет, wine тоже. что-от еще но уже не помню.
Не понял что докупать.. память ? так 3 гига вроде хватает. а с 4 гигами могут быть проблемы в XP, она мне нужна для видеообработки.
Вопрос в другом, скорость бы вернуть назад, до 110 Мб/с чтения и 80 Мб\с запись.. :)

paradox
проходил мимо
Сообщения: 11620
Зарегистрирован: 2008-02-21 18:15:41

Re: Низкая скорость чтения на ZFS (i386)

Непрочитанное сообщение paradox » 2009-09-15 18:58:11

http://forum.lissyara.su/viewtopic.php?f=46&t=20444
вот тебе и говорят ставь куррент и не парся)
вдруг там уже все работает
а даже если и не работает
то в курренте луче чем в в 8бете

Аватара пользователя
nsand
мл. сержант
Сообщения: 132
Зарегистрирован: 2008-03-08 15:25:07
Откуда: Россия, Пенза
Контактная информация:

Re: Низкая скорость чтения на ZFS (i386)

Непрочитанное сообщение nsand » 2009-09-15 19:39:30

paradox писал(а):то в курренте луче чем в в 8бете
у тебя сейчас какая стоит ? :)
вобщем подожду пока релиза, а там видно будет. может на каррент переползу ))

paradox
проходил мимо
Сообщения: 11620
Зарегистрирован: 2008-02-21 18:15:41

Re: Низкая скорость чтения на ZFS (i386)

Непрочитанное сообщение paradox » 2009-09-15 19:47:09

у меня всида каррент

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35267
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Низкая скорость чтения на ZFS (i386)

Непрочитанное сообщение Alex Keda » 2009-09-16 0:32:31

nsand писал(а):Процессор 64 бита.. но что это дает ? ...
считает вдвое быстрей?
nsand писал(а):на АМД64 если идти, то там много прог не идет,
прямо написанный код компилиться и работает под любой платформой.
кривой - я бы поостерёгся применять опять же под любой....
nsand писал(а): nvidia не идет,
ф топку. ATI прекрасно пашет с ускорением - искаропки. всего-то спецификации открыли - и всё. с нвидией тебе этого не светит в принципе - слишком дохрена используют от 3dfx и прочих прикупленных контор - у них свои лицензии, их не откроешь
nsand писал(а): wine тоже.
фу...
nsand писал(а):что-от еще но уже не помню.
значит ненужное.
nsand писал(а):а с 4 гигами могут быть проблемы в XP,
с какого перепугу-то? или индусский код задетектив нереальное количество рамы в кору падает? =)
nsand писал(а):она мне нужна для видеообработки.
под BSD нечем видео обрабатывать? или интерфейс консольный смущает? =)
Убей их всех! Бог потом рассортирует...

Гость
проходил мимо

Re: Низкая скорость чтения на ZFS (i386)

Непрочитанное сообщение Гость » 2009-09-16 1:06:23

с нвидией тебе этого не светит в принципе - слишком дохрена используют от 3dfx и прочих прикупленных контор - у них свои лицензии, их не откроешь
[offtop]У nvidia зато vdpau есть. [/offtop]

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35267
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Низкая скорость чтения на ZFS (i386)

Непрочитанное сообщение Alex Keda » 2009-09-16 8:20:40

да? а я думал хардверное ускорение hd поддерживают уже все кому не лень...
с другой стороны - я этого 720p ещё не видел даже ни разу.
Убей их всех! Бог потом рассортирует...

Гость
проходил мимо

Re: Низкая скорость чтения на ZFS (i386)

Непрочитанное сообщение Гость » 2009-09-16 10:33:36

lissyara писал(а):да? а я думал хардверное ускорение hd поддерживают уже все кому не лень...
vdpau - хардварный декодинг. Xvideo - всего лишь растягивание картинки, большой пользы, когда есть EXA нет.
lissyara писал(а):с другой стороны - я этого 720p ещё не видел даже ни разу.
для мультфильмов разница между 400p и 720p видна легко.
lissyara писал(а):под BSD нечем видео обрабатывать? или интерфейс консольный смущает? =)
можно обойтись и без консоли, но думать все равно придется перед наложением фильтров
lissyara писал(а):слишком дохрена используют от 3dfx и прочих прикупленных контор - у них свои лицензии, их не откроешь
а как это купленная контора может диктовать условия своему покупателю?

Гость
проходил мимо

Re: Низкая скорость чтения на ZFS (i386)

Непрочитанное сообщение Гость » 2009-09-16 10:42:50

nsand писал(а):
Гость писал(а):попробуй ahci(4)[1] драйвер и потюнь vfs.zfs.vdev.(min|max)_pending, vfs.zfs.vdev.aggregation_limit.
изменение параметров vfs.zfs.vdev (min|max) почти не влияет на результат.
будет влиять только с NCQ.
nsand писал(а):да, буду пробывать zfs.arc.min, на него немного реагирует но только скорость записи, чтение встало в 13 Мб.сек и все :(
после поднятия arc_min попробуй включить prefetch. Ну и поглядывай за misses в выводе `sysctl kstat.zfs.'. А еще лучше - сравнить вывод kstat.zfs.

Гость
проходил мимо

Re: Низкая скорость чтения на ZFS (i386)

Непрочитанное сообщение Гость » 2009-09-16 11:29:05

Похожая проблема на amd64 с 2мя GB памяти и 6ю дисками: и запись, и чтение - около 60MB, при этом и то, и другое распараллеливается на все диски, т.е. на каждый приходится по 5-12MB.
Материнская плата - M2N4-Sli, есть дополнительный sata-контроллер -- Silicon Image 3132.

Код: Выделить всё

$cat /boot/loader.conf
zfs_load="YES"
vfs.root.mountfrom="zfs:tank"
hw.mpt.enable_sata_wc=1
vm.kmem_size_max="1024M"
vm.kmem_size="1024M"
vfs.zfs.arc_max="100M"
vfs.zfs.prefetch_disable=1
vfs.zfs.zil_disable=0
vfs.zfs.cache_flush_disable=1
vfs.zfs.arc_max="448M"
snd_ich_load="YES"
atapicam_load="YES"

Аватара пользователя
nsand
мл. сержант
Сообщения: 132
Зарегистрирован: 2008-03-08 15:25:07
Откуда: Россия, Пенза
Контактная информация:

Re: Низкая скорость чтения на ZFS (i386)

Непрочитанное сообщение nsand » 2009-09-16 12:46:02

lissyara писал(а):
nsand писал(а):ф топку. ATI прекрасно пашет с ускорением - искаропки.
nsand писал(а):она мне нужна для видеообработки.
под BSD нечем видео обрабатывать? или интерфейс консольный смущает? =)
То есть сейчас на FreeBSD ATI заводиться с ускорением 3d для игр ?
Ну во фре моя карта для видеозахвата Pinnacle 510 USB работать точно не будет.
Ну и сама программа Pinnacle Studio 11 Plus тоже. Так что винда еще нужна.
гость писал(а):/boot/loader.conf
vfs.zfs.arc_max="100M"
....
vfs.zfs.arc_max="448M"
два раза vfs.zfs.arc_max указан
гость писал(а):после поднятия arc_min попробуй включить prefetch. Ну и поглядывай за misses в выводе `sysctl kstat.zfs.'. А еще лучше - сравнить вывод kstat.zfs.
Сегодня вечерком помучаю еще.

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35267
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Низкая скорость чтения на ZFS (i386)

Непрочитанное сообщение Alex Keda » 2009-09-16 15:11:56

Гость писал(а):
lissyara писал(а):слишком дохрена используют от 3dfx и прочих прикупленных контор - у них свои лицензии, их не откроешь
а как это купленная контора может диктовать условия своему покупателю?
у купленной конторы были свои лицензии. обязательства перед разработчиками и обязательства перед купленными ею конторами...
90-е вспомни - графику и прочие стругали все кому не лень. конторы скупались, поглощались, объединялись.
многое из этого болота досталось нвидии, они те наработки используют в своих решениях.
так же VIA не опубликует спецификаций - ибо их наработки - это тридент в чистом виде, плюс немного сверху своего...
а у ATI всё своё. ничё никому не должны =)
Убей их всех! Бог потом рассортирует...

Гость
проходил мимо

Re: Низкая скорость чтения на ZFS (i386)

Непрочитанное сообщение Гость » 2009-09-16 19:39:22

>а я думал хардверное ускорение hd поддерживают уже все кому не лень...
В *nix - только nvidia, и только серии 8+ (не все карточки при этом). Да еще и только без xinerama пашет.

Аватара пользователя
nsand
мл. сержант
Сообщения: 132
Зарегистрирован: 2008-03-08 15:25:07
Откуда: Россия, Пенза
Контактная информация:

Re: Низкая скорость чтения на ZFS (i386)

Непрочитанное сообщение nsand » 2009-09-16 23:16:07

немного убил время на составление таблицы..
vm.kmem_size и max одинакового значения ставил. Верхнее значение "Запись", нижнее "Чтение" в Мбайт\сек

Код: Выделить всё

vfs.zfs.prefetch_disable: 1           vfs.zfs.cache_flush_disable: 0       vfs.zfs.zil_disable: 0
vm.kmem_size_max=   448М   30 |  548    32  | 648   28 | 848    27
vfs.zfs.arc_max=    448М  11  |  448    12  | 448   14 | 448    14
-------
prefetch=0        flush=0      zil=0
vm.kmem_size_max=   448М   27  | 548    32,2  | 648   27,1  | 848    28,1
vfs.zfs.arc_max=    448М  13,5 | 448    12,1  | 448   14,0 |  448    13,2
---
prefetch=0        flush=0      zil=0
vm.kmem_size_max=   448М   31,5 | 548    28,7  |              | 848    36
vfs.zfs.arc_max=    512М   13   | 512    13,2  |              | 512    10
---
prefetch=0        flush=0      zil=0
vm.kmem_size_max=   448М   27,2 |
vfs.zfs.arc_max=    256М   13   | 
---
prefetch=1        flush=1      zil=0
vm.kmem_size_max=   448М   28,1 | 548    34,0  | 648    29,8 
vfs.zfs.arc_max=    448М   16,1 | 448    12,9  | 448   13,9
---
prefetch=1        flush=1      zil=1
vm.kmem_size_max=   448М   35,0 | 548    36,0  | 648    30,0 
vfs.zfs.arc_max=    448М   13,2 | 448    14,2  | 448   14,0
---

Код: Выделить всё

kstat.zfs.misc.arcstats.c_min: 58720256
kstat.zfs.misc.arcstats.c_max: 469762048
kstat.zfs.misc.arcstats.size: 309731376
вобщем пока +- 5 мег.. чего-то не хватает..

Аватара пользователя
Fastman
ст. лейтенант
Сообщения: 1236
Зарегистрирован: 2006-07-07 10:20:38
Откуда: Минск. РБ

Re: Низкая скорость чтения на ZFS (i386)

Непрочитанное сообщение Fastman » 2009-09-17 0:13:00

Можно скромно поинтересоваться КАК вы тестируете скорость... как то никто не спросил еще об этом...
Главное в жизни здоровье и любовь, остальное я все куплю.