Страница 1 из 2
Низкая скорость чтения на ZFS (i386)
Добавлено: 2009-09-14 11:46:47
nsand
Всем привет. Такая проблема, скорость чтения на zfs (там два винта) макс 20 мбайт.сек, в то время как запись на них 50-80 Мбайт/сек.
Когда-то ковырял в 7.0 тюнингом получал чтение в 100-105 Мбайт.сек, сейчас в
В компе 3 гига ОЗУ.
FreeBSD nsand.home 8.0-BETA4 FreeBSD 8.0-BETA4 #0: Fri Sep 11 18:51:18 UTC 2009
root@nsand.home:/usr/obj/usr/src/sys/GENERIC_MY i386
в ядре с поддержкой KVA_PAGES=500 , именно 500 а не 512
Код: Выделить всё
nsand% cat /boot/loader.conf
nvidia_load="YES"
snd_hda_load="YES"
atapicam_load="YES"
#hw.ata.atapi_dma=1
#ipfw_load="YES"
#if_nfe_load="YES"
#if_ath_load="YES"
#cpufreq_load="YES"
#vfs.zfs.vdev.cache.size="5M"
kern.maxvnodes="400000"
# 1 вариант тюнинга
#vm.kmem_size="999M"
#vm.kmem_size_max="999M"
#vfs.zfs.prefetch_disable="0"
#vfs.zfs.arc_max="483M"
#vm.kmem_size_max="1G"
#vm.kmem_size="1G"
#vfs.zfs.zil_disable="0"
#vfs.zfs.cache_flush_disable="1"
# 2 вариант тюнинга
#vm.kmem_size=671088640
#vm.kmem_size_max=671088640
#vfs.zfs.arc_max="448M"
#vfs.zfs.cache_flush_disable=1
# 3 вариант
vfs.zfs.prefetch_disable=1
vfs.zfs.zil_disable=0
vfs.zfs.cache_flush_disable=1
vm.kmem_size=671088640
vm.kmem_size_max=671088640
vfs.zfs.arc_max="448M"
Может у кого-то было подобное или кто знает решение ?
Re: Низкая скорость чтения на ZFS (i386)
Добавлено: 2009-09-14 11:49:36
paradox
кто ж на бете сидит
все уже на 9куррент
там zfs ух как попилили
добавили практически все
зы
правда не знаю добавили ли это все в 8бету
Re: Низкая скорость чтения на ZFS (i386)
Добавлено: 2009-09-14 11:50:55
nsand
На 9 боязно пока лезть, тут бету бы довели до ума.. ))
Re: Низкая скорость чтения на ZFS (i386)
Добавлено: 2009-09-14 11:54:07
paradox
9куррент это как раз для декстопов))
а 8бета это для серверов развивают
Re: Низкая скорость чтения на ZFS (i386)
Добавлено: 2009-09-14 12:30:30
Гость
попробуй ahci(4)[1] драйвер и потюнь vfs.zfs.vdev.(min|max)_pending, vfs.zfs.vdev.aggregation_limit.
[1]
http://forum.lissyara.su/viewtopic.php?f=46&t=18762
Re: Низкая скорость чтения на ZFS (i386)
Добавлено: 2009-09-14 12:33:09
Гость
еще можно попробовать поднять vfs.zfs.arc_min
Re: Низкая скорость чтения на ZFS (i386)
Добавлено: 2009-09-15 17:38:31
nsand
Гость писал(а):попробуй ahci(4)[1] драйвер и потюнь vfs.zfs.vdev.(min|max)_pending, vfs.zfs.vdev.aggregation_limit.
изменение параметров vfs.zfs.vdev (min|max) почти не влияет на результат.
да, буду пробывать zfs.arc.min, на него немного реагирует но только скорость записи, чтение встало в 13 Мб.сек и все
может все-та из-за беты, и включенного в ней дебага. Бум копать дальше. Но запись-то иногда до 100Мб.с скачет.
Re: Низкая скорость чтения на ZFS (i386)
Добавлено: 2009-09-15 17:55:43
f_andrey
Топикстартер, а вот объясните мне убогому какой кармический смысл мучатся с применением 128-битная файловая система, сидя на старой как говно мамонта 32битной системе, неужели у вас процессор не поддерживает 64 бита? память вижу ну в принципе уже вполне можно порассуждать, да и докупить никогда не поздно
Re: Низкая скорость чтения на ZFS (i386)
Добавлено: 2009-09-15 17:58:06
paradox
нвидия
Re: Низкая скорость чтения на ZFS (i386)
Добавлено: 2009-09-15 18:00:15
paradox
и даже не просто нвидия
а он еще и в игрушки играет
которые я так думаю нуждаються во всяких 3d
Re: Низкая скорость чтения на ZFS (i386)
Добавлено: 2009-09-15 18:56:17
nsand
f_andrey писал(а):какой кармический смысл мучатся с применением 128-битная файловая система, у вас процессор не поддерживает 64 бита? память вижу ну в принципе уже вполне можно порассуждать, да и докупить никогда не поздно
Вобщем какая она 128 или 256 для меня не важно.. важно что она выдержала более 100 корок ядра не потеряв данных, удобство пользования, остаток свободного места на все системы.
Процессор 64 бита.. но что это дает ? ... на АМД64 если идти, то там много прог не идет, nvidia не идет, wine тоже. что-от еще но уже не помню.
Не понял что докупать.. память ? так 3 гига вроде хватает. а с 4 гигами могут быть проблемы в XP, она мне нужна для видеообработки.
Вопрос в другом, скорость бы вернуть назад, до 110 Мб/с чтения и 80 Мб\с запись..
Re: Низкая скорость чтения на ZFS (i386)
Добавлено: 2009-09-15 18:58:11
paradox
http://forum.lissyara.su/viewtopic.php?f=46&t=20444
вот тебе и говорят ставь куррент и не парся)
вдруг там уже все работает
а даже если и не работает
то в курренте луче чем в в 8бете
Re: Низкая скорость чтения на ZFS (i386)
Добавлено: 2009-09-15 19:39:30
nsand
paradox писал(а):то в курренте луче чем в в 8бете
у тебя сейчас какая стоит ?
вобщем подожду пока релиза, а там видно будет. может на каррент переползу ))
Re: Низкая скорость чтения на ZFS (i386)
Добавлено: 2009-09-15 19:47:09
paradox
у меня всида каррент
Re: Низкая скорость чтения на ZFS (i386)
Добавлено: 2009-09-16 0:32:31
Alex Keda
nsand писал(а):Процессор 64 бита.. но что это дает ? ...
считает вдвое быстрей?
nsand писал(а):на АМД64 если идти, то там много прог не идет,
прямо написанный код компилиться и работает под любой платформой.
кривой - я бы поостерёгся применять опять же под любой....
nsand писал(а): nvidia не идет,
ф топку. ATI прекрасно пашет с ускорением - искаропки. всего-то спецификации открыли - и всё. с нвидией тебе этого не светит в принципе - слишком дохрена используют от 3dfx и прочих прикупленных контор - у них свои лицензии, их не откроешь
nsand писал(а): wine тоже.
фу...
nsand писал(а):что-от еще но уже не помню.
значит ненужное.
nsand писал(а):а с 4 гигами могут быть проблемы в XP,
с какого перепугу-то? или индусский код задетектив нереальное количество рамы в кору падает?
nsand писал(а):она мне нужна для видеообработки.
под BSD нечем видео обрабатывать? или интерфейс консольный смущает?
Re: Низкая скорость чтения на ZFS (i386)
Добавлено: 2009-09-16 1:06:23
Гость
с нвидией тебе этого не светит в принципе - слишком дохрена используют от 3dfx и прочих прикупленных контор - у них свои лицензии, их не откроешь
[offtop]У nvidia зато vdpau есть. [/offtop]
Re: Низкая скорость чтения на ZFS (i386)
Добавлено: 2009-09-16 8:20:40
Alex Keda
да? а я думал хардверное ускорение hd поддерживают уже все кому не лень...
с другой стороны - я этого 720p ещё не видел даже ни разу.
Re: Низкая скорость чтения на ZFS (i386)
Добавлено: 2009-09-16 10:33:36
Гость
lissyara писал(а):да? а я думал хардверное ускорение hd поддерживают уже все кому не лень...
vdpau - хардварный декодинг. Xvideo - всего лишь растягивание картинки, большой пользы, когда есть EXA нет.
lissyara писал(а):с другой стороны - я этого 720p ещё не видел даже ни разу.
для мультфильмов разница между 400p и 720p видна легко.
lissyara писал(а):под BSD нечем видео обрабатывать? или интерфейс консольный смущает?
можно обойтись и без консоли, но думать все равно придется перед наложением фильтров
lissyara писал(а):слишком дохрена используют от 3dfx и прочих прикупленных контор - у них свои лицензии, их не откроешь
а как это купленная контора может диктовать условия своему покупателю?
Re: Низкая скорость чтения на ZFS (i386)
Добавлено: 2009-09-16 10:42:50
Гость
nsand писал(а):Гость писал(а):попробуй ahci(4)[1] драйвер и потюнь vfs.zfs.vdev.(min|max)_pending, vfs.zfs.vdev.aggregation_limit.
изменение параметров vfs.zfs.vdev (min|max) почти не влияет на результат.
будет влиять только с NCQ.
nsand писал(а):да, буду пробывать zfs.arc.min, на него немного реагирует но только скорость записи, чтение встало в 13 Мб.сек и все
после поднятия arc_min попробуй включить prefetch. Ну и поглядывай за misses в выводе `sysctl kstat.zfs.'. А еще лучше - сравнить вывод kstat.zfs.
Re: Низкая скорость чтения на ZFS (i386)
Добавлено: 2009-09-16 11:29:05
Гость
Похожая проблема на amd64 с 2мя GB памяти и 6ю дисками: и запись, и чтение - около 60MB, при этом и то, и другое распараллеливается на все диски, т.е. на каждый приходится по 5-12MB.
Материнская плата - M2N4-Sli, есть дополнительный sata-контроллер -- Silicon Image 3132.
Код: Выделить всё
$cat /boot/loader.conf
zfs_load="YES"
vfs.root.mountfrom="zfs:tank"
hw.mpt.enable_sata_wc=1
vm.kmem_size_max="1024M"
vm.kmem_size="1024M"
vfs.zfs.arc_max="100M"
vfs.zfs.prefetch_disable=1
vfs.zfs.zil_disable=0
vfs.zfs.cache_flush_disable=1
vfs.zfs.arc_max="448M"
snd_ich_load="YES"
atapicam_load="YES"
Re: Низкая скорость чтения на ZFS (i386)
Добавлено: 2009-09-16 12:46:02
nsand
lissyara писал(а):nsand писал(а):ф топку. ATI прекрасно пашет с ускорением - искаропки.
nsand писал(а):она мне нужна для видеообработки.
под BSD нечем видео обрабатывать? или интерфейс консольный смущает?
То есть сейчас на FreeBSD ATI заводиться с ускорением 3d для игр ?
Ну во фре моя карта для видеозахвата Pinnacle 510 USB работать точно не будет.
Ну и сама программа Pinnacle Studio 11 Plus тоже. Так что винда еще нужна.
гость писал(а):/boot/loader.conf
vfs.zfs.arc_max="100M"
....
vfs.zfs.arc_max="448M"
два раза vfs.zfs.arc_max указан
гость писал(а):после поднятия arc_min попробуй включить prefetch. Ну и поглядывай за misses в выводе `sysctl kstat.zfs.'. А еще лучше - сравнить вывод kstat.zfs.
Сегодня вечерком помучаю еще.
Re: Низкая скорость чтения на ZFS (i386)
Добавлено: 2009-09-16 15:11:56
Alex Keda
Гость писал(а):lissyara писал(а):слишком дохрена используют от 3dfx и прочих прикупленных контор - у них свои лицензии, их не откроешь
а как это купленная контора может диктовать условия своему покупателю?
у купленной конторы были свои лицензии. обязательства перед разработчиками и обязательства перед купленными ею конторами...
90-е вспомни - графику и прочие стругали все кому не лень. конторы скупались, поглощались, объединялись.
многое из этого болота досталось нвидии, они те наработки используют в своих решениях.
так же VIA не опубликует спецификаций - ибо их наработки - это тридент в чистом виде, плюс немного сверху своего...
а у ATI всё своё. ничё никому не должны
Re: Низкая скорость чтения на ZFS (i386)
Добавлено: 2009-09-16 19:39:22
Гость
>а я думал хардверное ускорение hd поддерживают уже все кому не лень...
В *nix - только nvidia, и только серии 8+ (не все карточки при этом). Да еще и только без xinerama пашет.
Re: Низкая скорость чтения на ZFS (i386)
Добавлено: 2009-09-16 23:16:07
nsand
немного убил время на составление таблицы..
vm.kmem_size и max одинакового значения ставил. Верхнее значение "Запись", нижнее "Чтение" в Мбайт\сек
Код: Выделить всё
vfs.zfs.prefetch_disable: 1 vfs.zfs.cache_flush_disable: 0 vfs.zfs.zil_disable: 0
vm.kmem_size_max= 448М 30 | 548 32 | 648 28 | 848 27
vfs.zfs.arc_max= 448М 11 | 448 12 | 448 14 | 448 14
-------
prefetch=0 flush=0 zil=0
vm.kmem_size_max= 448М 27 | 548 32,2 | 648 27,1 | 848 28,1
vfs.zfs.arc_max= 448М 13,5 | 448 12,1 | 448 14,0 | 448 13,2
---
prefetch=0 flush=0 zil=0
vm.kmem_size_max= 448М 31,5 | 548 28,7 | | 848 36
vfs.zfs.arc_max= 512М 13 | 512 13,2 | | 512 10
---
prefetch=0 flush=0 zil=0
vm.kmem_size_max= 448М 27,2 |
vfs.zfs.arc_max= 256М 13 |
---
prefetch=1 flush=1 zil=0
vm.kmem_size_max= 448М 28,1 | 548 34,0 | 648 29,8
vfs.zfs.arc_max= 448М 16,1 | 448 12,9 | 448 13,9
---
prefetch=1 flush=1 zil=1
vm.kmem_size_max= 448М 35,0 | 548 36,0 | 648 30,0
vfs.zfs.arc_max= 448М 13,2 | 448 14,2 | 448 14,0
---
Код: Выделить всё
kstat.zfs.misc.arcstats.c_min: 58720256
kstat.zfs.misc.arcstats.c_max: 469762048
kstat.zfs.misc.arcstats.size: 309731376
вобщем пока +- 5 мег.. чего-то не хватает..
Re: Низкая скорость чтения на ZFS (i386)
Добавлено: 2009-09-17 0:13:00
Fastman
Можно скромно поинтересоваться КАК вы тестируете скорость... как то никто не спросил еще об этом...