Низкая скорость чтения на ZFS (i386)

[nsand]

Всем привет. Такая проблема, скорость чтения на zfs (там два винта) макс 20 мбайт.сек, в то время как запись на них 50-80 Мбайт/сек.
Когда-то ковырял в 7.0 тюнингом получал чтение в 100-105 Мбайт.сек, сейчас в
В компе 3 гига ОЗУ.
FreeBSD nsand.home 8.0-BETA4 FreeBSD 8.0-BETA4 #0: Fri Sep 11 18:51:18 UTC 2009 root@nsand.home:/usr/obj/usr/src/sys/GENERIC_MY i386
в ядре с поддержкой KVA_PAGES=500 , именно 500 а не 512

Код: Выделить всё

nsand% cat /boot/loader.conf
nvidia_load="YES"
snd_hda_load="YES"
atapicam_load="YES"
#hw.ata.atapi_dma=1
#ipfw_load="YES"
#if_nfe_load="YES"
#if_ath_load="YES"
#cpufreq_load="YES"
#vfs.zfs.vdev.cache.size="5M"
kern.maxvnodes="400000"
# 1 вариант тюнинга
#vm.kmem_size="999M"
#vm.kmem_size_max="999M"
#vfs.zfs.prefetch_disable="0"
#vfs.zfs.arc_max="483M"
#vm.kmem_size_max="1G"
#vm.kmem_size="1G"
#vfs.zfs.zil_disable="0"
#vfs.zfs.cache_flush_disable="1"
# 2 вариант тюнинга
#vm.kmem_size=671088640
#vm.kmem_size_max=671088640
#vfs.zfs.arc_max="448M"
#vfs.zfs.cache_flush_disable=1
# 3 вариант
vfs.zfs.prefetch_disable=1
vfs.zfs.zil_disable=0
vfs.zfs.cache_flush_disable=1
vm.kmem_size=671088640
vm.kmem_size_max=671088640
vfs.zfs.arc_max="448M"

Может у кого-то было подобное или кто знает решение ?

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[paradox]

кто ж на бете сидит
все уже на 9куррент
там zfs ух как попилили
добавили практически все

зы
правда не знаю добавили ли это все в 8бету

[nsand]

На 9 боязно пока лезть, тут бету бы довели до ума.. ))

[paradox]

9куррент это как раз для декстопов))
а 8бета это для серверов развивают

[Гость]

попробуй ahci(4)[1] драйвер и потюнь vfs.zfs.vdev.(min|max)_pending, vfs.zfs.vdev.aggregation_limit.

[1] http://forum.lissyara.su/viewtopic.php?f=46&t=18762

[Гость]

еще можно попробовать поднять vfs.zfs.arc_min

[nsand]

попробуй ahci(4)[1] драйвер и потюнь vfs.zfs.vdev.(min|max)_pending, vfs.zfs.vdev.aggregation_limit.

изменение параметров vfs.zfs.vdev (min|max) почти не влияет на результат.
да, буду пробывать zfs.arc.min, на него немного реагирует но только скорость записи, чтение встало в 13 Мб.сек и все
может все-та из-за беты, и включенного в ней дебага. Бум копать дальше. Но запись-то иногда до 100Мб.с скачет.

[f_andrey]

Топикстартер, а вот объясните мне убогому какой кармический смысл мучатся с применением 128-битная файловая система, сидя на старой как говно мамонта 32битной системе, неужели у вас процессор не поддерживает 64 бита? память вижу ну в принципе уже вполне можно порассуждать, да и докупить никогда не поздно

[paradox]

нвидия

[paradox]

и даже не просто нвидия
а он еще и в игрушки играет
которые я так думаю нуждаються во всяких 3d

[nsand]

какой кармический смысл мучатся с применением 128-битная файловая система, у вас процессор не поддерживает 64 бита? память вижу ну в принципе уже вполне можно порассуждать, да и докупить никогда не поздно

Вобщем какая она 128 или 256 для меня не важно.. важно что она выдержала более 100 корок ядра не потеряв данных, удобство пользования, остаток свободного места на все системы.
Процессор 64 бита.. но что это дает ? ... на АМД64 если идти, то там много прог не идет, nvidia не идет, wine тоже. что-от еще но уже не помню.
Не понял что докупать.. память ? так 3 гига вроде хватает. а с 4 гигами могут быть проблемы в XP, она мне нужна для видеообработки.
Вопрос в другом, скорость бы вернуть назад, до 110 Мб/с чтения и 80 Мб\с запись..

[paradox]

http://forum.lissyara.su/viewtopic.php?f=46&t=20444
вот тебе и говорят ставь куррент и не парся)
вдруг там уже все работает
а даже если и не работает
то в курренте луче чем в в 8бете

[nsand]

то в курренте луче чем в в 8бете

у тебя сейчас какая стоит ?
вобщем подожду пока релиза, а там видно будет. может на каррент переползу ))

[paradox]

у меня всида каррент

[Alex Keda]

Процессор 64 бита.. но что это дает ? ...

считает вдвое быстрей?

на АМД64 если идти, то там много прог не идет,

прямо написанный код компилиться и работает под любой платформой.
кривой - я бы поостерёгся применять опять же под любой....

nvidia не идет,

ф топку. ATI прекрасно пашет с ускорением - искаропки. всего-то спецификации открыли - и всё. с нвидией тебе этого не светит в принципе - слишком дохрена используют от 3dfx и прочих прикупленных контор - у них свои лицензии, их не откроешь

wine тоже.

фу...

что-от еще но уже не помню.

значит ненужное.

а с 4 гигами могут быть проблемы в XP,

с какого перепугу-то? или индусский код задетектив нереальное количество рамы в кору падает?

она мне нужна для видеообработки.

под BSD нечем видео обрабатывать? или интерфейс консольный смущает?

[Гость]

с нвидией тебе этого не светит в принципе - слишком дохрена используют от 3dfx и прочих прикупленных контор - у них свои лицензии, их не откроешь

[offtop]У nvidia зато vdpau есть. [/offtop]

[Alex Keda]

да? а я думал хардверное ускорение hd поддерживают уже все кому не лень...
с другой стороны - я этого 720p ещё не видел даже ни разу.

[Гость]

да? а я думал хардверное ускорение hd поддерживают уже все кому не лень...

vdpau - хардварный декодинг. Xvideo - всего лишь растягивание картинки, большой пользы, когда есть EXA нет.

с другой стороны - я этого 720p ещё не видел даже ни разу.

для мультфильмов разница между 400p и 720p видна легко.

под BSD нечем видео обрабатывать? или интерфейс консольный смущает?

можно обойтись и без консоли, но думать все равно придется перед наложением фильтров

слишком дохрена используют от 3dfx и прочих прикупленных контор - у них свои лицензии, их не откроешь

а как это купленная контора может диктовать условия своему покупателю?

[Гость]

попробуй ahci(4)[1] драйвер и потюнь vfs.zfs.vdev.(min|max)_pending, vfs.zfs.vdev.aggregation_limit.

изменение параметров vfs.zfs.vdev (min|max) почти не влияет на результат.

будет влиять только с NCQ.

да, буду пробывать zfs.arc.min, на него немного реагирует но только скорость записи, чтение встало в 13 Мб.сек и все

после поднятия arc_min попробуй включить prefetch. Ну и поглядывай за misses в выводе `sysctl kstat.zfs.'. А еще лучше - сравнить вывод kstat.zfs.

[Гость]

Похожая проблема на amd64 с 2мя GB памяти и 6ю дисками: и запись, и чтение - около 60MB, при этом и то, и другое распараллеливается на все диски, т.е. на каждый приходится по 5-12MB.
Материнская плата - M2N4-Sli, есть дополнительный sata-контроллер -- Silicon Image 3132.

Код: Выделить всё

$cat /boot/loader.conf
zfs_load="YES"
vfs.root.mountfrom="zfs:tank"
hw.mpt.enable_sata_wc=1
vm.kmem_size_max="1024M"
vm.kmem_size="1024M"
vfs.zfs.arc_max="100M"
vfs.zfs.prefetch_disable=1
vfs.zfs.zil_disable=0
vfs.zfs.cache_flush_disable=1
vfs.zfs.arc_max="448M"
snd_ich_load="YES"
atapicam_load="YES"

[nsand]

ф топку. ATI прекрасно пашет с ускорением - искаропки.

она мне нужна для видеообработки.

под BSD нечем видео обрабатывать? или интерфейс консольный смущает?

То есть сейчас на FreeBSD ATI заводиться с ускорением 3d для игр ?
Ну во фре моя карта для видеозахвата Pinnacle 510 USB работать точно не будет.
Ну и сама программа Pinnacle Studio 11 Plus тоже. Так что винда еще нужна.

/boot/loader.conf
vfs.zfs.arc_max="100M"
....
vfs.zfs.arc_max="448M"

два раза vfs.zfs.arc_max указан

после поднятия arc_min попробуй включить prefetch. Ну и поглядывай за misses в выводе `sysctl kstat.zfs.'. А еще лучше - сравнить вывод kstat.zfs.

Сегодня вечерком помучаю еще.

[Alex Keda]

слишком дохрена используют от 3dfx и прочих прикупленных контор - у них свои лицензии, их не откроешь

а как это купленная контора может диктовать условия своему покупателю?

у купленной конторы были свои лицензии. обязательства перед разработчиками и обязательства перед купленными ею конторами...
90-е вспомни - графику и прочие стругали все кому не лень. конторы скупались, поглощались, объединялись.
многое из этого болота досталось нвидии, они те наработки используют в своих решениях.
так же VIA не опубликует спецификаций - ибо их наработки - это тридент в чистом виде, плюс немного сверху своего...
а у ATI всё своё. ничё никому не должны

[Гость]

>а я думал хардверное ускорение hd поддерживают уже все кому не лень...
В *nix - только nvidia, и только серии 8+ (не все карточки при этом). Да еще и только без xinerama пашет.

[nsand]

немного убил время на составление таблицы..
vm.kmem_size и max одинакового значения ставил. Верхнее значение "Запись", нижнее "Чтение" в Мбайт\сек

Код: Выделить всё

vfs.zfs.prefetch_disable: 1           vfs.zfs.cache_flush_disable: 0       vfs.zfs.zil_disable: 0
vm.kmem_size_max=   448М   30 |  548    32  | 648   28 | 848    27
vfs.zfs.arc_max=    448М  11  |  448    12  | 448   14 | 448    14
-------
prefetch=0        flush=0      zil=0
vm.kmem_size_max=   448М   27  | 548    32,2  | 648   27,1  | 848    28,1
vfs.zfs.arc_max=    448М  13,5 | 448    12,1  | 448   14,0 |  448    13,2
---
prefetch=0        flush=0      zil=0
vm.kmem_size_max=   448М   31,5 | 548    28,7  |              | 848    36
vfs.zfs.arc_max=    512М   13   | 512    13,2  |              | 512    10
---
prefetch=0        flush=0      zil=0
vm.kmem_size_max=   448М   27,2 |
vfs.zfs.arc_max=    256М   13   | 
---
prefetch=1        flush=1      zil=0
vm.kmem_size_max=   448М   28,1 | 548    34,0  | 648    29,8 
vfs.zfs.arc_max=    448М   16,1 | 448    12,9  | 448   13,9
---
prefetch=1        flush=1      zil=1
vm.kmem_size_max=   448М   35,0 | 548    36,0  | 648    30,0 
vfs.zfs.arc_max=    448М   13,2 | 448    14,2  | 448   14,0

---

Код: Выделить всё

kstat.zfs.misc.arcstats.c_min: 58720256
kstat.zfs.misc.arcstats.c_max: 469762048
kstat.zfs.misc.arcstats.size: 309731376

вобщем пока +- 5 мег.. чего-то не хватает..

[Fastman]

Можно скромно поинтересоваться КАК вы тестируете скорость... как то никто не спросил еще об этом...