Оптимизация UFS для хранения VM`s

[rim]

Приветствую всех!
Поделитесь плз. экспириенсом в области оптимизации фс

С одной стороны есть ESX сервер с программным iSCSI инициатором
С другой стороны есть FreeBSD 7.1 c iscsi-target-ом и 2х1 Тб WD в стрипе поднятом atacontrol-ом под хранение *.vmdk.

Задача добиться максимальной производительности, в связи с чем есть несколько вопросов к сообществу:
1. Какой лучше указывать стрип сайз при сборке RAID0 (64К, 128К, 256К, > ) при условии, что размер файлов будет 10 - 500 Гб?
2. Какие оптимальные значения параметров (в частности интересует -b -f) указывать для newfs, опять же из соображений максимальной производительности при работе с большими файлами?
3. Может есть еще, что (помимо tunefs) что возможно применить для оптимизации фс?

Спасибо за руку помощи :-)

ЗЫ: А есть разница чем рейд поднимать atacontrol-ом или gmirror-ом?

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[rim]

Никто, ничего?
Ну хоть посоветуйте чем лучше потестить производительность фс, буду выводить эмпирически.
Не проверять же в самом деле стартами-стопами виртуальных машин ...

[Гость]

попробуй потом сравнить производительность с ZVOL'ами (ZFS Volume), кои создаются так

Код: Выделить всё

$ zfs create -V 1G h/test
$ /dev/zvol/h/test

ZVOL специально рассчитаны для хранения RAW данных типа образов виртуалок или баз данных.

[rim]

Стрип - atacontrol create RAID0 64 ad4 ad6 (дешевенький adaptec 1240 разваливает масив если ставить размер стрипа более 64 к)

На стрипе создал 4 слайса на них и тренировался:
на 1-м newfs -U -O2 -b65536 -f65536
на 2-м zfs create -s -b 65536 -V 457G zfstor/zvol
на 3-м newfs -U -O2 -b65536 -f8192
на 4-ь newfs -U -O2 -b16384 -f2048 (дефолтовые параметры)

Смотрировал 1,3,4 с noatime и отдал iscsi-targetотм на ESX 3.02

zfs set atime=off zfstor/zvol
и тоже отдал iscsi-targetотм как /dev/zvol/zfstor/zvol на ESX 3.02

На ESX запустил тестовые, идентичные ОС (W2K3) расположенные на этих слайсах и давай копировать большие файлы.... :-)

Как не надеялся на zfs, но все же UFS в этой конифигурации по скорости выигал.
Наибольшую скорость работы среди 1,3,4-го вариантов, показал вариант 1.

Не проверял zpool create zfstor /dev/ad4 /dev/ad6, но все же думаю что atacontrol create RAID0 64 ad4 ad6 все равно будет быстрее.
Вот выйдет 8-ка, с 13-м ZFSом, много в ней всяких вкусностей, тогда может быть.
Есть еще поиграться с tunefs -e 16384 и tunefs -f 2147483648 но не думаю, что они на сколько нибудь заметно повлияют на производительность фс-а.
Вот, как-то так.

[Гость]

Стрип - atacontrol create RAID0 64 ad4 ad6

а если контроллер полетит, то пойдешь искать такой же? полусофтовые или хардварные рейды отличаются несовместимостью. Чем не устраивает gstripe(8) или `zpool add'?

Как не надеялся на zfs, но все же UFS в этой конифигурации по скорости выигал.
Наибольшую скорость работы среди 1,3,4-го вариантов, показал вариант 1.

в след раз пробуй vfs.zfs.vdev.max_pending=1, если ОСь не поддерживает NCQ. А фря только сегодня оффициально обрела поддержку NCQ.

[rim]

Опять же, контроллеры летят ЗНАЧИТЕЛЬНО реже винтов. А atacontrol быстрее, хоть и не намного но при активном использовании даже небольшой выигрыш в производительности бережет нервы.

А вот vfs.zfs.vdev.max_pending в переменных я у себя вообще не нашел.

Код: Выделить всё

[root@ns /usr/local/etc/iscsi]# sysctl -a |grep zfs
vfs.zfs.arc_min: 16777216
vfs.zfs.arc_max: 251658240
vfs.zfs.mdcomp_disable: 0
vfs.zfs.prefetch_disable: 0
vfs.zfs.zio.taskq_threads: 0
vfs.zfs.recover: 0
vfs.zfs.vdev.cache.size: 10485760
vfs.zfs.vdev.cache.max: 16384
vfs.zfs.cache_flush_disable: 0
vfs.zfs.zil_disable: 0
vfs.zfs.debug: 0
kstat.zfs.misc.arcstats.hits: 22435
kstat.zfs.misc.arcstats.misses: 10899
kstat.zfs.misc.arcstats.demand_data_hits: 2494
kstat.zfs.misc.arcstats.demand_data_misses: 106
kstat.zfs.misc.arcstats.demand_metadata_hits: 10009
kstat.zfs.misc.arcstats.demand_metadata_misses: 1697
kstat.zfs.misc.arcstats.prefetch_data_hits: 9932
kstat.zfs.misc.arcstats.prefetch_data_misses: 9096
kstat.zfs.misc.arcstats.prefetch_metadata_hits: 0
kstat.zfs.misc.arcstats.prefetch_metadata_misses: 0
kstat.zfs.misc.arcstats.mru_hits: 6905
kstat.zfs.misc.arcstats.mru_ghost_hits: 3715
kstat.zfs.misc.arcstats.mfu_hits: 5767
kstat.zfs.misc.arcstats.mfu_ghost_hits: 297
kstat.zfs.misc.arcstats.deleted: 186413
kstat.zfs.misc.arcstats.recycle_miss: 56752
kstat.zfs.misc.arcstats.mutex_miss: 15
kstat.zfs.misc.arcstats.evict_skip: 647837
kstat.zfs.misc.arcstats.hash_elements: 572
kstat.zfs.misc.arcstats.hash_elements_max: 2132
kstat.zfs.misc.arcstats.hash_collisions: 1383
kstat.zfs.misc.arcstats.hash_chains: 1
kstat.zfs.misc.arcstats.hash_chain_max: 2
kstat.zfs.misc.arcstats.p: 16777216
kstat.zfs.misc.arcstats.c: 16777216
kstat.zfs.misc.arcstats.c_min: 16777216
kstat.zfs.misc.arcstats.c_max: 251658240
kstat.zfs.misc.arcstats.size: 29046784
[root@ns /usr/local/etc/iscsi]#

Код: Выделить всё

[root@ns /usr/local/etc/iscsi]# uname -a
FreeBSD ns.forceit.com.ua 7.1-RELEASE FreeBSD 7.1-RELEASE #0: Tue May  5 01:01:38 EEST 2009 

Код: Выделить всё

[root@ns /usr/local/etc/iscsi]# zpool upgrade -v
This system is currently running ZFS version 6.

The following versions are supported:

VER  DESCRIPTION
---  --------------------------------------------------------
 1   Initial ZFS version
 2   Ditto blocks (replicated metadata)
 3   Hot spares and double parity RAID-Z
 4   zpool history
 5   Compression using the gzip algorithm
 6   bootfs pool property
For more information on a particular version, including supported releases, see:

http://www.opensolaris.org/os/community/zfs/version/N

Where 'N' is the version number.
[root@ns /usr/local/etc/iscsi]#

Со мной, что-то не так?
А вот NCQ для моих задач однозначно бы было полезно. Вот только толком не разобрался где кроме 8-ки есть ее поддержка, вроде в 7-STABLE? Помимо этого должна быть поддержка в винтах и на контроллере?