ZFS и NFS работает очень медленно

[sasha181]

FreeBSD 8.1 amd64
Собрал raidz из 3-х дисков
Локально и пишет и читает очень быстро, а по NFS да и через rsync пробовал, в разы медленнее
По сети

Код: Выделить всё

# dd if=/dev/zero of=./testfile bs=16k count=4096
4096+0 records in
4096+0 records out
67108864 bytes (67 MB) copied, 2.90615 s, 23.1 MB/s

Код: Выделить всё

# dd if=./testfile of=/dev/null bs=16k
4096+0 records in
4096+0 records out
67108864 bytes (67 MB) copied, 0.803589 s, 83.5 MB/s

Локально

Код: Выделить всё

# dd if=/dev/zero of=./testfile bs=16k count=4096
4096+0 records in
4096+0 records out
67108864 bytes transferred in 0.153563 secs (437011872 bytes/sec)

Код: Выделить всё

# dd if=./testfile of=/dev/null bs=16k
4096+0 records in
4096+0 records out
67108864 bytes transferred in 0.047336 secs (1417717130 bytes/sec)

416 MB/s запись и 1352 MB/s чтение
Значения конечно заоблачные. Предположил, что локально zfs как-то оптимизирует запись и чтение таких файлов, забитых нулями.

Вот чтение предварительно скопированного реального файла и потом его запись под другим именем

Код: Выделить всё

# dd if=./3563.data of=/dev/null bs=16k
39573+1 records in
39573+1 records out
648372224 bytes transferred in 3.184514 secs (203601622 bytes/sec)

# dd if=./3563.data of=/3563.data2 bs=16k
39573+1 records in
39573+1 records out
648372224 bytes transferred in 10.841020 secs (59807308 bytes/sec)

57 MB/s запись и 194 MB/s чтение
Так тут ещё стоит учесть, что чтение и запись велись с одних и тех же физических дисков. Т.е. по сети должно писаться быстрее.

Помогите пожалуйста разобраться.

Что из настроек для начала сюда выложить?

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[manefesto]

скажи мне друг, а какая у тебя сеть, 100 мбит ?
Если да то посмотри спецификацию, больше 25-30 из такой сети не выжмешь

[sasha181]

Нет, сеть 1000 мбит
карточки правда встроенные интеловские
ди и если чтение по сети идёт 87, то хотя бы запись должна быть близка к скорости локальной записи

[manefesto]

если локально пишеться нормально, то смотрю в сторону сети.
может особенности nfs

[Alex Keda]

из nfs3 больше ~25-30 mb/s не выжмешь
проверено практически.
====
попробуйте nfs4
в теории, там можно больше

[iZEN]

FreeBSD 8.1 amd64
Собрал raidz из 3-х дисков
Локально и пишет и читает очень быстро, а по NFS да и через rsync пробовал, в разы медленнее

Все настройки NFS под ZFS в студию!

[sasha181]

Код: Выделить всё

root@server4 [/root]# cat /etc/zfs/exports
/usr/home/rfuser        -maproot=root -network 192.168.1 -mask 255.255.255.0

Код: Выделить всё

root@server4 [/root]# cat /etc/sysctl.conf
vfs.nfsrv.async=1

Код: Выделить всё

root@server4 [/root]# cat /boot/loader.conf
zfs_load="YES"
vfs.root.mountfrom="zfs:zroot"
vfs.zfs.zil_disable="1"

Код: Выделить всё

root@server4 [/root]# sysctl -a | grep nfs
vfs.nfs.downdelayinitial: 12
vfs.nfs.downdelayinterval: 30
vfs.nfs.skip_wcc_data_onerr: 1
vfs.nfs.nfs3_jukebox_delay: 10
vfs.nfs.reconnects: 0
vfs.nfs.bufpackets: 4
vfs.nfs.defect: 0
vfs.nfs.iodmax: 20
vfs.nfs.iodmin: 0
vfs.nfs.iodmaxidle: 120
vfs.nfs.diskless_rootpath:
vfs.nfs.diskless_valid: 0
vfs.nfs.nfs_ip_paranoia: 1
vfs.nfs.nfs_directio_allow_mmap: 1
vfs.nfs.nfs_directio_enable: 0
vfs.nfs.clean_pages_on_close: 1
vfs.nfs.nfsv3_commit_on_close: 0
vfs.nfs.prime_access_cache: 0
vfs.nfs.access_cache_timeout: 60
vfs.nfs_common.realign_count: 0
vfs.nfs_common.realign_test: 224662917
vfs.nfsrv.nfs_privport: 0
vfs.nfsrv.fha.bin_shift: 18
vfs.nfsrv.fha.max_nfsds_per_fh: 8
vfs.nfsrv.fha.max_reqs_per_nfsd: 4
vfs.nfsrv.fha.fhe_stats: No file handle entries.
vfs.nfsrv.commit_miss: 0
vfs.nfsrv.commit_blks: 0
vfs.nfsrv.async: 1
vfs.nfsrv.gatherdelay_v3: 0
vfs.nfsrv.gatherdelay: 10000
vfs.nfsrv.minthreads: 5
vfs.nfsrv.maxthreads: 5
vfs.nfsrv.threads: 5
vfs.nfsrv.request_space_used: 0
vfs.nfsrv.request_space_used_highest: 41412
vfs.nfsrv.request_space_high: 13107200
vfs.nfsrv.request_space_low: 8738133
vfs.nfsrv.request_space_throttled: 0
vfs.nfsrv.request_space_throttle_count: 0

На клиенте стоит CentOS 5.5 с ядром OpenVZ

Код: Выделить всё

[root@server3 ~]# cat /etc/fstab | grep nfs
192.168.1.2:/usr/home/rfuser  /mnt/server4.rufox.ru/rfuser    nfs        noatime,async,rsize=32768,wsize=32768,hard,intr 0    0

Опции монтирования пробовал разные. Скорость примерно одинакова.

Код: Выделить всё

[root@server3 ~]# cat /etc/sysctl.conf
# Controls source route verification
net.ipv4.conf.default.rp_filter = 1

# Do not accept source routing
net.ipv4.conf.default.accept_source_route = 0

# Controls whether core dumps will append the PID to the core filename
# Useful for debugging multi-threaded applications
kernel.core_uses_pid = 1

# Controls the use of TCP syncookies
net.ipv4.tcp_syncookies = 1

# Controls the maximum size of a message, in bytes
kernel.msgmnb = 65536

# Controls the default maxmimum size of a mesage queue
kernel.msgmax = 65536

# Controls the maximum shared segment size, in bytes
kernel.shmmax = 68719476736

# Controls the maximum number of shared memory segments, in pages
kernel.shmall = 4294967296


# OVZ settings begin
net.ipv4.ip_forward = 1
net.ipv4.conf.default.proxy_arp = 0
net.ipv4.conf.all.rp_filter = 1
kernel.sysrq = 1
net.ipv4.conf.default.send_redirects = 1
net.ipv4.conf.all.send_redirects = 0
net.ipv4.icmp_echo_ignore_broadcasts = 1
net.ipv4.conf.default.forwarding = 1
# OVZ settings end

Код: Выделить всё

[root@server3 ~]# sysctl -a | grep nfs
sunrpc.nfsd_debug = 0
sunrpc.nfs_debug = 0
fs.nfs.nfs_mountpoint_timeout = 500
fs.nfs.idmap_cache_timeout = 600
fs.nfs.nfs_callback_tcpport = 0
fs.nfs.nlm_tcpport = 0
fs.nfs.nlm_udpport = 0
fs.nfs.nlm_timeout = 10
fs.nfs.nlm_grace_period = 0

из nfs3 больше ~25-30 mb/s не выжмешь
проверено практически.
====
попробуйте nfs4
в теории, там можно больше

Сегодня попробую, о результатах отпишусь.

[sasha181]

Вообщем, появилось время снова заняться этим вопросом. Результат такой:
оказалось zfs очень резко реагирует на размер блока при копировании и записи
с маленькими блоками запись гораздо медленнее
в моих тестах (копировал реальные файлы размером около 600 мегабайт) zfs локально достигает пика производительности (90-100MB/s) с блоком 128к
выставил в опциях монтирования размер блока 31744 . С размером 32768 по какой-то причине копирование зависало. Из-за чего такое могло быть?
скорость записи по сети стала 50 MB/s , чтение 100-110MB/s
мне в принципе этого вполне достаточно

nfsv4 поднять не удалось в логах клиента (CentOS)

Код: Выделить всё

kernel: call_verify: server 192.168.1.2 requires stronger authentication.

Но для такого маленького хранилища и этих скоростей думаю вполне достаточно