NFS, NFS4 - "низкая" скорость работы.

[kharkov_max]

Добрый день.

Поднял nfs шару.
Шара лежит на ZFS mirror.

Система freebsd 8.2
Под ffreebsd zpool iostat при time dd if=/dev/zero of=file.bin bs=10m count=1024 показывает скорость зеркала около 80Mb/сек, что подтверждает вывод dd.
А вот чтение/запись через NFS 25-30 Мб/сек.
Хосты между собой соеденины 1000 сетевыми.

По большому счету 25-30 Мб/сек уже и так не плохо, но ...
Через nfs планируется подключение диска к ESX4 и несколько виртуалок на нем, в связи с этим хочется выжать максимум из скорости nfs.
Хотя бы приблизится к порогу 60-65 Мб/сек.

На форумах видел сообщения что из NFS3 больше не получить, рекомендовали использовать NFS4.
Настроил NFS4 - картина та же...

Подскажите пожалуйста, как можно протюнить систему, настройки NFS 3,4 и поднять скорость работы nfs?
Спасибо ...

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[kharkov_max]

UP ...

[Alex Keda]

на 3 мегабайт 40 помоему у нас было...

[kharkov_max]

на 3 мегабайт 40 помоему у нас было...

1. Скорость прыгает, я показал среднее значение.
В iostat пула иногда проскакивает 40 и 50 Мб/сек, но в среднем 25-30, что не совсем устраивает.

Сейчас поднят nfs4.
Есть ли какие нить параметры самого NFS какими можно поднять (управлять) скоростью?

Есть ли смысл поставить хорошие сетевые, типа pro1000 - поможет ли это? (что б зря не парится, придется кучу конфигов переписать, т.к.сетевые будут сниматься с других хостов, лишних - нет). В данный помент гигабит реализован на интегрированых в МП сетевых картах, хотя должно работать ...
60-65 Мб 100% должно выдавать.

2. Есть еще один вопрос, не по данной теме - не хочу новый пост создавать.
ESX планирую грузить по сети с iscsi диска. iSCSI запустил, для загрузки использую tftp и gpxe для монтирования iscsi .
При старте хоста tftp нормально грузит gpxe, но монтирование iscsi приходится делать вручную:

Код: Выделить всё

dhcp net0
set keep-san 1
sanboot iscsi:192.168.9.250::::iscsi.gateway:iscsi-esx4

Потом даже можно начать инсталяцию ESX или загрузить его.
Затык у меня произошел на уровне DHCP сервера, параметры для gpxe можно передавать через dhcp, что б при каждой перезагрузке хоста не монтировать руками диск iscsi.

В линухе это делается приблизительно так:

Код: Выделить всё

option space gpxe;
option gpxe-encap-opts code 175 = encapsulate gpxe;
option gpxe.keep-san code 8 = unsigned integer 8;

filename "";
option root-path "iscsi:my.target.dns.name::::iqn.2007-08.name.dns.target.my:iscsiboot";
option gpxe.keep-san 1;

В качестве dhcp сервера я использую:

Код: Выделить всё

>pkg_info | grep isc-dhcp
isc-dhcp31-server-3.1.ESV,1 The ISC Dynamic Host Configuration Protocol server

Вопрос, как через данный DHCP сервер передать параметры в gpxe?
Может кто натыкался и подскажет ?

[kharkov_max]

С пунктом 2 разобрался.
У меня установлен isc-dhcp31-server а он старенький и не поддерживает gPXE
Нужно ставить isc-dhcp41-server.

А вот по первому посту ответа пока не нашел ...

[kharkov_max]

Up.

Может кто то знает как увеличить скорость работы NFS ?

[kharkov_max]

Вообщем ситуация немного проясниласть.

Имеется 2 диска Hitachi 500Гб.
На пустом пуле скорость чтения каждого (отдельно) диска при создании файла в 10Гб равна ~ 80Мб.
На пустом zpool mirror - так же около 80 Мб.

Но стоит только забить диск или зеркало данными, к примеру 100 Гб, скорость диска (в отдельности) или зеркала, катострофически падает до отметки 25-30 Мб/сек...
Из этих показаний, соответственно, выплывает и скорость NFS.

Поставил эти диски в stripe (create zpool myname gpt/disk1 gpt/disk2), скорость NFS возросла ровно в 2 раза, до 45-50 Мб/сек.

Нашел два диска Seagate по 500 Гб, проверю на них, но пока тесты пула на Seagate радуют.
Забил отдельно диск файлом 450Гб, средняя скорость dd при создании файла 63 Мб/сек.

Буду лепить на них зеркало и тулить на него NFS, о результатах тестов отпишусь...

[iZEN]

А как узнать версию NFS на FreeBSD?
Расшарил на ZFS папки подобной командой:

Код: Выделить всё

% zfs set sharenfs="-alldir -ro -network 192.168.1.0 -mask 255.255.255.0" mypool/usr/ports

В /etc/rc.conf прописал:

Код: Выделить всё

# NFS-server
nfs_server_enable="YES"
nfs_reserved_port_only="YES"
nfs_server_flags="-u -t -n 8"
rpcbind_enable="YES"
rpc_lockd_enable="YES"
rpc_lockd_flags="-p 884"
rpc_statd_enable="YES"
rpc_statd_flags="-p 885"
mountd_enable="YES"
mountd_flags="-p 883"

Соответствующие порты открыл в PF.
На клиентах всё видится, а что за версия NFS работает — не знаю.

[kharkov_max]

Это

zfs set sharenfs="-alldir -ro -network 192.168.1.0 -mask 255.255.255.0" mypool/usr/ports

можно было прописать в /etc/exports

Судя по вашему rc.conf у вас NFSv.3

[kharkov_max]

Вообщем, проблема действительно была в скорости дисков Hitachi.

В пул mirror поставил 2 диска Seagate по 500 Гб - локальная скорость зеркала 60-80 Мб/сек.
Но скорость NFSv.3 не поднимается больше 40 Мб/сек.

Т.е. теперь я уперся в NFS.
Зеркало 100% позволяет больше, сеть тоже.

Подскажите как поднять скорость NFSv.3 более 40Мб/сек, протюнить систему и т.д?
NFSv.4 не подходит т.к. клиент NFS3, и изменить его нельзя ...

[iZEN]

Это

zfs set sharenfs="-alldir -ro -network 192.168.1.0 -mask 255.255.255.0" mypool/usr/ports

можно было прописать в /etc/exports

Можно, но уже не нужно, так как всё нужное можно сделать посредством ZFS.

Судя по вашему rc.conf у вас NFSv.3

Что необходимо, чтобы перейти на NFSv4? Какая инфраструктура и/или настройки нужны для этого?

[dekloper]

букафку s кстате гдето обронили
-alldirs

[skeletor]

По поводу скорости очень неплохо описано здесь
https://blogs.oracle.com/paulie/entry/c ... ion_for_1m
http://www.c0t0d0s0.org/archives/7678-B ... bsize.html
Там правда под Solaris, но можно применить и для FreeBSD.