Страница 1 из 1
NFS, NFS4 - "низкая" скорость работы.
Добавлено: 2011-06-05 15:32:07
kharkov_max
Добрый день.
Поднял nfs шару.
Шара лежит на ZFS mirror.
Система freebsd 8.2
Под ffreebsd zpool iostat при time dd if=/dev/zero of=file.bin bs=10m count=1024 показывает скорость зеркала около 80Mb/сек, что подтверждает вывод dd.
А вот чтение/запись через NFS 25-30 Мб/сек.
Хосты между собой соеденины 1000 сетевыми.
По большому счету 25-30 Мб/сек уже и так не плохо, но ...
Через nfs планируется подключение диска к ESX4 и несколько виртуалок на нем, в связи с этим хочется выжать максимум из скорости nfs.
Хотя бы приблизится к порогу 60-65 Мб/сек.
На форумах видел сообщения что из NFS3 больше не получить, рекомендовали использовать NFS4.
Настроил NFS4 - картина та же...
Подскажите пожалуйста, как можно протюнить систему, настройки NFS 3,4 и поднять скорость работы nfs?
Спасибо ...
Re: NFS, NFS4 - "низкая" скорость работы.
Добавлено: 2011-06-06 11:36:10
kharkov_max
UP ...
Re: NFS, NFS4 - "низкая" скорость работы.
Добавлено: 2011-06-07 7:24:06
Alex Keda
на 3 мегабайт 40 помоему у нас было...
Re: NFS, NFS4 - "низкая" скорость работы.
Добавлено: 2011-06-07 8:16:46
kharkov_max
Alex Keda писал(а):на 3 мегабайт 40 помоему у нас было...
1. Скорость прыгает, я показал среднее значение.
В iostat пула иногда проскакивает 40 и 50 Мб/сек, но в среднем 25-30, что не совсем устраивает.
Сейчас поднят nfs4.
Есть ли какие нить параметры самого NFS какими можно поднять (управлять) скоростью?
Есть ли смысл поставить хорошие сетевые, типа pro1000 - поможет ли это? (что б зря не парится, придется кучу конфигов переписать, т.к.сетевые будут сниматься с других хостов, лишних - нет). В данный помент гигабит реализован на интегрированых в МП сетевых картах, хотя должно работать ...
60-65 Мб 100% должно выдавать.
2. Есть еще один вопрос, не по данной теме - не хочу новый пост создавать.
ESX планирую грузить по сети с iscsi диска. iSCSI запустил, для загрузки использую tftp и gpxe для монтирования iscsi .
При старте хоста tftp нормально грузит gpxe, но монтирование iscsi приходится делать вручную:
Код: Выделить всё
dhcp net0
set keep-san 1
sanboot iscsi:192.168.9.250::::iscsi.gateway:iscsi-esx4
Потом даже можно начать инсталяцию ESX или загрузить его.
Затык у меня произошел на уровне DHCP сервера, параметры для gpxe можно передавать через dhcp, что б при каждой перезагрузке хоста не монтировать руками диск iscsi.
В линухе это делается приблизительно так:
Код: Выделить всё
option space gpxe;
option gpxe-encap-opts code 175 = encapsulate gpxe;
option gpxe.keep-san code 8 = unsigned integer 8;
filename "";
option root-path "iscsi:my.target.dns.name::::iqn.2007-08.name.dns.target.my:iscsiboot";
option gpxe.keep-san 1;
В качестве dhcp сервера я использую:
Код: Выделить всё
>pkg_info | grep isc-dhcp
isc-dhcp31-server-3.1.ESV,1 The ISC Dynamic Host Configuration Protocol server
Вопрос, как через данный DHCP сервер передать параметры в gpxe?
Может кто натыкался и подскажет ?
Re: NFS, NFS4 - "низкая" скорость работы.
Добавлено: 2011-06-07 15:52:27
kharkov_max
С пунктом 2 разобрался.
У меня установлен isc-dhcp31-server а он старенький и не поддерживает gPXE
Нужно ставить isc-dhcp41-server.
А вот по первому посту ответа пока не нашел ...
Re: NFS, NFS4 - "низкая" скорость работы.
Добавлено: 2011-06-09 12:50:16
kharkov_max
Up.
Может кто то знает как увеличить скорость работы NFS ?
Re: NFS, NFS4 - "низкая" скорость работы.
Добавлено: 2011-06-13 11:30:49
kharkov_max
Вообщем ситуация немного проясниласть.
Имеется 2 диска Hitachi 500Гб.
На пустом пуле скорость чтения каждого (отдельно) диска при создании файла в 10Гб равна ~ 80Мб.
На пустом zpool mirror - так же около 80 Мб.
Но стоит только забить диск или зеркало данными, к примеру 100 Гб, скорость диска (в отдельности) или зеркала, катострофически падает до отметки 25-30 Мб/сек...
Из этих показаний, соответственно, выплывает и скорость NFS.
Поставил эти диски в stripe (create zpool myname gpt/disk1 gpt/disk2), скорость NFS возросла ровно в 2 раза, до 45-50 Мб/сек.
Нашел два диска Seagate по 500 Гб, проверю на них, но пока тесты пула на Seagate радуют.
Забил отдельно диск файлом 450Гб, средняя скорость dd при создании файла 63 Мб/сек.
Буду лепить на них зеркало и тулить на него NFS, о результатах тестов отпишусь...
Re: NFS, NFS4 - "низкая" скорость работы.
Добавлено: 2011-06-13 23:57:45
iZEN
А как узнать версию NFS на FreeBSD?
Расшарил на ZFS папки подобной командой:
Код: Выделить всё
% zfs set sharenfs="-alldir -ro -network 192.168.1.0 -mask 255.255.255.0" mypool/usr/ports
В
/etc/rc.conf прописал:
Код: Выделить всё
# NFS-server
nfs_server_enable="YES"
nfs_reserved_port_only="YES"
nfs_server_flags="-u -t -n 8"
rpcbind_enable="YES"
rpc_lockd_enable="YES"
rpc_lockd_flags="-p 884"
rpc_statd_enable="YES"
rpc_statd_flags="-p 885"
mountd_enable="YES"
mountd_flags="-p 883"
Соответствующие порты открыл в PF.
На клиентах всё видится, а что за версия NFS работает — не знаю.
Re: NFS, NFS4 - "низкая" скорость работы.
Добавлено: 2011-06-14 9:20:15
kharkov_max
Это
zfs set sharenfs="-alldir -ro -network 192.168.1.0 -mask 255.255.255.0" mypool/usr/ports
можно было прописать в /etc/exports
Судя по вашему rc.conf у вас NFSv.3
Re: NFS, NFS4 - "низкая" скорость работы.
Добавлено: 2011-06-14 11:54:42
kharkov_max
Вообщем, проблема действительно была в скорости дисков Hitachi.
В пул mirror поставил 2 диска Seagate по 500 Гб - локальная скорость зеркала 60-80 Мб/сек.
Но скорость NFSv.3 не поднимается больше 40 Мб/сек.
Т.е. теперь я уперся в NFS.
Зеркало 100% позволяет больше, сеть тоже.
Подскажите как поднять скорость NFSv.3 более 40Мб/сек, протюнить систему и т.д?
NFSv.4 не подходит т.к. клиент NFS3, и изменить его нельзя ...
Re: NFS, NFS4 - "низкая" скорость работы.
Добавлено: 2011-06-14 19:15:07
iZEN
kharkov_max писал(а):Это
zfs set sharenfs="-alldir -ro -network 192.168.1.0 -mask 255.255.255.0" mypool/usr/ports
можно было прописать в /etc/exports
Можно, но уже не нужно, так как всё нужное можно сделать посредством ZFS.
kharkov_max писал(а):Судя по вашему rc.conf у вас NFSv.3
Что необходимо, чтобы перейти на NFSv4? Какая инфраструктура и/или настройки нужны для этого?
Re: NFS, NFS4 - "низкая" скорость работы.
Добавлено: 2014-01-17 5:59:05
dekloper
букафку s кстате гдето обронили
-alldirs
Re: NFS, NFS4 - "низкая" скорость работы.
Добавлено: 2014-01-17 14:05:10
skeletor