NFS, NFS4 - "низкая" скорость работы.

Простые/общие вопросы по UNIX системам. Спросите здесь, если вы новичок

Модераторы: vadim64, terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
kharkov_max
капитан
Сообщения: 1808
Зарегистрирован: 2008-10-03 14:56:40

NFS, NFS4 - "низкая" скорость работы.

Непрочитанное сообщение kharkov_max » 2011-06-05 15:32:07

Добрый день.

Поднял nfs шару.
Шара лежит на ZFS mirror.

Система freebsd 8.2
Под ffreebsd zpool iostat при time dd if=/dev/zero of=file.bin bs=10m count=1024 показывает скорость зеркала около 80Mb/сек, что подтверждает вывод dd.
А вот чтение/запись через NFS 25-30 Мб/сек.
Хосты между собой соеденины 1000 сетевыми.

По большому счету 25-30 Мб/сек уже и так не плохо, но ...
Через nfs планируется подключение диска к ESX4 и несколько виртуалок на нем, в связи с этим хочется выжать максимум из скорости nfs.
Хотя бы приблизится к порогу 60-65 Мб/сек.

На форумах видел сообщения что из NFS3 больше не получить, рекомендовали использовать NFS4.
Настроил NFS4 - картина та же...

Подскажите пожалуйста, как можно протюнить систему, настройки NFS 3,4 и поднять скорость работы nfs?
Спасибо ...
Последний раз редактировалось f_andrey 2011-06-05 16:05:14, всего редактировалось 1 раз.
Причина: Автору, выбирайте пожалуйста раздел соответствуюший тематике вашего сообщения. приводите полную диагностику, больше логов больше вероятности ответа, а не флуда

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
kharkov_max
капитан
Сообщения: 1808
Зарегистрирован: 2008-10-03 14:56:40

Re: NFS, NFS4 - "низкая" скорость работы.

Непрочитанное сообщение kharkov_max » 2011-06-06 11:36:10

UP ...

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35182
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: NFS, NFS4 - "низкая" скорость работы.

Непрочитанное сообщение Alex Keda » 2011-06-07 7:24:06

на 3 мегабайт 40 помоему у нас было...
Убей их всех! Бог потом рассортирует...

Аватара пользователя
kharkov_max
капитан
Сообщения: 1808
Зарегистрирован: 2008-10-03 14:56:40

Re: NFS, NFS4 - "низкая" скорость работы.

Непрочитанное сообщение kharkov_max » 2011-06-07 8:16:46

Alex Keda писал(а):на 3 мегабайт 40 помоему у нас было...
1. Скорость прыгает, я показал среднее значение.
В iostat пула иногда проскакивает 40 и 50 Мб/сек, но в среднем 25-30, что не совсем устраивает.

Сейчас поднят nfs4.
Есть ли какие нить параметры самого NFS какими можно поднять (управлять) скоростью?

Есть ли смысл поставить хорошие сетевые, типа pro1000 - поможет ли это? (что б зря не парится, придется кучу конфигов переписать, т.к.сетевые будут сниматься с других хостов, лишних - нет). В данный помент гигабит реализован на интегрированых в МП сетевых картах, хотя должно работать ...
60-65 Мб 100% должно выдавать.

2. Есть еще один вопрос, не по данной теме - не хочу новый пост создавать.
ESX планирую грузить по сети с iscsi диска. iSCSI запустил, для загрузки использую tftp и gpxe для монтирования iscsi .
При старте хоста tftp нормально грузит gpxe, но монтирование iscsi приходится делать вручную:

Код: Выделить всё

dhcp net0
set keep-san 1
sanboot iscsi:192.168.9.250::::iscsi.gateway:iscsi-esx4
Потом даже можно начать инсталяцию ESX или загрузить его.
Затык у меня произошел на уровне DHCP сервера, параметры для gpxe можно передавать через dhcp, что б при каждой перезагрузке хоста не монтировать руками диск iscsi.

В линухе это делается приблизительно так:

Код: Выделить всё

option space gpxe;
option gpxe-encap-opts code 175 = encapsulate gpxe;
option gpxe.keep-san code 8 = unsigned integer 8;

filename "";
option root-path "iscsi:my.target.dns.name::::iqn.2007-08.name.dns.target.my:iscsiboot";
option gpxe.keep-san 1;
В качестве dhcp сервера я использую:

Код: Выделить всё

>pkg_info | grep isc-dhcp
isc-dhcp31-server-3.1.ESV,1 The ISC Dynamic Host Configuration Protocol server
Вопрос, как через данный DHCP сервер передать параметры в gpxe?
Может кто натыкался и подскажет ?

Аватара пользователя
kharkov_max
капитан
Сообщения: 1808
Зарегистрирован: 2008-10-03 14:56:40

Re: NFS, NFS4 - "низкая" скорость работы.

Непрочитанное сообщение kharkov_max » 2011-06-07 15:52:27

С пунктом 2 разобрался.
У меня установлен isc-dhcp31-server а он старенький и не поддерживает gPXE
Нужно ставить isc-dhcp41-server.

А вот по первому посту ответа пока не нашел ...

Аватара пользователя
kharkov_max
капитан
Сообщения: 1808
Зарегистрирован: 2008-10-03 14:56:40

Re: NFS, NFS4 - "низкая" скорость работы.

Непрочитанное сообщение kharkov_max » 2011-06-09 12:50:16

Up.

Может кто то знает как увеличить скорость работы NFS ?

Аватара пользователя
kharkov_max
капитан
Сообщения: 1808
Зарегистрирован: 2008-10-03 14:56:40

Re: NFS, NFS4 - "низкая" скорость работы.

Непрочитанное сообщение kharkov_max » 2011-06-13 11:30:49

Вообщем ситуация немного проясниласть.

Имеется 2 диска Hitachi 500Гб.
На пустом пуле скорость чтения каждого (отдельно) диска при создании файла в 10Гб равна ~ 80Мб.
На пустом zpool mirror - так же около 80 Мб.

Но стоит только забить диск или зеркало данными, к примеру 100 Гб, скорость диска (в отдельности) или зеркала, катострофически падает до отметки 25-30 Мб/сек...
Из этих показаний, соответственно, выплывает и скорость NFS.

Поставил эти диски в stripe (create zpool myname gpt/disk1 gpt/disk2), скорость NFS возросла ровно в 2 раза, до 45-50 Мб/сек.

Нашел два диска Seagate по 500 Гб, проверю на них, но пока тесты пула на Seagate радуют.
Забил отдельно диск файлом 450Гб, средняя скорость dd при создании файла 63 Мб/сек.

Буду лепить на них зеркало и тулить на него NFS, о результатах тестов отпишусь...

Аватара пользователя
iZEN
ст. лейтенант
Сообщения: 1089
Зарегистрирован: 2007-09-15 16:45:26
Контактная информация:

Re: NFS, NFS4 - "низкая" скорость работы.

Непрочитанное сообщение iZEN » 2011-06-13 23:57:45

А как узнать версию NFS на FreeBSD?
Расшарил на ZFS папки подобной командой:

Код: Выделить всё

% zfs set sharenfs="-alldir -ro -network 192.168.1.0 -mask 255.255.255.0" mypool/usr/ports
В /etc/rc.conf прописал:

Код: Выделить всё

# NFS-server
nfs_server_enable="YES"
nfs_reserved_port_only="YES"
nfs_server_flags="-u -t -n 8"
rpcbind_enable="YES"
rpc_lockd_enable="YES"
rpc_lockd_flags="-p 884"
rpc_statd_enable="YES"
rpc_statd_flags="-p 885"
mountd_enable="YES"
mountd_flags="-p 883"
Соответствующие порты открыл в PF.
На клиентах всё видится, а что за версия NFS работает — не знаю. :fool:
GNU/Linux — это не Unix и даже никогда им не был, и, что самое смешное, никогда им не станет — GNU's Not Unix

Аватара пользователя
kharkov_max
капитан
Сообщения: 1808
Зарегистрирован: 2008-10-03 14:56:40

Re: NFS, NFS4 - "низкая" скорость работы.

Непрочитанное сообщение kharkov_max » 2011-06-14 9:20:15

Это
zfs set sharenfs="-alldir -ro -network 192.168.1.0 -mask 255.255.255.0" mypool/usr/ports
можно было прописать в /etc/exports

Судя по вашему rc.conf у вас NFSv.3

Аватара пользователя
kharkov_max
капитан
Сообщения: 1808
Зарегистрирован: 2008-10-03 14:56:40

Re: NFS, NFS4 - "низкая" скорость работы.

Непрочитанное сообщение kharkov_max » 2011-06-14 11:54:42

Вообщем, проблема действительно была в скорости дисков Hitachi.

В пул mirror поставил 2 диска Seagate по 500 Гб - локальная скорость зеркала 60-80 Мб/сек.
Но скорость NFSv.3 не поднимается больше 40 Мб/сек.

Т.е. теперь я уперся в NFS.
Зеркало 100% позволяет больше, сеть тоже.

Подскажите как поднять скорость NFSv.3 более 40Мб/сек, протюнить систему и т.д?
NFSv.4 не подходит т.к. клиент NFS3, и изменить его нельзя ...

Аватара пользователя
iZEN
ст. лейтенант
Сообщения: 1089
Зарегистрирован: 2007-09-15 16:45:26
Контактная информация:

Re: NFS, NFS4 - "низкая" скорость работы.

Непрочитанное сообщение iZEN » 2011-06-14 19:15:07

kharkov_max писал(а):Это
zfs set sharenfs="-alldir -ro -network 192.168.1.0 -mask 255.255.255.0" mypool/usr/ports
можно было прописать в /etc/exports
Можно, но уже не нужно, так как всё нужное можно сделать посредством ZFS.
kharkov_max писал(а):Судя по вашему rc.conf у вас NFSv.3
Что необходимо, чтобы перейти на NFSv4? Какая инфраструктура и/или настройки нужны для этого?
GNU/Linux — это не Unix и даже никогда им не был, и, что самое смешное, никогда им не станет — GNU's Not Unix

Аватара пользователя
dekloper
ст. лейтенант
Сообщения: 1329
Зарегистрирован: 2008-02-24 15:43:19
Откуда: давно здесь сидим..
Контактная информация:

Re: NFS, NFS4 - "низкая" скорость работы.

Непрочитанное сообщение dekloper » 2014-01-17 5:59:05

букафку s кстате гдето обронили
-alldirs
ТОВАгИЩИ! БгАТЬЯ И СЕСТгЫ! ДОЛОЙ гАВНОДУШИЕ!

Аватара пользователя
skeletor
майор
Сообщения: 2486
Зарегистрирован: 2007-11-16 18:22:04
Откуда: Kiev
Контактная информация:

Re: NFS, NFS4 - "низкая" скорость работы.

Непрочитанное сообщение skeletor » 2014-01-17 14:05:10

По поводу скорости очень неплохо описано здесь
https://blogs.oracle.com/paulie/entry/c ... ion_for_1m
http://www.c0t0d0s0.org/archives/7678-B ... bsize.html
Там правда под Solaris, но можно применить и для FreeBSD.
"Винда съела дрова и резет здесь не фурычит."
"Все говорят, что у меня /dev/hands криво и я всё делаю через /dev/ass. А у меня этих фалов вообще нет!"