Esxi5 очень маленькая скорость при копировании на NFS

[kharkov_max]

Добрый день.

Решил настроить бекапирование вируальных машин на NFS шару.
Бекап делаю таким скриптом http://communities.vmware.com/docs/DOC-8760

Собственно вопрос не по скрипту, а по скорости копирования.
К Esxi5 была примонтирована NFS шара на Freebsd 8.2.
2 сервера соеденены на прямую отдельным шнурком и 1Гб сетевыми картами.
Скорость копирования при этом очень низкая меньше 1Мб/c, ожидал хотя бы 30-40 Мб/с
В подобной связке запускал iSCSI - ситуация похожая.
Свободной памяти на хостах по 1.5 Гб, специально все лишнее тормознул ...

Вот тут и вопрос возник, что нужно подкрутить/подтюнить в ESXi5 , есть подозрение что проблема именно в нем ...
А может и по freebsd что нибудь посоветуете.

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Alex Keda]

есть пдозрение, что дело в NFS

[kharkov_max]

есть пдозрение, что дело в NFS

В NFS в принципе, т.е. далее можно не копать - это максимум ?
Или можно как то увеличить скорость, только вопрос где на ESX или на freebsd.

Собственно какие есть механизмы проверки и т.д.
Прошу Вашей помощи по данному вопросу..

[kharkov_max]

Или может на samba закрутить ?

[Alex Keda]

я по NFS больше 400 магабит не выжимал.
на хорошем оборудовании, заметим

[FiL]

я по NFS больше 400 магабит не выжимал.
на хорошем оборудовании, заметим

Я на вполне посредственном оборудовании без каких-либо тюнингов 35 МБ/с по NFS имею. Да, это даже меньше твоих 400 мегабит, но я уверен, что это не предел.
И, главное, это заметно шустрее, чем 1 МБ/с у ТС.

kharkov_max,
а поставить рядом какую-то машинку не под виртуалкой и посмотреть как она будет жить с твоим нфс нет возможности?
Что-то у меня сомнения, что там в esx проблемы.

[kharkov_max]

я по NFS больше 400 магабит не выжимал.
на хорошем оборудовании, заметим

Я на вполне посредственном оборудовании без каких-либо тюнингов 35 МБ/с по NFS имею. Да, это даже меньше твоих 400 мегабит, но я уверен, что это не предел.
И, главное, это заметно шустрее, чем 1 МБ/с у ТС.

kharkov_max,
а поставить рядом какую-то машинку не под виртуалкой и посмотреть как она будет жить с твоим нфс нет возможности?
Что-то у меня сомнения, что там в esx проблемы.

Возможность есть, думаю что так и стоит предварительно сделать, единственное это будет не 1Гбит а 100 Мбит, но 10 Мб/сек, во что не верится, было бы уже хорошо.

Дело в том что на этом же канале в 100 Мбит, самба нормально дает 8-9 Мб/сек но с винды ... Что считаю достаточно нормальным показателем ...
Пробовал на 100 Мбит вешать Nfs - результат такой же - плохой, вот и мысли бродят что не так ...
То ли Esx, то ли freebsd...

Подскажите что нужно/возможно проверить для диагностики на системах ?

[manefesto]

а как ведет себя SCP ?

[kharkov_max]

а как ведет себя SCP ?

Не пробовал ...
А смысл ?
Или чем то поможет ?

Samba и ftp на 100ке из винды выдают 10-11Мб.

[kharkov_max]

Так, есть небольшой прогресс.

На Freebsd 2 дисковых системы.
gmirror из 2х дисков 80 Гб UFS, и одно большое хранилище (один диск на 2Тб) под zfs v.28 (freebsd82 c патчем на zfs v.28).
Естесственно бекапы я хотел лить на большой диск.

Попробовал перенацелить NFS на USF зеркало - результат поразил 25 Мб/сек (с учетом того что в зеркале Hitachi - это нормально).

Ну собственно делаем выводы.
У меня NFS на zfs очень медленно работает.
Но Samba и FTP, хранилища которых лежат на zfs, работают на пределе сетевого интерфейса.

Собственно что дальше делать и что смотреть?

[kharkov_max]

Не оно ли ?
http://forum.lissyara.su/viewtopic.php?f=8&t=30533

[kharkov_max]

UP

[FiL]

UP

так а ты попробовал то, на что сам ссылку дал?

[kharkov_max]

Нет не пробовал ...
Подключится с параметрами rsize=32768,wsize=32768 из ESXi5 у меня пока не получается, т.к. пока не могу найти где это можно прописать/изменить (возможно и не получится).
А подключится с другого хоста, пока нет возможности.

Вот и спрашиваю ...

С Esxi5 вообще грустно.
Cifs/Smba к нему не примонтировать в принципе.
Остается, из разумного, только NFS или ftp.
С NFS у меня вышеописанный затык со скоростью, а ftp пока не пойму как клиента запустить.
Активация клиента в консоли есть, а как дальше х.з, народ рекомендует proftpd интегрировать на ESXi5 )))) - но уверен что это бред...

[manefesto]

а ты попробуй определить причину проблемы
либо она на esxi либо только у тебя
Если будет совсем грустно мигрируй на XEN и еже с ним

[kharkov_max]

а ты попробуй определить причину проблемы
либо она на esxi либо только у тебя
Если будет совсем грустно мигрируй на XEN и еже с ним

Проблема в Freebsd - ZFS - NFS
На UFS скорость нормальная.

[FiL]

погодь-погодь. Так дело не в NFS? То есть если на NFS-сервере будет UFS, то скорость будет нормальная? Тогда чего ты нам мозги компостируешь?

[kharkov_max]

погодь-погодь. Так дело не в NFS? То есть если на NFS-сервере будет UFS, то скорость будет нормальная? Тогда чего ты нам мозги компостируешь?

Вы читали что я писал выше?

Так, есть небольшой прогресс.

На Freebsd 2 дисковых системы.
gmirror из 2х дисков 80 Гб UFS, и одно большое хранилище (один диск на 2Тб) под zfs v.28 (freebsd82 c патчем на zfs v.28).
Естесственно бекапы я хотел лить на большой диск.

Попробовал перенацелить NFS на USF зеркало - результат поразил 25 Мб/сек (с учетом того что в зеркале Hitachi - это нормально).

Ну собственно делаем выводы.
У меня NFS на zfs очень медленно работает.
Но Samba и FTP, хранилища которых лежат на zfs, работают на пределе сетевого интерфейса.

Собственно что дальше делать и что смотреть?

[manefesto]

мигрируй на ufs обратно

[kharkov_max]

мигрируй на ufs обратно

Да вот не хочется ...

[FiL]

погодь-погодь. Так дело не в NFS? То есть если на NFS-сервере будет UFS, то скорость будет нормальная? Тогда чего ты нам мозги компостируешь?

Вы читали что я писал выше?

Каюсь, как-то пропустил этот пост.
Ну так если проблема не в NFS (настройки и перформанс NFS явно не зависят от того как отформатирован раздел), то закрываем вопрос NFS как таковой и дальше можно разбирать совершенно другой вопрос -

Тюнинг ZFS под фрёй. А то как-то тормозит.

Вот тут я сразу честно скажу, что нихрена в ZFS не знаю и ничем помочь не могу.

[kharkov_max]

погодь-погодь. Так дело не в NFS? То есть если на NFS-сервере будет UFS, то скорость будет нормальная? Тогда чего ты нам мозги компостируешь?

Вы читали что я писал выше?

Каюсь, как-то пропустил этот пост.
Ну так если проблема не в NFS (настройки и перформанс NFS явно не зависят от того как отформатирован раздел), то закрываем вопрос NFS как таковой и дальше можно разбирать совершенно другой вопрос -

Тюнинг ZFS под фрёй. А то как-то тормозит.

Вот тут я сразу честно скажу, что нихрена в ZFS не знаю и ничем помочь не могу.

Вы читали что я писал еще выше ))))

я по NFS больше 400 магабит не выжимал.
на хорошем оборудовании, заметим

Я на вполне посредственном оборудовании без каких-либо тюнингов 35 МБ/с по NFS имею. Да, это даже меньше твоих 400 мегабит, но я уверен, что это не предел.
И, главное, это заметно шустрее, чем 1 МБ/с у ТС.

kharkov_max,
а поставить рядом какую-то машинку не под виртуалкой и посмотреть как она будет жить с твоим нфс нет возможности?
Что-то у меня сомнения, что там в esx проблемы.

Возможность есть, думаю что так и стоит предварительно сделать, единственное это будет не 1Гбит а 100 Мбит, но 10 Мб/сек, во что не верится, было бы уже хорошо.

Дело в том что на этом же канале в 100 Мбит, самба нормально дает 8-9 Мб/сек но с винды ... Что считаю достаточно нормальным показателем ...
Пробовал на 100 Мбит вешать Nfs - результат такой же - плохой, вот и мысли бродят что не так ...
То ли Esx, то ли freebsd...

Подскажите что нужно/возможно проверить для диагностики на системах ?

Дело в том что на это м же диске с ZFS samba и FTP летает как нужно, на 100 Мбит - 11 Мб/сек.
Проблема вылезла именно с NFS и iSCSI, про iSCSI я еше не писал, но ситуация как и у NFS.

Тут http://forum.lissyara.su/viewtopic.php?f=8&t=30533 человек нашел решение с указанием определенных параметров на клиенте UFS и вроде как у него все заработало.

Вообщем, появилось время снова заняться этим вопросом. Результат такой:
оказалось zfs очень резко реагирует на размер блока при копировании и записи
с маленькими блоками запись гораздо медленнее
в моих тестах (копировал реальные файлы размером около 600 мегабайт) zfs локально достигает пика производительности (90-100MB/s) с блоком 128к
выставил в опциях монтирования размер блока 31744 . С размером 32768 по какой-то причине копирование зависало. Из-за чего такое могло быть?
скорость записи по сети стала 50 MB/s , чтение 100-110MB/s
мне в принципе этого вполне достаточно

Но ввиду того что ESXi5 по сути закрытая система х.з где и чего там нужно изменить что б NFS подключался с другими параметрами.
Брожу в поисках решения ...

Кстати не важно что это будет NFS или что то другое, главное быстро слить файл с ESXi5 на freebsd (ZFS)...
С NFS было достаточно просто - диск можно примонтировать без бубна через консоль и вперед ...
С ftp на ESXi5 нужно шаманить, samba 99% не заработает и т.д.
Вот и остается практически единственный вариант NFS ...

[manefesto]

а чо это CIFS не заработает то ?
я знаю точно что в XEN работает, значит и в ESXi должно

[kharkov_max]

а чо это CIFS не заработает то ?
я знаю точно что в XEN работает, значит и в ESXi должно

В Esx 4.0 и Esx 4.1 samba работает, а в Esxi5 нет клиента самбы, и поставить его туда нельзя ...

[manefesto]

уходи от zfs