Esxi5 очень маленькая скорость при копировании на NFS

VirtualBox, QEMU, ESX/ESXi и прочия
Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение kharkov_max » 2012-02-24 18:04:27

Добрый день.

Решил настроить бекапирование вируальных машин на NFS шару.
Бекап делаю таким скриптом http://communities.vmware.com/docs/DOC-8760

Собственно вопрос не по скрипту, а по скорости копирования.
К Esxi5 была примонтирована NFS шара на Freebsd 8.2.
2 сервера соеденены на прямую отдельным шнурком и 1Гб сетевыми картами.
Скорость копирования при этом очень низкая меньше 1Мб/c, ожидал хотя бы 30-40 Мб/с
В подобной связке запускал iSCSI - ситуация похожая.
Свободной памяти на хостах по 1.5 Гб, специально все лишнее тормознул ...

Вот тут и вопрос возник, что нужно подкрутить/подтюнить в ESXi5 , есть подозрение что проблема именно в нем ...
А может и по freebsd что нибудь посоветуете.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35461
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение Alex Keda » 2012-02-24 18:44:29

есть пдозрение, что дело в NFS
Убей их всех! Бог потом рассортирует...

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение kharkov_max » 2012-02-24 18:50:15

Alex Keda писал(а):есть пдозрение, что дело в NFS
В NFS в принципе, т.е. далее можно не копать - это максимум ?
Или можно как то увеличить скорость, только вопрос где на ESX или на freebsd.

Собственно какие есть механизмы проверки и т.д.
Прошу Вашей помощи по данному вопросу..


Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35461
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение Alex Keda » 2012-02-24 19:37:41

я по NFS больше 400 магабит не выжимал.
на хорошем оборудовании, заметим
Убей их всех! Бог потом рассортирует...

FiL
ст. лейтенант
Сообщения: 1375
Зарегистрирован: 2010-02-05 0:21:40

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение FiL » 2012-02-24 21:04:06

Alex Keda писал(а):я по NFS больше 400 магабит не выжимал.
на хорошем оборудовании, заметим
Я на вполне посредственном оборудовании без каких-либо тюнингов 35 МБ/с по NFS имею. Да, это даже меньше твоих 400 мегабит, но я уверен, что это не предел.
И, главное, это заметно шустрее, чем 1 МБ/с у ТС.

kharkov_max,
а поставить рядом какую-то машинку не под виртуалкой и посмотреть как она будет жить с твоим нфс нет возможности?
Что-то у меня сомнения, что там в esx проблемы.

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение kharkov_max » 2012-02-24 22:29:39

FiL писал(а):
Alex Keda писал(а):я по NFS больше 400 магабит не выжимал.
на хорошем оборудовании, заметим
Я на вполне посредственном оборудовании без каких-либо тюнингов 35 МБ/с по NFS имею. Да, это даже меньше твоих 400 мегабит, но я уверен, что это не предел.
И, главное, это заметно шустрее, чем 1 МБ/с у ТС.

kharkov_max,
а поставить рядом какую-то машинку не под виртуалкой и посмотреть как она будет жить с твоим нфс нет возможности?
Что-то у меня сомнения, что там в esx проблемы.
Возможность есть, думаю что так и стоит предварительно сделать, единственное это будет не 1Гбит а 100 Мбит, но 10 Мб/сек, во что не верится, было бы уже хорошо.

Дело в том что на этом же канале в 100 Мбит, самба нормально дает 8-9 Мб/сек но с винды ... Что считаю достаточно нормальным показателем ...
Пробовал на 100 Мбит вешать Nfs - результат такой же - плохой, вот и мысли бродят что не так ...
То ли Esx, то ли freebsd...

Подскажите что нужно/возможно проверить для диагностики на системах ?

Аватара пользователя
manefesto
Группенфюррер
Сообщения: 6934
Зарегистрирован: 2007-07-20 8:27:30
Откуда: Пермь
Контактная информация:

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение manefesto » 2012-02-27 8:04:26

а как ведет себя SCP ?
я такой яростный шо аж пиздеЦ
Изображение

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение kharkov_max » 2012-02-27 10:32:10

manefesto писал(а):а как ведет себя SCP ?
Не пробовал ...
А смысл ?
Или чем то поможет ?

Samba и ftp на 100ке из винды выдают 10-11Мб.

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение kharkov_max » 2012-02-27 12:14:09

Так, есть небольшой прогресс.

На Freebsd 2 дисковых системы.
gmirror из 2х дисков 80 Гб UFS, и одно большое хранилище (один диск на 2Тб) под zfs v.28 (freebsd82 c патчем на zfs v.28).
Естесственно бекапы я хотел лить на большой диск.

Попробовал перенацелить NFS на USF зеркало - результат поразил 25 Мб/сек (с учетом того что в зеркале Hitachi - это нормально).

Ну собственно делаем выводы.
У меня NFS на zfs очень медленно работает.
Но Samba и FTP, хранилища которых лежат на zfs, работают на пределе сетевого интерфейса.

Собственно что дальше делать и что смотреть?



FiL
ст. лейтенант
Сообщения: 1375
Зарегистрирован: 2010-02-05 0:21:40

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение FiL » 2012-02-28 22:08:30

kharkov_max писал(а):UP
так а ты попробовал то, на что сам ссылку дал?

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение kharkov_max » 2012-03-05 17:02:29

Нет не пробовал ...
Подключится с параметрами rsize=32768,wsize=32768 из ESXi5 у меня пока не получается, т.к. пока не могу найти где это можно прописать/изменить (возможно и не получится).
А подключится с другого хоста, пока нет возможности.

Вот и спрашиваю ...

С Esxi5 вообще грустно.
Cifs/Smba к нему не примонтировать в принципе.
Остается, из разумного, только NFS или ftp.
С NFS у меня вышеописанный затык со скоростью, а ftp пока не пойму как клиента запустить.
Активация клиента в консоли есть, а как дальше х.з, народ рекомендует proftpd интегрировать на ESXi5 )))) - но уверен что это бред...

Аватара пользователя
manefesto
Группенфюррер
Сообщения: 6934
Зарегистрирован: 2007-07-20 8:27:30
Откуда: Пермь
Контактная информация:

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение manefesto » 2012-03-06 8:05:01

а ты попробуй определить причину проблемы
либо она на esxi либо только у тебя
Если будет совсем грустно мигрируй на XEN и еже с ним
я такой яростный шо аж пиздеЦ
Изображение

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение kharkov_max » 2012-03-06 11:15:45

manefesto писал(а):а ты попробуй определить причину проблемы
либо она на esxi либо только у тебя
Если будет совсем грустно мигрируй на XEN и еже с ним
Проблема в Freebsd - ZFS - NFS
На UFS скорость нормальная.

FiL
ст. лейтенант
Сообщения: 1375
Зарегистрирован: 2010-02-05 0:21:40

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение FiL » 2012-03-07 1:24:46

погодь-погодь. Так дело не в NFS? То есть если на NFS-сервере будет UFS, то скорость будет нормальная? Тогда чего ты нам мозги компостируешь?

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение kharkov_max » 2012-03-07 7:06:34

FiL писал(а):погодь-погодь. Так дело не в NFS? То есть если на NFS-сервере будет UFS, то скорость будет нормальная? Тогда чего ты нам мозги компостируешь?
Вы читали что я писал выше?
Так, есть небольшой прогресс.

На Freebsd 2 дисковых системы.
gmirror из 2х дисков 80 Гб UFS, и одно большое хранилище (один диск на 2Тб) под zfs v.28 (freebsd82 c патчем на zfs v.28).
Естесственно бекапы я хотел лить на большой диск.

Попробовал перенацелить NFS на USF зеркало - результат поразил 25 Мб/сек (с учетом того что в зеркале Hitachi - это нормально).

Ну собственно делаем выводы.
У меня NFS на zfs очень медленно работает.
Но Samba и FTP, хранилища которых лежат на zfs, работают на пределе сетевого интерфейса.

Собственно что дальше делать и что смотреть?

Аватара пользователя
manefesto
Группенфюррер
Сообщения: 6934
Зарегистрирован: 2007-07-20 8:27:30
Откуда: Пермь
Контактная информация:

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение manefesto » 2012-03-07 10:42:08

мигрируй на ufs обратно
я такой яростный шо аж пиздеЦ
Изображение

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение kharkov_max » 2012-03-07 12:51:28

manefesto писал(а):мигрируй на ufs обратно
Да вот не хочется ...

FiL
ст. лейтенант
Сообщения: 1375
Зарегистрирован: 2010-02-05 0:21:40

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение FiL » 2012-03-07 21:43:51

kharkov_max писал(а):
FiL писал(а):погодь-погодь. Так дело не в NFS? То есть если на NFS-сервере будет UFS, то скорость будет нормальная? Тогда чего ты нам мозги компостируешь?
Вы читали что я писал выше?
Каюсь, как-то пропустил этот пост.
Ну так если проблема не в NFS (настройки и перформанс NFS явно не зависят от того как отформатирован раздел), то закрываем вопрос NFS как таковой и дальше можно разбирать совершенно другой вопрос -

Тюнинг ZFS под фрёй. А то как-то тормозит.

Вот тут я сразу честно скажу, что нихрена в ZFS не знаю и ничем помочь не могу. :)

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение kharkov_max » 2012-03-08 10:24:21

FiL писал(а):
kharkov_max писал(а):
FiL писал(а):погодь-погодь. Так дело не в NFS? То есть если на NFS-сервере будет UFS, то скорость будет нормальная? Тогда чего ты нам мозги компостируешь?
Вы читали что я писал выше?
Каюсь, как-то пропустил этот пост.
Ну так если проблема не в NFS (настройки и перформанс NFS явно не зависят от того как отформатирован раздел), то закрываем вопрос NFS как таковой и дальше можно разбирать совершенно другой вопрос -

Тюнинг ZFS под фрёй. А то как-то тормозит.

Вот тут я сразу честно скажу, что нихрена в ZFS не знаю и ничем помочь не могу. :)
Вы читали что я писал еще выше ))))
kharkov_max писал(а):
FiL писал(а):
Alex Keda писал(а):я по NFS больше 400 магабит не выжимал.
на хорошем оборудовании, заметим
Я на вполне посредственном оборудовании без каких-либо тюнингов 35 МБ/с по NFS имею. Да, это даже меньше твоих 400 мегабит, но я уверен, что это не предел.
И, главное, это заметно шустрее, чем 1 МБ/с у ТС.

kharkov_max,
а поставить рядом какую-то машинку не под виртуалкой и посмотреть как она будет жить с твоим нфс нет возможности?
Что-то у меня сомнения, что там в esx проблемы.
Возможность есть, думаю что так и стоит предварительно сделать, единственное это будет не 1Гбит а 100 Мбит, но 10 Мб/сек, во что не верится, было бы уже хорошо.

Дело в том что на этом же канале в 100 Мбит, самба нормально дает 8-9 Мб/сек но с винды ... Что считаю достаточно нормальным показателем ...
Пробовал на 100 Мбит вешать Nfs - результат такой же - плохой, вот и мысли бродят что не так ...
То ли Esx, то ли freebsd...

Подскажите что нужно/возможно проверить для диагностики на системах ?
Дело в том что на это м же диске с ZFS samba и FTP летает как нужно, на 100 Мбит - 11 Мб/сек.
Проблема вылезла именно с NFS и iSCSI, про iSCSI я еше не писал, но ситуация как и у NFS.

Тут http://forum.lissyara.su/viewtopic.php?f=8&t=30533 человек нашел решение с указанием определенных параметров на клиенте UFS и вроде как у него все заработало.
Вообщем, появилось время снова заняться этим вопросом. Результат такой:
оказалось zfs очень резко реагирует на размер блока при копировании и записи
с маленькими блоками запись гораздо медленнее
в моих тестах (копировал реальные файлы размером около 600 мегабайт) zfs локально достигает пика производительности (90-100MB/s) с блоком 128к
выставил в опциях монтирования размер блока 31744 . С размером 32768 по какой-то причине копирование зависало. Из-за чего такое могло быть?
скорость записи по сети стала 50 MB/s , чтение 100-110MB/s
мне в принципе этого вполне достаточно
Но ввиду того что ESXi5 по сути закрытая система х.з где и чего там нужно изменить что б NFS подключался с другими параметрами.
Брожу в поисках решения ...

Кстати не важно что это будет NFS или что то другое, главное быстро слить файл с ESXi5 на freebsd (ZFS)...
С NFS было достаточно просто - диск можно примонтировать без бубна через консоль и вперед ...
С ftp на ESXi5 нужно шаманить, samba 99% не заработает и т.д.
Вот и остается практически единственный вариант NFS ...

Аватара пользователя
manefesto
Группенфюррер
Сообщения: 6934
Зарегистрирован: 2007-07-20 8:27:30
Откуда: Пермь
Контактная информация:

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение manefesto » 2012-03-11 11:37:35

а чо это CIFS не заработает то ?
я знаю точно что в XEN работает, значит и в ESXi должно
я такой яростный шо аж пиздеЦ
Изображение

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение kharkov_max » 2012-03-12 11:12:56

manefesto писал(а):а чо это CIFS не заработает то ?
я знаю точно что в XEN работает, значит и в ESXi должно
В Esx 4.0 и Esx 4.1 samba работает, а в Esxi5 нет клиента самбы, и поставить его туда нельзя ...

Аватара пользователя
manefesto
Группенфюррер
Сообщения: 6934
Зарегистрирован: 2007-07-20 8:27:30
Откуда: Пермь
Контактная информация:

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение manefesto » 2012-03-12 12:14:25

уходи от zfs
я такой яростный шо аж пиздеЦ
Изображение