Esxi5 очень маленькая скорость при копировании на NFS

VirtualBox, QEMU, ESX/ESXi и прочия
Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение kharkov_max » 2012-03-12 12:20:23

manefesto писал(а):уходи от zfs
Ну это самое простое решение, хотелось бы конечно на ZFS завести нормально NFS ...

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
manefesto
Группенфюррер
Сообщения: 6934
Зарегистрирован: 2007-07-20 8:27:30
Откуда: Пермь
Контактная информация:

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение manefesto » 2012-03-13 12:10:41

тада пилить
я такой яростный шо аж пиздеЦ
Изображение

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение kharkov_max » 2012-03-13 13:51:10

Народ как и что дальше можно пилить )))

1. Предполагаю что как то можно задать параметры для Esxi5, может кто подскажет какие и как ?
2. 9я версия freebsd не поможет в этом плане ?

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение kharkov_max » 2012-04-16 15:41:41

Поставил 9ку.

Ситуация улучшилась - но не на много.
Удалось на 100Мбит выжать 5-8 Мб/сек по NFS, это на чистой freebsd без различного софта.
Хотелось бы стабильную 11 Мб/сек.

Обратил внимание на то что несколько первых секунд скорость нормальная до 12, но потом падает до 5-7.
Zil, dedup, atime выключены. Не могу понять в чем проблема такого скачка (считаю что это не нормально, вроде как кеш работает).

Тут http://www.vm4.ru/2011/10/ghetto-vcb-upgrade.html наткнулся на определенную констатацию факта что быстрее не будет.
Человек решает вопрос по другому - но его метод не преемлем.
Вообщем пилю дальше, может что то напилю ...

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение kharkov_max » 2012-04-17 14:24:50

Немного продвинулся.

Поправил на ESXi5 в расширенных свойствах NFS:
NfsReceiveBufferSize = 64 (было по умолчанию 264)
NfsSendBufferSize = 32 (было по умолчанию 256)
При увеличении данных параметров скорость падает

Теперь ситуация такая.
1. При копировании с ESXi5 на nfs freebsd9 (nfs расшарена через ZFS) на пул ZFS скорость копирования 11Мб/сек (теоритический максимум 100Мбит свича).
2. При копировании с ESXi5 на nfs freebsd8.2 (nfs расшарена через систему /etc/export, через ZFS шарится только на чтение) скорость копирования на UFS gmirror 23Мб/сек, по 1000 Гбит сетевой карте.
3. При копировании с ESXi5 на nfs freebsd8.2 (nfs расшарена через систему /etc/export, через ZFS шарится только на чтение) скорость копирования на ZFS (простой пул 1 диск) 2,5 Мб/сек, по 1000 Гбит сетевой карте.

Прошу помощи в добивании п. 3.

Настройки ESXi5 уже точно отпадают.
Остается только настроки Freebsd8.2, т.к. в Freebsd9 все чедесно летает.

Что можно покавырять в Freebsd8.2 относительно NFS на ZFS ?
Спасибо.

Добавлю.
Exi5 и Freesbd8.2 между собой соеденены шнурком на 1000 Гбит сетевых картах, на прямую без свича.
На Freebsd8.2 крутится ipfw, хотя в нем и прописано не фильтровать на этом интерфейсе, но х.з.
IPFW не может быть причиной косяка ?

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение kharkov_max » 2012-04-17 15:38:13

Все ...
Победа ...

Хотя zil был отключен в sysctl, решил его явно вырубить через свойства zfs.

Сделал:

Код: Выделить всё

zfs set sync=disabled pool/fs
Скорость копирования по NFS просто взлетела
3 Гб за 37 сек, по расчетам 81 Мб/сек
zpool iostat показывал 40-50 Мб, чему больше верится.

FiL
ст. лейтенант
Сообщения: 1375
Зарегистрирован: 2010-02-05 0:21:40

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение FiL » 2012-04-17 17:56:27

ну вот и замечательно.
Выводы -
1. таки не надо гнать на NFS, что оно быстро не бывает. Бывает. Надо готовить равильно.
2. таки от настроек сервера очень много зависит, причем иногда весьма непредсказуемо (вот какого хрена ZFS тормозит при обращении по NFS и не тормозит локально?).
3. таки от настроек клиента тоже зависит, но меньше.
4. Я таки нихрена не знаю ZFS :)

Аватара пользователя
manefesto
Группенфюррер
Сообщения: 6934
Зарегистрирован: 2007-07-20 8:27:30
Откуда: Пермь
Контактная информация:

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение manefesto » 2012-04-18 19:09:24

Таки zfs буржуйска хрень которую надо изучать и знать ее тонкости,как мы изучаем pf || ipfw
я такой яростный шо аж пиздеЦ
Изображение

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение kharkov_max » 2012-04-23 10:25:08

При чем видимо это косяк именно freebsd 8.2 с пропатченым zfs до v.28
Видимо не корректно для fs срабатывает отключение zil через sysctl

В freebsd9 такого косяка похоже нет.

Аватара пользователя
Neus
капитан
Сообщения: 1983
Зарегистрирован: 2008-09-08 21:59:56

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение Neus » 2012-04-23 11:15:54

с вики
In latest ZFS (version 28) the vfs.zfs.zil_disable loader tunable was replaced with the "sync" dataset property. You can now enable/disable ZIL on a per-dataset basis.

zfs set sync=disabled tank/dataset


Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение kharkov_max » 2012-04-27 5:15:51

ADRE писал(а):и?
Что и?
Вопрос решен ...
Как, читайте выше ...

Аватара пользователя
manefesto
Группенфюррер
Сообщения: 6934
Зарегистрирован: 2007-07-20 8:27:30
Откуда: Пермь
Контактная информация:

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение manefesto » 2012-06-06 13:17:13

запили статью
я такой яростный шо аж пиздеЦ
Изображение

Аватара пользователя
ADRE
майор
Сообщения: 2645
Зарегистрирован: 2007-07-26 8:53:49
Контактная информация:

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение ADRE » 2012-06-12 19:44:40

kharkov_max писал(а):
ADRE писал(а):и?
Что и?
Вопрос решен ...
Как, читайте выше ...
требуем букав, :bn:
//del

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение kharkov_max » 2013-01-20 19:55:10

Собственно продолжим ...

Прошло время, и наступил момент когда нужно было с NFS шары под ZFS freebsd залить назад на ESXi5.0, для восстановления виртуалки
Скорость поразила 4-5 Мб/сек.
Виртуалка в 32Гб лилась более часа.
В то время как с ESXi5.0 на freebsd9.1 NFS(ZFS), судя по графику ESXi и zabbix, копирование доходит до радостных 90-95 Мб/сек

Начал смотреть в чем может быть проблема, обнаружил что очень низкая скорость чтения с пула.
В самба не поднимается выше 20/30 Мб/сек, по NFS (проверил с разных ПК) не поднимается более 10Мб/сек.

Крутил sysctl, loader.conf - результат никакой ...
Комп i5, 16Gb ОЗУ, 6 дисков WD Green по 2Тб в raidz (10Тб), сетевые на обоих сторонах intel 2х портовые ..
2 файловые системы, под NFS и еще одна с dedup, zil везде выключил sync=off, atime=off
Собственно zpool status показывает что все хорошо и проблем нет.

Код: Выделить всё

zpool list
NAME    SIZE  ALLOC   FREE    CAP  DEDUP  HEALTH  ALTROOT
rpool  10,9T  1,26T  9,62T    11%  2.59x  ONLINE  -
Запустил scrub 1.6 Тб предлагает дубасить 30 часов, скорость scrub 15Мб/сек.
Смущает dedup, но не думаю что из за него так все упало ...

У кого какие будут варианты?

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение kharkov_max » 2013-01-20 20:33:19

А Esxi5 воббще навевает на точто скорость NFS записи на Esxi каким то образом специально зарезана до 8-9 Мб/сек.
Т.к. пробую копировать на разные Esxi, на одном LSI MEgaraid (контроллер 5Raid), на втором обычный Sata2 диск, скорость копирования на хост по NFS на обоих одинаковая 8-9 Мб/сек.

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение kharkov_max » 2013-01-24 9:28:53

Видимо dedup существенно влияет на скорость чтения.

Сейчас выключил dedup на фс куда льются бекапы, прибил 70% бекапов, оставил только новые.
Тест в samba с freebsd zfs существенно улучшился с 20Mb/sec поднялся до 55Mb/sec
Хотя не исключаю и того что просто бекапы стали писаться на более скоростные участки HDD.

А вот ситуация с ESXi nfs так лучше и не стала, льется бекап на freebsd nsf со скоростью до 90Mb/sec, а вот назад скорость более чем 8-9Mb/sec не поднимается. Такое ощущение что Esxi режет скорость входящего подключения ...

Буду снова забивать пул кучей бекапов ...
Посмотрим как в дальнейшем упадет скорость ....

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Re: Esxi5 очень маленькая скорость при копировании на NFS

Непрочитанное сообщение kharkov_max » 2013-01-31 10:26:45

Единственное решение, быстрого копирования на Esxi это scp.
Через интерфейс vSphere "Datastore Browser" будет не более 8-9 Мбайт/сек.
Через scp поднимается до 33 и выше.
Синтаксис:

Код: Выделить всё

scp root@192.168.0.1/share/nfs/vm_1/vm1_2013-01-24/* /vmfs/volumes/datastore/folder/restored_vm
Так что льем бекапы на NFS скриптом ghettoVCB-vm_backup, а назад если нужно выборочно восстаносить, копируем scp.
Или можно раскурить скрипт восстановления ghettoVCB-restore, он в одном пакете с бекапом.

Других скоростных вариантов - нет.