Esxi5 очень маленькая скорость при копировании на NFS

[kharkov_max]

уходи от zfs

Ну это самое простое решение, хотелось бы конечно на ZFS завести нормально NFS ...

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[manefesto]

тада пилить

[kharkov_max]

Народ как и что дальше можно пилить )))

1. Предполагаю что как то можно задать параметры для Esxi5, может кто подскажет какие и как ?
2. 9я версия freebsd не поможет в этом плане ?

[kharkov_max]

Поставил 9ку.

Ситуация улучшилась - но не на много.
Удалось на 100Мбит выжать 5-8 Мб/сек по NFS, это на чистой freebsd без различного софта.
Хотелось бы стабильную 11 Мб/сек.

Обратил внимание на то что несколько первых секунд скорость нормальная до 12, но потом падает до 5-7.
Zil, dedup, atime выключены. Не могу понять в чем проблема такого скачка (считаю что это не нормально, вроде как кеш работает).

Тут http://www.vm4.ru/2011/10/ghetto-vcb-upgrade.html наткнулся на определенную констатацию факта что быстрее не будет.
Человек решает вопрос по другому - но его метод не преемлем.
Вообщем пилю дальше, может что то напилю ...

[kharkov_max]

Немного продвинулся.

Поправил на ESXi5 в расширенных свойствах NFS:
NfsReceiveBufferSize = 64 (было по умолчанию 264)
NfsSendBufferSize = 32 (было по умолчанию 256)
При увеличении данных параметров скорость падает

Теперь ситуация такая.
1. При копировании с ESXi5 на nfs freebsd9 (nfs расшарена через ZFS) на пул ZFS скорость копирования 11Мб/сек (теоритический максимум 100Мбит свича).
2. При копировании с ESXi5 на nfs freebsd8.2 (nfs расшарена через систему /etc/export, через ZFS шарится только на чтение) скорость копирования на UFS gmirror 23Мб/сек, по 1000 Гбит сетевой карте.
3. При копировании с ESXi5 на nfs freebsd8.2 (nfs расшарена через систему /etc/export, через ZFS шарится только на чтение) скорость копирования на ZFS (простой пул 1 диск) 2,5 Мб/сек, по 1000 Гбит сетевой карте.

Прошу помощи в добивании п. 3.

Настройки ESXi5 уже точно отпадают.
Остается только настроки Freebsd8.2, т.к. в Freebsd9 все чедесно летает.

Что можно покавырять в Freebsd8.2 относительно NFS на ZFS ?
Спасибо.

Добавлю.
Exi5 и Freesbd8.2 между собой соеденены шнурком на 1000 Гбит сетевых картах, на прямую без свича.
На Freebsd8.2 крутится ipfw, хотя в нем и прописано не фильтровать на этом интерфейсе, но х.з.
IPFW не может быть причиной косяка ?

[kharkov_max]

Все ...
Победа ...

Хотя zil был отключен в sysctl, решил его явно вырубить через свойства zfs.

Сделал:

Код: Выделить всё

zfs set sync=disabled pool/fs

Скорость копирования по NFS просто взлетела
3 Гб за 37 сек, по расчетам 81 Мб/сек
zpool iostat показывал 40-50 Мб, чему больше верится.

[FiL]

ну вот и замечательно.
Выводы -
1. таки не надо гнать на NFS, что оно быстро не бывает. Бывает. Надо готовить равильно.
2. таки от настроек сервера очень много зависит, причем иногда весьма непредсказуемо (вот какого хрена ZFS тормозит при обращении по NFS и не тормозит локально?).
3. таки от настроек клиента тоже зависит, но меньше.
4. Я таки нихрена не знаю ZFS

[manefesto]

Таки zfs буржуйска хрень которую надо изучать и знать ее тонкости,как мы изучаем pf || ipfw

[kharkov_max]

При чем видимо это косяк именно freebsd 8.2 с пропатченым zfs до v.28
Видимо не корректно для fs срабатывает отключение zil через sysctl

В freebsd9 такого косяка похоже нет.

[Neus]

с вики

In latest ZFS (version 28) the vfs.zfs.zil_disable loader tunable was replaced with the "sync" dataset property. You can now enable/disable ZIL on a per-dataset basis.

zfs set sync=disabled tank/dataset

[ADRE]

и?

[kharkov_max]

и?

Что и?
Вопрос решен ...
Как, читайте выше ...

[manefesto]

запили статью

[ADRE]

и?

Что и?
Вопрос решен ...
Как, читайте выше ...

требуем букав,

[kharkov_max]

Собственно продолжим ...

Прошло время, и наступил момент когда нужно было с NFS шары под ZFS freebsd залить назад на ESXi5.0, для восстановления виртуалки
Скорость поразила 4-5 Мб/сек.
Виртуалка в 32Гб лилась более часа.
В то время как с ESXi5.0 на freebsd9.1 NFS(ZFS), судя по графику ESXi и zabbix, копирование доходит до радостных 90-95 Мб/сек

Начал смотреть в чем может быть проблема, обнаружил что очень низкая скорость чтения с пула.
В самба не поднимается выше 20/30 Мб/сек, по NFS (проверил с разных ПК) не поднимается более 10Мб/сек.

Крутил sysctl, loader.conf - результат никакой ...
Комп i5, 16Gb ОЗУ, 6 дисков WD Green по 2Тб в raidz (10Тб), сетевые на обоих сторонах intel 2х портовые ..
2 файловые системы, под NFS и еще одна с dedup, zil везде выключил sync=off, atime=off
Собственно zpool status показывает что все хорошо и проблем нет.

Код: Выделить всё

zpool list
NAME    SIZE  ALLOC   FREE    CAP  DEDUP  HEALTH  ALTROOT
rpool  10,9T  1,26T  9,62T    11%  2.59x  ONLINE  -

Запустил scrub 1.6 Тб предлагает дубасить 30 часов, скорость scrub 15Мб/сек.
Смущает dedup, но не думаю что из за него так все упало ...

У кого какие будут варианты?

[kharkov_max]

А Esxi5 воббще навевает на точто скорость NFS записи на Esxi каким то образом специально зарезана до 8-9 Мб/сек.
Т.к. пробую копировать на разные Esxi, на одном LSI MEgaraid (контроллер 5Raid), на втором обычный Sata2 диск, скорость копирования на хост по NFS на обоих одинаковая 8-9 Мб/сек.

[kharkov_max]

Видимо dedup существенно влияет на скорость чтения.

Сейчас выключил dedup на фс куда льются бекапы, прибил 70% бекапов, оставил только новые.
Тест в samba с freebsd zfs существенно улучшился с 20Mb/sec поднялся до 55Mb/sec
Хотя не исключаю и того что просто бекапы стали писаться на более скоростные участки HDD.

А вот ситуация с ESXi nfs так лучше и не стала, льется бекап на freebsd nsf со скоростью до 90Mb/sec, а вот назад скорость более чем 8-9Mb/sec не поднимается. Такое ощущение что Esxi режет скорость входящего подключения ...

Буду снова забивать пул кучей бекапов ...
Посмотрим как в дальнейшем упадет скорость ....

[kharkov_max]

Единственное решение, быстрого копирования на Esxi это scp.
Через интерфейс vSphere "Datastore Browser" будет не более 8-9 Мбайт/сек.
Через scp поднимается до 33 и выше.
Синтаксис:

Код: Выделить всё

scp root@192.168.0.1/share/nfs/vm_1/vm1_2013-01-24/* /vmfs/volumes/datastore/folder/restored_vm

Так что льем бекапы на NFS скриптом ghettoVCB-vm_backup, а назад если нужно выборочно восстаносить, копируем scp.
Или можно раскурить скрипт восстановления ghettoVCB-restore, он в одном пакете с бекапом.

Других скоростных вариантов - нет.