Переменные ядра ZFS

Простые/общие вопросы по UNIX системам. Спросите здесь, если вы новичок

Модераторы: vadim64, terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
Dominator
мл. сержант
Сообщения: 119
Зарегистрирован: 2009-06-06 15:43:01
Откуда: Новосибирск/Кобург
Контактная информация:

Переменные ядра ZFS

Непрочитанное сообщение Dominator » 2017-10-20 9:04:15

Всем доброго времени суток! Вопрос к преимущественно к гуру.

Уже сколько пытаюсь вкурить, все не разберусь с опциями ядра для ZFS:

Код: Выделить всё

vm.kmem_size
vm.kmem_size_max
Вопрос в том: за что именно отвечают эти опции? За то, сколько ядро в принципе может памяти себе забрать? Или сколько может забрать ZFS?
Если первый вариант, то как просчитать, сколько можно отдать ARC ZFS, чтобы систему не переклинило в связи с нехваткой памяти?

Заранее благодарен

P.S. Конфигурация: HDD 4x2TB RAID10 + 2xSSD под L2ARC и LOG(RAID1)
Windows must die!

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2460 рублей (8 CPU, 8Gb RAM, 2x500Gb HDD, RAID 3ware 9750):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
Neus
капитан
Сообщения: 1742
Зарегистрирован: 2008-09-08 21:59:56

Переменные ядра ZFS

Непрочитанное сообщение Neus » 2017-10-20 9:49:30

Dominator писал(а): Уже сколько пытаюсь вкурить, все не разберусь с опциями ядра для ZFS:
это в общем случае не для ZFS.
эти крутилки определяют размер памяти которое ядро может использовать под свои структуры.
для регулирования размера ARC используй vfs.zfs.arc_max vfs.zfs.arc_min
вообще это все нормально настраивается автоматически и ARC отдает память системе если она нужна приложениям.
для чего используется этот девайс?
попробую отгадать :)
раз 10 рэйд+ssd под кэш и лог значит БД
а БД умеют сами кэшировать, отдай побольше памяти БД, а ARC ограничь 1-2 гигами

ксати, l2arc не рекомендуют к использованию на системах мене чем с 64 гб оперативы
сколько памяти на этом девайсе?
«Вы никогда не сумеете решить возникшую проблему,
если сохраните то же мышление и тот же подход,
который привёл вас к этой проблеме.»
© Альберт Эйнштейн

Аватара пользователя
Dominator
мл. сержант
Сообщения: 119
Зарегистрирован: 2009-06-06 15:43:01
Откуда: Новосибирск/Кобург
Контактная информация:

Переменные ядра ZFS

Непрочитанное сообщение Dominator » 2017-10-20 11:15:08

Neus писал(а):для чего используется этот девайс?
Схема там гибридная. Два VLAN Tagged - свой VLAN на каждый офис
Преимущественно (пока что) виртуалки на bhyve. Я решил каждый сервис в отдельную виртуалку запихать - бекапить и восстанавливать проще. Особенно с Veeam (не реклама!)
Сейчас там пока две ВМ: одна - FS для 1С на Samba, вторая - owncloud

ВМ с ownCloud еще буду подстраивать, т.к. диск ВМ находится на ZVOL
Neus писал(а): сколько памяти на этом девайсе?
Пока 16. Планируем до 32 добить

P.S. Выбор ZFS был по соображениям простоты, функционала и масштабируемости. К примеру, надо место в пуле увеличить - добавил два веника и не греешь голову, как в случае mdadm и lvm
Windows must die!

guest
проходил мимо

Переменные ядра ZFS

Непрочитанное сообщение guest » 2017-10-20 11:43:29

Neus писал(а): ксати, l2arc не рекомендуют к использованию на системах мене чем с 64 гб оперативы
сколько памяти на этом девайсе?
где такую забористую траву дают?! ткни пальцем!

Я понимаю про спор: если у Вас много RAM > 90GB, можно (кто говорит лучше) не использовать L2ARC,
но это все зависит от пулов и того чем они используются.
Верное утверждение - L2ARC может оказать отрицательное влияние на производительность,
если архитектор не учел что каждый блок L2ARC требует выделения памяти в RAM для l2arc header,
если память не изменяет, что-то типа:

(L2ARC size in kilobytes) / (typical recordsize -- or volblocksize -- in kilobytes) * 70 bytes = ARC header size in RAM

https://blog.lexa.ru/2016/07/24/zfs_l2a ... mance.html

если это не учитывать, а выделять размер L2ARC от балды и не думать что l2arc headers не скушают RAM, то CCЗБ.

Аватара пользователя
Neus
капитан
Сообщения: 1742
Зарегистрирован: 2008-09-08 21:59:56

Переменные ядра ZFS

Непрочитанное сообщение Neus » 2017-10-20 18:18:58

guest писал(а):
Neus писал(а): ксати, l2arc не рекомендуют к использованию на системах мене чем с 64 гб оперативы
сколько памяти на этом девайсе?
где такую забористую траву дают?! ткни пальцем!

Я понимаю про спор: если у Вас много RAM > 90GB, можно (кто говорит лучше) не использовать L2ARC,
но это все зависит от пулов и того чем они используются.
Верное утверждение - L2ARC может оказать отрицательное влияние на производительность,
если архитектор не учел что каждый блок L2ARC требует выделения памяти в RAM для l2arc header,
если память не изменяет, что-то типа:

(L2ARC size in kilobytes) / (typical recordsize -- or volblocksize -- in kilobytes) * 70 bytes = ARC header size in RAM

https://blog.lexa.ru/2016/07/24/zfs_l2a ... mance.html

если это не учитывать, а выделять размер L2ARC от балды и не думать что l2arc headers не скушают RAM, то CCЗБ.
Блин, чойто я не могу найти, но точно помню что читал там http://napp-it.org/index_en.html
«Вы никогда не сумеете решить возникшую проблему,
если сохраните то же мышление и тот же подход,
который привёл вас к этой проблеме.»
© Альберт Эйнштейн

guest
проходил мимо

Переменные ядра ZFS

Непрочитанное сообщение guest » 2017-10-21 0:11:53

Neus писал(а):
guest писал(а):
Neus писал(а): ксати, l2arc не рекомендуют к использованию на системах мене чем с 64 гб оперативы
сколько памяти на этом девайсе?
где такую забористую траву дают?! ткни пальцем!

Я понимаю про спор: если у Вас много RAM > 90GB, можно (кто говорит лучше) не использовать L2ARC,
но это все зависит от пулов и того чем они используются.
Верное утверждение - L2ARC может оказать отрицательное влияние на производительность,
если архитектор не учел что каждый блок L2ARC требует выделения памяти в RAM для l2arc header,
если память не изменяет, что-то типа:

(L2ARC size in kilobytes) / (typical recordsize -- or volblocksize -- in kilobytes) * 70 bytes = ARC header size in RAM

https://blog.lexa.ru/2016/07/24/zfs_l2a ... mance.html

если это не учитывать, а выделять размер L2ARC от балды и не думать что l2arc headers не скушают RAM, то CCЗБ.
Блин, чойто я не могу найти, но точно помню что читал там http://napp-it.org/index_en.html
А не ищи, просто подумай.

Это не OpenZFS, не SolarisInternal и тд и тп, советы от Gea очень даже не плохие, но не
есть основа и первая инстанция.

BlitzKrieg
ст. прапорщик
Сообщения: 538
Зарегистрирован: 2008-03-13 12:02:59

Переменные ядра ZFS

Непрочитанное сообщение BlitzKrieg » 2017-10-29 20:46:05

Вообще общее правило примерно такое: "Не знаешь - не трогай". Если вы не знаете, зачем параметры и на что они влияют, то лучше, наверное, их и не трогать.

Аватара пользователя
Nolf
мл. сержант
Сообщения: 77
Зарегистрирован: 2013-03-20 22:03:07
Откуда: Ukraine, Kiev
Контактная информация:

Переменные ядра ZFS

Непрочитанное сообщение Nolf » 2017-11-22 12:21:03

У меня на каждый 1 Tb = 2 Gb RAM для хранилищ на ZFS.
Dominator писал(а): vm.kmem_size
vm.kmem_size_max
В основном выделяю памяти исходя из максимума - 1-2 Gb под систему...