Переменные ядра ZFS

Простые/общие вопросы по UNIX системам. Спросите здесь, если вы новичок

Модераторы: vadim64, terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
Dominator
мл. сержант
Сообщения: 123
Зарегистрирован: 2009-06-06 15:43:01
Откуда: Новосибирск/Кобург
Контактная информация:

Переменные ядра ZFS

Непрочитанное сообщение Dominator » 2017-10-20 9:04:15

Всем доброго времени суток! Вопрос к преимущественно к гуру.

Уже сколько пытаюсь вкурить, все не разберусь с опциями ядра для ZFS:

Код: Выделить всё

vm.kmem_size
vm.kmem_size_max
Вопрос в том: за что именно отвечают эти опции? За то, сколько ядро в принципе может памяти себе забрать? Или сколько может забрать ZFS?
Если первый вариант, то как просчитать, сколько можно отдать ARC ZFS, чтобы систему не переклинило в связи с нехваткой памяти?

Заранее благодарен

P.S. Конфигурация: HDD 4x2TB RAID10 + 2xSSD под L2ARC и LOG(RAID1)
Windows must die!

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Переменные ядра ZFS

Непрочитанное сообщение Neus » 2017-10-20 9:49:30

Dominator писал(а): Уже сколько пытаюсь вкурить, все не разберусь с опциями ядра для ZFS:
это в общем случае не для ZFS.
эти крутилки определяют размер памяти которое ядро может использовать под свои структуры.
для регулирования размера ARC используй vfs.zfs.arc_max vfs.zfs.arc_min
вообще это все нормально настраивается автоматически и ARC отдает память системе если она нужна приложениям.
для чего используется этот девайс?
попробую отгадать :)
раз 10 рэйд+ssd под кэш и лог значит БД
а БД умеют сами кэшировать, отдай побольше памяти БД, а ARC ограничь 1-2 гигами

ксати, l2arc не рекомендуют к использованию на системах мене чем с 64 гб оперативы
сколько памяти на этом девайсе?
Physics is mathematics with the constraint of reality.
Engineering is physics with the constraint of money.

LOR захватили ситхи.
Добро пожаловать на светлую сторону!

Аватара пользователя
Dominator
мл. сержант
Сообщения: 123
Зарегистрирован: 2009-06-06 15:43:01
Откуда: Новосибирск/Кобург
Контактная информация:

Переменные ядра ZFS

Непрочитанное сообщение Dominator » 2017-10-20 11:15:08

Neus писал(а):для чего используется этот девайс?
Схема там гибридная. Два VLAN Tagged - свой VLAN на каждый офис
Преимущественно (пока что) виртуалки на bhyve. Я решил каждый сервис в отдельную виртуалку запихать - бекапить и восстанавливать проще. Особенно с Veeam (не реклама!)
Сейчас там пока две ВМ: одна - FS для 1С на Samba, вторая - owncloud

ВМ с ownCloud еще буду подстраивать, т.к. диск ВМ находится на ZVOL
Neus писал(а): сколько памяти на этом девайсе?
Пока 16. Планируем до 32 добить

P.S. Выбор ZFS был по соображениям простоты, функционала и масштабируемости. К примеру, надо место в пуле увеличить - добавил два веника и не греешь голову, как в случае mdadm и lvm
Windows must die!

guest
проходил мимо

Переменные ядра ZFS

Непрочитанное сообщение guest » 2017-10-20 11:43:29

Neus писал(а): ксати, l2arc не рекомендуют к использованию на системах мене чем с 64 гб оперативы
сколько памяти на этом девайсе?
где такую забористую траву дают?! ткни пальцем!

Я понимаю про спор: если у Вас много RAM > 90GB, можно (кто говорит лучше) не использовать L2ARC,
но это все зависит от пулов и того чем они используются.
Верное утверждение - L2ARC может оказать отрицательное влияние на производительность,
если архитектор не учел что каждый блок L2ARC требует выделения памяти в RAM для l2arc header,
если память не изменяет, что-то типа:

(L2ARC size in kilobytes) / (typical recordsize -- or volblocksize -- in kilobytes) * 70 bytes = ARC header size in RAM

https://blog.lexa.ru/2016/07/24/zfs_l2a ... mance.html

если это не учитывать, а выделять размер L2ARC от балды и не думать что l2arc headers не скушают RAM, то CCЗБ.

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Переменные ядра ZFS

Непрочитанное сообщение Neus » 2017-10-20 18:18:58

guest писал(а):
Neus писал(а): ксати, l2arc не рекомендуют к использованию на системах мене чем с 64 гб оперативы
сколько памяти на этом девайсе?
где такую забористую траву дают?! ткни пальцем!

Я понимаю про спор: если у Вас много RAM > 90GB, можно (кто говорит лучше) не использовать L2ARC,
но это все зависит от пулов и того чем они используются.
Верное утверждение - L2ARC может оказать отрицательное влияние на производительность,
если архитектор не учел что каждый блок L2ARC требует выделения памяти в RAM для l2arc header,
если память не изменяет, что-то типа:

(L2ARC size in kilobytes) / (typical recordsize -- or volblocksize -- in kilobytes) * 70 bytes = ARC header size in RAM

https://blog.lexa.ru/2016/07/24/zfs_l2a ... mance.html

если это не учитывать, а выделять размер L2ARC от балды и не думать что l2arc headers не скушают RAM, то CCЗБ.
Блин, чойто я не могу найти, но точно помню что читал там http://napp-it.org/index_en.html
Physics is mathematics with the constraint of reality.
Engineering is physics with the constraint of money.

LOR захватили ситхи.
Добро пожаловать на светлую сторону!

guest
проходил мимо

Переменные ядра ZFS

Непрочитанное сообщение guest » 2017-10-21 0:11:53

Neus писал(а):
guest писал(а):
Neus писал(а): ксати, l2arc не рекомендуют к использованию на системах мене чем с 64 гб оперативы
сколько памяти на этом девайсе?
где такую забористую траву дают?! ткни пальцем!

Я понимаю про спор: если у Вас много RAM > 90GB, можно (кто говорит лучше) не использовать L2ARC,
но это все зависит от пулов и того чем они используются.
Верное утверждение - L2ARC может оказать отрицательное влияние на производительность,
если архитектор не учел что каждый блок L2ARC требует выделения памяти в RAM для l2arc header,
если память не изменяет, что-то типа:

(L2ARC size in kilobytes) / (typical recordsize -- or volblocksize -- in kilobytes) * 70 bytes = ARC header size in RAM

https://blog.lexa.ru/2016/07/24/zfs_l2a ... mance.html

если это не учитывать, а выделять размер L2ARC от балды и не думать что l2arc headers не скушают RAM, то CCЗБ.
Блин, чойто я не могу найти, но точно помню что читал там http://napp-it.org/index_en.html
А не ищи, просто подумай.

Это не OpenZFS, не SolarisInternal и тд и тп, советы от Gea очень даже не плохие, но не
есть основа и первая инстанция.

BlitzKrieg
ст. прапорщик
Сообщения: 538
Зарегистрирован: 2008-03-13 12:02:59

Переменные ядра ZFS

Непрочитанное сообщение BlitzKrieg » 2017-10-29 20:46:05

Вообще общее правило примерно такое: "Не знаешь - не трогай". Если вы не знаете, зачем параметры и на что они влияют, то лучше, наверное, их и не трогать.

Аватара пользователя
Nolf
мл. сержант
Сообщения: 91
Зарегистрирован: 2013-03-20 22:03:07
Откуда: Ukraine, Kyiv

Переменные ядра ZFS

Непрочитанное сообщение Nolf » 2017-11-22 12:21:03

У меня на каждый 1 Tb = 2 Gb RAM для хранилищ на ZFS.
Dominator писал(а): vm.kmem_size
vm.kmem_size_max
В основном выделяю памяти исходя из максимума - 1-2 Gb под систему...