Выбор zfs raidz для файлопомойки

Простые/общие вопросы по UNIX системам. Спросите здесь, если вы новичок

Модераторы: vadim64, terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Phanthom
рядовой
Сообщения: 25
Зарегистрирован: 2010-10-20 12:29:01

Выбор zfs raidz для файлопомойки

Непрочитанное сообщение Phanthom » 2021-10-24 4:02:00

Доброго дня. Вопрос больше теоретический и возможно глупый.
Дано: 3 винта с архивной информацией, которые стоят на разных системах. Емкость 500гб. (условно для простоты). Заполнены не полностью.
Задача - собрать инфу в одном месте.
Выделили следующее:
Есть мать с 4 сата. И один свободный винт на 500.
Как я это бы хотел сделать: поднять 13 фрю на zfs. Залить на нее данные с первого винта и таким образом освободить его, затем подключить к фре, увеличив емкость, залить данные с остальных винтов и увеличить емкость общую емкость.
В идеале если взять все 4 диска одновременно - это raidz. 3+1 для четности.
Но я не уверен что если я поставлю фрю просто на zfs то смогу его расширить сначала до raid stripe а потом до raidz
Если кто знает как это делается - прошу ткните носом в мануал, ну или в 2 словах направьте как это сделать а маны я постараюсь сам раскурить

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

guest
проходил мимо

Выбор zfs raidz для файлопомойки

Непрочитанное сообщение guest » 2021-10-24 10:25:48

Но я не уверен что если я поставлю фрю просто на zfs то смогу его расширить сначала до raid stripe а потом до raidz
Если кто знает как это делается - прошу ткните носом в мануал, ну или в 2 словах направьте как это сделать а маны я постараюсь сам раскурить
никак. ZFS на один диск - это уже stripe без резервирования, как итог, последующая
трансформация в zraid1/2/3 невозможна по определению, по архитектуре.

Ну и при отсутствии практики, я бы не стал делать bootable zraid1...

ps. Ну и следует помнить что заполнение zfs > 70% грозит деградацией
производительности. Про RAM и вовсе молчу.

Phanthom
рядовой
Сообщения: 25
Зарегистрирован: 2010-10-20 12:29:01

Выбор zfs raidz для файлопомойки

Непрочитанное сообщение Phanthom » 2021-10-24 10:56:29

Тогда что бы вы порекомендовали чтобы использовать диски наиболее эффективно и при этом иметь хоть какую то защиту от выхода из строя одного из дисков?

guest
проходил мимо

Выбор zfs raidz для файлопомойки

Непрочитанное сообщение guest » 2021-10-24 14:59:53

Тогда что бы вы порекомендовали чтобы использовать диски наиболее эффективно и при этом иметь хоть какую то защиту от выхода из строя одного из дисков?
ничего. я таких технологий не знаю.

"защита от выхода из строя одного из дисков" - предполагает:
избыточность.

Другой вариант: независимость FS на каждом отдельном диске
и их объединение в единое пространство на уровне какой-нибудь: unionfs или nullfs
Выход одного диска - потеря лишь данных одного диска.

Phanthom
рядовой
Сообщения: 25
Зарегистрирован: 2010-10-20 12:29:01

Выбор zfs raidz для файлопомойки

Непрочитанное сообщение Phanthom » 2021-10-24 16:47:53

Тогда я предполагаю что мой вариант - промежуточное хранилище. Благо оно есть - не хотел данные два раза гонять.
Освобождение дисков. И сборка сразу на raid-z.
В этом случае я получу 1.5 тб полезной емкости из 4 винтов по 0.5тб. И один пойдет в избыток. Правда, насколько я понимаю расширить в этом случае не получится? Слышал что грядут изменения в zfs - как раз что то на счет расширения хранилища. Не в курсе как это будет работатб?

guest
проходил мимо

Выбор zfs raidz для файлопомойки

Непрочитанное сообщение guest » 2021-10-24 22:05:37

Освобождение дисков. И сборка сразу на raid-z.
В этом случае я получу 1.5 тб полезной емкости из 4 винтов по 0.5тб.
в raidz оптимально 3 диска в одном vdev'е

Raidz: 3, 5, 9, и тд (2+1, 4+1, ...)
Raidz2: 4, 6, 10, и тд (2+2, ...)
Raidz3: 5, 7, 11, и тд (2+3, ...).

выше таблица оптимального кол-ва дисков в одном vdev'е для raidz1/2/3
если учесть что начиная с 9'ти hdd в одном vdev'е, работа zfs деградирует по производительности,
таблица будет:

Raidz: 3,5
Raidz2: 4,6
Raidz: 5,7
И один пойдет в избыток. Правда, насколько я понимаю расширить в этом случае не получится? Слышал что грядут изменения в zfs - как раз что то на счет расширения хранилища. Не в курсе как это будет работатб?
не понял сколько у вас в итоге дисков, но на избытычность в raidz1 уйдет треть объема.
Расширение пула с добавлением дисков невозможно, только путем замены всех по очереди
на диски большего объема.
Что там придумали и когда это станет стабильным, если вообще возможно - не слышал.

ps. Я не оставляю диски на горячий резерв. Меняю при необходимости.

Аватара пользователя
Neus
капитан
Сообщения: 1880
Зарегистрирован: 2008-09-08 21:59:56

Выбор zfs raidz для файлопомойки

Непрочитанное сообщение Neus » 2021-10-25 9:23:51

Phanthom писал(а):
2021-10-24 16:47:53
Тогда я предполагаю что мой вариант - промежуточное хранилище. Благо оно есть - не хотел данные два раза гонять.
Освобождение дисков. И сборка сразу на raid-z.
В этом случае я получу 1.5 тб полезной емкости из 4 винтов по 0.5тб. И один пойдет в избыток. Правда, насколько я понимаю расширить в этом случае не получится? Слышал что грядут изменения в zfs - как раз что то на счет расширения хранилища. Не в курсе как это будет работатб?
и это правильный вариант.
увеличивать объем хранилища путем добавления дисков raidz не умеет.
только заменой на более емкие.
Physics is mathematics with the constraint of reality.

Engineering is physics with the constraint of money.

Аватара пользователя
Neus
капитан
Сообщения: 1880
Зарегистрирован: 2008-09-08 21:59:56

Выбор zfs raidz для файлопомойки

Непрочитанное сообщение Neus » 2021-10-25 9:26:14

guest писал(а):
2021-10-24 22:05:37
Raidz: 3, 5, 9, и тд (2+1, 4+1, ...)
Raidz2: 4, 6, 10, и тд (2+2, ...)
Raidz3: 5, 7, 11, и тд (2+3, ...).
ну что Вы, профессор.
рекомендация о том, что количество дисков с данными должно быть кратно степени 2, давно устарело.
Physics is mathematics with the constraint of reality.

Engineering is physics with the constraint of money.

guest
проходил мимо

Выбор zfs raidz для файлопомойки

Непрочитанное сообщение guest » 2021-10-25 12:04:21

ну что Вы, профессор.
рекомендация о том, что количество дисков с данными должно быть кратно степени 2, давно устарело.
дело не только в кратности степени 2, было дано оптимальное кол-во дисков в одном vdev.
Алгоритмы не изменились.
Если берем FreeBSD, то recordsize=128K, ZFS размазывает данные по дискам и формулу для
оптимального выравнивания данных, никто не отменил и не изменил:

128KiB / (nr_of_drives – parity_drives) = maximum (default) variable stripe size
(все это подтверждено и теорией и практикой), получаем таблицу:

3-disk RAID-Z = 128KiB / 2 = 64KiB = удачное выравнивание
4-disk RAID-Z = 128KiB / 3 = ~43KiB = ПЛОХОЕ
5-disk RAID-Z = 128KiB / 4 = 32KiB = удачное выравнивание
9-disk RAID-Z = 128KiB / 8 = 16KiB = удачное выравнивание
--
4-disk RAID-Z2 = 128KiB / 2 = 64KiB = удачное выравнивание
5-disk RAID-Z2 = 128KiB / 3 = ~43KiB = ПЛОХОЕ
6-disk RAID-Z2 = 128KiB / 4 = 32KiB = удачное выравнивание
10-disk RAID-Z2 = 128KiB / 8 = 16KiB = удачное выравнивание

Про кол-во дисков в vdev, как разработчики говорили что лучше
не использовать >9xHDD в одном VDEV'е, так все и осталось,
заложенные алгоритмы коренным образом не изменились.

Админы приходили и спрашивали, почему у тебя ZFS быстро работает
и scrub быстро проходит?
Предлагал без всяких тюнингов изменить конструкцию RAIDZ1:
с
# zpool create poolname raidz disk1 disk2 disk3 disk4 disk5 disk6 disk7 disk8 disk9
на
# zpool create poolname raidz disk1 disk2 disk3 raidz disk4 disk5 disk6 raidz disk7 disk8 disk9

те (то есть) грубо говоря с RAID5 на RAID50, аналогично и для raidz2.
Ситуация в корне менялась.

Аватара пользователя
Neus
капитан
Сообщения: 1880
Зарегистрирован: 2008-09-08 21:59:56

Выбор zfs raidz для файлопомойки

Непрочитанное сообщение Neus » 2021-10-25 13:11:39

guest, так я про это выравнивание и говорю, кратно степени 2
в каком-то блоге прочитал что сейчас это не актуально, спорить впрочем не буду, у меня 1 raidz2 из 8 дисков на OmniOS, для бэкапов и дистров.
т.е. io нагрузки почти никакой. ☺
Physics is mathematics with the constraint of reality.

Engineering is physics with the constraint of money.

guest
проходил мимо

Выбор zfs raidz для файлопомойки

Непрочитанное сообщение guest » 2021-10-26 10:58:44

Hi Neus,
guest, так я про это выравнивание и говорю, кратно степени 2
в каком-то блоге прочитал что сейчас это не актуально, спорить впрочем не буду, у меня 1 raidz2 из 8 дисков на OmniOS, для бэкапов и дистров.
т.е. io нагрузки почти никакой. ☺
Возможно... давно не читал про новшества...

Я отказался от Omni и OpenIdiana и перешел на Linux после того как в Proxmox допилили работу
с LIO Target iSCSI (Comstar работал классно).
Увы, устарели системы на базе illumos.

Перешел на Debian/Ubuntu, тьфу-тьфу-тьфу, уже несколько лет ZFS пашет по полной.
Жалко что ps и top не показывают использование ARC как в Solaris. :(