ZFS в качестве основной ФС

Проблемы установки, настройки и работы Правильной Операционной Системы

Модератор: terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
Fomalhaut
мл. сержант
Сообщения: 109
Зарегистрирован: 2010-12-05 12:28:33

Re: ZFS в качестве основной ФС

Непрочитанное сообщение Fomalhaut » 2011-10-03 20:48:25

ttys писал(а):а статья в продакшен скоро будет? ;-)
ато ж интересно :smile:
Постараюсь поскорей. :) Но там не очень много изменений в сути, хотя есть существенные.
Пока же наша контора переезжает в новое здание - зашиваемся: домой прихожу сильно уставшим: таскание серверов и прочая беготня утомляет... :( Появится времени - доделаю. :)

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

GhOsT_MZ
лейтенант
Сообщения: 662
Зарегистрирован: 2011-04-25 11:40:35
Контактная информация:

Re: ZFS в качестве основной ФС

Непрочитанное сообщение GhOsT_MZ » 2011-10-04 7:09:37

Fomalhaut писал(а):
GhOsT_MZ писал(а):Есть масса загрузчиков, но вот какой в каком случае используется? Доков по этому вопрос лично мне не удалось найти, может кто-нибудь ткнет носом, если таковые имеются?
Алексей aka bu7cher очень хорошо расписал всё по этому вопросу: читайте и наслаждайтесь. :)
И теперь вопрос непосредственно по ZFS, а именно - по организации файловых систем в пуле. Насколько разумным будет создание ФС для каталогов с исполняемыми файлами в целях безопасности? Например, /bin, /sbin, /usr/bin, /usr/sbin, /boot - сделать RO+Executive и так далее. Или этим я создаду не более чем головную боль для самого себя? Если ход мыслей верен, то какие еще каталоги нуждаются в свойстве exec? Нужно ли оно для библиотек?
Библиотеки сами по себе не исполняются, поэтому execute там не нужен, как я понимаю.
А всё остальное я тоже систематизировал, когда заинтересовался этим вопросом, в своей статье, расспросив более сведующих. Но в привязке к созданным по этой же статье, файловым системам.
Сам так и не применил: данная "модификация" требует постоянно помнить, что и где и с какими правами разрешенно. Хотя в новой установке всё таки хочется сделать.
Да, в статье все достаточно серьезно систематизировано, но у меня появилось желание сделать это более глубоко так сказать, вот и встал вопрос о целесообразности этого. Кстати, а зачем вот это: "3.3. Для датасета systor/var/empty установим режим "только чтение":", если не секрет?
А за статью спасибо, буду изучать)

Аватара пользователя
Fomalhaut
мл. сержант
Сообщения: 109
Зарегистрирован: 2010-12-05 12:28:33

Re: ZFS в качестве основной ФС

Непрочитанное сообщение Fomalhaut » 2011-10-04 20:52:37

GhOsT_MZ писал(а):Да, в статье все достаточно серьезно систематизировано, но у меня появилось желание сделать это более глубоко так сказать, вот и встал вопрос о целесообразности этого. Кстати, а зачем вот это: "3.3. Для датасета systor/var/empty установим режим "только чтение":", если не секрет?
Насколько помню, /var/empty - это с SSH каким-то образом связано. Надо будет повспоминать подробней - сам подзабыл уже.

5chme1
проходил мимо

Re: ZFS в качестве основной ФС

Непрочитанное сообщение 5chme1 » 2011-11-02 23:46:07

А никто не заморачивался установкой фряхи c корневым ZFS с диска PCDSD?
Если ставлю автоматом - то все монтируется и устанавливается, если пробую вручную размечать - не может загрузить ядро =(

Аватара пользователя
Fomalhaut
мл. сержант
Сообщения: 109
Зарегистрирован: 2010-12-05 12:28:33

Re: ZFS в качестве основной ФС

Непрочитанное сообщение Fomalhaut » 2011-11-03 20:09:36

5chme1 писал(а):А никто не заморачивался установкой фряхи c корневым ZFS с диска PCDSD?
Если ставлю автоматом - то все монтируется и устанавливается, если пробую вручную размечать - не может загрузить ядро =(
Вообще-то представляется несколько неправильным использовать для установки FreeBSD не оригинальный дистрибутив системы. :) Имхо.
Но вообще-то надо бы проверить все шаги, связанные с загрузчиком и ядром. Ну и zpool.cache, конечно.

5chme1
проходил мимо

Re: ZFS в качестве основной ФС

Непрочитанное сообщение 5chme1 » 2011-11-05 14:24:43

Там есть выбор что ставить - PC-BSD или FreeBSD. Графический установщик.

hranitel_y2k
сержант
Сообщения: 154
Зарегистрирован: 2007-12-10 21:04:35

Re: ZFS в качестве основной ФС

Непрочитанное сообщение hranitel_y2k » 2011-11-05 17:32:09

Поскольку установка в статье производилась на релизе 8.1, дополню инфу для релиза 8.2 (я использовал весь диск под zfs без gpt):

1) Zfsboot в релизе глючный (не грузит систему), использовать лучше zfsboot из stable ветки.
2)Насчет дисков WDXXEARS (те которые с секторами 4к), есть более элегантное решение, чем скрипт Левши:

Код: Выделить всё

%gnop create -S 4096 ${DEV0}
%zpool create tank ${DEV0}.nop
%zpool export tank
%gnop destroy ${DEV0}.nop
%zpool import tank
Этого достаточно,чтобы zfs использовала размер сектора 4К (ссылка на инфу http://aming-blog.blogspot.com/2010/12/ ... ssues.html
Все гениальное - просто!

Аватара пользователя
Fomalhaut
мл. сержант
Сообщения: 109
Зарегистрирован: 2010-12-05 12:28:33

Re: ZFS в качестве основной ФС

Непрочитанное сообщение Fomalhaut » 2011-11-05 19:24:52

5chme1 писал(а):Там есть выбор что ставить - PC-BSD или FreeBSD. Графический установщик.
Я в курсе. Но оригинальный дистрибутив - это правильней. ;)

Аватара пользователя
Fomalhaut
мл. сержант
Сообщения: 109
Зарегистрирован: 2010-12-05 12:28:33

Re: ZFS в качестве основной ФС

Непрочитанное сообщение Fomalhaut » 2011-11-05 19:34:56

hranitel_y2k писал(а):Поскольку установка в статье производилась на релизе 8.1, дополню инфу для релиза 8.2 (я использовал весь диск под zfs без gpt):

1) Zfsboot в релизе глючный (не грузит систему), использовать лучше zfsboot из stable ветки.
Да - проблема zfsboot из 8.2 известная: немного ранее в этой же ветке обсуждалось, bu7cher пропатчил загрузчик и тогда же добавил патч в HEAD.
hranitel_y2k писал(а):2)Насчет дисков WDXXEARS (те которые с секторами 4к), есть более элегантное решение, чем скрипт Левши:

Код: Выделить всё

%gnop create -S 4096 ${DEV0}
%zpool create tank ${DEV0}.nop
%zpool export tank
%gnop destroy ${DEV0}.nop
%zpool import tank
Этого достаточно,чтобы zfs использовала размер сектора 4К (ссылка на инфу http://aming-blog.blogspot.com/2010/12/ ... ssues.html
Хороший пример - я его тоже нашёл и добавил в новой версии статьи (ещё не опубликована) по установке 9-й ветки системы на ZFS без таблицы разделов. И действительно элегантное. :D
Вообще, ZFS, имхо, вполне достигла уровня, когда её можно использовать на боевых серверах. Хотя конкретное применение зависит от характера обрабатываемой№ информации и нагрузки. Жалко только, что в FreeNAS ещё v15 испоользуется. :(

hranitel_y2k
сержант
Сообщения: 154
Зарегистрирован: 2007-12-10 21:04:35

Re: ZFS в качестве основной ФС

Непрочитанное сообщение hranitel_y2k » 2011-11-05 19:49:50

Fomalhaut писал(а): Хороший пример - я его тоже нашёл и добавил в новой версии статьи (ещё не опубликована) по установке 9-й ветки системы на ZFS без таблицы разделов. И действительно элегантное. :D
Вообще, ZFS, имхо, вполне достигла уровня, когда её можно использовать на боевых серверах. Хотя конкретное применение зависит от характера обрабатываемой№ информации и нагрузки. Жалко только, что в FreeNAS ещё v15 испоользуется. :(
Хотелось бы почитать. Для zfs mirror установка на весь раздел без gpt самое то!
Встречал в других статьях интересную идею монтирования корня не в "танк",а в "tank/root", т.е. так проще делать снапшоты системы перед обновлением и если что откатить назад. Вот думаю пока сделать или нет.
Еще вопрос: как сейчас версия zfs в STABLE 8 и какая будет в 9 релизе?
И стоит ли сейчас поднимать на боевом сервере версию с 8.2 до 8 STABLE?
Все гениальное - просто!

Аватара пользователя
Fomalhaut
мл. сержант
Сообщения: 109
Зарегистрирован: 2010-12-05 12:28:33

Re: ZFS в качестве основной ФС

Непрочитанное сообщение Fomalhaut » 2011-11-06 0:19:17

hranitel_y2k писал(а):Хотелось бы почитать. Для zfs mirror установка на весь раздел без gpt самое то!
А я по предыдущей твоей записи понял, что ты уже так поставил. :)
hranitel_y2k писал(а):Встречал в других статьях интересную идею монтирования корня не в "танк",а в "tank/root", т.е. так проще делать снапшоты системы перед обновлением и если что откатить назад. Вот думаю пока сделать или нет.
А чем мешает сейчас (в моём варианте, описанном в статье) так делать? Я откатывался без проблем.
hranitel_y2k писал(а):Еще вопрос: как сейчас версия zfs в STABLE 8 и какая будет в 9 релизе?
Так вроде бы в STABLE уже v28. И в девятке v28.
hranitel_y2k писал(а):И стоит ли сейчас поднимать на боевом сервере версию с 8.2 до 8 STABLE?
Ну у меня на одном крутится. Но и сервер не самый нагруженный и важный: это старенький сервер для сбора syslog-ов и работающими TFTP и MRTG. Но всё таки это делать я бы не советовал. И сам буду уходить со STABLE. Ладно там для тестов и баловства, а на боевых - не дело. Имхо.

hranitel_y2k
сержант
Сообщения: 154
Зарегистрирован: 2007-12-10 21:04:35

Re: ZFS в качестве основной ФС

Непрочитанное сообщение hranitel_y2k » 2011-11-06 18:04:32

Fomalhaut писал(а): А я по предыдущей твоей записи понял, что ты уже так поставил. :)
Да,так и поставил. но в отличие от твоей статьи,я все это делал на машине с установленной операционкой и двумя HDD. Т.е. получилась миграция с UFS на ZFS. В основу взял статью http://www.lissyara.su/articles/freebsd ... fs_to_zfs/
Fomalhaut писал(а): А чем мешает сейчас (в моём варианте, описанном в статье) так делать? Я откатывался без проблем.
Почитал мануал по zfs, понял что тоже самое возможно и у тебя.
Fomalhaut писал(а): Ну у меня на одном крутится. Но и сервер не самый нагруженный и важный: это старенький сервер для сбора syslog-ов и работающими TFTP и MRTG. Но всё таки это делать я бы не советовал. И сам буду уходить со STABLE. Ладно там для тестов и баловства, а на боевых - не дело. Имхо.
Я так же подумал. К тому же не хочется отказываться от бинарного обновления.
Все гениальное - просто!

Аватара пользователя
iZEN
ст. лейтенант
Сообщения: 1095
Зарегистрирован: 2007-09-15 16:45:26
Контактная информация:

Re: ZFS в качестве основной ФС

Непрочитанное сообщение iZEN » 2011-11-06 21:55:08

hranitel_y2k писал(а):Встречал в других статьях интересную идею монтирования корня не в "танк",а в "tank/root", т.е. так проще делать снапшоты системы перед обновлением и если что откатить назад.
При этом снапшоты не делаются для вложенных ФС, если они будут существовать (что, в принципе, желательно делать, для /var, /var/db, /var/db/pkg, /var/empty, /var/crash и т.д.).

Лично мне хотелось бы иметь отдельные ФС для /usr/local и /var/db/pkg, а остальное быстро восстанавливается. Конечно, можно в корне их создать, а потом назначить точку монтирования уже в плоской системной ФС. Но не всегда такое прокатывает — нет-нет, да и не смонтируется эти ФС в нужные точки. Причин может быть масса, в том числе, элементарный человеческий фактор.
GNU/Linux — это не Unix и даже никогда им не был, и, что самое смешное, никогда им не станет — GNU's Not Unix

Аватара пользователя
Fomalhaut
мл. сержант
Сообщения: 109
Зарегистрирован: 2010-12-05 12:28:33

Re: ZFS в качестве основной ФС

Непрочитанное сообщение Fomalhaut » 2011-11-06 22:27:56

iZEN писал(а):Лично мне хотелось бы иметь отдельные ФС для /usr/local и /var/db/pkg, а остальное быстро восстанавливается. Конечно, можно в корне их создать, а потом назначить точку монтирования уже в плоской системной ФС.
Ну тут кроме вложенности стоит обратить внимание на наследовании свойств от родительской ФС.
iZEN писал(а):Но не всегда такое прокатывает — нет-нет, да и не смонтируется эти ФС в нужные точки. Причин может быть масса, в том числе, элементарный человеческий фактор.
Человеческий фактор - это неисключаемо. :D

Ishida_Viper
проходил мимо

Re: ZFS в качестве основной ФС

Непрочитанное сообщение Ishida_Viper » 2011-11-14 1:43:11

Что-то дружбы с гуглом не выходит на тему - как же включить acls на разделе zfs'а...

Ishida_Viper
проходил мимо

Re: ZFS в качестве основной ФС

Непрочитанное сообщение Ishida_Viper » 2011-11-14 4:46:35

Даже нет, не так вопрос стоит.. Как верно подружить zfs с ad посредством самбы, дабы фря воспринимала изменение прав доступа "галочками"...?

Аватара пользователя
Fomalhaut
мл. сержант
Сообщения: 109
Зарегистрирован: 2010-12-05 12:28:33

Re: ZFS в качестве основной ФС

Непрочитанное сообщение Fomalhaut » 2011-11-14 9:34:35

Ishida_Viper писал(а):Как верно подружить zfs с ad посредством самбы, дабы фря воспринимала изменение прав доступа "галочками"...?
Думаю, что эта ссылка поможет. Ну не полностью, но в значительной мере. Где-то встречал и с завязкой на ZFS, но сразу не нашёл.

Ishida_Viper
проходил мимо

Re: ZFS в качестве основной ФС

Непрочитанное сообщение Ishida_Viper » 2011-11-14 9:40:50

Fomalhaut писал(а):
Ishida_Viper писал(а):Как верно подружить zfs с ad посредством самбы, дабы фря воспринимала изменение прав доступа "галочками"...?
Думаю, что эта ссылка поможет. Ну не полностью, но в значительной мере. Где-то встречал и с завязкой на ZFS, но сразу не нашёл.
Да собственно это-то есть... Даже конкретно этот случай ) http://www.lissyara.su/articles/freebsd ... ba+nt_acl/

Оно даже дает мне галочки потыкать и вроде как сохранить, но применение в zfs оно не получает =(

Ishida_Viper
проходил мимо
Сообщения: 1
Зарегистрирован: 2011-11-14 10:01:04

Re: ZFS в качестве основной ФС

Непрочитанное сообщение Ishida_Viper » 2011-11-15 8:09:29

Вроде бы всё решилось.:smile:

GhOsT_MZ
лейтенант
Сообщения: 662
Зарегистрирован: 2011-04-25 11:40:35
Контактная информация:

Re: ZFS в качестве основной ФС

Непрочитанное сообщение GhOsT_MZ » 2011-11-15 8:21:32

Как решилось то?)

Tedor
проходил мимо
Сообщения: 3
Зарегистрирован: 2011-04-15 12:04:16

Re: ZFS в качестве основной ФС

Непрочитанное сообщение Tedor » 2011-12-09 11:32:50

Подскажите пожалуйста, как имея один винчестер на 2Т с 4к сектором, заставить zfs работать с ним правильно, то есть писать блоками по 4к, устанавливал систему по этой статье http://www.lissyara.su/articles/freebsd ... t_zfs_gpt/, то есть что имеется:
1. ZFS файловая система установлена как корневая.
2.

Код: Выделить всё

# gpart show
=>        34  3907026988  ad0  GPT  (1.8T)
          34           6       - free -  (3.0k)
          40         256    1  freebsd-boot  (128k)
         296     8388608    2  freebsd-swap  (4.0G)
     8388904  3898638118    3  freebsd-zfs  (1.8T)

=>       63  488378268  ad0.nop  MBR  (1.8T)
         63  488378268           - free -  (1.8T)
3.

Код: Выделить всё

# zpool status
  pool: systor
 state: ONLINE
 scan: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        systor      ONLINE       0     0     0
          ad0p3     ONLINE       0     0     0

errors: No known data errors
4.

Код: Выделить всё

# zfs list
NAME                           USED  AVAIL  REFER  MOUNTPOINT
systor                         896G   931G  1.57G  legacy
systor/distfiles               906M   931G   906M  /usr/ports/distfiles
systor/etc                    2.62M   931G  2.10M  /etc
systor/home                   95.9G   931G  95.9G  /usr/home
systor/local                  5.00G   931G  1.88G  /usr/local
systor/media                   787G   931G   760G  /media
systor/media/bkp              27.4G   931G  27.4G  /media/bkp
systor/media/important          46K   931G    46K  /media/important
systor/obj                     960M   931G   960M  /usr/obj
systor/ports                   174M   931G   174M  /usr/ports
systor/src                     170M   931G   170M  /usr/src
systor/tmp                      23K   931G    23K  /usr/tmp
systor/usr                     272M   931G   272M  /usr
systor/var                     790M   931G   173M  /var
systor/var/crash              23.5K   931G  23.5K  /var/crash
systor/var/db                  308M   931G   308M  /var/db
systor/var/empty                23K   931G    23K  /var/empty
systor/var/tmp                 309M   931G   309M  /var/tmp
systor/www                    3.11G   931G  3.11G  /usr/local/www
5.

Код: Выделить всё

zdb systor | grep ashift
                ashift: 9
Собственно вопрос, каким образом можно заставить zfs с винчестером работать 4к блоками, при этом что-бы не потерять информацию, и возможно ли это сделать имея 1 винчестером?

Аватара пользователя
Fomalhaut
мл. сержант
Сообщения: 109
Зарегистрирован: 2010-12-05 12:28:33

Re: ZFS в качестве основной ФС

Непрочитанное сообщение Fomalhaut » 2011-12-11 15:43:48

Tedor писал(а):Собственно вопрос, каким образом можно заставить zfs с винчестером работать 4к блоками, при этом что-бы не потерять информацию, и возможно ли это сделать имея 1 винчестером?
Насколько я понимаю, изменения блока ФС без пересоздания пула невозможны. Хотя, конечно, и я чего-то могу не знать.
В любом случае перед любыми подобными действиями весьма желателен бэкап всех данных, так что надо временный второй винт подходящего объёма. :)
А для работы с винстами с 4кб секторами есть оригинальный способ:

Код: Выделить всё

$ gnop create -S 4096 /dev/ad6
$ zpool create systor /dev/ad6.nop
$ zpool export systor
$ gnop destroy /dev/ad6.nop
$ zpool import systor

Tedor
проходил мимо
Сообщения: 3
Зарегистрирован: 2011-04-15 12:04:16

Re: ZFS в качестве основной ФС

Непрочитанное сообщение Tedor » 2011-12-12 10:56:57

Fomalhaut писал(а):Насколько я понимаю, изменения блока ФС без пересоздания пула невозможны. Хотя, конечно, и я чего-то могу не знать.
Спасибо, пошуршав по интернету тоже это понял, жаль что про это не было сказано в статье. Тогда еще вопрос, а оно вообще того стоит? будет ли выигрыш в скорости?

Вот для примера, у меня есть домашний сервер, на нем стоит винт Samsung EcoGreen F4 2TB HD204UI, и результаты тестов:

Код: Выделить всё

# /usr/bin/time -h dd if=/dev/zero of=sometestfile bs=4k count=500000
2048000000 bytes transferred in 29.356254 secs (69763669 bytes/sec)
- скорость записи 66,5 MB/sec

Код: Выделить всё

# /usr/bin/time -h dd if=sometestfile of=/dev/null bs=4k count=500000
2048000000 bytes transferred in 21.835538 secs (93792055 bytes/sec)
- скорость чтения 89,4 MB/sec

Возможно у кого-то стоит такой же винчестер (или похожий) и он работает в режиме 4к сектора, если да, то выложите пожалуйста свои результаты, если можете.
Заранее спасибо.

pimlab
прапорщик
Сообщения: 484
Зарегистрирован: 2007-10-09 11:31:03

Re: ZFS в качестве основной ФС

Непрочитанное сообщение pimlab » 2011-12-13 10:44:43

Fomalhaut писал(а):

Код: Выделить всё

%gnop create -S 4096 ${DEV0}
%zpool create tank ${DEV0}.nop
%zpool export tank
%gnop destroy ${DEV0}.nop
%zpool import tank
я правильно понимаю боотиться с этого диска не удастся?

sean
проходил мимо

Re: ZFS в качестве основной ФС

Непрочитанное сообщение sean » 2012-01-13 3:24:40

Скажите, пожалуйста, я что-то совсем запутался когда читал примечание о выравнивании.. про 512 б и 4 кб. Как мне определить размеры секторов на моем хдд? Я так понял, в статье вы придерживались того, что ваш хдд по 512 б на сектор? У меня хдд на 2 тб. Что же делать... :sorry: