ZFS в качестве основной ФС

[Fomalhaut]

Поправьте если я ошибаюсь, но биосу плевать на разделы, он грузит первый сектор, для биоса это первые 512 байт винта
dd if=/boot/zfsboot of=/dev/ada0 bs=512 count=1
также обязательно нужно что-бы лежал в папочке /boot/ файлик zfsloader

Т.е. ты весь винт отдаёшь под ZFS, но при этом первые 512 байт перезаписываешь zfsboot-ом? И ZFS работает?

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Orator]

Поправьте если я ошибаюсь, но биосу плевать на разделы, он грузит первый сектор, для биоса это первые 512 байт винта
dd if=/boot/zfsboot of=/dev/ada0 bs=512 count=1
также обязательно нужно что-бы лежал в папочке /boot/ файлик zfsloader

Т.е. ты весь винт отдаёшь под ZFS, но при этом первые 512 байт перезаписываешь zfsboot-ом? И ZFS работает?

и первые и еще dd if=/mnt2/boot/zfsboot of=/dev/яda0 bs=512 skip=1 seek=1024.
И все работает без ошибок уже год на 14 серверах, 2-х насах и пачке файлопомоек

Почитай про заголовки пула, точнее описание структуры заголовков, там отведено место для загрузчика изначально.
Прости сейчас ссылку не приведу, я с телефона неудобно искать.

[bu7cher]

А какой размер у вашего zfsboot'а?
У ZFS label отведено два последовательных блока по 8кб, которые не используются и куда можно поместить загрузчик, но на данный момент zfsboot у меня на head/ с ZFSv28 занимает 66кбайт.

[Fomalhaut]

Кстати при обновление мира, хотя и было в наличие LOADER_ZFS_SUPPORT=YES, фря не запустилась, пришлось опять вручную скопировать zfsloader с папки /dist/boot/ на установочной флешке

Ну раз изменилась версия пула и датасетов, то надо обновить и загрузчик, чтобы он "знал" новые версии. Да и где-то в "сопроводительных документах" по обновлению Фряхи было про необходимость обновления загрузчика.

[Fomalhaut]

А какой размер у вашего zfsboot'а?
У ZFS label отведено два последовательных блока по 8кб, которые не используются и куда можно поместить загрузчик, но на данный момент zfsboot у меня на head/ с ZFSv28 занимает 66кбайт.

В 8.1-RELEASE-p2 поменьше, но всё таки 33 кБ.

[Orator]

А какой размер у вашего zfsboot'а?
У ZFS label отведено два последовательных блока по 8кб, которые не используются и куда можно поместить загрузчик, но на данный момент zfsboot у меня на head/ с ZFSv28 занимает 66кбайт.

На RELENG_8_1/, занимает 33280 байт. zpool v14/

Тоже интересный момент, а можно ссылку где Вы читали про 2 блока по 8кб, мне попадалась информация про 2 по 16кб, вот я и не беспокоился
первое dd if=/boot/zfsboot of=/dev/ada0 bs=512 count=1
второе dd if=/boot/zfsboot of=/dev/ada0 bs=512 skip=1 seek=1024
Получаем вторая порция 33280-512=32768.
1024байта*(16кб*2)=32кб=32768 что равно второй порции

[Orator]

Кстати при обновление мира, хотя и было в наличие LOADER_ZFS_SUPPORT=YES, фря не запустилась, пришлось опять вручную скопировать zfsloader с папки /dist/boot/ на установочной флешке

Ну раз изменилась версия пула и датасетов, то надо обновить и загрузчик, чтобы он "знал" новые версии. Да и где-то в "сопроводительных документах" по обновлению Фряхи было про необходимость обновления загрузчика.

Я имел ввиду, что при пересборке мира без обновления пула и файловой, почему-то портиться zfsloader, получается что он пересобирается согласно опции но как-то кучеряво. И необходимо возвращать его перед ребутом

[bu7cher]

первое dd if=/boot/zfsboot of=/dev/ada0 bs=512 count=1
второе dd if=/boot/zfsboot of=/dev/ada0 bs=512 skip=1 seek=1024

запись осуществляется со смещением в 512кбайт. Детально я в коде не разбирался, но если верить комментариям:

Код: Выделить всё

244 /*
245  * Size and offset of embedded boot loader region on each label.
246  * The total size of the first two labels plus the boot area is 4MB.
247  */
248 #define VDEV_BOOT_OFFSET        (2 * sizeof (vdev_label_t))
249 #define VDEV_BOOT_SIZE          (7ULL << 19)                    /* 3.5M */

Размер vdev_label_t = 256кб. Т.е. запись загрузочного кода происходит по смещению VDEV_BOOT_OFFSET и его размер вероятно может достигать 3.5Мбайт, так что, хранится он не внутри label'а.

[bu7cher]

Проблема вероятно будет с первым dd. Он записывает в первый сектор загрузочный код zfsboot1, который загружает zfsboot2. На сколько я вижу, из zfsldr.S он написан для 32кбайтного zfsboot2. А сейчас он уже подрос. Так что, если не выйдет, можете попробовать похачить его
pjd@ сказал, что никогда не пробовал данный метод и надеется, что не сломал ничего
Если будут вопросы, обращайтесь к dfr@, он реализовывал эту возможность изначально.

[Orator]

Проблема вероятно будет с первым dd. Он записывает в первый сектор загрузочный код zfsboot1, который загружает zfsboot2. На сколько я вижу, из zfsldr.S он написан для 32кбайтного zfsboot2. А сейчас он уже подрос. Так что, если не выйдет, можете попробовать похачить его
pjd@ сказал, что никогда не пробовал данный метод и надеется, что не сломал ничего
Если будут вопросы, обращайтесь к dfr@, он реализовывал эту возможность изначально.

У меня тоже было подозрение на первые 512.
Нужно будет посмотреть исходный текст и провести серию тестов перед тем как обращаться за помощью.

Вот я смотрю у людей такие-же симптомы. Но мне не помогло.
http://lists.freebsd.org/pipermail/free ... 60777.html

Спасибо за ответы.
Как только закончатся командировки займусь вплотную вопросом.

[fox]

Всё равно не понятно что такое может распоралеливатся и гнатся... Разве что у вас не видео архив!
У меня самогу 4 ТБ видео архив уже больше года работает каждый день и винты не летят!

[Orator]

Всё равно не понятно что такое может распоралеливатся и гнатся... Разве что у вас не видео архив!
У меня самогу 4 ТБ видео архив уже больше года работает каждый день и винты не летят!

Для видеонаблюдение той же Wd хватит спокойно года на 3 а то и больше, у меня уже стоят года 2 с хвостиком и никаких проблем.
Но это не видео архив. В моем же случае винты выступают в качестве промежуточного кратковременного кеша, они хранят инфу только на момент обработки

[Fomalhaut]

Но это не видео архив. В моем же случае винты выступают в качестве промежуточного кратковременного кеша, они хранят инфу только на момент обработки

Разве что телеметрия с сотен тысяч точек?

[spf]

А для кого GEOM Label? Откройте для себя glabel!

glabel все же не "сырой" диск, который поменял на новый и все сразу завелось.
Все равно надо над новым диском предварительно колдовать.

Но и у glabel в этой статье обнаружен недостаток:

Код: Выделить всё

Так как метка диска сделанная glabel пишется в конец диска, то zfs в принципе не знает ничего о том, где она записана. И при полном заполнении диска перетирает эту метку. Диску в массиве присваивается физическое имя и мы возвращаемся к пункту 1 наших проблем.

Не знаю, столкнулся ли автор с этой проблемой физически или это рассуждения вслух (по идее, GEOM не должен допускать такой ситуации). Я glabel сам не испытывал и сказать о нем ничего не могу.

[iZEN]

Но и у glabel в этой статье обнаружен недостаток:

Код: Выделить всё

Так как метка диска сделанная glabel пишется в конец диска, то zfs в принципе не знает ничего о том, где она записана. И при полном заполнении диска перетирает эту метку. Диску в массиве присваивается физическое имя и мы возвращаемся к пункту 1 наших проблем.

Не знаю, столкнулся ли автор с этой проблемой физически или это рассуждения вслух (по идее, GEOM не должен допускать такой ситуации). Я glabel сам не испытывал и сказать о нем ничего не могу.

GEOM не по идее, а обязан не допускать такой ситуации, конечно, при условии, что под файловую систему используется сам провайдер (glabel), а не потребитель (GEOM part) носителя.
Если ZFS ставится на GEOM part, то, естественно, никаких других провайдеров (внутри него) она не увидит и затрёт их служебную информацию.

[bu7cher]

У меня тоже было подозрение на первые 512.
Нужно будет посмотреть исходный текст и провести серию тестов перед тем как обращаться за помощью.

Если будет возможность, попробуйте этот zfsboot.
Он пропатчен для загрузки 64кБайт и поддерживает zfs v28.

[bu7cher]

Но и у glabel в этой статье обнаружен недостаток:

Код: Выделить всё

Так как метка диска сделанная glabel пишется в конец диска, то zfs в принципе не знает ничего о том, где она записана. И при полном заполнении диска перетирает эту метку. Диску в массиве присваивается физическое имя и мы возвращаемся к пункту 1 наших проблем.

Не знаю, столкнулся ли автор с этой проблемой физически или это рассуждения вслух (по идее, GEOM не должен допускать такой ситуации). Я glabel сам не испытывал и сказать о нем ничего не могу.

Враньё. Если ZFS'у сказано использовать провайдер glabel'а, то он при всём желании не сможет переписать его метаданные, т.к. их нет внутри этого провайдера. Это, если используется обычный `glabel label ....`. А вообще, glabel умеет создавать метки на основе чужих метаданных, коими и являются gpt/gptid/ufsid и т.п. Вот они могут храниться внутри самого провайдера и потенциально могут быть перезаписаны, например ufsid.

[Orator]

У меня тоже было подозрение на первые 512.
Нужно будет посмотреть исходный текст и провести серию тестов перед тем как обращаться за помощью.

Если будет возможность, попробуйте этот zfsboot.
Он пропатчен для загрузки 64кБайт и поддерживает zfs v28.

Посмотрел, я уже был накропал патч под 15, пока катался между городами в командировке. Даже протестил на ноуте.
Этот тоже работает, кстати его будет использовать более правильно, так как я сравнил свой вариант и как оказалось допустил несколько ошибок.
Я даже не сразу понял как так умудрился, что значит опыта не хватило.

Спасибо за беспокойство.

[bu7cher]

Я уже закоммитил исправление, по ссылке выше патченный zfsboot от 8.2-STABLE. Через неделю исправления будут в stable/8.

[Felix]

К автору:

Код: Выделить всё

Fixit$ zfs umount -a
Fixit$ zfs set mountpoint=/ systor
Fixit$ mount

У меня по рецепту не заработало, в последней строке не zfs mount, лучаем?

Также интересен момент: я несколько перепилил установочный скрипт mfsbsd, под установку 8.2-RELEASE с компакта. Нужно это добро кому-то?

[Fomalhaut]

У меня по рецепту не заработало, в последней строке не zfs mount, лучаем?

Да - zfs mount. Спасибо.

Также интересен момент: я несколько перепилил установочный скрипт mfsbsd, под установку 8.2-RELEASE с компакта. Нужно это добро кому-то?

Поподробней можно, что именно "перепиено".

[frk]

система 8.2_RELEASE amd64, все стоит на ZFS mirror и корень тоже... решил пере собрать ядро, ну немного подкорректировал, в основном добавил там опций, сделал buildkernel & installkernel ну как обычно, потом ребутнулся... и система перестала монтировать корневой раздел, хотя все модули zfs при загрузке грузятся отлично, только вот корневой раздел не монтируется... со старым ядром грузанулся, та же ошибка... такое чувство что, что то забыл обновить или прописать после обновления ядра... не подскажете? до пере сбора ядра все отлично работало...

P:S: в ZFS пару месяцев...

[iZEN]

система 8.2_RELEASE amd64, все стоит на ZFS mirror и корень тоже... решил пере собрать ядро, ну немного подкорректировал, в основном добавил там опций, сделал buildkernel & installkernel ну как обычно, потом ребутнулся... и система перестала монтировать корневой раздел, хотя все модули zfs при загрузке грузятся отлично, только вот корневой раздел не монтируется... со старым ядром грузанулся, та же ошибка... такое чувство что, что то забыл обновить или прописать после обновления ядра... не подскажете? до пере сбора ядра все отлично работало...

P:S: в ZFS пару месяцев...

Скорее всего, версия ZFS и загрузочный код поменялись, а вы забыли обновить/переписать загрузчики.

[frk]

с lifecd сделал chroot
потом zfs upgrade; bootcode -p ...

не фига.. таже трабла...

[frk]

Кстати пулы работают и импортируются, все в порядке...
lsmod показывает что cache на месте( может его надо обновить? )
но система не как не хочет монтировать zfsroot раздел....