ZFS в качестве основной ФС

[Fomalhaut]

где то читал про возможность установки центоса в клетку, и про консольный виртуалбокс и где то ещё, было про виртуальные ОСы на солярке (солярка как основная)
может как то так можно выйти из положения?

Проблема в том, что сертифицирован на программно-аппаратный комплекс целиком, т.е. ЛЮБЫЕ изменения запрещены.

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[ttys]

Проблема в том, что сертифицирован на программно-аппаратный комплекс целиком, т.е. ЛЮБЫЕ изменения запрещены.

а если клонировать сервер(+zfs) и использовать его для работы, а этот пускай просто стоит (для проверки)?

[Fomalhaut]

Проблема в том, что сертифицирован на программно-аппаратный комплекс целиком, т.е. ЛЮБЫЕ изменения запрещены.

а если клонировать сервер(+zfs) и использовать его для работы, а этот пускай просто стоит (для проверки)?

Теоретически - можно, но вот практически... Проблема в этой фигне: IBM Tivoli.

[iZEN]

Проблема в том, что сертифицирован на программно-аппаратный комплекс целиком, т.е. ЛЮБЫЕ изменения запрещены.

А как же латать дыры в безопасности, которые обнаруживаются во время эксплуатации?!

[Fomalhaut]

А как же латать дыры в безопасности, которые обнаруживаются во время эксплуатации?!

А никак не латать. Для сертиф.винды есть спец.обновления, оттестированные. А для описанного случая всё вообще с этим плохо. Это оборотная сторона таких вот сертификаций.

[ttys]

ну а нельзя обратиться к поставщикам с просьбой перевести сервер в другую фс? т.к: по причине..... ну и причину указать

[Fomalhaut]

ну а нельзя обратиться к поставщикам с просьбой перевести сервер в другую фс? т.к: по причине..... ну и причину указать

Ты не представляешь, что такое "сертификация". В данном случае это значит, что при ЛЮБОМ изменении программной или аппаратной части комплекса требуется ЗАНОВО сертифицировать всё: с точки зрения сертификации это будет два разных комплекса.
Ну а кроме всяких организационных заморочек это означает траты финансовые и временные. Ради одной конторы это делать никто не будет, если только сама контора не затратится на сертификацию. При условии, конечно, что поставщик не против.

[ttys]

Ты не представляешь, что такое "сертификация". В данном случае это значит, что при ЛЮБОМ изменении программной или аппаратной части комплекса требуется ЗАНОВО сертифицировать всё: с точки зрения сертификации это будет два разных комплекса.
Ну а кроме всяких организационных заморочек это означает траты финансовые и временные. Ради одной конторы это делать никто не будет, если только сама контора не затратится на сертификацию. При условии, конечно, что поставщик не против.

а отказаться от их услуг и поискать что то более приемлемое?

[Fomalhaut]

а отказаться от их услуг и поискать что то более приемлемое?

Требование: наличие сертифицированных средств. А это сильно сужает круг вариантов.
Крмое этого... выбор делаем не мы, так что это - не то предложение, которое имеет реальную возможность реализоваться.

[ttys]

а отказаться от их услуг и поискать что то более приемлемое?

Требование: наличие сертифицированных средств. А это сильно сужает круг вариантов.
Крмое этого... выбор делаем не мы, так что это - не то предложение, которое имеет реальную возможность реализоваться.

если ты не в состоянии повлиять на ситуацию то - забей!
если никому это не надо - то нах оно тебе надо?

[Fomalhaut]

если ты не в состоянии повлиять на ситуацию то - забей!
если никому это не надо - то нах оно тебе надо?

А я писал где-нибудь, что напрягаюсь?

[ttys]

если ты не в состоянии повлиять на ситуацию то - забей!
если никому это не надо - то нах оно тебе надо?

А я писал где-нибудь, что напрягаюсь?

да

[Fomalhaut]

А я писал где-нибудь, что напрягаюсь?

да

Тебе показалось.

[Orator]

Много споров, тестов. Вот мое имхо.
Я использовал zfs+gpt+FreeBSD 8.0, 12 серверов винты WD15EARS
Сейчас все переведены на Freebsd 8.1, zfs стоит напрямую на винтах без всяких gpt,
На 4-х новых серверах стоят уже WD20EARS, 3-й месяц
Стоит все на высоконагруженных серверах, где в режиме 24/7 насилуются именно винты, обычно за год винты рвет в клочья.
Некоторые ( не буду заниматься антирекламой известных брендов ) рвало за 5-7 месяцев.
Я понимаю что это не серверные винты, но дело в том что за нормальный серверный винт (который проработает 2 года) я куплю не меньше 7 таких, а не приспособленность к нагрузкам уравняю избыточностью.
До этого через 6-7 месяцев эксплуатации в смарт лучше даже не смотреть к 9-му, максимум 10-му месяцу центральный офис шлет без напоминаний новые.
Кстати wd кругом стоят потому что побили все рекорды выносливости, еще с терабайтной серии.
Сейчас все на zfs + обязательно ahci, пишут что он уже признан стабильным, хотя у меня с 8.0 работал и ни одного нарекания.
полторашки винты отработали год, а у меня смарт практически идеален.
Сам нарадоваться не могу, плюс премия от руководства.
Лепить zfs на все что движется не стоит, но в некоторых системах без него как без воздуха.

Но я вообще сюда заглянул по другому вопросу.
Решил обновиться до 8.2 (обновляется без проблем), а самое главное, блин, пул до 15 версии и датасеты к 4-й.
Вот тут меня ждал сюрприз, загрузиться я больше не смог.
Нагуглил я этот баг. Хорошо искать по "freebsd 8.2 zfsboot", ищем ссылки с freeze at boot time.
В основном советуют либо писать старый загрузчик, либо с стабильной ветки (номер ревизии прилагается) или с 9-й.
Старый у меня ругается что он для 14 версии пула и не грузит
а с стабильной ветки и с 9-й результат такой-же что и с родным.
Проблема касается только тех, кто ставил сразу на винт без gpt.

Варианты надо было делать на gpt - не варианты.
Лучше на 14-й версии пула ехать, что и делаю.

Из тех скудных отрывков переписок по этому поводу с разрабами, что смог нагуглить, я понял что они не сильно жалуют такой способ.
Я думаю в ближайшее время рассчитывать на решение не стоит.
Кстати единственный аргумент который мне встречался - это мол можно случайно уничтожить пул, так как он не будет виден в качестве раздела.
Аргумент как на меня никакой, все-таки Freebsd в первую очередь серверная ось, а не десктопная.
Я честно говоря не видел серверов с несколькими осями на разных партициях (за исключением под xen и иже с ними).
По мне так без gpt самое оно.
У меня винт начинает накрываться, всунул, добавил зеркалом дождался пока синхронизируется, вынул старый, включил новый. Если рейд еще проще.
А теперь каждый винт разбивай gpart'om каждому загрузчик, метки и прочее. если просто добавить в пул, то он будет держать копию инфы но не загрузится.

Пока ищу что можно придумать, может кто сталкивался и нашел решение?

З.Ы Фу блин, выговорился. Простите за многа букаф.

[fox]

Чем же Вы там занимаетесь что винты так рвёте?

[iZEN]

FreeBSD 8.2-STABLE, ZFSv15.

Сейчас заметил, что копирование файла между каталогами одного пула не даёт увеличения занимаемого места на диске. У меня пул RAID-Z был занят на 99%, по прошествии некоторого времени откуда-то стало появляться свободное место. Вроде ничего не пропадает. Машина большую часть времени занята торрентами, но всё пишется на другой пул. Неужели ZFS оптимизирует пространство в фоне? До ZFSv21 с поддержкой дедупликации ещё далеко или уже готовят бомбу?

И, да, повысилась общая ответная реакция десктопных приложений, но одновременная запись/чтение на диски всё так же тормозит.

[fox]

Таинство какое-то... Это всё злые хакеры!
Кэш наверное уменьшилась...

[spf]

Варианты надо было делать на gpt - не варианты.
Лучше на 14-й версии пула ехать, что и делаю.

Из тех скудных отрывков переписок по этому поводу с разрабами, что смог нагуглить, я понял что они не сильно жалуют такой способ.
Я думаю в ближайшее время рассчитывать на решение не стоит.
Кстати единственный аргумент который мне встречался - это мол можно случайно уничтожить пул, так как он не будет виден в качестве раздела.

Если в сервер под фрюхой добавить/удалить винтов/контроллеров, то нумерация дисков съедет. А это значит, что ZFS-пул, построенный на "сырых" дисках, не поднимется.
Построение пула на gpt-метках лишено этого недостатка.

[Orator]

Если в сервер под фрюхой добавить/удалить винтов/контроллеров, то нумерация дисков съедет. А это значит, что ZFS-пул, построенный на "сырых" дисках, не поднимется.
Построение пула на gpt-метках лишено этого недостатка.

Подниметься нумерация не влияет, диски к пулу привязаны на каком-то длинном цифровом id

Вот вчера когда уложил один из незадействованных резервных серверов обновлением пула, вернул следующим способом, как раз для того что-бы проверить или прокатит.
Изначально на сервере один винт стоял
По памяти:
добавил второй

Код: Выделить всё

zpool attach pool ada0 ada1

- он встал зеркалом, дождался пока отсинхроняться, записал загрузчик на второй винт

Код: Выделить всё

dd if=/boot/zfsboot of/dev/ada1 bs=512 count=1 && dd if=/boot/zfsboot of=/dev/ada1 bs=512 skip=1 seek=1024

собрал мир 8.2 и ядро.

Код: Выделить всё

zpool offline pool /dev/ada1

проинсталил мир, ядро, ребут.
обновил пул, датасет, загрузчик, ребут
нифига не работает, ребут
Отключил карман с первым винтом (с тем где новый пул)
сервер загрузился с /dev/ada1
zpool status выдал примерно следующее:
mirror degraded
<много циферок> - (бывший ada0)
ad0 - online

сделал

Код: Выделить всё

zpool detach pool <много циферок>

потом подключил первый винт, он стал ada1

Код: Выделить всё

zpool attach pool ada0 ada1

ну дальше понятно.
Вот разберусь с текучкой, отремонтирую тестовый тазик (пришлось с него БП отдать), тогда буду экспериментировать дальше.
Насколько я понял, по идее все эти детачи нафиг не нужны, если загрузиться с зеркала а потом подоткнуть первый винт то зеркалиться будет с загрузочного на дотыкаемый, имя девайсов побоку.
Но пока это только мысли, которые обязательно проверю. Самому интересно.

Также по поводу изменения нумерации винта, надо проверить на новый CAM_ATA с AHCI влияет options ATA_STATIC_ID или нет.

[Fomalhaut]

Проблема касается только тех, кто ставил сразу на винт без gpt.
Варианты надо было делать на gpt - не варианты.
Лучше на 14-й версии пула ехать, что и делаю.

Я вот не могу понять, а куда и как ты прописываешь загрузчик, если на загрузочном винте у тебя GPT или MBR нет, а следовательно нет раздела, куда загрузчик прописывается? И какой тогда загрузчик, еслине gptzfsboot?

[ttys]

Я вот не могу понять, а куда и как ты прописываешь загрузчик, если на загрузочном винте у тебя GPT или MBR нет, а следовательно нет раздела, куда загрузчик прописывается? И какой тогда загрузчик, еслине gptzfsboot?

мне вот тоже интересно

[Fomalhaut]

Если в сервер под фрюхой добавить/удалить винтов/контроллеров, то нумерация дисков съедет. А это значит, что ZFS-пул, построенный на "сырых" дисках, не поднимется.
Построение пула на gpt-метках лишено этого недостатка.

А для кого GEOM Label? Откройте для себя glabel!

[Orator]

Чем же Вы там занимаетесь что винты так рвёте?

Какая именно информация перегоняется не важно, а вот саму суть можно описать.

Есть место откуда поступают данные в очень большом количестве, они пишутся на винты.
В это время пачка серверов считывает эти данные, обрабатывает и пишет результат на другие винты, при этом стирая инфу о необработанных данных с первых винтов.
Паралельно еще один девайс считывает отработанные данные и отдает их дальше освобождая пространство.
Поток совершенно никогда не прерывается.
Это очень упрощенная схема, суть процесса в том что-бы получаемые данные обрабатывались, а точнее модифицировались и передавались дальше в режиме реального времени.
Для этого приходиться входной поток распараллеливать на много железок, а на выходе контролировать и сворачивать все обратно в один поток.
В результате каждый винт постоянно находится или в процессе чтения или записи но на максимальной скорости.

Все это крутилось на самописном ужасе, где исходный текст операционки напоминал пособие пишем ось msdos за 10 шагов.
Не работало с новым железом, глюков много, а код переделывать очень сложно, он даже не документирован (отсутствуют комментарии в коде).
Ну нам и пообещали медаль тому, кто предложит адекватней решение с перспективой безболезненного перехода на новое железо, каждый лепит что-то свое, я вот решил на любимой freebsd, а тут еще и zfs очень кстати.
ZFS оказалась первоклассной стартовой площадкой для проекта. Много вопросов которые решались костылями и требовали разработки с нуля оказались отработанными в zfs (хотя иногда предназначались для других целей).

Все мое хозяйство на freebsd успешно отработало полтора года, на сыром zfs - практически год. Проект защищен и без 5 минут до команды внедрить кругом.
Собственно поэтому и остановился на схеме сырой zfs, мучит меня тот gpt, тут мне и так хватает приключений с этим всем, маяться еще и с разбивкой просто некогда.

Сейчас вопрос не критичен, но важно будет ли загрузчик или специально заглючили.
Если загрузки с сырой zfs не видать, то нужно сейчас определиться, оставаться на 14 пуле или докидывать gpt, как вариант самому писать загрузчики под новые версии пула.
Хотя в данный момент мне знаний не хватит и времени что-бы изучить этот вопрос.

[Orator]

Проблема касается только тех, кто ставил сразу на винт без gpt.
Варианты надо было делать на gpt - не варианты.
Лучше на 14-й версии пула ехать, что и делаю.

Я вот не могу понять, а куда и как ты прописываешь загрузчик, если на загрузочном винте у тебя GPT или MBR нет, а следовательно нет раздела, куда загрузчик прописывается? И какой тогда загрузчик, еслине gptzfsboot?

Поправьте если я ошибаюсь, но биосу плевать на разделы, он грузит первый сектор, для биоса это первые 512 байт винта
dd if=/boot/zfsboot of=/dev/ada0 bs=512 count=1
также обязательно нужно что-бы лежал в папочке /boot/ файлик zfsloader

[Orator]

Проблема касается только тех, кто ставил сразу на винт без gpt.
Варианты надо было делать на gpt - не варианты.
Лучше на 14-й версии пула ехать, что и делаю.

Я вот не могу понять, а куда и как ты прописываешь загрузчик, если на загрузочном винте у тебя GPT или MBR нет, а следовательно нет раздела, куда загрузчик прописывается? И какой тогда загрузчик, еслине gptzfsboot?

Вот что первое попалось на русском http://w00dy.livejournal.com/262252.html
Единственное что от себя добавлю, я загрузчик не пересобирал как ниже.

1. echo 'LOADER_ZFS_SUPPORT=YES' > /etc/make.conf
2.
3. cd /usr/src/sys/boot/
4. make obj
5. make depend
6. make

Я делал перед dd

Код: Выделить всё

 cp /dist/boot/zfsboot /mnt/boot/
 cp /dist/boot/zfsloader /mnt/boot/

Где в /mnt смонтированный корневой датасет.

Кстати при обновление мира, хотя и было в наличие LOADER_ZFS_SUPPORT=YES, фря не запустилась, пришлось опять вручную скопировать zfsloader с папки /dist/boot/ на установочной флешке
После этого я сделал копию рабочего загрузчика

Код: Выделить всё

cd /boot/; cp zfsloader zfsloader.backup

и при обновлени мира перед перезагрузкой возвращал его

Код: Выделить всё

cd /boot; cp zfsloader.backup zfsloader