forum.lissyara.su

добрый день. Есть сервер с 12 дисками, собранный в апаратный рэйд и поверх которого стоит фряха с zfs (знаю, что архитектурно не правильно, но сервер не я ставил). В один момент после загрузки пул zfs перестал загружаться, подгрузился с livecd, оказалось, что часть данных тупо похерена (нет каталогов /etc, /boot и некоторых других), но ладно хоть датасеты с данными сохранились. Теперь думаю как сделать так, чтобы избежать в будущем проблем. Есть два варианта - поставить freebsd на системный raid2z zfs или поставить фряху на флешку и из 12 дисков собрать через zfs тоже raid2z. Второе удобно, что в случае проблем можно заменить флешку и спокойно подмонтировать пул, но какие грабли могу получить в таком случае? Что лучше?

А вы уверены, что там был один пул? На мой взгляд вариант с флешкой ничем не отличается от варианта с livecd, раз вы собираетесь отказаться от аппаратного рэйда, может имеет смысл сделать 2-а пула, и тот, который грузиться разместить на зеркале, организованном средствами zfs, ну и естественно своп на отдельном разделе...

Гость писал(а):добрый день. Есть сервер с 12 дисками, собранный в апаратный рэйд и поверх которого стоит фряха с zfs (знаю, что архитектурно не правильно, но сервер не я ставил). В один момент после загрузки пул zfs перестал загружаться, подгрузился с livecd, оказалось, что часть данных тупо похерена (нет каталогов /etc, /boot и некоторых других), но ладно хоть датасеты с данными сохранились. Теперь думаю как сделать так, чтобы избежать в будущем проблем. Есть два варианта - поставить freebsd на системный raid2z zfs или поставить фряху на флешку и из 12 дисков собрать через zfs тоже raid2z. Второе удобно, что в случае проблем можно заменить флешку и спокойно подмонтировать пул, но какие грабли могу получить в таком случае? Что лучше?

если Вы купите 3'и или 4'е хорошие - какчественные флешки и будете раз в месяц копировать
с рабочей на 2'ую, можно и на флешке держать систему (+2 в резерве):

1) проблемы с целостностью данных обеспечены;
2) проблемы с ufs обеспечены;
3) проблемы с zfs, если на флешке будет zfs, тоже обеспечены;
- все остальное - логи на флешке и другие вспомогательные данные на флешке, см пп 1)-3)

Если планируете обновление портов и держать /usr[/ports|/local] на флешке, см выше.
Ну и от аппаратного рейда нужно НЕМЕДЛЕННО избавляться в случае с ZFS.

видимо выберу вариант задействования 2-х дисков под системный диск. Почему рассматривал установку на флешку - хотелось полноценно задействовать все 12 дисков в рамках одного пула (каждый диск по 1Т и отдавать 2Т под систему жалко)

undefined писал(а): Ну и от аппаратного рейда нужно НЕМЕДЛЕННО избавляться в случае с ZFS

чё бы это вдруг?
чем мешает какойнить шестой/десятый рейд поверх которого zfs живёть?

Гость писал(а):видимо выберу вариант задействования 2-х дисков под системный диск. Почему рассматривал установку на флешку - хотелось полноценно задействовать все 12 дисков в рамках одного пула (каждый диск по 1Т и отдавать 2Т под систему жалко)

зачем 2'а диска под систему? Зеркало? От лукавого это все, надежность обеспечивается только backup'ом.
Небольшой скоростной диск под систему, при наличии backup'а, система восстанавливается в миг и
не нужны никакие RAID0, настраиваете smartd или просто smartctl раз в неделю и логи по дисковым
сообщениями.

чем мешает какойнить шестой/десятый рейд поверх которого zfs живёть?

собственно так и было сделано - результат - не загружаемая система с отсутствующими системными каталогами. Сервер небходимо было выключить, после включения он уже не вернулся, хотя до этого перезагрузки переживал нормально.

зачем 2'а диска под систему? Зеркало? От лукавого это все, надежность обеспечивается только backup'ом.

собственно система и планируется под бекап.

undefined писал(а): собственно так и было сделано - результат - не загружаемая система с отсутствующими системными каталогами. Сервер небходимо было выключить, после включения он уже не вернулся, хотя до этого перезагрузки переживал нормально.

и это связано с рейдом, который остался целым? а не с zfs, на которой собственно данные и пропали? )

я так понимаю - железный raid и zfs одновременно - это масло масленное. У нас есть еще 30 филиальных компов в роли серверов с программным raid1 zfs, их постоянно то юзеры выключают/перегружают с кнопки, или просто питание ночью скачет (компы без упсов) - все работает как часы, уже более 3-х лет все в норме. А тут один сервак в офисе на железном рэйде при плановом выключении и такой конфуз.

Я не люблю многодисковые сервера, проблем с ними вроде и немного, но если они и возникают, то уж больно трудные,гораздо надежнее в этих случаях использовать внешнюю схд, скажите дорого, но ведь сейчас диски под терабайт и информация с них тоже денег стоит...

а СХД это не многодисковый сервер?!

Там инструменты другие для диагностики и управления, чем в применяемых нами ос... хотя конечно, железки есть железки и любая может умереть, но как показывает опыт специализированная железка надежнее, правда гибкости в ней нет и она может применяться только по своему назначению...

Гость писал(а):я так понимаю - железный raid и zfs одновременно - это масло масленное. У нас есть еще 30 филиальных компов в роли серверов с программным raid1 zfs, их постоянно то юзеры выключают/перегружают с кнопки, или просто питание ночью скачет (компы без упсов) - все работает как часы, уже более 3-х лет все в норме. А тут один сервак в офисе на железном рэйде при плановом выключении и такой конфуз.

правильно понимаете, zfs не просто FS, это могутная система и важнейшее требование, прямой доступ
к HBA.
"Масло маслянное" - мягко сказано...

snorlov писал(а): Там инструменты другие для диагностики и управления, чем в применяемых нами ос...

"хрен редьки не слаще"
за примером далеко не пойду:
имеется у нас во такая http://www.thecus.com/product.php?PROD_ID=85 штука
из 16 дисков собран RAID6
был сбой питания (на магистрали) отключилось все питание (дизель-генераторов нет )
после включения веб управлялка говорит - а нету массива %)
пришлось лезть внутрь по SSH, а это не рекомендуется производителем(!)

Я и говорю, железки есть железки... У приятеля еще sun-ские сервера умирали в кластере по одиночке, сначала умер один, его в ремонт, через 2-е недели другой, только привезли из ремонта первый, ввели в строй и через 18-ть часов умер 3-тий...
А вот питание действительно проблема...

дело не в железке, там внутри линукс, а рейд делается программно через MD, и инструменты диагностики и управление по сравнению с тем-же FreeNAS - децкий сад...
этот MD не смог прочитать свои метаданные на одном из дисков и вместо того чтобы выкинуть этот диск из массива и запустится как degraded (так бы сделал аппаратный контроллер) просто отказался работать.
мне пришлось руками выкинуть диск из массива, поднять MD, занулить начало диска, восстановить GPT разметку, и отдать диск обратно.
причем все это, начиная с включения SSH, делать самому не рекомендуется производителем

я к тому, что из того-же железа в легкую можно собрать самому многодисковый сервак, воткнуть туда freenas или чонить на базе солярки и получилось бы по деньгам столько-же, но быстрее и надежнее.