Программный RAID freebsd - Никак не пойму

[saska]

Добрый день.
Есть сервер с обычным встроенным "недораидом" и цель собрать таки на нем раид.

Ставлю FreeBsd 10 с программным Raid5. 3 винта по 500 Гб.
Делаю так:
В биосе - ACHI mode
В момент установки когда доходим до разметки диска выхожу в шелл.
Т.к. поначалу пытался делать средствами биосовского раида то чищу все метаданные на дисках:

Код: Выделить всё

#gpart destroy -F /dev/ada2
#gpart destroy -F /dev/ada1
#gpart destroy -F /dev/ada0

После чего

Код: Выделить всё

#graid Intel raid RAID5 /dev/ada0 /dev/ada1 /dev/ada2

В результате весь получился массив в статусе SUBOPTIMAL, а все винты в статусе ACTIVE (UNINITIALIZED).
Ок, думаю. Надо теперь как-то его инициализировать. Тыкался тыкался, не справился. Оставил сервак до вечера - отвлекся на какие-то дела. Вечером просто кнопкой питания вырубил.
Утром запускаю, вижу что ada0 и ada2 - в статусе ACTIVE(ACTIVE), ada1 вообще отсутствует в массиве. В выводе

Код: Выделить всё

#dmesg | grep ada 

присутствует сообщение о разрушенных метаданных на диске ada1. Сам массив в статусе DEGRADED.

Я так понял, он все-таки как-то строился в фоновом режиме, а я его прервал.

Ок.

Удалили т.к. ada1 вроде как и не в массиве уже, стер с него разметку опять же с помощью #gpart destroy -F /dev/ada1, затем добавляю его в массив:

Код: Выделить всё

#graid insert raid /dev/ada1

В результате имеем:

Код: Выделить всё

#graid status
raid/r0 DEGRADED
ada0 (ACTIVE (ACTIVE))
ada1 (ACTIVE (NEW))
ada2 (ACTIVE (ACTIVE))

Как запустить ребилд я так и не догнал снова, поэтому оставил его на ночь. Ничего не изменилось.

Что я делаю не дак? Каковы дальнейшие действия? Спасибо.

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[weec]

забыть про этот fake и воткнуть ZFS

[snorlov]

По моим наблюдениям destroy не разрушает мета данные, я после него обычно dd запускаю, банально забиваю нулями...

[saska]

Хм.. так что, ребилд не идет из-за того что остались метаданные?

[guest]

Хм.. так что, ребилд не идет из-за того что остались метаданные?

rebuild похоже идет, только это raid5 и нужно время, а не 5 минут как думает топикастер,
вероятно ни разу не создавал RAID'ы 3,5,6... и не rebuild'ил после degrade.
Особенно если диски по 300GB и более.

метаданные хранятся в последнем секторе провайдера и полный dd тут ни к чему,
достаточно указать skip и count, но нужно понимать ЧТО ВЫСТУПАЛО в качестве geom провайдера.

Все что нужно есть man'ах.

ps. gpart создает и удаляет таблицу GPT и к метаданным GEOM отношения не имеет.

[saska]

а как можно посмотреть состояние ребилда, и вообще что в данный момент происходит с дисками в raid? graid list и status ничего о ребилде не пишут.

[guest]

а как можно посмотреть состояние ребилда, и вообще что в данный момент происходит с дисками в raid? graid list и status ничего о ребилде не пишут.

sorry, речь идет о graid, а не о graid5!

Боюсь graid Вам не поможет в создании и управлении RAID5 и ряда других.

graid - это в свежих системах замена ataraid, работы с fake-raid'ами.
И этим все сказано, а именно:

# man graid

Код: Выделить всё

SUPPORTED RAID LEVELS
     The GEOM RAID class follows a modular design, allowing different RAID
     levels to be used.  Full support for the following RAID levels is cur-
     rently implemented: RAID0, RAID1, RAID1E, RAID10, SINGLE, CONCAT.  The
     following RAID levels supported as read-only for volumes in optimal state
     (without using redundancy): RAID4, RAID5, RAID5E, RAID5EE, RAID5R, RAID6,
     RAIDMDF.

Из верхнего следует что ПОЛНОСТЬЮ реализованы следующие уровни RAID:
RAID0, RAID1, RAID1E, SINGLE, CONCAT.
А вот уровни: RAID4, RAID5, RAID5E, RAID5EE, RAID5R, RAID6, RAIDMDF
- поддерживаются только READ-ONLY

Что означает, эти уровни RAID - НЕуправляемые, значит могут быть созданы только из BIOS'а
fake-raid, там же сформированы-собраны (building/rebuilding), и только после этого graid может
распознать метаданные данных рейдов и работать с ними. Вот в чем смысл read-only поддерживаемых
уровней рейдов.

Вывод: если Вы _счастливый_ обладатель fake-raid'а поддерживающего:
- RAID5/E/EE
конфигурить, создавать, билдить и ребилдить такой рейд можно только из его BIOS.

Если Вы хотите использовать softraid для создания и работы с RAID5 -> либо использовать graid5, либо zfs.

[saska]

Спасибо!