10 рейд через geom

[playnet]

Есть кучка серверов, где через gmirror сделано зеркало. И при ребуте по питанию оно всегда переходит в degraded, ставя один из дисков на перестройку. А если это будет 6 дисков в 10? Или к примеру 12... Все мирроры будут рассыпаться, но страйп будет всегда исправен? Какова вероятность распадения страйпа и что потом вообще делать.. И что делать программно, чтобы оно не распадалось. Подключать gjournal поможет? Или может попробовать zfs-raid...
Аппаратно меры принимаются, но в последний раз к примеру блок батарей ибп не то оплавился, не то так красиво вздулся... Но в общем умер.

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[angelas_]

Использовать UPS'ы и хардверные рейд контроллеры.

[playnet]

Использовать UPS'ы и хардверные рейд контроллеры.

Про упс смотри выше. Был кстати стоечный, 2-юнитовый.. Не знаю, что там произошло, но потом все от электролита отмывал. Батарейный блок (ББ) восстановлению не подлежит. Поставил пока ББ от другой упсы, менее нужной.
аппаратный рейд это хорошо, но вопрос был по программным. НЕту пока финансов на аппаратные.

[angelas_]

Про упс смотри выше. Был кстати стоечный, 2-юнитовый.. Не знаю, что там произошло, но потом все от электролита отмывал. Батарейный блок (ББ) восстановлению не подлежит. Поставил пока ББ от другой упсы, менее нужной.
аппаратный рейд это хорошо, но вопрос был по программным. НЕту пока финансов на аппаратные.

Странно конечно, за всю свою жизнь не видел такого, правда у меня в основном везде APC упсы были. Но, всяко бывает, мож дополнительную защиту ставьте? Или там у вас не от сети он погорел? Может акумы левые были?


Да, аппаратные рейды не дёшевы... Если нет денег на аппаратные рейды - значит будете наблюдать как будут сыпаться рейды и после перезагрузки восстанавливаться. Можете попробовать поставить gjournal на gmirror, чтоб хотя бы fsck меньше работы было и не слишком боялся потери питания. Ну или дождаться по крайней мере UFS+SU+J, так как gjournal всё-таки помедленнее будет.

[playnet]

Странно конечно, за всю свою жизнь не видел такого, правда у меня в основном везде APC упсы были. Но, всяко бывает, мож дополнительную защиту ставьте? Или там у вас не от сети он погорел? Может акумы левые были?

Фирменные. Вряд ли это питание, еще несколько таких же стояли недалеко, и все с ними хорошо. Причем мой настольный PCM даже не пискнул, когда тот на секунду отрубил нагрузку и запахло горелым. Похоже, на автоматическом самотестировании пробило один из аккумов и получили внутреннее КЗ на большие токи.

Да, аппаратные рейды не дёшевы... Если нет денег на аппаратные рейды - значит будете наблюдать как будут сыпаться рейды и после перезагрузки восстанавливаться. Можете попробовать поставить gjournal на gmirror, чтоб хотя бы fsck меньше работы было и не слишком боялся потери питания. Ну или дождаться по крайней мере UFS+SU+J, так как gjournal всё-таки помедленнее будет.

Зеркала-то пусть распадаются, меня больше волнует, чтобы страйпы при этом дисков не теряли. Ибо это совсем другая проблема.. с потерей рейда и ...

[angelas_]

Фирменные. Вряд ли это питание, еще несколько таких же стояли недалеко, и все с ними хорошо. Причем мой настольный PCM даже не пискнул, когда тот на секунду отрубил нагрузку и запахло горелым. Похоже, на автоматическом самотестировании пробило один из аккумов и получили внутреннее КЗ на большие токи.

Нда.. Жесть..

Зеркала-то пусть распадаются, меня больше волнует, чтобы страйпы при этом дисков не теряли. Ибо это совсем другая проблема.. с потерей рейда и ...

Ну так если потеряете оба диска из одного зеркала, тогда даже и хардверный рейд не поможет. Делайте 0 из 2 зеркал и не парьтесь

[playnet]

Зеркала-то пусть распадаются, меня больше волнует, чтобы страйпы при этом дисков не теряли. Ибо это совсем другая проблема.. с потерей рейда и ...

Ну так если потеряете оба диска из одного зеркала, тогда даже и хардверный рейд не поможет. Делайте 0 из 2 зеркал и не парьтесь

Это и называется 10 рейд. И зеркала теряют по 1 диску из пары. Скорее всего, хард рейд с батарейкой тут бы помог.
10 бывает не только на 4 диска, может быть страйп и из 4 зеркал, и более.
Причины распадания зеркала мне примерно понятны, а вот что будет со страйпом при отключениях, для меня вопрос. Это надо брать 4-8 дисков и тестить-тестить...

[angelas_]

Это и называется 10 рейд. И зеркала теряют по 1 диску из пары. Скорее всего, хард рейд с батарейкой тут бы помог.
10 бывает не только на 4 диска, может быть страйп и из 4 зеркал, и более.

Да знаю я.

Причины распадания зеркала мне примерно понятны, а вот что будет со страйпом при отключениях, для меня вопрос. Это надо брать 4-8 дисков и тестить-тестить...

А что со страйпом будет? Ничего не будет. Файловая система будет dirty, fsck пробежит и всё. Ну а если есть журнал - откатится и всё.
У меня, кстати, не всегда зеркало разваливалось при потери питания. Но да, это бувает очень часто. Если сервер непроизводил активных операций записи на диск, тогда может и не развалиться зеркало. А вываливается диск из зеркала потому, что при потери питания GEOM теряет информацию что уже записано, а что нет поэтому он не может гарантировать что информация на обоих дисках идентична. Для этого и делается resync. При наличии батарейки у хардверного контроллера он помнит что осталось незаписанно на диски и после восстановления питания он просто-напросто дописывает и всё. Страйпу не нужно обеспечивать идентичность (зеркало) или сохранения контрольной суммы (raid5, raid6), поэтому ему и нечего разваливаться.
А протестировать перед использованием так это нужно в обязательном порядке, я после определённых трудностей лет так 6-7 назад без тестов стараюсь не пускать систему в продакшн.