Умер софтовый RAID-1 на gmirror

[rambomax]

Уважаемые господа!
Я установил новый сервер, собранный на FreeBSD 7.2 x64 с двумя жёсткими дисками WD, объединёнными в RAID-1 (зеркало) с помощью gmirror. В "боевом" режиме он проработал два часа, потом gmirror убил второй диск так, что система не может даже загружаться при подключенном диске. Пришлось срочно установить запасной сервер как временный вариант.
"Дохляк" лежит у меня сейчас на столе. Я легко могу восстановить RAID и воткнуть его в стойку на место, но боюсь, что это будет опять на два часа - надо что-то менять для надёжности.
Что, по вашему компетентному мнению, из нижеперечисленного явилось причиной такого серьёзного сбоя?
FreeBSD 7.2 (слишком молодая, нестабильная?)
x64 (рано ещё начинать использовать?)
gmirror (софтовый глюкодром?)

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Dron]

откуда вывод что gmirror убил второй винт?
Что значит дохляк? Как ведет себя винт? Что значит убил?
Что за модель винта?
А вообще очень похоже на проблему с самим винтом - заводской брак? Слишком-уж мало он проработал

[rambomax]

Большое спасибо за интерес к проблеме!
"Убил" это значит таким образом повредил данные на нём, что никакой FSCK уже помочь не может.
Засада заключается в том, что мой случай показывает, что один винт с запоротой файловой системой приводит к тому, что система перестаёт загружаться и требует вынимать железку из стойки чтобы разбираться с ней (у меня в стойке нет клавиатуры и монитора).
Получается, что если происходит сбой, то, несмотря на RAID, система сама не поднимется и удалённо её починить нельзя.
В моём случае железо 100% рабочее - проверено уже многими тестами. Сбой чисто программный - gmirror привёл к разрушению структуры данных на одном из винтов, после чего RAID оказался полностью неработоспособным и система не могла загрузиться - не могла смонтировать корневую файловую систему. После физического отключения сбойного винта, и FSCK система отлично поднялась и работает. Если теперь сделать удаление сбойного диска из массива и снова его подключить всё будет отлично. Но я теперь уже уверен, что такая система ненадёжна.
Склоняюсь к тому, что всему виной х64, попробую выдернуть "лишнюю" память и поставить 32-битную систему...

[Alex Keda]

зеркало-то собралось до ввода в боевой режим?

[Dron]

Проблем такого плана с gmirror не замечено ни на i386 ни на amd64...
Действительно, а raid перешел в comlplete или выключали при dirty?

[rambomax]

До ввода в "боевой" режим тестировал всю железку пару месяцев. Думал, попробовал уже все варианты.
Только поставил - два часа и каюк...
Это моя первая 64-битка. До этого никогда таких проблем не имел. Да, во фре часто при различных катаклизмах разрушается файловая система. Особенно обидно, когда это происходит в двух сотнях км. от места дислокации. Тут было под боком, вроде казалось не страшно. Думал RAID штука надёжная. Вылетела она когда MySQL что-то делал с базой. Система упала в "кору". А ребутнуться не смогла - оказалась разрушена корневая файловая система на одном диске в массиве. Получается, когда на втором диске есть нормальные данные, система в софтовом RAID-е их читать не может.

[rambomax]

Действительно, а raid перешел в comlplete или выключали при dirty?

Может ли быть проблема в "слишком новом" железе? - под этот сервак всё покупали "самое новое". Винты САТА 500Гб. Может быть у gmirror при таких объёмах какие-то переполнения чего-нибудь возможны?
7.2 ставил только потому, что гигабитная сетевуха на матери ASUS P5B-VM поддерживается только в 7.2 ядре.
Все "мегаспециалисты" 7.2 почему-то не хвалят, хотя, как я думаю, если команда FreeBSD рекомендовала её к промышленному использованию, что там может быть плохого?

[Alex Keda]

сдаётся мне что не во фре всё же дело...
понять бы что там у вас.
из вашего сумбурного описания ничё не ясно =(

[rambomax]

В системе два жёстких диска - ad0 и ad2 объединены в RAID-1 gm0
В результате неизвестно чего получился сбой файловой системы на диске ad0 и ядро "упало" в кору
Перезагрузиться система не смогла и умерла.
Вскрытие показало, что gmirror всегда реально работает с одного диска, а на второй в фоновом режиме пишет.
В данном случае "первый" с разрушенными файловыми системами был ad0 и несмотря на нормальный ad2 система ни в какую не грузится - пришлось вынимать железку из стойки. Если как в экспериментах вообще отключить диск, имитируя такую его неисправность, как внезапную аннигиляция, то система грузится со второго диска. Пропадание и любые ошибки на втором диске не играют роли - получается, что он всегда "подчинённый", т.е. пишут на него и его ошибки, таким образом, нивелируются исправным первым диском.
Я переткнул шлейфы и винты поменялись местами - система загрузилась и сейчас занимается синхронизацией массива (я обнулил "битый" диск и по-новой включил его в массив)
Получается, что gmirror совершенно не спасает от сбоя файловой системы и целесообразность его использования на "боевой" системе, таким образом, сейчас вызывает у меня большие сомнения.
В соседней ветке этого форума описывается, как аналогичный программный сбой привёл к потере данных на втором, совершенно рабочем зеркале.
Когда я создавал ветку я думал, что проблемы с gmirror только у меня и пытался понять, что могло их вызвать. Изучая интернет, вижу, что аналогичные проблемы есть у всех.
Возникает философский вопрос: а нужен ли, в таком случае, этот gmirror? - аннигиляция жёстких дисков случается редко, а вот сбои файловой системы часто. gmirror помогает только от аннигиляции. Получается я добавляю в сервер дополнительный компонент, который понижает общую надёжность системы.
Стоит ли использовать софтовое зеркалирование на "боевом" сервере?

[ev]

а в чем проблема удаленно в биосе поставить загрузку со второго винта, восстановить первый и еще раз ребутнуться?

[Alex Keda]

помоему вы не очень понимаете о чём рассуждаете.
========
если на диск записалась сбойнай информация, записалась по воле ОС (dd if=/dev/zero of=/dev/mirror/gm0 - утрирую) - то с этим ничего не сделаешь.
и не поможет ни хардверное ни софтверное - никакое зеркало. ибо инфа будет записана на все диски зеркала.
от сбоя файловой системы защищает бэкап, резервный сервер, и только.
зеркало - защищает от сбоя диска на физическом уровне.

[Alex Keda]

P.S.
gmirror юзаю года три.
за это время спас от вылета дисков - дважды
файловая система ломалась один раз (так чтоб fsck ниасилил).
осилил tar, newfs, ещё раз tar и всё.

[zingel]

логи давайте

[Fastman]

P.S.
gmirror юзаю года три.
за это время спас от вылета дисков - дважды
файловая система ломалась один раз (так чтоб fsck ниасилил).
осилил tar, newfs, ещё раз tar и всё.

Надо будет по возможности тебе триварь нормальный подбросить....
Ибо нехрен.

[Alex Keda]

у меня на балконе лежит 1U супермикро, два двуядрёных оптерона 2xx, 8 планок по гигу, три 147 диска и мегарейд под них.
осталось радиаторы подобрать и готово ))
даже IPMI случайно получилось - зказал на ебай питальник - прислали это )
=======
под lissyara.su новая машинка

[rambomax]

а в чем проблема удаленно в биосе поставить загрузку со второго винта, восстановить первый и еще раз ребутнуться?

Удалённо производить подобные манипуляции проблема ОЧЕНЬ большая - необходимо специальное, МЕГАДОРОГОЕ устройство под названием КВМ, да ещё с МЕГАДОРОГИМ модулем удалённого доступа.
Долго думал над проблемой зеркал.
Вы абсолютно правы, что если ОС хочет убить данные, никакой RAID ей в этом не помешает. Интересно всёже, а могут ли теоретически быть RAID с контролем целостности файловой системы...
У меня разразился мировой финансовый кризис и я сейчас в глубоких размышлениях о судьбах родины: использовать второй диск в физически другом backup-сервере или поставить его ненадёжным дублёром в софтовый RAID.
backup-сервер делать всё равно надо.
Ключевой вопрос - уменьшает или увеличивает gmirror геморрой?

[ev]

МЕГАДОРОГОЕ устройство под названием КВМ, да ещё с МЕГАДОРОГИМ модулем удалённого доступа.

не очень дорогое... 16 портов стоит менее 50 тыс рублей

Интересно всёже, а могут ли теоретически быть RAID с контролем целостности файловой системы...

рейд работает на другом уровне
контроль целостности достигается другими средствами

[rambomax]

не очень дорогое... 16 портов стоит менее 50 тыс рублей

Пожалуйста извините, но мне больно читать такие посты - нефтяные брызги из Москвы до нашей российской глубинки не долетают.
У нас малюсенькая компания. Все "сервера" в нашей компании суммарно стоят меньше... Установка бесплатной операционки в конторе, которая может позволить себе заплатить 50 тыр за КВМ выглядит... неразумной по крайней мере.

Огромное спасибо всем отписавшимся в данной теме!
Выводы: программный RAID усложняет систему и создаёт в ней дополнительные точки отказа. Также создаёт иллюзию большей надёжности хранимых на нём данных. Никакие RAID-ы никогда не заменяют традиционного бакапа. При наличии хорошо поставленного традиционного бакапа удорожание серверов в маленьких конторах за счёт программного RAID экономически нецелесообразно.

[Fastman]

не очень дорогое... 16 портов стоит менее 50 тыс рублей

Пожалуйста извините, но мне больно читать такие посты - нефтяные брызги из Москвы до нашей российской глубинки не долетают.
У нас малюсенькая компания. Все "сервера" в нашей компании суммарно стоят меньше... Установка бесплатной операционки в конторе, которая может позволить себе заплатить 50 тыр за КВМ выглядит... неразумной по крайней мере.

Огромное спасибо всем отписавшимся в данной теме!
Выводы: программный RAID усложняет систему и создаёт в ней дополнительные точки отказа. Также создаёт иллюзию большей надёжности хранимых на нём данных. Никакие RAID-ы никогда не заменяют традиционного бакапа. При наличии хорошо поставленного традиционного бакапа удорожание серверов в маленьких конторах за счёт программного RAID экономически нецелесообразно.

Это неверный вывод.
RAID != бэкап. RAID стоит в цепочке локализации точек отказа совсем в другом звене, и предназначен для создания избыточности информации в мгновенный/краткий период времени. А так же для увеличения производительности дисковой системы(IOPS/Линейные операции/Паралелльный доступ). Никогда и никакой RAID не заменит бэкапа.
По поводу софтового решения зеркалирования дисков. Если вы решите купить контроллер за деньги 300-400 долларов, то вы потратите их зря, и по надежности это решение будет ровненько с софтовым рейдом, а чаще - и того хуже. Конечно, для того чтобы обеспечить отказоустойчивость программными средствами - необходимы умение и понимание того что вы делаете.
И не нужно нам тут про нефтяные брызги рассказывать.
Вы будете копать лопатой и говорить что экскаватор хуже потому что им нужно уметь управлять а еще он может перевернуться и придавить вас ?

[ev]

Вы будете копать лопатой и говорить что экскаватор хуже потому что им нужно уметь управлять а еще он может перевернуться и придавить вас ?

+1
остается только посочувствовать, что время человека (в данной организации) ценится дешевле покупки КВМ
такова судьба

дешевый КВМ можно собрать и своими силами
контроллер Atmel + Realtek и небольшая обвязка (общая стоимость всего комплекта не превысит 2 тыс. рублей) = КВМ для rs232

[Alex Keda]

По поводу софтового решения зеркалирования дисков. Если вы решите купить контроллер за деньги 300-400 долларов, то вы потратите их зря, и по надежности это решение будет ровненько с софтовым рейдом, а чаще - и того хуже.

э... триварь или арека стока стоит...
это плохие контроллеры? или ты про сказю/сас говорил?

[Fastman]

По поводу софтового решения зеркалирования дисков. Если вы решите купить контроллер за деньги 300-400 долларов, то вы потратите их зря, и по надежности это решение будет ровненько с софтовым рейдом, а чаще - и того хуже.

э... триварь или арека стока стоит...
это плохие контроллеры? или ты про сказю/сас говорил?

Я про SAS... про промышленное SATA можно забывать к сожалению.
Cофто-базо писатели вконец охренели и стали плодить монстров которые прилично ворочаются толко на SAS.

Просто по моим наблюдениям выходит что софтовое win/lin/bsd зеркало намного вменяемей чем зеркало например на интеловском ICH

[Alex Keda]

винда вроде не умеет нормальные зеркала - которые могут бутиться при отвале основного диска...

[Fastman]

винда вроде не умеет нормальные зеркала - которые могут бутиться при отвале основного диска...

Умеет.

[Alex Keda]

пошёл хелп читать...