Rebuild RAID1 in FreeBSD 6.3

Решение проблем связванных с работой железа. Проблемы программно-аппаратной совместимости.
Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Alexander
проходил мимо

Rebuild RAID1 in FreeBSD 6.3

Непрочитанное сообщение Alexander » 2008-03-12 12:39:30

Приветствую всех. Взяли файловый сервак со встроенный контроллером RAID (Intel Matrix Storage). Создал в консоли (Intel Matrix Storage Manager) зеркало и разделил в ней на два раздела. На 1 раздел посадил FreeBSD 3.0. Для проверки остановил систему, выдернул 1 (мироред) диск и удалил все данные. При подключении в меню IMSM нет пунктика ребилд, но говорит, что у них статус ребилд а внизу пояснение - Ребилд будет выполнен ОС при загрузке. Выхожу и доверяю Фре, а она в панике падает. Вот как теперь (если в жизни случится такая ситуация) мне сребилдить зеркало? Если есть средства у фри, подскажите плиз какие и где копать. Версия ROM IMSM v5.1.0.1022.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

bu7cher
сержант
Сообщения: 220
Зарегистрирован: 2008-02-21 18:28:55
Откуда: Киров
Контактная информация:

Re: Rebuild RAID1 in FreeBSD 3.0

Непрочитанное сообщение bu7cher » 2008-03-12 15:30:18

Очень сомневаюсь, что ваша FreeBSD 3.0 могла бы увидеть ваш псевдо-RAID. Для ребилда используется утилита atacontrol. Но в 3.0 её точно нет :)
нет ничего невозможного

Гость
проходил мимо

Re: Rebuild RAID1 in FreeBSD 3.0

Непрочитанное сообщение Гость » 2008-03-12 15:33:10

Прошу прощения. У меня FreeBSD версии 6.3. Совсем заморочился. До atacontrol я добраться не могу, так как паника ядра при инициализации мирорного винта.

bu7cher
сержант
Сообщения: 220
Зарегистрирован: 2008-02-21 18:28:55
Откуда: Киров
Контактная информация:

Re: Rebuild RAID1 in FreeBSD 3.0

Непрочитанное сообщение bu7cher » 2008-03-12 16:17:26

При установке вы точно установили систему на зеркало, а не на отдельный диск, который после этого удалили?
Зеркало должно было называться что-то вроде ar0. Без этого диска, который вы очистили система грузится?
нет ничего невозможного

Alexander
проходил мимо

Re: Rebuild RAID1 in FreeBSD 3.0

Непрочитанное сообщение Alexander » 2008-03-12 17:04:12

bu7cher писал(а):При установке вы точно установили систему на зеркало, а не на отдельный диск, который после этого удалили?
Зеркало должно было называться что-то вроде ar0. Без этого диска, который вы очистили система грузится?
Да, Фря определяет ad4 - первый физ винт, ad8 - второй. ar0 - первая партиция, ar1- вторая. Ставил систему на ar0, но подмонтировал ar1 как /share.
Потом убрал ad8. и на другой машине снес ей МБР. Затем поставил все на место. ПО идее RAID контроллер должен был автоматом сребилдить, ан нет. ДА и фря перестала грузиться. Представляю пользу от такого рейда когда все рухнуло бы. Может я не правильно контроллер настроил?

Аватара пользователя
alex3
лейтенант
Сообщения: 872
Зарегистрирован: 2006-11-20 16:47:56
Откуда: Переславль
Контактная информация:

Re: Rebuild RAID1 in FreeBSD 6.3

Непрочитанное сообщение alex3 » 2008-03-12 18:54:47

тоже недавно стал морочится с рейдами и внимательно за всем этим слежу... тут типа недавно тема была, что этот самый матрикс - г полное... сам я забил на аппаратный и делаю гмиррором... прошу прощения если не в тему.
Если ipfw можно считать речью обычного человека, то pf - речь политика. За каждой ошибкой -ядерный песец.

bu7cher
сержант
Сообщения: 220
Зарегистрирован: 2008-02-21 18:28:55
Откуда: Киров
Контактная информация:

Re: Rebuild RAID1 in FreeBSD 6.3

Непрочитанное сообщение bu7cher » 2008-03-12 19:56:46

ПО идее RAID контроллер должен был автоматом сребилдить, ан нет. ДА и фря перестала грузиться. Представляю пользу от такого рейда когда все рухнуло бы. Может я не правильно контроллер настроил?
Если бы контроллер был, то - да, обычно так и происходит. У вас же его нет :)
Intel Matrix RAID - это программное решение, его основная "фича", отличающая от других подобных "RAID" - возможность создавать массив не только из целых дисков. Но опять же замечу, всё это делается программно.
нет ничего невозможного

Аватара пользователя
kolesya
сержант
Сообщения: 191
Зарегистрирован: 2006-10-17 15:54:01
Откуда: Украина, Киев

Re: Rebuild RAID1 in FreeBSD 6.3

Непрочитанное сообщение kolesya » 2008-03-12 20:21:50

геморился с этими полурейдами, в итоге взял полноценный контроллер "3ware 9000" 4х-портовый, в 10й рейд и забыл о тачке :)

P.S. вот тока как отмониторить состояние дисков, хз :?

bu7cher
сержант
Сообщения: 220
Зарегистрирован: 2008-02-21 18:28:55
Откуда: Киров
Контактная информация:

Re: Rebuild RAID1 in FreeBSD 6.3

Непрочитанное сообщение bu7cher » 2008-03-12 21:31:37

геморился с этими полурейдами, в итоге взял полноценный контроллер "3ware 9000" 4х-портовый, в 10й рейд и забыл о тачке :)
P.S. вот тока как отмониторить состояние дисков, хз :?

Код: Выделить всё

# cd /usr/ports && make search key=3ware
нет ничего невозможного

Alexander
проходил мимо

Re: Rebuild RAID1 in FreeBSD 6.3

Непрочитанное сообщение Alexander » 2008-03-13 8:55:31

Я по статье от лисяры http://www.lissyara.su/?id=1545 отключил мирорный диск, подключил и сребилдил. До этого момента сам контроллер так и говорил, что статус у рейда Rebuild и ребилдить должна ОС. Интересно получилось, что когда я сделал ребилд atacontrol, то у меня и контроллер показывает статус Normal! Когда я запускал фрю без мирорного винта, фря падала при попытке найти этот диск. Я так думаю, что ядро определило зеркало и СВОИМИ средствами писАло на оба диска. И вроде как сама фря прописала где-то в контроллере, что ребилд закончился удачно. Но это уже догадки.

bu7cher
сержант
Сообщения: 220
Зарегистрирован: 2008-02-21 18:28:55
Откуда: Киров
Контактная информация:

Re: Rebuild RAID1 in FreeBSD 6.3

Непрочитанное сообщение bu7cher » 2008-03-13 9:12:33

Я так думаю, что ядро определило зеркало и СВОИМИ средствами писАло на оба диска. И вроде как сама фря прописала где-то в контроллере, что ребилд закончился удачно. Но это уже догадки.
Это так. Драйвер ataraid(4) умеет программно реализовывать функции RAID0, RAID1 и RAID0+1. Те настройки, что вы делаете будто бы в BIOS контроллера, сохраняются обычно в последних секторах диска. Когда система загружается, драйвер ataraid считывает эти сектора и если обнаружит там метаданные, которые он умеет распознавать, он создаст виртуальный диск arX, при работе с которым, будут реализовываться возможности того или иного вида RAID.
Т.к. подавляющее большинство форматов метаданных являются закрытыми (нет докуменации по ним), то их распознавание реализовано "хакерскими" методами. Часть форматов просты для понимания и считается, и их поддержка реализована полностью. Т.е. вы можете из системы изменить конфигурацию массивов (либо эти же ребилды запустить), и драйвер обновит метаданные на дисках, таким образом BIOS тоже будет отображать новые данные. Часть форматов не такие "прозрачные", для них реализована только чтение метаданных.
нет ничего невозможного

Аватара пользователя
kolesya
сержант
Сообщения: 191
Зарегистрирован: 2006-10-17 15:54:01
Откуда: Украина, Киев

Re: Rebuild RAID1 in FreeBSD 6.3

Непрочитанное сообщение kolesya » 2008-03-13 15:12:12

bu7cher писал(а):
геморился с этими полурейдами, в итоге взял полноценный контроллер "3ware 9000" 4х-портовый, в 10й рейд и забыл о тачке :)
P.S. вот тока как отмониторить состояние дисков, хз :?

Код: Выделить всё

# cd /usr/ports && make search key=3ware
Спасибо за наводку :P

Аватара пользователя
bakake
сержант
Сообщения: 265
Зарегистрирован: 2006-11-21 14:04:58

Re: Rebuild RAID1 in FreeBSD 6.3

Непрочитанное сообщение bakake » 2008-03-18 23:02:38

kolesya писал(а):геморился с этими полурейдами, в итоге взял полноценный контроллер "3ware 9000" 4х-портовый, в 10й рейд и забыл о тачке :)

P.S. вот тока как отмониторить состояние дисков, хз :?
Мониторить проще пареной репы:
1) Драйвер (к слову, AMCC один из немногих вендоров, кто дрова под фрю дает) в логах пишет о всех инцидентах, включая перегрев батарейки (на коллоке както кондей сдох, сервак сказал "до свидания", а после запуска я в логах обнаружил сообщение о том что батарейка перегрелась)
2) smartmontools показывает состояние дисков внутри раида
3) ну и собсно tw_cli
FreeBSD-д тавтай морилно уу!

AlexPap
рядовой
Сообщения: 26
Зарегистрирован: 2007-07-26 15:39:54
Контактная информация:

Re: Rebuild RAID1 in FreeBSD 6.3

Непрочитанное сообщение AlexPap » 2009-03-16 11:22:29

Ну вот собственно и случилось. Отработала фря 7.0 61 день и 13 марта в 22:09 второй винт ad8 перестал отвечать на запросы smartctl. В /var/log/messages появилась запись
.... ar0: WARNING - mirror protection lost. RAID1 array in DEGRADED mode.
Понял, что ad8 умер. Сервер аквариусовский - T40S15, мать GIGABYTE GS-R115L-RH. Южный мост ICH7R. Рейд собран на Intel Matrix Storage. Я зеркалил полностью весь диск, а на разделы бил фрей. Пока система работает. Заменить винт, спарить его и ребилдить зеркало средствами фри (atacontrol) не проблема. Дело в том, что винты SATA без хотсвапа, поэтому мне придется потушись систему чтобы заменить винт, но я очень сильно сомневаюсь, что фря после перезагрузки нормально поднимется. Подскажите люди добрые - может какие действия нужно сделать до shutdown. Сервак боевой, так что рисковать и эксперементировать нет возможности.
И еще, можно ли не выключая машину: отключить питание от убитого винта, выдернуть из него SATA шлейф. Затем воткнуть шлейф в новый винт и затем уже подключить питание? Не убью ли ICH7R? А потом уже средствами фри восстанавливать зеркало?

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35332
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Rebuild RAID1 in FreeBSD 6.3

Непрочитанное сообщение Alex Keda » 2009-03-16 11:24:52

насчёт ICH7 - не знаю, но заменять на ходу можно - в хандбуке, помоему процесс описан был
Убей их всех! Бог потом рассортирует...

AlexPap
рядовой
Сообщения: 26
Зарегистрирован: 2007-07-26 15:39:54
Контактная информация:

Re: Rebuild RAID1 in FreeBSD 6.3

Непрочитанное сообщение AlexPap » 2009-03-16 15:25:06

А какие команды нужно дать во фре, чтобы она после перезагрузки нормально поднялась? Думаю, что если я просто дам ей shutdown -p now, она выключится, а после установки нового винта - не поднимется. Будет на своп или на слайсы жаловаться и в панике перегружаться. Нужно ли детачить убитый диск?

Аватара пользователя
zingel
beastie
Сообщения: 6204
Зарегистрирован: 2007-10-30 3:56:49
Откуда: Moscow
Контактная информация:

Re: Rebuild RAID1 in FreeBSD 6.3

Непрочитанное сообщение zingel » 2009-03-16 15:34:27

нинада ребут, нада если hot, то смысл ребутать...

Код: Выделить всё

sh /etc/rc
Z301171463546 - можно пожертвовать мне денег

AlexPap
рядовой
Сообщения: 26
Зарегистрирован: 2007-07-26 15:39:54
Контактная информация:

Re: Rebuild RAID1 in FreeBSD 6.3

Непрочитанное сообщение AlexPap » 2009-03-17 10:07:43

Выдернул питание, потом SATA. Через несколько минут фря перестала отвечать на запросы. Самба, DHCP и др службы не отвечали по сети, хотя машинка пинговалась. Да и маршруты на ней отрабатывались. Даже демон на экране плясал, только консольная клава оставалась мертвой. Вобщем перегрузил, и как и предполагал, она пожаловалась на отсутствие свопа, паника и 15 сек перегруз.

Аватара пользователя
zingel
beastie
Сообщения: 6204
Зарегистрирован: 2007-10-30 3:56:49
Откуда: Moscow
Контактная информация:

Re: Rebuild RAID1 in FreeBSD 6.3

Непрочитанное сообщение zingel » 2009-03-17 10:10:13

AlexPap писал(а):Выдернул питание, потом SATA. Через несколько минут фря перестала отвечать на запросы. Самба, DHCP и др службы не отвечали по сети, хотя машинка пинговалась. Да и маршруты на ней отрабатывались. Даже демон на экране плясал, только консольная клава оставалась мертвой. Вобщем перегрузил, и как и предполагал, она пожаловалась на отсутствие свопа, паника и 15 сек перегруз.
ну я для кого писал выше пост? теперь с лайв сиди маунтить всё, разбирать массив и заново ребилдить...
Z301171463546 - можно пожертвовать мне денег

AlexPap
рядовой
Сообщения: 26
Зарегистрирован: 2007-07-26 15:39:54
Контактная информация:

Re: Rebuild RAID1 in FreeBSD 6.3

Непрочитанное сообщение AlexPap » 2009-03-17 10:17:35

Дык онаж вообще никак не реагировала! Я и обратно винт подключил. Она не запустилась. Оставался только ребут.А теперь ребутится с криками page fault while in kernel mode.

Аватара пользователя
zingel
beastie
Сообщения: 6204
Зарегистрирован: 2007-10-30 3:56:49
Откуда: Moscow
Контактная информация:

Re: Rebuild RAID1 in FreeBSD 6.3

Непрочитанное сообщение zingel » 2009-03-17 10:19:21

не может такого быть, плохо её пыркали значит, а теперь, как я выше писал или подсунуть её GENERIC-ядро или с live-cd
Z301171463546 - можно пожертвовать мне денег

AlexPap
рядовой
Сообщения: 26
Зарегистрирован: 2007-07-26 15:39:54
Контактная информация:

Re: Rebuild RAID1 in FreeBSD 6.3

Непрочитанное сообщение AlexPap » 2009-03-17 10:44:36

Зашел в сингл моде. fsck подправил корень. далее перемонтировал его R/W. Потом atacontrol detach ata4 (убитый винт) и

Код: Выделить всё

sh /etc/rc
[/quote]

Она вроде пошла, пожаловалась правда на слайсы, сказала что fsck будет выполнена в бакграунде. Я по SSH смог подключиться. Но потом все повисло, я к консоли, а там 15 сек ребут. Теперь она ни в сингл ни в сэйф моде не заходит. А в fstab нужно было все с ar0 на ad4 переделывать (я систему ставил на рейд, поэтому все слайсы прописаны как /dev/ar0s1a и тд)?

Аватара пользователя
zingel
beastie
Сообщения: 6204
Зарегистрирован: 2007-10-30 3:56:49
Откуда: Moscow
Контактная информация:

Re: Rebuild RAID1 in FreeBSD 6.3

Непрочитанное сообщение zingel » 2009-03-17 10:57:49

Код: Выделить всё

GENERIC-ядро
Z301171463546 - можно пожертвовать мне денег

AlexPap
рядовой
Сообщения: 26
Зарегистрирован: 2007-07-26 15:39:54
Контактная информация:

Re: Rebuild RAID1 in FreeBSD 6.3

Непрочитанное сообщение AlexPap » 2009-03-17 17:23:04

Гружусь с ливфс диска. Пункт Escape to loader prompt. далее boot /boot/kernel.old/kernel. продолжение загрузки заканчивается когда система определяет ad4 и Fatal trap 12: page fault while in kernel mode.
Только не пойму, зачем мне GENERIC? Что ей не нравится? Кстати у меня и по умолчанию нормально с винта грузится до меню, где 6 пунктом Escape to loader prompt. Та же картина. Что делать не знаю. Есть какие нибудь мысли? Или порядок действий в таких ситуациях?

Аватара пользователя
zingel
beastie
Сообщения: 6204
Зарегистрирован: 2007-10-30 3:56:49
Откуда: Moscow
Контактная информация:

Re: Rebuild RAID1 in FreeBSD 6.3

Непрочитанное сообщение zingel » 2009-03-17 20:19:18

а что есть в loader.conf ?
Z301171463546 - можно пожертвовать мне денег