Страница 1 из 2
Rebuild RAID1 in FreeBSD 6.3
Добавлено: 2008-03-12 12:39:30
Alexander
Приветствую всех. Взяли файловый сервак со встроенный контроллером RAID (Intel Matrix Storage). Создал в консоли (Intel Matrix Storage Manager) зеркало и разделил в ней на два раздела. На 1 раздел посадил FreeBSD 3.0. Для проверки остановил систему, выдернул 1 (мироред) диск и удалил все данные. При подключении в меню IMSM нет пунктика ребилд, но говорит, что у них статус ребилд а внизу пояснение - Ребилд будет выполнен ОС при загрузке. Выхожу и доверяю Фре, а она в панике падает. Вот как теперь (если в жизни случится такая ситуация) мне сребилдить зеркало? Если есть средства у фри, подскажите плиз какие и где копать. Версия ROM IMSM v5.1.0.1022.
Re: Rebuild RAID1 in FreeBSD 3.0
Добавлено: 2008-03-12 15:30:18
bu7cher
Очень сомневаюсь, что ваша
FreeBSD 3.0 могла бы увидеть ваш
псевдо-RAID. Для ребилда используется утилита atacontrol. Но в 3.0 её точно нет
Re: Rebuild RAID1 in FreeBSD 3.0
Добавлено: 2008-03-12 15:33:10
Гость
Прошу прощения. У меня FreeBSD версии 6.3. Совсем заморочился. До atacontrol я добраться не могу, так как паника ядра при инициализации мирорного винта.
Re: Rebuild RAID1 in FreeBSD 3.0
Добавлено: 2008-03-12 16:17:26
bu7cher
При установке вы точно установили систему на зеркало, а не на отдельный диск, который после этого удалили?
Зеркало должно было называться что-то вроде ar0. Без этого диска, который вы очистили система грузится?
Re: Rebuild RAID1 in FreeBSD 3.0
Добавлено: 2008-03-12 17:04:12
Alexander
bu7cher писал(а):При установке вы точно установили систему на зеркало, а не на отдельный диск, который после этого удалили?
Зеркало должно было называться что-то вроде ar0. Без этого диска, который вы очистили система грузится?
Да, Фря определяет ad4 - первый физ винт, ad8 - второй. ar0 - первая партиция, ar1- вторая. Ставил систему на ar0, но подмонтировал ar1 как /share.
Потом убрал ad8. и на другой машине снес ей МБР. Затем поставил все на место. ПО идее RAID контроллер должен был автоматом сребилдить, ан нет. ДА и фря перестала грузиться. Представляю пользу от такого рейда когда все рухнуло бы. Может я не правильно контроллер настроил?
Re: Rebuild RAID1 in FreeBSD 6.3
Добавлено: 2008-03-12 18:54:47
alex3
тоже недавно стал морочится с рейдами и внимательно за всем этим слежу... тут типа недавно тема была, что этот самый матрикс - г полное... сам я забил на аппаратный и делаю гмиррором... прошу прощения если не в тему.
Re: Rebuild RAID1 in FreeBSD 6.3
Добавлено: 2008-03-12 19:56:46
bu7cher
ПО идее RAID контроллер должен был автоматом сребилдить, ан нет. ДА и фря перестала грузиться. Представляю пользу от такого рейда когда все рухнуло бы. Может я не правильно контроллер настроил?
Если бы контроллер был, то - да, обычно так и происходит. У вас же его нет
Intel Matrix RAID - это программное решение, его основная "фича", отличающая от других подобных "RAID" - возможность создавать массив не только из целых дисков. Но опять же замечу, всё это делается программно.
Re: Rebuild RAID1 in FreeBSD 6.3
Добавлено: 2008-03-12 20:21:50
kolesya
геморился с этими полурейдами, в итоге взял полноценный контроллер "3ware 9000" 4х-портовый, в 10й рейд и забыл о тачке
P.S. вот тока как отмониторить состояние дисков, хз
Re: Rebuild RAID1 in FreeBSD 6.3
Добавлено: 2008-03-12 21:31:37
bu7cher
геморился с этими полурейдами, в итоге взял полноценный контроллер "3ware 9000" 4х-портовый, в 10й рейд и забыл о тачке
P.S. вот тока как отмониторить состояние дисков, хз
Re: Rebuild RAID1 in FreeBSD 6.3
Добавлено: 2008-03-13 8:55:31
Alexander
Я по статье от лисяры
http://www.lissyara.su/?id=1545 отключил мирорный диск, подключил и сребилдил. До этого момента сам контроллер так и говорил, что статус у рейда Rebuild и ребилдить должна ОС. Интересно получилось, что когда я сделал ребилд atacontrol, то у меня и контроллер показывает статус Normal! Когда я запускал фрю без мирорного винта, фря падала при попытке найти этот диск. Я так думаю, что ядро определило зеркало и
СВОИМИ средствами писАло на оба диска. И вроде как сама фря прописала где-то в контроллере, что ребилд закончился удачно. Но это уже догадки.
Re: Rebuild RAID1 in FreeBSD 6.3
Добавлено: 2008-03-13 9:12:33
bu7cher
Я так думаю, что ядро определило зеркало и СВОИМИ средствами писАло на оба диска. И вроде как сама фря прописала где-то в контроллере, что ребилд закончился удачно. Но это уже догадки.
Это так. Драйвер ataraid(4) умеет программно реализовывать функции RAID0, RAID1 и RAID0+1. Те настройки, что вы делаете будто бы в BIOS контроллера, сохраняются обычно в последних секторах диска. Когда система загружается, драйвер ataraid считывает эти сектора и если обнаружит там метаданные, которые он умеет распознавать, он создаст виртуальный диск arX, при работе с которым, будут реализовываться возможности того или иного вида RAID.
Т.к. подавляющее большинство форматов метаданных являются закрытыми (нет докуменации по ним), то их распознавание реализовано "хакерскими" методами. Часть форматов просты для понимания и считается, и их поддержка реализована полностью. Т.е. вы можете из системы изменить конфигурацию массивов (либо эти же ребилды запустить), и драйвер обновит метаданные на дисках, таким образом BIOS тоже будет отображать новые данные. Часть форматов не такие "прозрачные", для них реализована только чтение метаданных.
Re: Rebuild RAID1 in FreeBSD 6.3
Добавлено: 2008-03-13 15:12:12
kolesya
bu7cher писал(а):геморился с этими полурейдами, в итоге взял полноценный контроллер "3ware 9000" 4х-портовый, в 10й рейд и забыл о тачке
P.S. вот тока как отмониторить состояние дисков, хз
Спасибо за наводку
Re: Rebuild RAID1 in FreeBSD 6.3
Добавлено: 2008-03-18 23:02:38
bakake
kolesya писал(а):геморился с этими полурейдами, в итоге взял полноценный контроллер "3ware 9000" 4х-портовый, в 10й рейд и забыл о тачке
P.S. вот тока как отмониторить состояние дисков, хз
Мониторить проще пареной репы:
1) Драйвер (к слову, AMCC один из немногих вендоров, кто дрова под фрю дает) в логах пишет о всех инцидентах, включая перегрев батарейки (на коллоке както кондей сдох, сервак сказал "до свидания", а после запуска я в логах обнаружил сообщение о том что батарейка перегрелась)
2) smartmontools показывает состояние дисков внутри раида
3) ну и собсно tw_cli
Re: Rebuild RAID1 in FreeBSD 6.3
Добавлено: 2009-03-16 11:22:29
AlexPap
Ну вот собственно и случилось. Отработала фря 7.0 61 день и 13 марта в 22:09 второй винт ad8 перестал отвечать на запросы smartctl. В /var/log/messages появилась запись
.... ar0: WARNING - mirror protection lost. RAID1 array in DEGRADED mode.
Понял, что ad8 умер. Сервер аквариусовский - T40S15, мать GIGABYTE GS-R115L-RH. Южный мост ICH7R. Рейд собран на Intel Matrix Storage. Я зеркалил полностью весь диск, а на разделы бил фрей. Пока система работает. Заменить винт, спарить его и ребилдить зеркало средствами фри (atacontrol) не проблема. Дело в том, что винты SATA без хотсвапа, поэтому мне придется потушись систему чтобы заменить винт, но я очень сильно сомневаюсь, что фря после перезагрузки нормально поднимется. Подскажите люди добрые - может какие действия нужно сделать до shutdown. Сервак боевой, так что рисковать и эксперементировать нет возможности.
И еще, можно ли не выключая машину: отключить питание от убитого винта, выдернуть из него SATA шлейф. Затем воткнуть шлейф в новый винт и затем уже подключить питание? Не убью ли ICH7R? А потом уже средствами фри восстанавливать зеркало?
Re: Rebuild RAID1 in FreeBSD 6.3
Добавлено: 2009-03-16 11:24:52
Alex Keda
насчёт ICH7 - не знаю, но заменять на ходу можно - в хандбуке, помоему процесс описан был
Re: Rebuild RAID1 in FreeBSD 6.3
Добавлено: 2009-03-16 15:25:06
AlexPap
А какие команды нужно дать во фре, чтобы она после перезагрузки нормально поднялась? Думаю, что если я просто дам ей shutdown -p now, она выключится, а после установки нового винта - не поднимется. Будет на своп или на слайсы жаловаться и в панике перегружаться. Нужно ли детачить убитый диск?
Re: Rebuild RAID1 in FreeBSD 6.3
Добавлено: 2009-03-16 15:34:27
zingel
нинада ребут, нада если hot, то смысл ребутать...
Re: Rebuild RAID1 in FreeBSD 6.3
Добавлено: 2009-03-17 10:07:43
AlexPap
Выдернул питание, потом SATA. Через несколько минут фря перестала отвечать на запросы. Самба, DHCP и др службы не отвечали по сети, хотя машинка пинговалась. Да и маршруты на ней отрабатывались. Даже демон на экране плясал, только консольная клава оставалась мертвой. Вобщем перегрузил, и как и предполагал, она пожаловалась на отсутствие свопа, паника и 15 сек перегруз.
Re: Rebuild RAID1 in FreeBSD 6.3
Добавлено: 2009-03-17 10:10:13
zingel
AlexPap писал(а):Выдернул питание, потом SATA. Через несколько минут фря перестала отвечать на запросы. Самба, DHCP и др службы не отвечали по сети, хотя машинка пинговалась. Да и маршруты на ней отрабатывались. Даже демон на экране плясал, только консольная клава оставалась мертвой. Вобщем перегрузил, и как и предполагал, она пожаловалась на отсутствие свопа, паника и 15 сек перегруз.
ну я для кого писал выше пост? теперь с лайв сиди маунтить всё, разбирать массив и заново ребилдить...
Re: Rebuild RAID1 in FreeBSD 6.3
Добавлено: 2009-03-17 10:17:35
AlexPap
Дык онаж вообще никак не реагировала! Я и обратно винт подключил. Она не запустилась. Оставался только ребут.А теперь ребутится с криками page fault while in kernel mode.
Re: Rebuild RAID1 in FreeBSD 6.3
Добавлено: 2009-03-17 10:19:21
zingel
не может такого быть, плохо её пыркали значит, а теперь, как я выше писал или подсунуть её GENERIC-ядро или с live-cd
Re: Rebuild RAID1 in FreeBSD 6.3
Добавлено: 2009-03-17 10:44:36
AlexPap
Зашел в сингл моде. fsck подправил корень. далее перемонтировал его R/W. Потом atacontrol detach ata4 (убитый винт) и
[/quote]
Она вроде пошла, пожаловалась правда на слайсы, сказала что fsck будет выполнена в бакграунде. Я по SSH смог подключиться. Но потом все повисло, я к консоли, а там 15 сек ребут. Теперь она ни в сингл ни в сэйф моде не заходит. А в fstab нужно было все с ar0 на ad4 переделывать (я систему ставил на рейд, поэтому все слайсы прописаны как /dev/ar0s1a и тд)?
Re: Rebuild RAID1 in FreeBSD 6.3
Добавлено: 2009-03-17 10:57:49
zingel
Re: Rebuild RAID1 in FreeBSD 6.3
Добавлено: 2009-03-17 17:23:04
AlexPap
Гружусь с ливфс диска. Пункт Escape to loader prompt. далее boot /boot/kernel.old/kernel. продолжение загрузки заканчивается когда система определяет ad4 и Fatal trap 12: page fault while in kernel mode.
Только не пойму, зачем мне GENERIC? Что ей не нравится? Кстати у меня и по умолчанию нормально с винта грузится до меню, где 6 пунктом Escape to loader prompt. Та же картина. Что делать не знаю. Есть какие нибудь мысли? Или порядок действий в таких ситуациях?
Re: Rebuild RAID1 in FreeBSD 6.3
Добавлено: 2009-03-17 20:19:18
zingel
а что есть в loader.conf ?