forum.lissyara.su

gvinum т.е зеракало + райд5 на 3-4 дисках, вижу модные все описывать сей продукт в функциональном действии нет, команд не так много...

есть, если есть скрипты - то вдвойне, мне например для тестилки будет нужно, а сроки поджимают, как раз под 3 диска.

сейчас вот восстанавливаю raid-5 т.е поставил на 3 диска отключил один, включил другой, уже 40 минут собирается... жду, хочу посмотреть че будет, вдруг полный лохотрон....

немного не по теме производитьльность gmiror http://forums.freebsd.org/showthread.php?t=211
интересно как с етим у 5 рейда?

естественно лучше, зеркало требует в 2 раза больше ресурсов ввода вывода, по крайней мере у софтверного, у хардварного не знаю не интересовался, там вроде всегда быстро бегало.... кстатк в wiki было на писано про рейды и зачем они нужны.... в гугле raid + wiki

Сразу говорю протестить на восстановление данную связку не успел, но всё таки её можно восстановить, просто еще сама не крушилось, а времени нету т.к надо думать о дипломе

Дано:

Имеется 3 sata харда по 80G, полурабочий ПК, т.к усб дырки не работают, незнаю почему но мать выжила (i945) P4 3G HT…. 1G оперативы.

Надо: Рабочий сервер и чтоб информация не терялась при выходе из строя одного винчестера.

Был выбран GVINUM – древний монстр который бударажит умы людей, собственно –vinum, но переделанный каким-то гуглевским работником.

Структура диска:
На самом деле раздел opt можно и не использовать, засунуть туда на 10g swap, но он будет тогда не striped, а concat …. Я засунул туда всякие бяшки для тестов и прочей лабуды…
На самом деле можно созда 3е зеркало загрузочной системы, но пока сам не реализовал утверждать не буду.

Вот взяли сд для установки или как вы там ставить систему будете не знаю…. Ставлю короче с сд…

Устанавливаем FreeBSD на ad6 т.е на самый последний диск, просто так понятьней.
Или же если система уже стоит то можно пропустить шаги по инициализации дисков, и сразу создать разделы gvinum на дисках (конечно если они не замонтированы).
далее заводим на зеркальных дисках загрузчик:
система стоит на 3ем диске т.е на ad6, если решитесь перезагрузиться то это будет не очень умно т.к бутник уже установлен

редактируем первый диск (ad4), да в принципе он будет такой же как и ad5.
Открываем файл ad4s1.raid в любом редакторе, и правим до такого состояния:
к сожелению нахожусь дома на винде и не помню цифры для 80g 777 – будет размер всего диска… при сбросе в метку будет корректно отображаться, НЕ МЕНЯТЬ!!!

Потом: Теперь в нашей метке будет лежать подсчитанный файл (как пользаваться bsdlabel)
Для загрузки с gvinum надо будет произвести махинацию по переносу бутовой части… короче надо доваить 265 к offset и отнять 265 от size и перенести старую (обычную загрузочную область на другой раздел т.е d или (под него и рассчитывали создвая раздел e)) блия пока грубо запишу:
э э э в место звездочек появаться смещения, звездочки остались потому-что под рукой нету bsdlabel, а так после первогопресчета значений звездочек не будет.

Сохраняем конфигурацию и устанавливаем:
На всякий случай:

Создаем в директории /vinum файл конфигурации mirror c таким содержанием:

после создания подгружаем наш первый конфиг

gvinum create /vinum/mirror

какая-то хрень побежит по экрану, посмотреть, что вы наделали можно так:
после создания нарезаем файловую систему
Устанавливаем от изготовителей samba мега пакет rsync Копируем наши любимые системные хахаряшки:
разметка есть, диски крутятся, надо поменять еще fstab

/bootvinum/etc/fstab

приводим к виду: Reboot и загружаемся в однопользовательском режиме.
Он дает нам прекрасно работать с разделами диска, т.к мы отрихтовали первые 2 диска, теперь надо с третьим.
Mount /

Открываем /vinum/ad4s1.raid и приводим к виду:
соответственно здесь можно и вмонтировать 3 зеркало…. но пока не буду
вот теперь самое интересное, создаем сцепленный swap и сам raid-5.

Конфиги для swap:

Создавем файл /vinum/swap.r с таким содержанием:
значение striped выбираются в пределах 256-512k байт, не путать с размером блока файла и прочей ерундой, это размер страйпов на которые будет биться диск… много мелочи, то лучше 256много больших файлов то 512, т.к это подкачка так что пусть будет больше, соответственно считается быстрее (т.е за раз)…

теперь конфиг /vinum/raid5:
для профилактики диски из пятого райда должны синхронизироваться…

gvinum start raid5

далее файл fstab приводим к виду: Reboot

Естественно при загрузки он сам предложит войти в однопользовательский режим, потому-что raid5 скорее всего не синхронизирован.


Поэтому mount /
И даем команду:

gvinum start raid5

наблюдать процесс синхронизации или сборки в процентах командой:
чисто теоретически можно и перестраивать машины, т.е с рабочего сервера копировать данные на файловые системы, а потом втыкать их в сеть за место стареньких, это все достигается с помощью утилиты rsync, т.к умеет копировать по ssh и просто ресурсы….

Посмотреть что внутри у винума: gvinum list

Как не парадоксально второе зеркало не хочет монтироваться, на тех же дисках где уже есть первое…

Мда, кстате, raid5 требует одинаковых поддисков, так что при создании третьего диска можно это учесть, если винум будет ругаться при генерировании raid. Прописывается дополнительный параметр length Хg , где Х- размер в гигабайтах…. Как задействовать максимальный размер из двух загрузочных дисков? Надо сделать конфиг для gvinum на concat и посмотреть максимальный размер поддиска da4s1e и уже отталкиваясь от его размера проставлять размер тома raid5. Повторюсь он должен быть у всех поддисков одинаковый… на оставшемся месте на ad6s1e пожно сделать concat систему и просто монтировать обычную папку….
Т.е
подгрузить это в винум и посомтреть на экране максимальный рабочий объем, 3 перезагрузки – много конечно, но ведь надо проверить будет работать или нет, а то как всегда все наделаешь, а потом случайно уборщица придет свет выключать и лампочки промывать
----------------------
ногами не пинать времени мало надо собирать вещи....

Подскажите пожалуйста, как происходит процесс замены сбойного диска?
Т.е. какими действиями заставить его перенести данные на новый диск.

пробовал вот по этому мануалу
http://www.vinumvm.org/vinum/replacing-drive.html
но при попытке выполнить

vinum create configfile

ось падает в ребут

не помню, но надо вставить новый диск, т.к диски одинаковые по определению имеется в виду метки, создаём метки диска из файла, нужно в зеркало воткунуть именно тот диск который новый если пытаться пересоздать зеракало, то система естественно в ребут уйдет т.е ты пытаешся затиреть ёё, добавить к разделу диска новый винчестер без команды create и gvinym start myvol он произведет нужные операции, и система починена

_adre писал(а):не помню, но надо вставить новый диск, т.к диски одинаковые по определению имеется в виду метки, создаём метки диска из файла, нужно в зеркало воткунуть именно тот диск который новый если пытаться пересоздать зеракало, то система естественно в ребут уйдет т.е ты пытаешся затиреть ёё, добавить к разделу диска новый винчестер без команды create и gvinym start myvol он произведет нужные операции, и система починена

я правильно понял?
размечаем диск точно также, как был размечен старый
и после выполняем просто
gvinym start myvol

команда
gvinum create

тут не нужна
да?

просто я пробовал и так делать
но массив не восстанавливается

может дело в том, что у меня на 3-х винтах 2 массива
raid1 и raid5?

gvinym start myvol

если не изменяет память выводил структуру дисков, поддисков и т.д.
и их состояние
но никакого копирования информации не происходило
и массивы так и оставались повреждёнными

вообщем решил забить на raid5 и поднял зеркало при помощи
gmirror

sasha181 писал(а):

_adre писал(а):не помню, но надо вставить новый диск, т.к диски одинаковые по определению имеется в виду метки, создаём метки диска из файла, нужно в зеркало воткунуть именно тот диск который новый если пытаться пересоздать зеракало, то система естественно в ребут уйдет т.е ты пытаешся затиреть ёё, добавить к разделу диска новый винчестер без команды create и gvinym start myvol он произведет нужные операции, и система починена

я правильно понял?
размечаем диск точно также, как был размечен старый
и после выполняем просто
gvinym start myvol

команда
gvinum create

тут не нужна
да?

просто я пробовал и так делать
но массив не восстанавливается

может дело в том, что у меня на 3-х винтах 2 массива
raid1 и raid5?

gvinym start myvol

если не изменяет память выводил структуру дисков, поддисков и т.д.
и их состояние
но никакого копирования информации не происходило
и массивы так и оставались повреждёнными

вообщем решил забить на raid5 и поднял зеркало при помощи
gmirror

да правильно, сейчас просто нахожусь в лесу, скорость 5кб, доков нету, на оффсайте, немного не то, как говориться
ищи в гугле американцы описывали процесс восстановления, там в рассылке было, не помню саму команду, но поидее надо сделать так:

gvinum create file //не в коем случае на удаляй оставшийся диск, надо просто добавить плекс

в ФАЙЛЕ:

volume myvol // т.к кусок зеркала выпал он в самом винуме видиться не должен, если на предыдущем винчестере был винум его на форматуть....
plex org concat
sd drive dX // т.к у тебя описан же раздел myvol то к нему надо просто добавить, просто я не уверен что добавляется create...

поэтому советую глянуть gvinum(8) и vinum(4). там были примеры конфигурирования без создания файла и добавление плексов к уже рабочим разделам.

это случайно не Ваша статья?

http://adres14.ru/2009/01/vosstanovlenie-raid-5-gvinum/
правда сайт почему-то не открывается.
открыл из кеша гугла
http://209.85.129.132/search?q=cache:aI ... ient=opera

также нашёл в рассылках
http://lists.freebsd.org/pipermail/free ... 02686.html

Если Ваша, назрел такой вопрос
А с пропатченым gvinum не пробовали, срабатывает ли первый способ?

По Вашей статье действительно получилось восстановить raid5. Огромное Вам за это СПАСИБО.
Также правда хочу поделится с какими трудностями столкнулся, т.к. точно по тсатье не получилось восстановить.
Проблема оказалась в странном явлении. После удаления дисков, таблица разделов на одном или двух у меня слетала.
Из-за этого не все диски добавлялись при создании массива.
Поэтому пришлось перед созданием проверять нет ли ошибок в таблице разделов дисков там где были ошибки просто переписал таблицы из тех файлов, которые остались при изначальной настройке рейда
я их оставил лежать как и файлы конфигов в созданном мной каталоге /etc/gvinum У меня fsck нашёл ошибки. Всё исправилось.

И ещё один вопрос. В статье Вы пишете:
> Т.к. с восстановлением зеракала проблем не возникало,

Осветите пожалуйста вкратце этот момент, если будет время.

забей, там много опечаток.... не надо не кому ) у меня работает и я рад, потому-что виндовс жрет мозг и время... а бухгалтеры суки денег не дают и у них постоянно вирусы....

сразу говорю, если делать по тому-что написано там, работать сразу не будет, когда писал много чего напропускал и патчик сейчас наложен уже, восстанвление raid5 теперь нормально и быстро, зеркало бутником - тоже быстро, раид на 4 сд и 2 зеракала, нашел как делать на каком-то блоге, так что читайте мою подпись...

sasha181 писал(а): И ещё один вопрос. В статье Вы пишете:
> Т.к. с восстановлением зеракала проблем не возникало,

Осветите пожалуйста вкратце этот момент, если будет время.

ну все просто, вылетает винчестер, снимаеш его, вставляешь подходящий по размеру, загружаешся в сингл моде т.к. один из винчей-то работает ), подгружаешь конфиг: потом gvinum list - смотришь появился ли винчестер в gvinum, потом gvinum start mirror - и все он синхронизируется и все работает....

с raid5 также, но только надо ребутнуть, поменять винч, подгрузить конфиг, gvinum start raid - и он синхронизируется и все робит....

Если сделано как в статье, то при развале рейда или зеракала, надо остановить оба, чтоб сохранились данные, т.к. вы меняете физический винчестер.... а то потом будете в шоке ....

да кстате рейд разваливаиется если питание у ПК фиговое, по непонятным причинам.... не смотря на то, что диск без бедов и п.р. скорее всего связано с драйверами системы.... т.к. должна быть какая-то стабильность... и скорее всего повышается энергопотребление за счет постоянной синхронизации..... блоки суки - сразу проседают 4 сата просадили 12 до 10 - был в шоке честно говоря а 5ку вообще до 4 ........

ADRE писал(а): Если сделано как в статье, то при развале рейда или зеракала, надо остановить оба, чтоб сохранились данные, т.к. вы меняете физический винчестер.... а то потом будете в шоке ....

А что Вы имеете ввиду под остановкой? В man gvinum написано, что он не поддерживает команду stop. И где-то я встречал информацию, что его модуль даже выгрузить нельзя.

ADRE писал(а): да кстате рейд разваливаиется если питание у ПК фиговое, по непонятным причинам.... не смотря на то, что диск без бедов и п.р. скорее всего связано с драйверами системы.... т.к. должна быть какая-то стабильность... и скорее всего повышается энергопотребление за счет постоянной синхронизации..... блоки суки - сразу проседают 4 сата просадили 12 до 10 - был в шоке честно говоря а 5ку вообще до 4 ........

Выходит на нагруженных серварах его вообще не стоит использовать? Я просто хочу в рейд5 положить 2-3 виртуальных jail сервера. Со временем нагрузка на них должна ощутимо возрасти. И на обоих будет mysql/ Что-то есть опасения, что 2 mysql сервера вообще его положат. Как считаете?

sasha181 писал(а):

ADRE писал(а): Если сделано как в статье, то при развале рейда или зеракала, надо остановить оба, чтоб сохранились данные, т.к. вы меняете физический винчестер.... а то потом будете в шоке ....

А что Вы имеете ввиду под остановкой? В man gvinum написано, что он не поддерживает команду stop. И где-то я встречал информацию, что его модуль даже выгрузить нельзя.

Ну при проблемах с самим винчестеров он автоматически разваливается (зеркало), но работает с 1 диска, при поломки (отключения) 1 диска рейда-5(3-4 диска) тоже разваливается, но остается работать на 2-3 дисках, и т.д. т.е. работоспособность не теряется, под стоп я понимаю setstate stale, если рассматривать то, что зеркало и райд5 на 1 диске, то при физической поломке, они сразу остановятся, останется только заменить винчестер и установить через bsdlabel нужное значение фс (Vinum), потом подгрузить тотже конфиг, что и при прошлом создании и просто стартануть все разделы.... все синхрониззируется....

sasha181 писал(а):

ADRE писал(а): да кстате рейд разваливаиется если питание у ПК фиговое, по непонятным причинам.... не смотря на то, что диск без бедов и п.р. скорее всего связано с драйверами системы.... т.к. должна быть какая-то стабильность... и скорее всего повышается энергопотребление за счет постоянной синхронизации..... блоки суки - сразу проседают 4 сата просадили 12 до 10 - был в шоке честно говоря а 5ку вообще до 4 ........

Выходит на нагруженных серварах его вообще не стоит использовать? Я просто хочу в рейд5 положить 2-3 виртуальных jail сервера. Со временем нагрузка на них должна ощутимо возрасти. И на обоих будет mysql/ Что-то есть опасения, что 2 mysql сервера вообще его положат. Как считаете?

Имеется в виду что если глюки будут, то они вылезут после того как начнешь заливать на рейд информацию, т.е. практически сразу, скажем такие глюки только у настольных ПК в основном, а на заточенных серверах ни разу не наблюдалось (питание как правило хорошее у них), нагрузка роли особой не играет ), 2 mysql сервера его точно не положат ), работают на столько быстро на сколько позволяет шина.

Собирать будешь на sata2?

Да на 3 sata2 диска по 500 гигов. Только там странный ньюанс. На одном канале висит два диска (мастером и слейвом). Может у меня из-за этого как раз скорость и проседает при копировании на raid5.
Я тут в соседней ветке поднял вопрос насчёт баз данных и raid5, да и погуглил немного. Решил под них гигов на 100 сделать зеркало, т.к. базы предвидятся большие и лишний раз грузить диски всё же не хочется. Ну а оставшееся место уже в raid5. А как ведёт себя raid5 после некорректного выключения во время записи? Я так понимаю что требуется fsck, после которого то, что не успело записаться теряется безвозвратно. Так?

sasha181 писал(а):Да на 3 sata2 диска по 500 гигов. Только там странный ньюанс. На одном канале висит два диска (мастером и слейвом). Может у меня из-за этого как раз скорость и проседает при копировании на raid5.
Я тут в соседней ветке поднял вопрос насчёт баз данных и raid5, да и погуглил немного. Решил под них гигов на 100 сделать зеркало, т.к. базы предвидятся большие и лишний раз грузить диски всё же не хочется. Ну а оставшееся место уже в raid5. А как ведёт себя raid5 после некорректного выключения во время записи? Я так понимаю что требуется fsck, после которого то, что не успело записаться теряется безвозвратно. Так?

скорость проседает потому-что копируется, то с зеркала на райд, если копировать с др физических дисков или сети, то скорость ОК, да и если создавать зеркало то только на мастерах или слейвах соответственно, чтоб пропускная способность не сильно падала

Копировал я с другого носителя на рейд. Cтавил систему на слейв, настраивал зеркало на мастерах и raid5 на всех 3-х дисках, ну и потом копировал cистему а raid-ы.

sasha181 писал(а):Копировал я с другого носителя на рейд. Cтавил систему на слейв, настраивал зеркало на мастерах и raid5 на всех 3-х дисках, ну и потом копировал cистему а raid-ы.

ну должно работать, у меня с перемещаемыми профилями сеть ) - извращение конечно, у юзеров по 3-4 Гб доков, вечером ПК у всех выключаются минут 5, сервер переваривает нормально около 25 ПК, так что MySQL будет нормально работать. Файло обменник - летает