есть смысл выкладывать как создавать raid5 на 3 sata?

[ADRE]

gvinum т.е зеракало + райд5 на 3-4 дисках, вижу модные все описывать сей продукт в функциональном действии нет, команд не так много...

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[zingel]

есть, если есть скрипты - то вдвойне, мне например для тестилки будет нужно, а сроки поджимают, как раз под 3 диска.

[ADRE]

сейчас вот восстанавливаю raid-5 т.е поставил на 3 диска отключил один, включил другой, уже 40 минут собирается... жду, хочу посмотреть че будет, вдруг полный лохотрон....

[gloom]

немного не по теме производитьльность gmiror http://forums.freebsd.org/showthread.php?t=211
интересно как с етим у 5 рейда?

[ADRE]

естественно лучше, зеркало требует в 2 раза больше ресурсов ввода вывода, по крайней мере у софтверного, у хардварного не знаю не интересовался, там вроде всегда быстро бегало.... кстатк в wiki было на писано про рейды и зачем они нужны.... в гугле raid + wiki

[ADRE]

Сразу говорю протестить на восстановление данную связку не успел, но всё таки её можно восстановить, просто еще сама не крушилось, а времени нету т.к надо думать о дипломе

Дано:

Имеется 3 sata харда по 80G, полурабочий ПК, т.к усб дырки не работают, незнаю почему но мать выжила (i945) P4 3G HT…. 1G оперативы.

Надо: Рабочий сервер и чтоб информация не терялась при выходе из строя одного винчестера.

Был выбран GVINUM – древний монстр который бударажит умы людей, собственно –vinum, но переделанный каким-то гуглевским работником.

Структура диска:

Код: Выделить всё

Структура диска:
  ad4       ad5       ad6     
+-----+   +-----+   +-----+   
| 10G |   | 10G |   | 10G |   
|  |  |   |  |  |   |     |   
|  +- RAID1 -+  |   | opt |
|   загрузка    |   |     | 
|     |   |     |   |     |   
| .5G |   | .5G |   | .5G |   
|  |  |   |     |   |     |   
|  +------ RAID0 ------+  |
|     |   | swap|         |   
|     |   |     |   |     |   
|raid5|   |raid5|   |raid5|   
+-----+   +-----+   +-----+   
   |                   |       
   +------ RAID5 ------+
       Всякие данные 
 

На самом деле раздел opt можно и не использовать, засунуть туда на 10g swap, но он будет тогда не striped, а concat …. Я засунул туда всякие бяшки для тестов и прочей лабуды…
На самом деле можно созда 3е зеркало загрузочной системы, но пока сам не реализовал утверждать не буду.

Вот взяли сд для установки или как вы там ставить систему будете не знаю…. Ставлю короче с сд…

Устанавливаем FreeBSD на ad6 т.е на самый последний диск, просто так понятьней.
Или же если система уже стоит то можно пропустить шаги по инициализации дисков, и сразу создать разделы gvinum на дисках (конечно если они не замонтированы).

Код: Выделить всё

fdisk -BI da4 && bsdlabel -wB da4s1  |
fdisk -BI da5 && bsdlabel -wB da5s1  | + создание слайсов….
fdisk -BI da6 && bsdlabel -wB da6s1  |

далее заводим на зеркальных дисках загрузчик:

Код: Выделить всё

fdisk -b da0
fdisk -b da1

система стоит на 3ем диске т.е на ad6, если решитесь перезагрузиться то это будет не очень умно т.к бутник уже установлен

редактируем первый диск (ad4), да в принципе он будет такой же как и ad5.

Код: Выделить всё

Mkdir /vinum && cd /vinum
Bsdlabel ad4s1 > ad4s1.raid

Открываем файл ad4s1.raid в любом редакторе, и правим до такого состояния:

Код: Выделить всё

# /dev/da4s1:
8 partitions:
#        size   offset    fstype   [fsize bsize bps/cpg]
a:  10G            16      vinum
b:  512M           *       swap
c:  777            0       unused        0     0         # "raw" part, don't edit
e:  *             *        vinum

к сожелению нахожусь дома на винде и не помню цифры для 80g 777 – будет размер всего диска… при сбросе в метку будет корректно отображаться, НЕ МЕНЯТЬ!!!

Потом:

Код: Выделить всё

Bsdlabel –R ad4s1 /vinum/ad4s1.raid
Bsdlabel ad4s1 > ad4s1.raid

Теперь в нашей метке будет лежать подсчитанный файл (как пользаваться bsdlabel)
Для загрузки с gvinum надо будет произвести махинацию по переносу бутовой части… короче надо доваить 265 к offset и отнять 265 от size и перенести старую (обычную загрузочную область на другой раздел т.е d или (под него и рассчитывали создвая раздел e)) блия пока грубо запишу:

Код: Выделить всё

# /dev/da4s1:
8 partitions:
#      size   offset    fstype   [fsize bsize bps/cpg]
a:  10G - 265    281    4.2BSD
b:  512M           *    swap
c:  777            0    unused        0     0         # "raw" part, don't edit
d:  10G           16    vinum
e:       *         *    vinum

э э э в место звездочек появаться смещения, звездочки остались потому-что под рукой нету bsdlabel, а так после первогопресчета значений звездочек не будет.

Сохраняем конфигурацию и устанавливаем:

Код: Выделить всё

Bsdlabel –R ad4s1 /vinum/ad4s1.raid && bsdlabel –R ad5s1 /vinum/ad4s1.raid

На всякий случай:

Код: Выделить всё

# kldload geom_vinum && kldstat 

Создаем в директории /vinum файл конфигурации mirror c таким содержанием:

Код: Выделить всё

drive d4 device /dev/da4s1d
drive d5 device /dev/da5s1d
volume boot
    plex org concat
    sd drive d4
    plex org concat
    sd drive d5

после создания подгружаем наш первый конфиг

gvinum create /vinum/mirror

какая-то хрень побежит по экрану, посмотреть, что вы наделали можно так:

Код: Выделить всё

gvinum l –rv boot

после создания нарезаем файловую систему

Код: Выделить всё

newfs /dev/gvinum/boot

Код: Выделить всё

mkdir /bootvinum && mount /dev/gvinum/boot /bootvinum

Устанавливаем от изготовителей samba мега пакет rsync

Код: Выделить всё

Cd /usr/ports/net/rsync && make install clean && rehash

Копируем наши любимые системные хахаряшки:

Код: Выделить всё

rsync -aSxHv /  /bootvinum
rsync -aSxHv /etc  /bootvinum
rsync -aSxHv /usr  /bootvinum
rsync -aSxHv /var  /bootvinum
rsync -aSxHv /tmp  /bootvinum

echo 'geom_vinum_load="YES"' >> /bootvinum/boot/loader.conf
echo 'vinum.autostart="YES"' >> /bootvinum/boot/loader.conf 

разметка есть, диски крутятся, надо поменять еще fstab

/bootvinum/etc/fstab

приводим к виду:

Код: Выделить всё

# Device                Mountpoint      FStype  Options         Dump    Pass#
/dev/gvinum/boot        /                    ufs          rw                   1        1
/dev/acd0               /cdrom              cd9660    ro,noauto          0       0

Reboot и загружаемся в однопользовательском режиме.
Он дает нам прекрасно работать с разделами диска, т.к мы отрихтовали первые 2 диска, теперь надо с третьим.
Mount /

Открываем /vinum/ad4s1.raid и приводим к виду:

Код: Выделить всё

# /dev/da4s1:
8 partitions:
#      size   offset    fstype   [fsize bsize bps/cpg]
b:  512M          *    swap
c:  777            0    unused        0     0         # "raw" part, don't edit
e:       *         *    vinum

соответственно здесь можно и вмонтировать 3 зеркало…. но пока не буду

Код: Выделить всё

bsdlabel –R ad6s1 /vinum/ad4s1.raid

вот теперь самое интересное, создаем сцепленный swap и сам raid-5.

Конфиги для swap:

Создавем файл /vinum/swap.r с таким содержанием:

Код: Выделить всё

drive s0 device /dev/da4s1b
drive s1 device /dev/da5s1b
drive s2 device /dev/da6s1b
volume swap
    plex org striped 512k
    sd drive s0
    sd drive s1
    sd drive s2

значение striped выбираются в пределах 256-512k байт, не путать с размером блока файла и прочей ерундой, это размер страйпов на которые будет биться диск… много мелочи, то лучше 256много больших файлов то 512, т.к это подкачка так что пусть будет больше, соответственно считается быстрее (т.е за раз)…

теперь конфиг /vinum/raid5:

Код: Выделить всё

drive r0 device /dev/da4s1e
drive r1 device /dev/da5s1e
drive r2 device /dev/da6s1e
volume raid5
    plex org raid5 256k
    sd drive r0
    sd drive r1
    sd drive r2

Код: Выделить всё

gvinum create /vinum/swap.r && swapctl -a /dev/gvinum/swap
gvinum create /vinum/raid5 && newfs /dev/gvinum/raid5
mkdir /data && mount /dev/gvinum/raid5 /data

для профилактики диски из пятого райда должны синхронизироваться…

gvinum start raid5

далее файл fstab приводим к виду:

Код: Выделить всё

# Device                Mountpoint      FStype  Options         Dump    Pass#
/dev/gvinum/swap        none            swap          sw                0       0
/dev/gvinum/boot        /                    ufs             rw                1        1
/dev/gvinum/raid5       /data             ufs              rw               2       2
/dev/acd0               /cdrom              cd9660    ro,noauto          0       0

Reboot

Естественно при загрузки он сам предложит войти в однопользовательский режим, потому-что raid5 скорее всего не синхронизирован.


Поэтому mount /
И даем команду:

gvinum start raid5

наблюдать процесс синхронизации или сборки в процентах командой:

Код: Выделить всё

gvinum l –rv raid5

чисто теоретически можно и перестраивать машины, т.е с рабочего сервера копировать данные на файловые системы, а потом втыкать их в сеть за место стареньких, это все достигается с помощью утилиты rsync, т.к умеет копировать по ssh и просто ресурсы….

Посмотреть что внутри у винума: gvinum list

Как не парадоксально второе зеркало не хочет монтироваться, на тех же дисках где уже есть первое…

Мда, кстате, raid5 требует одинаковых поддисков, так что при создании третьего диска можно это учесть, если винум будет ругаться при генерировании raid. Прописывается дополнительный параметр length Хg , где Х- размер в гигабайтах…. Как задействовать максимальный размер из двух загрузочных дисков? Надо сделать конфиг для gvinum на concat и посмотреть максимальный размер поддиска da4s1e и уже отталкиваясь от его размера проставлять размер тома raid5. Повторюсь он должен быть у всех поддисков одинаковый… на оставшемся месте на ad6s1e пожно сделать concat систему и просто монтировать обычную папку….
Т.е

Код: Выделить всё

drive e5 device /dev/da5s1e
volume test
    plex org concat
    sd drive e5

подгрузить это в винум и посомтреть на экране максимальный рабочий объем,

Код: Выделить всё

gvinum l –rv test

3 перезагрузки – много конечно, но ведь надо проверить будет работать или нет, а то как всегда все наделаешь, а потом случайно уборщица придет свет выключать и лампочки промывать
----------------------
ногами не пинать времени мало надо собирать вещи....

[sasha181]

Подскажите пожалуйста, как происходит процесс замены сбойного диска?
Т.е. какими действиями заставить его перенести данные на новый диск.

[sasha181]

пробовал вот по этому мануалу
http://www.vinumvm.org/vinum/replacing-drive.html
но при попытке выполнить

vinum create configfile

ось падает в ребут

[_adre]

не помню, но надо вставить новый диск, т.к диски одинаковые по определению имеется в виду метки, создаём метки диска из файла, нужно в зеркало воткунуть именно тот диск который новый если пытаться пересоздать зеракало, то система естественно в ребут уйдет т.е ты пытаешся затиреть ёё, добавить к разделу диска новый винчестер без команды create и gvinym start myvol он произведет нужные операции, и система починена

[sasha181]

не помню, но надо вставить новый диск, т.к диски одинаковые по определению имеется в виду метки, создаём метки диска из файла, нужно в зеркало воткунуть именно тот диск который новый если пытаться пересоздать зеракало, то система естественно в ребут уйдет т.е ты пытаешся затиреть ёё, добавить к разделу диска новый винчестер без команды create и gvinym start myvol он произведет нужные операции, и система починена

я правильно понял?
размечаем диск точно также, как был размечен старый
и после выполняем просто
gvinym start myvol

команда
gvinum create

тут не нужна
да?

просто я пробовал и так делать
но массив не восстанавливается

может дело в том, что у меня на 3-х винтах 2 массива
raid1 и raid5?

gvinym start myvol

если не изменяет память выводил структуру дисков, поддисков и т.д.
и их состояние
но никакого копирования информации не происходило
и массивы так и оставались повреждёнными

вообщем решил забить на raid5 и поднял зеркало при помощи
gmirror

[_adre]

не помню, но надо вставить новый диск, т.к диски одинаковые по определению имеется в виду метки, создаём метки диска из файла, нужно в зеркало воткунуть именно тот диск который новый если пытаться пересоздать зеракало, то система естественно в ребут уйдет т.е ты пытаешся затиреть ёё, добавить к разделу диска новый винчестер без команды create и gvinym start myvol он произведет нужные операции, и система починена

я правильно понял?
размечаем диск точно также, как был размечен старый
и после выполняем просто
gvinym start myvol

команда
gvinum create

тут не нужна
да?

просто я пробовал и так делать
но массив не восстанавливается

может дело в том, что у меня на 3-х винтах 2 массива
raid1 и raid5?

gvinym start myvol

если не изменяет память выводил структуру дисков, поддисков и т.д.
и их состояние
но никакого копирования информации не происходило
и массивы так и оставались повреждёнными

вообщем решил забить на raid5 и поднял зеркало при помощи
gmirror

да правильно, сейчас просто нахожусь в лесу, скорость 5кб, доков нету, на оффсайте, немного не то, как говориться
ищи в гугле американцы описывали процесс восстановления, там в рассылке было, не помню саму команду, но поидее надо сделать так:

gvinum create file //не в коем случае на удаляй оставшийся диск, надо просто добавить плекс

в ФАЙЛЕ:

volume myvol // т.к кусок зеркала выпал он в самом винуме видиться не должен, если на предыдущем винчестере был винум его на форматуть....
plex org concat
sd drive dX // т.к у тебя описан же раздел myvol то к нему надо просто добавить, просто я не уверен что добавляется create...

поэтому советую глянуть gvinum(8) и vinum(4). там были примеры конфигурирования без создания файла и добавление плексов к уже рабочим разделам.

[sasha181]

это случайно не Ваша статья?

http://adres14.ru/2009/01/vosstanovlenie-raid-5-gvinum/
правда сайт почему-то не открывается.
открыл из кеша гугла
http://209.85.129.132/search?q=cache:aI ... ient=opera

также нашёл в рассылках
http://lists.freebsd.org/pipermail/free ... 02686.html

Если Ваша, назрел такой вопрос
А с пропатченым gvinum не пробовали, срабатывает ли первый способ?

По Вашей статье действительно получилось восстановить raid5. Огромное Вам за это СПАСИБО.
Также правда хочу поделится с какими трудностями столкнулся, т.к. точно по тсатье не получилось восстановить.
Проблема оказалась в странном явлении. После удаления дисков, таблица разделов на одном или двух у меня слетала.
Из-за этого не все диски добавлялись при создании массива.
Поэтому пришлось перед созданием проверять нет ли ошибок в таблице разделов дисков

Код: Выделить всё

# disklabel ad1s1
# disklabel ad2s1
# disklabel ad3s1

там где были ошибки просто переписал таблицы из тех файлов, которые остались при изначальной настройке рейда
я их оставил лежать как и файлы конфигов в созданном мной каталоге /etc/gvinum

Код: Выделить всё

disklabel -R /dev/ad2s1 /etc/gvinum/ad2s1

У меня fsck нашёл ошибки. Всё исправилось.

И ещё один вопрос. В статье Вы пишете:
> Т.к. с восстановлением зеракала проблем не возникало,

Осветите пожалуйста вкратце этот момент, если будет время.

[ADRE]

забей, там много опечаток.... не надо не кому ) у меня работает и я рад, потому-что виндовс жрет мозг и время... а бухгалтеры суки денег не дают и у них постоянно вирусы....

сразу говорю, если делать по тому-что написано там, работать сразу не будет, когда писал много чего напропускал и патчик сейчас наложен уже, восстанвление raid5 теперь нормально и быстро, зеркало бутником - тоже быстро, раид на 4 сд и 2 зеракала, нашел как делать на каком-то блоге, так что читайте мою подпись...

[ADRE]

И ещё один вопрос. В статье Вы пишете:
> Т.к. с восстановлением зеракала проблем не возникало,

Осветите пожалуйста вкратце этот момент, если будет время.

ну все просто, вылетает винчестер, снимаеш его, вставляешь подходящий по размеру, загружаешся в сингл моде т.к. один из винчей-то работает ), подгружаешь конфиг:

Код: Выделить всё

gvinum create mirror

потом gvinum list - смотришь появился ли винчестер в gvinum, потом gvinum start mirror - и все он синхронизируется и все работает....

с raid5 также, но только надо ребутнуть, поменять винч, подгрузить конфиг, gvinum start raid - и он синхронизируется и все робит....

Если сделано как в статье, то при развале рейда или зеракала, надо остановить оба, чтоб сохранились данные, т.к. вы меняете физический винчестер.... а то потом будете в шоке ....

да кстате рейд разваливаиется если питание у ПК фиговое, по непонятным причинам.... не смотря на то, что диск без бедов и п.р. скорее всего связано с драйверами системы.... т.к. должна быть какая-то стабильность... и скорее всего повышается энергопотребление за счет постоянной синхронизации..... блоки суки - сразу проседают 4 сата просадили 12 до 10 - был в шоке честно говоря а 5ку вообще до 4 ........

[sasha181]

Если сделано как в статье, то при развале рейда или зеракала, надо остановить оба, чтоб сохранились данные, т.к. вы меняете физический винчестер.... а то потом будете в шоке ....

А что Вы имеете ввиду под остановкой? В man gvinum написано, что он не поддерживает команду stop. И где-то я встречал информацию, что его модуль даже выгрузить нельзя.

да кстате рейд разваливаиется если питание у ПК фиговое, по непонятным причинам.... не смотря на то, что диск без бедов и п.р. скорее всего связано с драйверами системы.... т.к. должна быть какая-то стабильность... и скорее всего повышается энергопотребление за счет постоянной синхронизации..... блоки суки - сразу проседают 4 сата просадили 12 до 10 - был в шоке честно говоря а 5ку вообще до 4 ........

Выходит на нагруженных серварах его вообще не стоит использовать? Я просто хочу в рейд5 положить 2-3 виртуальных jail сервера. Со временем нагрузка на них должна ощутимо возрасти. И на обоих будет mysql/ Что-то есть опасения, что 2 mysql сервера вообще его положат. Как считаете?

[ADRE]

Если сделано как в статье, то при развале рейда или зеракала, надо остановить оба, чтоб сохранились данные, т.к. вы меняете физический винчестер.... а то потом будете в шоке ....

А что Вы имеете ввиду под остановкой? В man gvinum написано, что он не поддерживает команду stop. И где-то я встречал информацию, что его модуль даже выгрузить нельзя.

Ну при проблемах с самим винчестеров он автоматически разваливается (зеркало), но работает с 1 диска, при поломки (отключения) 1 диска рейда-5(3-4 диска) тоже разваливается, но остается работать на 2-3 дисках, и т.д. т.е. работоспособность не теряется, под стоп я понимаю setstate stale, если рассматривать то, что зеркало и райд5 на 1 диске, то при физической поломке, они сразу остановятся, останется только заменить винчестер и установить через bsdlabel нужное значение фс (Vinum), потом подгрузить тотже конфиг, что и при прошлом создании и просто стартануть все разделы.... все синхрониззируется....

да кстате рейд разваливаиется если питание у ПК фиговое, по непонятным причинам.... не смотря на то, что диск без бедов и п.р. скорее всего связано с драйверами системы.... т.к. должна быть какая-то стабильность... и скорее всего повышается энергопотребление за счет постоянной синхронизации..... блоки суки - сразу проседают 4 сата просадили 12 до 10 - был в шоке честно говоря а 5ку вообще до 4 ........

Выходит на нагруженных серварах его вообще не стоит использовать? Я просто хочу в рейд5 положить 2-3 виртуальных jail сервера. Со временем нагрузка на них должна ощутимо возрасти. И на обоих будет mysql/ Что-то есть опасения, что 2 mysql сервера вообще его положат. Как считаете?

Имеется в виду что если глюки будут, то они вылезут после того как начнешь заливать на рейд информацию, т.е. практически сразу, скажем такие глюки только у настольных ПК в основном, а на заточенных серверах ни разу не наблюдалось (питание как правило хорошее у них), нагрузка роли особой не играет ), 2 mysql сервера его точно не положат ), работают на столько быстро на сколько позволяет шина.

Собирать будешь на sata2?

[sasha181]

Да на 3 sata2 диска по 500 гигов. Только там странный ньюанс. На одном канале висит два диска (мастером и слейвом). Может у меня из-за этого как раз скорость и проседает при копировании на raid5.
Я тут в соседней ветке поднял вопрос насчёт баз данных и raid5, да и погуглил немного. Решил под них гигов на 100 сделать зеркало, т.к. базы предвидятся большие и лишний раз грузить диски всё же не хочется. Ну а оставшееся место уже в raid5. А как ведёт себя raid5 после некорректного выключения во время записи? Я так понимаю что требуется fsck, после которого то, что не успело записаться теряется безвозвратно. Так?

[ADRE]

Да на 3 sata2 диска по 500 гигов. Только там странный ньюанс. На одном канале висит два диска (мастером и слейвом). Может у меня из-за этого как раз скорость и проседает при копировании на raid5.
Я тут в соседней ветке поднял вопрос насчёт баз данных и raid5, да и погуглил немного. Решил под них гигов на 100 сделать зеркало, т.к. базы предвидятся большие и лишний раз грузить диски всё же не хочется. Ну а оставшееся место уже в raid5. А как ведёт себя raid5 после некорректного выключения во время записи? Я так понимаю что требуется fsck, после которого то, что не успело записаться теряется безвозвратно. Так?

скорость проседает потому-что копируется, то с зеркала на райд, если копировать с др физических дисков или сети, то скорость ОК, да и если создавать зеркало то только на мастерах или слейвах соответственно, чтоб пропускная способность не сильно падала

[sasha181]

Копировал я с другого носителя на рейд. Cтавил систему на слейв, настраивал зеркало на мастерах и raid5 на всех 3-х дисках, ну и потом копировал cистему а raid-ы.

[ADRE]

Копировал я с другого носителя на рейд. Cтавил систему на слейв, настраивал зеркало на мастерах и raid5 на всех 3-х дисках, ну и потом копировал cистему а raid-ы.

ну должно работать, у меня с перемещаемыми профилями сеть ) - извращение конечно, у юзеров по 3-4 Гб доков, вечером ПК у всех выключаются минут 5, сервер переваривает нормально около 25 ПК, так что MySQL будет нормально работать. Файло обменник - летает