gmirror vs atacontrol (matrix) raid

[Overseer]

сервер засетапил не я, я сделал gmirror.
gmirror работает, но есть такая штука:

dmesg

Код: Выделить всё

ad18: 715404MB <WDC WD7500AAKS-00RBA0 30.04G30> at ata9-master SATA300
ad20: 715404MB <WDC WD7500AAKS-00RBA0 30.04G30> at ata10-master SATA300
ar0: 715402MB <Intel MatrixRAID RAID1> status: READY
ar0: disk0 READY (master) using ad20 at ata10-master
ar0: disk1 READY (mirror) using ad18 at ata9-master
SMP: AP CPU #1 Launched!
SMP: AP CPU #3 Launched!
SMP: AP CPU #2 Launched!
GEOM_MIRROR: Device mirror/gm0 launched (2/2).
GEOM_LABEL: Label for provider ar0s1a is ufsid/47a4b125f98bd0c7.
GEOM_LABEL: Label for provider ar0s1d is ufsid/47a4b13de75e64d7.
GEOM_LABEL: Label for provider ar0s1e is ufsid/47a4b13d41acdc55.
GEOM_LABEL: Label for provider ar0s1f is ufsid/47a4b13def47af48.
GEOM_LABEL: Label for provider ar0s1g is ufsid/47a4b13c5bcef6d2.
GEOM_LABEL: Label for provider ar0s1h is ufsid/47a4b125d1c06e09.

gmirror status

Код: Выделить всё

~> gmirror status
      Name    Status  Components
mirror/gm0  COMPLETE  ad18
                      ad20

atacontrol

Код: Выделить всё

~ ~> atacontrol status ar0
ar0: ATA RAID1 status: READY
 subdisks:
   0 ad20 ONLINE
   1 ad18 ONLINE

Код: Выделить всё

~ ~> ls /dev/mirror/*
/dev/mirror/gm0    /dev/mirror/gm0s1a /dev/mirror/gm0s1c /dev/mirror/gm0s1e /dev/mirror/gm0s1g
/dev/mirror/gm0s1  /dev/mirror/gm0s1b /dev/mirror/gm0s1d /dev/mirror/gm0s1f /dev/mirror/gm0s1h

Код: Выделить всё

~ ~> cat /etc/fstab
# Device                Mountpoint      FStype  Options         Dump    Pass#
/dev/mirror/gm0s1b              none            swap    sw              0       0
/dev/mirror/gm0s1a              /               ufs     rw,userquota,groupquota 1       1
/dev/mirror/gm0s1h              /home           ufs     rw,userquota,groupquota 2       2
/dev/mirror/gm0s1g              /tmp            ufs     rw,noexec,nosuid        2       2
/dev/mirror/gm0s1d              /usr            ufs     rw                      2       2
/dev/mirror/gm0s1e              /var            ufs     rw,noexec,nosuid        2       2
/dev/mirror/gm0s1f              /var/db         ufs     rw                      2       2
/dev/cd0                        /cdrom          cd9660  ro,noauto               0       0
proc                            /proc           procfs  rw                      0       0
linproc                         /compat/linux/proc linprocfs rw                 0       0

мм.. и как это понимать? gmirror есть и он работает, синкается,
ar0 - это собранный работающий RAID1? т.е. gmirror нафиг не нужен? 0_о

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[mvalery]

Да, gmirror нафиг не нужен.
Как говорится, ты батюшка или трусы надень или крест сними.

Возможны самые неожиданные эффекты т.к. зеркалирование ведется одновременно средствами материнки и операционки.

[Alex Keda]

Да, gmirror нафиг не нужен.
Как говорится, ты батюшка или трусы надень или крест сними.

Возможны самые неожиданные эффекты т.к. зеркалирование ведется одновременно средствами материнки и операционки.

ar0 -это программный рейд.
так что операционка сама дважды зеркалиует
тоже рекомендую от чего-то одного избавиться

[Overseer]

мм.. тогда вопрос такой: какой из рейдов лучше? )
матрикс - он же тоже полусофтовый (вот же ж привычка у хостинговых компаний, сетапить все шо хош, только не то, что просят*)) )
если с гмиррором лучше/проще, то как культурно и аккуратно прибить ar0 чтобы не помер гмиррор?)

ЗЫ
*а в ДЦ Воля: брал тестовый ВДС, попросил голую фрю 7.2 с портами, засетапили голую 6.3 без портов)))

[mvalery]

Я за матрикс.
1. Не знаю какой объем у него железный, но всетаки;
2. Если, допустим в gmirror накроется master-диск, то запуститься с slave не удастся. В BIOS для старта прописан конкретный интерфейс.
В то время как в RAID, даже fake-Raid, неисправный диск выводится из эксплуатации, но массив остается в целом доступен, значит при перезагрузке система нормально продолжит работу.
3. На некоторых материнках gmirror у меня рассыпался. Какая-то мелкая проблема на материнке приводила к рассинхронизации. Ездил в коллокайшен, чтобы руками поднять сервер. Нервно, далеко. Мы на ответственные сервера поставили железные RAID.

[Overseer]

Я за матрикс.
2. Если, допустим в gmirror накроется master-диск, то запуститься с slave не удастся. В BIOS для старта прописан конкретный интерфейс.
В то время как в RAID, даже fake-Raid, неисправный диск выводится из эксплуатации, но массив остается в целом доступен, значит при перезагрузке система нормально продолжит работу.

почему же не поднимется?

Код: Выделить всё

~> atacontrol list
ATA channel 9:
    Master: ad18 <WDC WD7500AAKS-00RBA0/30.04G30> SATA revision 2.x
    Slave:       no device present
ATA channel 10:
    Master: ad20 <WDC WD7500AAKS-00RBA0/30.04G30> SATA revision 2.x
    Slave:       no device present

[Overseer]

ок, если оставить матрикс, как быть с fstab?

Код: Выделить всё

~ ~> fdisk ar0
******* Working on device /dev/ar0 *******
parameters extracted from in-core disklabel are:
cylinders=91200 heads=255 sectors/track=63 (16065 blks/cyl)

Figures below won't work with BIOS for partitions not in cyl 1
parameters to be used for BIOS calculations are:
cylinders=91200 heads=255 sectors/track=63 (16065 blks/cyl)

Media sector size is 512
Warning: BIOS sector numbering starts with sector 1
Information from DOS bootblock is:
The data for partition 1 is:
sysid 165 (0xa5),(FreeBSD/NetBSD/386BSD)
    start 63, size 1465144002 (715402 Meg), flag 80 (active)
        beg: cyl 0/ head 1/ sector 1;
        end: cyl 1023/ head 254/ sector 63

~ ~> fdisk ad20
******* Working on device /dev/ad20 *******
parameters extracted from in-core disklabel are:
cylinders=1453521 heads=16 sectors/track=63 (1008 blks/cyl)

Figures below won't work with BIOS for partitions not in cyl 1
parameters to be used for BIOS calculations are:
cylinders=1453521 heads=16 sectors/track=63 (1008 blks/cyl)

Media sector size is 512
Warning: BIOS sector numbering starts with sector 1
Information from DOS bootblock is:
The data for partition 1 is:
sysid 165 (0xa5),(FreeBSD/NetBSD/386BSD)
    start 63, size 1465144002 (715402 Meg), flag 80 (active)
        beg: cyl 0/ head 1/ sector 1;
        end: cyl 1023/ head 254/ sector 63

[mvalery]

почему же не поднимется?

Вопрос про зеркалирования средствами gmirror.
Допустим, у меня на материнке 2 интерфейса SATA0 и SATA1.
Я подключил к ним жесткие диски. А в BIOS указал, что стартовать буду с SATA0.
Когда FreeBSD запустится, она начнет зеркалирование на SATA1. Если испортится диск на SATA1, это не повлияет на работоспособность системы.
А вот если испортится диск на SATA0, который указан как загрузочный, то грузить будет нечего. Система не поднимется.

как быть с fstab

При наличии RAID, даже простейшего, железо предоставит нам готовый массив. В нашем случае это ar0. Вот на этот массив мы будем ставить систему и далее оперировать только с ним. То что в данном случае мы продолжаем видеть отдельные диски, только раздражает. Мне кажется, что доступ к ним можно использовать только в вредительских целях, чтобы нарушить работу массива.

Вот пример fstab с одного из моих серверов (ничего необычного):

Код: Выделить всё

# Device                Mountpoint      FStype  Options         Dump    Pass#
/dev/ar0s1b             none            swap    sw              0       0
/dev/ar0s1a             /               ufs     rw              1       1
/dev/ar0s1g             /home           ufs     rw              2       2
/dev/ar0s1d             /tmp            ufs     rw              2       2
/dev/ar0s1e             /usr            ufs     rw              2       2
/dev/ar0s1f             /var            ufs     rw              2       2
/dev/ad1s1d             /opt            ufs     rw              2       2
/dev/acd0               /cdrom          cd9660  ro,noauto       0       0

[Overseer]

а что будет, если загнется один винт и при этом перезагрузится фря?

http://www.citforum.ru/operating_system ... raid.shtml

16.4.3. Перестроение массивов ATA RAID1

FreeBSD позволяет вам выполнять горячую замену вышедшего из строя диска. При этом требуется, чтобы вы заметили это до перезагрузки.

[mvalery]

а что будет, если загнется один винт и при этом перезагрузится фря?

http://www.citforum.ru/operating_system ... raid.shtml

16.4.3. Перестроение массивов ATA RAID1

FreeBSD позволяет вам выполнять горячую замену вышедшего из строя диска. При этом требуется, чтобы вы заметили это до перезагрузки.

Тфу-тьфу, но пока на fake RAID такого небыло. На настоящих RAID процедура замены приблизительно такая же. Было. Менял без проблем.
Случится - расскажешь. Наиболее вероятно, если на работающем серваке не заметишь неисправный диск, то когда дашь команду перезагрузки, процесс остановится с сообщением от BIOS о том что имеется неисправный диск. И где ты среди ночи в выходной найдешь новый? (именно в это время происходят почти все неприятности)
Вывод - не доводить. Вовремя обнаруживать неисправные диски. Спокойно менять на работающем сервере. Пользователи даже не почувствуют.

[Alex Keda]

кто вам сказал что со слейва машина не забутиться?
как раз со свистом забутиться.
я на паре мест делал гмиррор из одного диска - с целью отвязаться от нумерации дисков - незнаешь куда там чего воткнут потом.
а тут всегда gm0

[mvalery]

кто вам сказал что со слейва машина не забутиться?
как раз со свистом забутиться.

BIOS ничего не знает про gmirror RAID. В настройках BIOS на загрузку , скажем, написано, что загружать надо с интерфейса SATA0. Или там есть исправный хард или загрузка встанет. То что на интерфейсе SATA1 висит зеркальная копия, оборудованию неведомо.
Но мы можем помочь. Если не забудем указать SATA1 в качестве альтернативного устройства, то скорее всего да, загрузится.
И это здорово, но на hard RAID и fake RAID вообще нет необходимости в каких-то дополнительных телодвижениях.
Вот на это я обращаю внимание.

я на паре мест делал гмиррор из одного диска - с целью отвязаться от нумерации дисков - незнаешь куда там чего воткнут потом.
а тут всегда gm0

Если имеется одинокий диск, то лучше воспользоваться glabel:

Код: Выделить всё

#glabel label usr /dev/ad0s1d
/etc/fstab:
/dev/label/usr   /usr  ufs  rw  1  1

[Alex Keda]

глабелом пока не занимался.
=======
а про сату - я ставлю все харды. вообще все.
никогда не знаешь откуда будешь бутиться.

[paix]

фейковые рейды это диверсия.

+1 за гмиррор.
если один диск вылетает, со второго грузится все на ура.

весьма предсказуемое решение, почти ынтерпрайз

ЗЫ. на счет дц. Воля - имхо одни из самых адекватных по украине ребят.
попроси, чтобы переставили - сделают.

[iZEN]

Я за матрикс.
2. Если, допустим в gmirror накроется master-диск, то запуститься с slave не удастся. В BIOS для старта прописан конкретный интерфейс.

Если в BIOS указать очерёдность запуска: SATA0 -> SATA1 -> CDROM, а на второй винчестер не забыть записать загрузчик в MBR/GPT, то всё должно запуститься при выходе из строя SATA0.

[Olax]

Как при использовании gmirror опознать какой именно не работает винт?

[Alex Keda]

Код: Выделить всё

man gmirror

[Overseer]

фейковые рейды это диверсия.

мда, после бутания с ar0 загружается, потом паника и вылетает\убивается fstab + попортились некоторые файлы. gmirror рулит.

Как при использовании gmirror опознать какой именно не работает винт?

текущее состояние массива
gmirror status

список устройств и их состояние
gmirror list

смотришь State (не Flag!!!), ACTIVE - работающий, DIRTY - вылетел