gmirror vs atacontrol (matrix) raid

Проблемы установки, настройки и работы Правильной Операционной Системы

Модератор: terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Overseer
сержант
Сообщения: 218
Зарегистрирован: 2008-03-20 23:00:42

gmirror vs atacontrol (matrix) raid

Непрочитанное сообщение Overseer » 2009-08-27 2:45:45

сервер засетапил не я, я сделал gmirror.
gmirror работает, но есть такая штука:

dmesg

Код: Выделить всё

ad18: 715404MB <WDC WD7500AAKS-00RBA0 30.04G30> at ata9-master SATA300
ad20: 715404MB <WDC WD7500AAKS-00RBA0 30.04G30> at ata10-master SATA300
ar0: 715402MB <Intel MatrixRAID RAID1> status: READY
ar0: disk0 READY (master) using ad20 at ata10-master
ar0: disk1 READY (mirror) using ad18 at ata9-master
SMP: AP CPU #1 Launched!
SMP: AP CPU #3 Launched!
SMP: AP CPU #2 Launched!
GEOM_MIRROR: Device mirror/gm0 launched (2/2).
GEOM_LABEL: Label for provider ar0s1a is ufsid/47a4b125f98bd0c7.
GEOM_LABEL: Label for provider ar0s1d is ufsid/47a4b13de75e64d7.
GEOM_LABEL: Label for provider ar0s1e is ufsid/47a4b13d41acdc55.
GEOM_LABEL: Label for provider ar0s1f is ufsid/47a4b13def47af48.
GEOM_LABEL: Label for provider ar0s1g is ufsid/47a4b13c5bcef6d2.
GEOM_LABEL: Label for provider ar0s1h is ufsid/47a4b125d1c06e09.
gmirror status

Код: Выделить всё

~> gmirror status
      Name    Status  Components
mirror/gm0  COMPLETE  ad18
                      ad20
atacontrol

Код: Выделить всё

~ ~> atacontrol status ar0
ar0: ATA RAID1 status: READY
 subdisks:
   0 ad20 ONLINE
   1 ad18 ONLINE

Код: Выделить всё

~ ~> ls /dev/mirror/*
/dev/mirror/gm0    /dev/mirror/gm0s1a /dev/mirror/gm0s1c /dev/mirror/gm0s1e /dev/mirror/gm0s1g
/dev/mirror/gm0s1  /dev/mirror/gm0s1b /dev/mirror/gm0s1d /dev/mirror/gm0s1f /dev/mirror/gm0s1h

Код: Выделить всё

~ ~> cat /etc/fstab
# Device                Mountpoint      FStype  Options         Dump    Pass#
/dev/mirror/gm0s1b              none            swap    sw              0       0
/dev/mirror/gm0s1a              /               ufs     rw,userquota,groupquota 1       1
/dev/mirror/gm0s1h              /home           ufs     rw,userquota,groupquota 2       2
/dev/mirror/gm0s1g              /tmp            ufs     rw,noexec,nosuid        2       2
/dev/mirror/gm0s1d              /usr            ufs     rw                      2       2
/dev/mirror/gm0s1e              /var            ufs     rw,noexec,nosuid        2       2
/dev/mirror/gm0s1f              /var/db         ufs     rw                      2       2
/dev/cd0                        /cdrom          cd9660  ro,noauto               0       0
proc                            /proc           procfs  rw                      0       0
linproc                         /compat/linux/proc linprocfs rw                 0       0

мм.. и как это понимать? gmirror есть и он работает, синкается,
ar0 - это собранный работающий RAID1? т.е. gmirror нафиг не нужен? 0_о

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

mvalery
рядовой
Сообщения: 39
Зарегистрирован: 2008-07-23 12:46:12

Re: gmirror vs atacontrol (matrix) raid

Непрочитанное сообщение mvalery » 2009-08-27 19:47:23

Да, gmirror нафиг не нужен.
Как говорится, ты батюшка или трусы надень или крест сними.

Возможны самые неожиданные эффекты т.к. зеркалирование ведется одновременно средствами материнки и операционки.

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35266
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: gmirror vs atacontrol (matrix) raid

Непрочитанное сообщение Alex Keda » 2009-08-28 0:19:28

mvalery писал(а):Да, gmirror нафиг не нужен.
Как говорится, ты батюшка или трусы надень или крест сними.

Возможны самые неожиданные эффекты т.к. зеркалирование ведется одновременно средствами материнки и операционки.
ar0 -это программный рейд.
так что операционка сама дважды зеркалиует =)
тоже рекомендую от чего-то одного избавиться =)
Убей их всех! Бог потом рассортирует...

Overseer
сержант
Сообщения: 218
Зарегистрирован: 2008-03-20 23:00:42

Re: gmirror vs atacontrol (matrix) raid

Непрочитанное сообщение Overseer » 2009-08-29 12:46:13

мм.. тогда вопрос такой: какой из рейдов лучше? =))
матрикс - он же тоже полусофтовый (вот же ж привычка у хостинговых компаний, сетапить все шо хош, только не то, что просят*)) )
если с гмиррором лучше/проще, то как культурно и аккуратно прибить ar0 чтобы не помер гмиррор?)

ЗЫ
*а в ДЦ Воля: брал тестовый ВДС, попросил голую фрю 7.2 с портами, засетапили голую 6.3 без портов))) :crazy: :ROFL:

mvalery
рядовой
Сообщения: 39
Зарегистрирован: 2008-07-23 12:46:12

Re: gmirror vs atacontrol (matrix) raid

Непрочитанное сообщение mvalery » 2009-08-29 13:48:17

Я за матрикс.
1. Не знаю какой объем у него железный, но всетаки;
2. Если, допустим в gmirror накроется master-диск, то запуститься с slave не удастся. В BIOS для старта прописан конкретный интерфейс.
В то время как в RAID, даже fake-Raid, неисправный диск выводится из эксплуатации, но массив остается в целом доступен, значит при перезагрузке система нормально продолжит работу.
3. На некоторых материнках gmirror у меня рассыпался. Какая-то мелкая проблема на материнке приводила к рассинхронизации. Ездил в коллокайшен, чтобы руками поднять сервер. Нервно, далеко. Мы на ответственные сервера поставили железные RAID.

Overseer
сержант
Сообщения: 218
Зарегистрирован: 2008-03-20 23:00:42

Re: gmirror vs atacontrol (matrix) raid

Непрочитанное сообщение Overseer » 2009-08-29 14:23:30

mvalery писал(а):Я за матрикс.
2. Если, допустим в gmirror накроется master-диск, то запуститься с slave не удастся. В BIOS для старта прописан конкретный интерфейс.
В то время как в RAID, даже fake-Raid, неисправный диск выводится из эксплуатации, но массив остается в целом доступен, значит при перезагрузке система нормально продолжит работу.
почему же не поднимется?

Код: Выделить всё

~> atacontrol list
ATA channel 9:
    Master: ad18 <WDC WD7500AAKS-00RBA0/30.04G30> SATA revision 2.x
    Slave:       no device present
ATA channel 10:
    Master: ad20 <WDC WD7500AAKS-00RBA0/30.04G30> SATA revision 2.x
    Slave:       no device present

Overseer
сержант
Сообщения: 218
Зарегистрирован: 2008-03-20 23:00:42

Re: gmirror vs atacontrol (matrix) raid

Непрочитанное сообщение Overseer » 2009-08-29 14:25:13

ок, если оставить матрикс, как быть с fstab?

Код: Выделить всё

~ ~> fdisk ar0
******* Working on device /dev/ar0 *******
parameters extracted from in-core disklabel are:
cylinders=91200 heads=255 sectors/track=63 (16065 blks/cyl)

Figures below won't work with BIOS for partitions not in cyl 1
parameters to be used for BIOS calculations are:
cylinders=91200 heads=255 sectors/track=63 (16065 blks/cyl)

Media sector size is 512
Warning: BIOS sector numbering starts with sector 1
Information from DOS bootblock is:
The data for partition 1 is:
sysid 165 (0xa5),(FreeBSD/NetBSD/386BSD)
    start 63, size 1465144002 (715402 Meg), flag 80 (active)
        beg: cyl 0/ head 1/ sector 1;
        end: cyl 1023/ head 254/ sector 63

~ ~> fdisk ad20
******* Working on device /dev/ad20 *******
parameters extracted from in-core disklabel are:
cylinders=1453521 heads=16 sectors/track=63 (1008 blks/cyl)

Figures below won't work with BIOS for partitions not in cyl 1
parameters to be used for BIOS calculations are:
cylinders=1453521 heads=16 sectors/track=63 (1008 blks/cyl)

Media sector size is 512
Warning: BIOS sector numbering starts with sector 1
Information from DOS bootblock is:
The data for partition 1 is:
sysid 165 (0xa5),(FreeBSD/NetBSD/386BSD)
    start 63, size 1465144002 (715402 Meg), flag 80 (active)
        beg: cyl 0/ head 1/ sector 1;
        end: cyl 1023/ head 254/ sector 63

mvalery
рядовой
Сообщения: 39
Зарегистрирован: 2008-07-23 12:46:12

Re: gmirror vs atacontrol (matrix) raid

Непрочитанное сообщение mvalery » 2009-08-29 18:30:01

почему же не поднимется?
Вопрос про зеркалирования средствами gmirror.
Допустим, у меня на материнке 2 интерфейса SATA0 и SATA1.
Я подключил к ним жесткие диски. А в BIOS указал, что стартовать буду с SATA0.
Когда FreeBSD запустится, она начнет зеркалирование на SATA1. Если испортится диск на SATA1, это не повлияет на работоспособность системы.
А вот если испортится диск на SATA0, который указан как загрузочный, то грузить будет нечего. Система не поднимется.
как быть с fstab
При наличии RAID, даже простейшего, железо предоставит нам готовый массив. В нашем случае это ar0. Вот на этот массив мы будем ставить систему и далее оперировать только с ним. То что в данном случае мы продолжаем видеть отдельные диски, только раздражает. Мне кажется, что доступ к ним можно использовать только в вредительских целях, чтобы нарушить работу массива.

Вот пример fstab с одного из моих серверов (ничего необычного):

Код: Выделить всё

# Device                Mountpoint      FStype  Options         Dump    Pass#
/dev/ar0s1b             none            swap    sw              0       0
/dev/ar0s1a             /               ufs     rw              1       1
/dev/ar0s1g             /home           ufs     rw              2       2
/dev/ar0s1d             /tmp            ufs     rw              2       2
/dev/ar0s1e             /usr            ufs     rw              2       2
/dev/ar0s1f             /var            ufs     rw              2       2
/dev/ad1s1d             /opt            ufs     rw              2       2
/dev/acd0               /cdrom          cd9660  ro,noauto       0       0

Overseer
сержант
Сообщения: 218
Зарегистрирован: 2008-03-20 23:00:42

Re: gmirror vs atacontrol (matrix) raid

Непрочитанное сообщение Overseer » 2009-08-29 22:15:46

а что будет, если загнется один винт и при этом перезагрузится фря?

http://www.citforum.ru/operating_system ... raid.shtml
16.4.3. Перестроение массивов ATA RAID1

FreeBSD позволяет вам выполнять горячую замену вышедшего из строя диска. При этом требуется, чтобы вы заметили это до перезагрузки.

mvalery
рядовой
Сообщения: 39
Зарегистрирован: 2008-07-23 12:46:12

Re: gmirror vs atacontrol (matrix) raid

Непрочитанное сообщение mvalery » 2009-08-29 22:50:16

Overseer писал(а):а что будет, если загнется один винт и при этом перезагрузится фря?

http://www.citforum.ru/operating_system ... raid.shtml
16.4.3. Перестроение массивов ATA RAID1

FreeBSD позволяет вам выполнять горячую замену вышедшего из строя диска. При этом требуется, чтобы вы заметили это до перезагрузки.
Тфу-тьфу, но пока на fake RAID такого небыло. На настоящих RAID процедура замены приблизительно такая же. Было. Менял без проблем.
Случится - расскажешь. Наиболее вероятно, если на работающем серваке не заметишь неисправный диск, то когда дашь команду перезагрузки, процесс остановится с сообщением от BIOS о том что имеется неисправный диск. И где ты среди ночи в выходной найдешь новый? (именно в это время происходят почти все неприятности)
Вывод - не доводить. Вовремя обнаруживать неисправные диски. Спокойно менять на работающем сервере. Пользователи даже не почувствуют.

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35266
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: gmirror vs atacontrol (matrix) raid

Непрочитанное сообщение Alex Keda » 2009-08-30 17:35:46

кто вам сказал что со слейва машина не забутиться?
как раз со свистом забутиться.
я на паре мест делал гмиррор из одного диска - с целью отвязаться от нумерации дисков - незнаешь куда там чего воткнут потом.
а тут всегда gm0 =)
Убей их всех! Бог потом рассортирует...

mvalery
рядовой
Сообщения: 39
Зарегистрирован: 2008-07-23 12:46:12

Re: gmirror vs atacontrol (matrix) raid

Непрочитанное сообщение mvalery » 2009-08-30 18:18:29

lissyara писал(а):кто вам сказал что со слейва машина не забутиться?
как раз со свистом забутиться.
BIOS ничего не знает про gmirror RAID. В настройках BIOS на загрузку , скажем, написано, что загружать надо с интерфейса SATA0. Или там есть исправный хард или загрузка встанет. То что на интерфейсе SATA1 висит зеркальная копия, оборудованию неведомо.
Но мы можем помочь. Если не забудем указать SATA1 в качестве альтернативного устройства, то скорее всего да, загрузится.
И это здорово, но на hard RAID и fake RAID вообще нет необходимости в каких-то дополнительных телодвижениях.
Вот на это я обращаю внимание.
lissyara писал(а): я на паре мест делал гмиррор из одного диска - с целью отвязаться от нумерации дисков - незнаешь куда там чего воткнут потом.
а тут всегда gm0 =)
Если имеется одинокий диск, то лучше воспользоваться glabel:

Код: Выделить всё

#glabel label usr /dev/ad0s1d
/etc/fstab:
/dev/label/usr   /usr  ufs  rw  1  1

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35266
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: gmirror vs atacontrol (matrix) raid

Непрочитанное сообщение Alex Keda » 2009-08-30 18:52:50

глабелом пока не занимался.
=======
а про сату - я ставлю все харды. вообще все.
никогда не знаешь откуда будешь бутиться.
Убей их всех! Бог потом рассортирует...

paix
лейтенант
Сообщения: 863
Зарегистрирован: 2007-09-24 12:41:05
Откуда: dn.ua
Контактная информация:

Re: gmirror vs atacontrol (matrix) raid

Непрочитанное сообщение paix » 2009-08-30 23:03:44

фейковые рейды это диверсия.

+1 за гмиррор.
если один диск вылетает, со второго грузится все на ура.

весьма предсказуемое решение, почти ынтерпрайз 8)

ЗЫ. на счет дц. Воля - имхо одни из самых адекватных по украине ребят.
попроси, чтобы переставили - сделают.
With best wishes, Sergej Kandyla

Аватара пользователя
iZEN
ст. лейтенант
Сообщения: 1089
Зарегистрирован: 2007-09-15 16:45:26
Контактная информация:

Re: gmirror vs atacontrol (matrix) raid

Непрочитанное сообщение iZEN » 2009-08-30 23:27:55

mvalery писал(а):Я за матрикс.
2. Если, допустим в gmirror накроется master-диск, то запуститься с slave не удастся. В BIOS для старта прописан конкретный интерфейс.
Если в BIOS указать очерёдность запуска: SATA0 -> SATA1 -> CDROM, а на второй винчестер не забыть записать загрузчик в MBR/GPT, то всё должно запуститься при выходе из строя SATA0.
GNU/Linux — это не Unix и даже никогда им не был, и, что самое смешное, никогда им не станет — GNU's Not Unix

Olax
рядовой
Сообщения: 11
Зарегистрирован: 2009-09-02 9:58:18

Re: gmirror vs atacontrol (matrix) raid

Непрочитанное сообщение Olax » 2009-09-02 10:13:23

Как при использовании gmirror опознать какой именно не работает винт?

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35266
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: gmirror vs atacontrol (matrix) raid

Непрочитанное сообщение Alex Keda » 2009-09-02 10:44:44

Код: Выделить всё

man gmirror
Убей их всех! Бог потом рассортирует...

Overseer
сержант
Сообщения: 218
Зарегистрирован: 2008-03-20 23:00:42

Re: gmirror vs atacontrol (matrix) raid

Непрочитанное сообщение Overseer » 2009-09-02 14:15:01

paix писал(а):фейковые рейды это диверсия.
мда, после бутания с ar0 загружается, потом паника и вылетает\убивается fstab + попортились некоторые файлы. gmirror рулит.
Olax писал(а):Как при использовании gmirror опознать какой именно не работает винт?
текущее состояние массива
gmirror status

список устройств и их состояние
gmirror list

смотришь State (не Flag!!!), ACTIVE - работающий, DIRTY - вылетел