raid mdadm centos проблема странная

[sckif]

Код: Выделить всё

Добыый день... достался сервер с рейдом которой развалился рейд зеркало, в биосе рейда постоянно стоит статус rebuild. В системе симптомы такие

Код: Выделить всё

mdadm --detail --scan --verbose /dev/md126 ARRAY /dev/md126 level=raid1 num-devices=2 container=/dev/md/imsm0 member=0 UUID=fb8550a5:7dcb965a:fda2dc66:915b5224 devices=/dev/sda

mdadm -E /dev/sda /dev/sda: Magic : Intel Raid ISM Cfg Sig. Version : 1.1.00 Orig Family : 63b9d260 Family : 63b9d260 Generation : 00040282 Attributes : All supported UUID : bf03f4e5:e9280f26:e0e58ff5:14c5a03f Checksum : 8fb1e006 correct MPB Sectors : 1 Disks : 2 RAID Devices : 1

Disk00 Serial : WD-WMAYP0DHX4F1 State : active Id : 00000000 Usable Size : 976766862 (465.76 GiB 500.10 GB)

[Volume0]: UUID : fb8550a5:7dcb965a:fda2dc66:915b5224 RAID Level : 1 Members : 2 Slots : [U_] Failed disk : 1 This Slot : 0 Array Size : 927985664 (442.50 GiB 475.13 GB) Per Dev Size : 927985928 (442.50 GiB 475.13 GB) Sector Offset : 0 Num Stripes : 3624944 Chunk Size : 64 KiB Reserved : 0 Migrate State : idle Map State : degraded Dirty State : dirty

Disk01 Serial : WMAYP0DN57DP:0 State : active failed Id : ffffffff Usable Size : 976766862 (465.76 GiB 500.10 GB)

Код: Выделить всё

mdadm -E /dev/sdb /dev/sdb: Magic : Intel Raid ISM Cfg Sig. Version : 1.1.00 Orig Family : 63b9d260 Family : 63b9d260 Generation : 000375d6 Attributes : All supported UUID : bf03f4e5:e9280f26:e0e58ff5:14c5a03f Checksum : ae93c101 correct MPB Sectors : 2 Disks : 2 RAID Devices : 1

Disk01 Serial : WD-WMAYP0DN57DP State : active Id : 00000001 Usable Size : 976766862 (465.76 GiB 500.10 GB)

[Volume0]: UUID : fb8550a5:7dcb965a:fda2dc66:915b5224 RAID Level : 1 <-- 1 Members : 2 <-- 2 Slots : [UU] <-- [U_] Failed disk : 1 This Slot : 1 (out-of-sync) Array Size : 927985664 (442.50 GiB 475.13 GB) Per Dev Size : 927985928 (442.50 GiB 475.13 GB) Sector Offset : 0 Num Stripes : 3624944 Chunk Size : 64 KiB <-- 64 KiB Reserved : 0 Migrate State : rebuild Map State : normal <-- degraded Checkpoint : 0 (512) Dirty State : clean

Disk00 Serial : WD-WMAYP0DHX4F1 State : active Id : 00000000 Usable Size : 976766862 (465.76 GiB 500.10 GB)

ну и вот остальные вещи

Код: Выделить всё

mdadm --detail /dev/md/* mdadm: /dev/md/autorebuild.pid does not appear to be an md device /dev/md/imsm0: Version : imsm Raid Level : container Total Devices : 1

Working Devices : 1

UUID : bf03f4e5:e9280f26:e0e58ff5:14c5a03f Member Arrays : /dev/md/Volume0_0

Number Major Minor RaidDevice

0 8 0 - /dev/sda mdadm: /dev/md/md127.pid does not appear to be an md device mdadm: cannot open /dev/md/md127.sock: No such device or address mdadm: /dev/md/md-device-map does not appear to be an md device /dev/md/Volume0_0: Container : /dev/md/imsm0, member 0 Raid Level : raid1 Array Size : 463992832 (442.50 GiB 475.13 GB) Used Dev Size : 463992964 (442.50 GiB 475.13 GB) Raid Devices : 2 Total Devices : 1

State : active, degraded Active Devices : 1 Working Devices : 1 Failed Devices : 0 Spare Devices : 0

UUID : fb8550a5:7dcb965a:fda2dc66:915b5224 Number Major Minor RaidDevice State 0 8 0 0 active sync /dev/sda 2 0 0 2 removed /dev/md/Volume0_0p1: Container : /dev/md/imsm0, member 0 Raid Level : raid1 Array Size : 512000 (500.08 MiB 524.29 MB) Used Dev Size : 463992964 (442.50 GiB 475.13 GB) Raid Devices : 2 Total Devices : 1

State : active, degraded Active Devices : 1 Working Devices : 1 Failed Devices : 0 Spare Devices : 0

UUID : fb8550a5:7dcb965a:fda2dc66:915b5224 Number Major Minor RaidDevice State 0 8 0 0 active sync /dev/sda 2 0 0 2 removed /dev/md/Volume0_0p2: Container : /dev/md/imsm0, member 0 Raid Level : raid1 Array Size : 16264192 (15.51 GiB 16.65 GB) Used Dev Size : unknown Raid Devices : 2 Total Devices : 1

State : active, degraded Active Devices : 1 Working Devices : 1 Failed Devices : 0 Spare Devices : 0

UUID : fb8550a5:7dcb965a:fda2dc66:915b5224 Number Major Minor RaidDevice State 0 8 0 0 active sync /dev/sda 2 0 0 2 removed /dev/md/Volume0_0p3: Container : /dev/md/imsm0, member 0 Raid Level : raid1 Array Size : 447215616 (426.50 GiB 457.95 GB) Used Dev Size : unknown Raid Devices : 2 Total Devices : 1

State : active, degraded Active Devices : 1 Working Devices : 1 Failed Devices : 0 Spare Devices : 0

UUID : fb8550a5:7dcb965a:fda2dc66:915b5224 Number Major Minor RaidDevice State 0 8 0 0 active sync /dev/sda 2 0 0 2 removed

Помогите разобраться как починить сие чудо .... при добавлении диска выдает такую неприятность.(

Код: Выделить всё

mdadm --add /dev/md126 /dev/sdb mdadm: Cannot add disks to a 'member' array, perform this operation on the parent container 

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Graf]

не пойдет?
http://linuxguru.ru/administration/voss ... -v-debian/

[sckif]

когда я вижу это у меня возникает ступор ))

Код: Выделить всё

 
mdadm --detail /dev/md126
/dev/md126:
      Container : /dev/md/imsm0, member 0
     Raid Level : raid1
     Array Size : 463992832 (442.50 GiB 475.13 GB)
  Used Dev Size : 463992964 (442.50 GiB 475.13 GB)
   Raid Devices : 2
  Total Devices : 1

          State : active, degraded
Active Devices : 1
Working Devices : 1
Failed Devices : 0
  Spare Devices : 0


           UUID : fb8550a5:7dcb965a:fda2dc66:915b5224
    Number   Major   Minor   RaidDevice State
       0       8        0        0      active sync   /dev/sda
       2       0        0        2      removed

особенно вторая часть)

Код: Выделить всё

[root@Centos6-1 ~]# cat /proc/mdstat
Personalities : [raid1]
md126 : active raid1 sda[0]
      463992832 blocks super external:/md127/0 [2/1] [U_]

md127 : inactive sda[0](S)
      3153 blocks super external:imsm

unused devices: <none>

[FiL]

блин, ведь говорили-же, или нормальный железный или полностью софтовый. Нет, народу хочется потрахаться с fakeraid-aми и потом из этого иметь попуболь.

А если по делу, то во-первых, надо все-таки получить работающий массив в биосе. Если он там не ребилдится по какой-то пичине, то надо-бы эту причину устранить и таки заребилдить массив.
А потом уже можно будет решать вопрос доступа к массиву из линукса.

Там это делается примерно так -

Код: Выделить всё

mdadm --assemble --scan

должен собрать /dev/md/imsm0 (Интеловский Матрикс Рейд), а потом

Код: Выделить всё

mdadm -I /dev/md/imsm0 

соберет из него /dev/md126, который уже будет доступен системе.

ну и таки на предмет

Код: Выделить всё

mdadm --add /dev/md126 /dev/sdb

oно ведь вполне понятно пишет, что надо не md126 использовать, а родительский массив /dev/md/imsm0.
То есть должно быть

Код: Выделить всё

mdadm /dev/md/imsm0 --add /dev/sdb

[sckif]

штука в том что он там(биосе), как раз постоянно ребилдится....бесокнечно... как понять причину по которой он постоянно ребилдится? винты точно рабочие...

mdadm --assemble --scan

Код: Выделить всё

 
mdadm: Devices UUID-fb8550a5:7dcb965a:fda2dc66:915b5224 and UUID-fb8550a5:7dcb965a:fda2dc66:915b5224 have the same name: /dev/md/Volume0
mdadm: Duplicate MD device names in conf file were found.

mdadm -I /dev/md/imsm0

Код: Выделить всё

mdadm: multiple lines in mdadm.conf match

mdadm --add /dev/md126 /dev/sdb

Код: Выделить всё

 mdadm: Cannot add disks to a 'member' array, perform this operation on the parent container

mdadm /dev/md/imsm0 --add /dev/sdb

Код: Выделить всё

mdadm: Cannot open /dev/sdb: Device or resource busy

чтобы я не делал везде натыкаюсь на невыполение команд...
а сервер критичный, потому ссыкотно все разломать...

[FiL]

Ну что там в mdadm.conf наворочено, что он на него ругается - это нам отсюда плохо видно.
И почему рейд не ребилдится - это я сказать не могу. Может таки диски не совсем рабочие, или у рейда крыша отъехала, или еще что...
В качестве смешной альтернативы могу предложить поставить винду на сторонний диск, поставить дрова для рейда и посмотреть из винды что там происходит. Обычно в винде дрова для подобных поделок получше выглядят.

P.S.Это не считая простого варианта - поставить два новых винта, начисто их замиррорить и потом перенести на них всё со старых.

[Graf]

Почти лет 5 назад обсуждали восстановление на этом же адаптере (этот ли?). Правда, чем дело кончилось не известно, но вдруг поможет.
http://www.slackware.ru/forum/viewtopic.php?f=8&t=362

И в виду истечения многолетия многое забылось, да и рейд-адапторы уже на всех серверах аппаратные стоят, потестить не начем. Но почитав
http://www.opennet.ru/tips/881_raid_lin ... rash.shtml и
http://wiki.slackware.su/wiki:od:rraid почему-то мне кажется, что в массив нужно добавлять раздел(ы), т.е.

Восстановление функционирования (rebuild) разделов диска по одному после
однократного "несмертельного" сбоя:
# mdadm -a /dev/md<0-6> /dev/sd<a-b><1-10>
например:
# mdadm -a /dev/md0 /dev/sdb1
Нужно быть аккуратным с номерами разделов
В случае ошибки, удалить компонент из RAID командой:
# mdadm -r /dev/md0 /dev/sdb1
получается не всегда - устройство может быть занято.

[sckif]

Спасибо вам большое за отзывчивость!
Смотрите какая петрушка....

mdadm -E /dev/md126

Код: Выделить всё

/dev/md126:
   MBR Magic : aa55
Partition[0] :      1024000 sectors at         2048 (type 83)
Partition[1] :     32528384 sectors at      1026048 (type 8e)
Partition[2] :    894431232 sectors at     33554432 (type 83)

mdadm -E /dev/md127

Код: Выделить всё

/dev/md127:
          Magic : Intel Raid ISM Cfg Sig.
        Version : 1.1.00
    Orig Family : 63b9d260
         Family : 63b9d260
     Generation : 0005f15e
     Attributes : All supported
           UUID : bf03f4e5:e9280f26:e0e58ff5:14c5a03f
       Checksum : 8fb3cee2 correct
    MPB Sectors : 1
          Disks : 2
   RAID Devices : 1

  Disk00 Serial : WD-WMAYP0DHX4F1
          State : active
             Id : 00000000
    Usable Size : 976766862 (465.76 GiB 500.10 GB)

[Volume0]:
           UUID : fb8550a5:7dcb965a:fda2dc66:915b5224
     RAID Level : 1
        Members : 2
          Slots : [U_]
    Failed disk : 1
      This Slot : 0
     Array Size : 927985664 (442.50 GiB 475.13 GB)
   Per Dev Size : 927985928 (442.50 GiB 475.13 GB)
  Sector Offset : 0
    Num Stripes : 3624944
     Chunk Size : 64 KiB
       Reserved : 0
  Migrate State : idle
      Map State : degraded
    Dirty State : dirty

  Disk01 Serial : WMAYP0DN57DP:0
          State : active failed
             Id : ffffffff
    Usable Size : 976766862 (465.76 GiB 500.10 GB)

mdadm -E /dev/sda

Код: Выделить всё

/dev/sda:
          Magic : Intel Raid ISM Cfg Sig.
        Version : 1.1.00
    Orig Family : 63b9d260
         Family : 63b9d260
     Generation : 0005f15e
     Attributes : All supported
           UUID : bf03f4e5:e9280f26:e0e58ff5:14c5a03f
       Checksum : 8fb3cee2 correct
    MPB Sectors : 1
          Disks : 2
   RAID Devices : 1

  Disk00 Serial : WD-WMAYP0DHX4F1
          State : active
             Id : 00000000
    Usable Size : 976766862 (465.76 GiB 500.10 GB)

[Volume0]:
           UUID : fb8550a5:7dcb965a:fda2dc66:915b5224
     RAID Level : 1
        Members : 2
          Slots : [U_]
    Failed disk : 1
      This Slot : 0
     Array Size : 927985664 (442.50 GiB 475.13 GB)
   Per Dev Size : 927985928 (442.50 GiB 475.13 GB)
  Sector Offset : 0
    Num Stripes : 3624944
     Chunk Size : 64 KiB
       Reserved : 0
  Migrate State : idle
      Map State : degraded
    Dirty State : dirty

  Disk01 Serial : WMAYP0DN57DP:0
          State : active failed
             Id : ffffffff
    Usable Size : 976766862 (465.76 GiB 500.10 GB)

mdadm -E /dev/sdb

Код: Выделить всё

/dev/sdb:
          Magic : Intel Raid ISM Cfg Sig.
        Version : 1.1.00
    Orig Family : 63b9d260
         Family : 63b9d260
     Generation : 000375d6
     Attributes : All supported
           UUID : bf03f4e5:e9280f26:e0e58ff5:14c5a03f
       Checksum : ae93c101 correct
    MPB Sectors : 2
          Disks : 2
   RAID Devices : 1

  Disk01 Serial : WD-WMAYP0DN57DP
          State : active
             Id : 00000001
    Usable Size : 976766862 (465.76 GiB 500.10 GB)

[Volume0]:
           UUID : fb8550a5:7dcb965a:fda2dc66:915b5224
     RAID Level : 1 <-- 1
        Members : 2 <-- 2
          Slots : [UU] <-- [U_]
    Failed disk : 1
      This Slot : 1 (out-of-sync)
     Array Size : 927985664 (442.50 GiB 475.13 GB)
   Per Dev Size : 927985928 (442.50 GiB 475.13 GB)
  Sector Offset : 0
    Num Stripes : 3624944
     Chunk Size : 64 KiB <-- 64 KiB
       Reserved : 0
  Migrate State : rebuild
      Map State : normal <-- degraded
     Checkpoint : 0 (512)
    Dirty State : clean

  Disk00 Serial : WD-WMAYP0DHX4F1
          State : active
             Id : 00000000
    Usable Size : 976766862 (465.76 GiB 500.10 GB)

Но очень хочется , практический совет ... эксперименты боюсь проводить, сервер боевой, выключать нельзя, терять его нельзя..)) максимум что могу с ним делать это пару перезагрузок по выходным.
Я просто реально не могу понять как 2 винчестера собранных в рейд 1(аппаратно) вдруг стали, 4 мя устроства из них 2 рейда! вообщем в голове у меня каша по этому поводу.
да с дисками ничего делать не могу , пишет что устройства заняты

[snorlov]

Блин, у вас fake контроллер, он у вас настроен в raid1 и при правильном подходе у вас в системе один диск sda..., но вы можете несмотря на этот выбор увидеть свои диски как обычные и на них тоже вогрузить через mdadm raid, результат, зеркало у вас будет ребилдить и mdadm и биос...

[sckif]

Блин, у вас fake контроллер, он у вас настроен в raid1 и при правильном подходе у вас в системе один диск sda..., но вы можете несмотря на этот выбор увидеть свои диски как обычные и на них тоже вогрузить через mdadm raid, результат, зеркало у вас будет ребилдить и mdadm и биос...

я понимаю это все ...че делать то?:) как найти правильный подход)))?) буду оч благодарен за совет)

[FiL]

Я просто реально не могу понять как 2 винчестера собранных в рейд 1(аппаратно) вдруг стали, 4 мя устроства из них 2 рейда! вообщем в голове у меня каша по этому поводу.
да с дисками ничего делать не могу , пишет что устройства заняты

1. рейд не аппаратный.
2. 2 устройства - это отдельные диски (sda и sdb). 1 устройство - контейнер (imsm0). Oстальные - это экспортируемые в систему тома фейкрейда.
3. Что вы там из этих томов наворотили и почему на них появились md-сигнатуры - это уже х.з.
Что наворочено в mdadm.conf - тоже х.з.

Что делать? Ну, похоже, пора таки звать кого-то, кто разбирается в рейдах в линуксе и в матриксе в частности. И без этого спеца ничего больше не трогать.

[sckif]

Я просто реально не могу понять как 2 винчестера собранных в рейд 1(аппаратно) вдруг стали, 4 мя устроства из них 2 рейда! вообщем в голове у меня каша по этому поводу.
да с дисками ничего делать не могу , пишет что устройства заняты

1. рейд не аппаратный.
2. 2 устройства - это отдельные диски (sda и sdb). 1 устройство - контейнер (imsm0). Oстальные - это экспортируемые в систему тома фейкрейда.
3. Что вы там из этих томов наворотили и почему на них появились md-сигнатуры - это уже х.з.
Что наворочено в mdadm.conf - тоже х.з.

Что делать? Ну, похоже, пора таки звать кого-то, кто разбирается в рейдах в линуксе и в матриксе в частности. И без этого спеца ничего больше не трогать.

нет надо искать пути решения ..человека такого нет)) как оказалось ... и здесь много народу и еще я на паре форумах задал вопрос...никто не смогог дать практического совета по решению данной головоломки...

[snorlov]

А вы сами то считаете какой должен быть ответ... Я полагаю только слить сервер на отдельный диск, после чего возвратится назад выбрав или mdadm или псевдо хардверное зеркало через биос... А так у вас сейчас получается масло масляное...

[sckif]

А вы сами то считаете какой должен быть ответ... Я полагаю только слить сервер на отдельный диск, после чего возвратится назад выбрав или mdadm или псевдо хардверное зеркало через биос... А так у вас сейчас получается масло масляное...

что получается я вижу))
в идеале, оставить бы биосный рейд...
но он ребилдится постоянно ...это пугает
если развалить биосный и оcтавить только mdadm.... не развалится ли то что есть? вот в чем вопрос...
есть и третий самый долгий и геморойный вариант....слить систему ...поставить новую и перенести... но тут оч большие временные трудозатраты...

[snorlov]

А так у вас сейчас получается масло масляное...

что получается я вижу))
в идеале, оставить бы биосный рейд...
но он ребилдится постоянно ...это пугает
если развалить биосный и оcтавить только mdadm.... не развалится ли то что есть? вот в чем вопрос...
есть и третий самый долгий и геморойный вариант....слить систему ...поставить новую и перенести... но тут оч большие временные трудозатраты...

Я вас абсалютно понимаю, особенно то, что вы сейчас в подвешенном состоянии. Неужели перенести 500 гиг данных требует много времени? По моим прикиткам часов 5-6...

[FiL]

нет надо искать пути решения ..человека такого нет)) как оказалось ... и здесь много народу и еще я на паре форумах задал вопрос...никто не смогог дать практического совета по решению данной головоломки...

Человек должен понимать те советы, которые ему дают. Ибо решений "нажми на кнопку Х и всё будет хорошо к сожалению не существует".

Неужели перенести 500 гиг данных требует много времени? По моим прикиткам часов 5-6...

На самом деле гораздо меньше. Вставить диск (можно даже через USB подключить) и залить на него всё. Потом уйти в single user и rsync-oм долить изменения. Итого - дауна минут 20.
Но проблему зеркала это не решит.

[sckif]

нет надо искать пути решения ..человека такого нет)) как оказалось ... и здесь много народу и еще я на паре форумах задал вопрос...никто не смогог дать практического совета по решению данной головоломки...

Человек должен понимать те советы, которые ему дают. Ибо решений "нажми на кнопку Х и всё будет хорошо к сожалению не существует".

Неужели перенести 500 гиг данных требует много времени? По моим прикиткам часов 5-6...

На самом деле гораздо меньше. Вставить диск (можно даже через USB подключить) и залить на него всё. Потом уйти в single user и rsync-oм долить изменения. Итого - дауна минут 20.
Но проблему зеркала это не решит.

а я и не прошу кнопку)) я спрашиваю как победить фейковый рейд)
500гиг тупо скопировать ...займет пару часов, но это просто грубо говоря бэкап ...мы же не о бэкапе говорим...

[snorlov]

а я и не прошу кнопку)) я спрашиваю как победить фейковый рейд)
500гиг тупо скопировать ...займет пару часов, но это просто грубо говоря бэкап ...мы же не о бэкапе говорим...

Метаданные от mdadm уже записались на диск, поэтому линусячее софтовое зеркало будет подыматься каждый раз при загрузке, поскольку информация о нем уже записалась в суперблок. Отсюда вывод, грохнуть поднятие софтового линусячьего зеркала просто так не получится, хотя там ничего сложного всего 512 байт, но вот чем его заполнить? Поэтому и предлагается восстановление через бэкап...

[sckif]

а я и не прошу кнопку)) я спрашиваю как победить фейковый рейд)
500гиг тупо скопировать ...займет пару часов, но это просто грубо говоря бэкап ...мы же не о бэкапе говорим...

Метаданные от mdadm уже записались на диск, поэтому линусячее софтовое зеркало будет подыматься каждый раз при загрузке, поскольку информация о нем уже записалась в суперблок. Отсюда вывод, грохнуть поднятие софтового линусячьего зеркала просто так не получится, хотя там ничего сложного всего 512 байт, но вот чем его заполнить? Поэтому и предлагается восстановление через бэкап...

я понял о чем вы ...
а что с фейковым делать который постоянно ребилдится?) поставить нормальный рейд?:)

[snorlov]

Вы читаете по-русски или как, я же говорю, у вас постоянно идет ребилд из-за того, что действуют одновременно 2-е конкурирующие технологии. Кто-то не подумав их поставил... Поэтому я и говорю сбекапить сервер и поставить его по новой используя или фейковое зеркало или mdadm...

[sckif]

Вы читаете по-русски или как, я же говорю, у вас постоянно идет ребилд из-за того, что действуют одновременно 2-е конкурирующие технологии. Кто-то не подумав их поставил... Поэтому я и говорю сбекапить сервер и поставить его по новой используя или фейковое зеркало или mdadm...

ясно спасибо..все таки оказался наихудший вариант развития событий..... думал вдруг есть др способ...((

[FiL]

Вы читаете по-русски или как, я же говорю, у вас постоянно идет ребилд из-за того, что действуют одновременно 2-е конкурирующие технологии. Кто-то не подумав их поставил... Поэтому я и говорю сбекапить сервер и поставить его по новой используя или фейковое зеркало или mdadm...

А как вы определили, что у человека именно такая ситуация? Я вот пока в этом категорически не уверен.
На всякий случай замечу, что биосовский фейкрейд таки виден системе именно как специфичный md массив. И mdadm умеет им управлять. Так что факт того, что в системе есть md-массив совсем не значит, что оно конкурирует с биосовским.

[sckif]

установил интеловский драйвер, перезагрузил все md пропали остались sda и sdb!)) 2 и 3 раздела соответственно... вот такой фокус ) похоже надо переустанавливать, в биосе ребилд)))))) что логино...