Восстановление RAID на контроллерах 3ware
Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
- Alex Keda
- стреляли...
- Сообщения: 35465
- Зарегистрирован: 2004-10-18 14:25:19
- Откуда: Made in USSR
- Контактная информация:
Восстановление RAID на контроллерах 3ware
Убей их всех! Бог потом рассортирует...
Услуги хостинговой компании Host-Food.ru
Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/
- Alex Keda
- стреляли...
- Сообщения: 35465
- Зарегистрирован: 2004-10-18 14:25:19
- Откуда: Made in USSR
- Контактная информация:
Re: Восстановление RAID на контроллерах 3ware
всем похую? или статья идеальна, аж написать нечего даже?
Убей их всех! Бог потом рассортирует...
-
- ст. лейтенант
- Сообщения: 1325
- Зарегистрирован: 2008-07-27 17:11:30
- Откуда: Москва
Re: Восстановление RAID на контроллерах 3ware
по поводу идеальности сложно сказать
с первого прочтения все понятно... можно было даже опустить несколько абзацев (правда тогда уже не статья, а faq получился бы)
с первого прочтения все понятно... можно было даже опустить несколько абзацев (правда тогда уже не статья, а faq получился бы)
- Alex Keda
- стреляли...
- Сообщения: 35465
- Зарегистрирован: 2004-10-18 14:25:19
- Откуда: Made in USSR
- Контактная информация:
Re: Восстановление RAID на контроллерах 3ware
ну, оно всё просто, после раскурки
но готовой пошаговой инструкции на этот случай я не нашёл в инетах.
а ковырять работающую систему наживую - стрёмно (на тот момент и сейчас там живут мой форум и сайт, кстати)...
но готовой пошаговой инструкции на этот случай я не нашёл в инетах.
а ковырять работающую систему наживую - стрёмно (на тот момент и сейчас там живут мой форум и сайт, кстати)...
Убей их всех! Бог потом рассортирует...
-
- мл. сержант
- Сообщения: 78
- Зарегистрирован: 2008-11-24 12:49:11
- Откуда: Moscow
- Контактная информация:
Re: Восстановление RAID на контроллерах 3ware
Кста, у нас не так давно была аналогичная фигня с 3ware...
Тоже пробовали перезагружать, но пока не удалили отвалившийся диск из raid'а, не пересканировали диски и не добавили обратно, ничего не зеркалилось само.
Хотя у меня когда-то, на старом контроллере LSI зеркало, после выдергивания и вставляния одного из винтов, автоматом начинало зеркалиться, начальство просто в осадок выпало когда увидело такое дело, после их promise'ов это было просто сказкой.
В принципе я и от 3ware ожидал такого поведения, но жизнь показала другое...
А статья дельная, главное принцип изложен и кратенько списочек команд на память
Тоже пробовали перезагружать, но пока не удалили отвалившийся диск из raid'а, не пересканировали диски и не добавили обратно, ничего не зеркалилось само.
Хотя у меня когда-то, на старом контроллере LSI зеркало, после выдергивания и вставляния одного из винтов, автоматом начинало зеркалиться, начальство просто в осадок выпало когда увидело такое дело, после их promise'ов это было просто сказкой.
В принципе я и от 3ware ожидал такого поведения, но жизнь показала другое...
А статья дельная, главное принцип изложен и кратенько списочек команд на память
- Alex Keda
- стреляли...
- Сообщения: 35465
- Зарегистрирован: 2004-10-18 14:25:19
- Откуда: Made in USSR
- Контактная информация:
Re: Восстановление RAID на контроллерах 3ware
вчера в соседнем топике обсуждали с 9000 помоему серии, у тривари можно выставить авторебилд.
это 8006-2LP - он старый очень - я с ними первый раз столкнулся лет 5 назад, помоему...
это 8006-2LP - он старый очень - я с ними первый раз столкнулся лет 5 назад, помоему...
Убей их всех! Бог потом рассортирует...
-
- ст. лейтенант
- Сообщения: 1325
- Зарегистрирован: 2008-07-27 17:11:30
- Откуда: Москва
Re: Восстановление RAID на контроллерах 3ware
я не имел ввиду что статья довольно полно описывает ситуацию, и даже после одного прочтения вопросов нетну, оно всё просто, после раскурки
но готовой пошаговой инструкции на этот случай я не нашёл в инетах.
пожелание - обобщить подобные ситуации и для других контроллеров
- Alex Keda
- стреляли...
- Сообщения: 35465
- Зарегистрирован: 2004-10-18 14:25:19
- Откуда: Made in USSR
- Контактная информация:
Re: Восстановление RAID на контроллерах 3ware
хорошо обобщается для SmartArray - просто воткните новый диск )
Убей их всех! Бог потом рассортирует...
-
- мл. сержант
- Сообщения: 72
- Зарегистрирован: 2006-12-12 14:13:23
- Откуда: Тольятти
- Fastman
- ст. лейтенант
- Сообщения: 1236
- Зарегистрирован: 2006-07-07 10:20:38
- Откуда: Минск. РБ
Re: Восстановление RAID на контроллерах 3ware
Статья годная. Мне понравилось.
У тебя ситуация попроще была. Но на всякий случай предупреждаю.
Если у вас вываливается диск например из 5x-6x-10(более чем из 2-х дисков) RAID
и запущен ребилд - никогда во время этой процедуры не пихайте винт на горячую.
Было пару случаев что ребилд после перезагрузки cервака автоматом пошел(или запущен руками),
и тут воткнули диск. Вероятность получить кашу из данных и нерабочую систему - 90%
У тебя ситуация попроще была. Но на всякий случай предупреждаю.
Если у вас вываливается диск например из 5x-6x-10(более чем из 2-х дисков) RAID
и запущен ребилд - никогда во время этой процедуры не пихайте винт на горячую.
Было пару случаев что ребилд после перезагрузки cервака автоматом пошел(или запущен руками),
и тут воткнули диск. Вероятность получить кашу из данных и нерабочую систему - 90%
Главное в жизни здоровье и любовь, остальное я все куплю.
-
- мл. сержант
- Сообщения: 82
- Зарегистрирован: 2007-10-21 13:34:58
- Откуда: С.-Петербург
- Контактная информация:
Re: Восстановление RAID на контроллерах 3ware
Спасибо, интересно, но, к сожалению, триварей в наличии нет. На будущее буду иметь в виду.
- Alex Keda
- стреляли...
- Сообщения: 35465
- Зарегистрирован: 2004-10-18 14:25:19
- Откуда: Made in USSR
- Контактная информация:
Re: Восстановление RAID на контроллерах 3ware
дополнение к статье.
Процесс миграции с 8000 серии на 9000
(я пробовал с 8006-2LP на 9500S-4LP)
при тупой замене контроллера получаем ругань в БИОС контроллера:
Раскуривание доков и манов выявляет - DCB - это Disk Configuration Block
его надо обновить. сделать это можно тока на старом контроллере, поэтому цепляем старый, раскуриваем статью на сайте 3ware (уже на LSI)
ftp://ftp.lissyara.su/users/lissyara/3w ... 000.iso.gz
дальше просто
и всё
==============
если у вас диски монтируются не по меткам а по именам, учтите что диски вместо twed0 станут da0 (например)
Процесс миграции с 8000 серии на 9000
(я пробовал с 8006-2LP на 9500S-4LP)
при тупой замене контроллера получаем ругань в БИОС контроллера:
Код: Выделить всё
Unconverted DCB
его надо обновить. сделать это можно тока на старом контроллере, поэтому цепляем старый, раскуриваем статью на сайте 3ware (уже на LSI)
образок для CD-ROM прикладываю (у меня, паравда, на современном HP тазике с SATA CDROM не нашёл его. тока на PATA.https://www.3ware.com/3warekb/ писал(а):Q14839 - How to question: I have an array on an 8000 series controller. Can I convert that array for use with the 9000 series products?
ftp://ftp.lissyara.su/users/lissyara/3w ... 000.iso.gz
дальше просто
Код: Выделить всё
d:
convert *
==============
если у вас диски монтируются не по меткам а по именам, учтите что диски вместо twed0 станут da0 (например)
Убей их всех! Бог потом рассортирует...
-
- ст. лейтенант
- Сообщения: 1375
- Зарегистрирован: 2010-02-05 0:21:40
Re: Восстановление RAID на контроллерах 3ware
a вот про апгрейд DCB - это ценно. Может пригодиться инфа о том, что апдейтить надо на старом контроллере. В плане экономии времени, как минимум.
- Alex Keda
- стреляли...
- Сообщения: 35465
- Зарегистрирован: 2004-10-18 14:25:19
- Откуда: Made in USSR
- Контактная информация:
Re: Восстановление RAID на контроллерах 3ware
там в принципе несложно совсем, но час потратил на поиск доки, и полдня ждал пока из LSI прислали ссылку на статью - иначе найти конвертер почти нереально
Убей их всех! Бог потом рассортирует...
-
- сержант
- Сообщения: 230
- Зарегистрирован: 2008-07-21 9:35:11
Re: Восстановление RAID на контроллерах 3ware
А чего происходит при абгрейде DCB? Чего это вообще такое?
На сколько я понимаю, это какая-то информация на дисках о конфигурации массива? Просто есть несколько восьмитысячных контроллеров. Так вот думаю, может заранее выполнить эту операцию, на случай поломки.
После абгрейда DCB сохраняется ли работоспособность массива на 8000-м контроллере? Т.е. можно ли добавлять диски, ребилдить и т.д.?
Что-то не нашёл я документации по DCB. Нашёл несколько тем на форумах, но ничего внятного там нет.
На сколько я понимаю, это какая-то информация на дисках о конфигурации массива? Просто есть несколько восьмитысячных контроллеров. Так вот думаю, может заранее выполнить эту операцию, на случай поломки.
После абгрейда DCB сохраняется ли работоспособность массива на 8000-м контроллере? Т.е. можно ли добавлять диски, ребилдить и т.д.?
Что-то не нашёл я документации по DCB. Нашёл несколько тем на форумах, но ничего внятного там нет.
Измеритель верёвочками.
- Alex Keda
- стреляли...
- Сообщения: 35465
- Зарегистрирован: 2004-10-18 14:25:19
- Откуда: Made in USSR
- Контактная информация:
Re: Восстановление RAID на контроллерах 3ware
поробуйте, отпишиетсь
я не пробовал. обновлял и втыкал новый не пробуя на старом забутиться
я не пробовал. обновлял и втыкал новый не пробуя на старом забутиться
Убей их всех! Бог потом рассортирует...
- Alex Keda
- стреляли...
- Сообщения: 35465
- Зарегистрирован: 2004-10-18 14:25:19
- Откуда: Made in USSR
- Контактная информация:
Re: Восстановление RAID на контроллерах 3ware
Код: Выделить всё
srv5# tw_cli /c0 add type=single disk=2 name=backup
Creating new unit on controller /c0 ... Done. The new unit is /c0/u1.
Naming unit /c0/u1 to [backup] ... Done.
Setting write cache = ON for the new unit ... Done.
Warning: You do not have a battery backup unit for /c0/u1 and the enabled
write cache (default) may cause data loss in the event of power failure.
srv5#
Убей их всех! Бог потом рассортирует...
-
- проходил мимо
- Сообщения: 1
- Зарегистрирован: 2010-10-21 18:01:54
Re: Восстановление RAID на контроллерах 3ware
Всем привет, помогите с проблемкой.
имею следующее
В прошлый раз пытался поменять один из дисков, но рейд не ребилдился. Долго мучился и все равно оставался DEGRADED.
Вернул старый диск, и уже не помню как отребилдил его, удалив и заново прицепив к u0.
Собственно вопрос. Как проще всего таки заменить один из винтов, потому что есть новый точно такой же?
Сейчас система живая и надолго в даун ее уводить очень бы не хотелось. Рейд подтупливает, подвисает шелл, но все данные на месте.
имею следующее
Код: Выделить всё
tw_cli /c0 show all
/c0 Driver Version = 3.70.05.001
/c0 Model = 9650SE-2LP
/c0 Available Memory = 56MB
/c0 Firmware Version = FE9X 3.08.00.016
/c0 Bios Version = BE9X 3.08.00.004
/c0 Boot Loader Version = BL9X 3.08.00.001
/c0 Serial Number = L325010A8160245
/c0 PCB Version = Rev 032
/c0 PCHIP Version = 2.00
/c0 ACHIP Version = 1.90
/c0 Number of Ports = 2
/c0 Number of Drives = 2
/c0 Number of Units = 1
/c0 Total Optimal Units = 1
/c0 Not Optimal Units = 0
/c0 JBOD Export Policy = off
/c0 Disk Spinup Policy = 1
/c0 Spinup Stagger Time Policy (sec) = 1
/c0 Auto-Carving Policy = on
/c0 Auto-Carving Size = 2048 GB
/c0 Auto-Rebuild Policy = on
/c0 Rebuild Rate = 5
/c0 Verify Rate = 5
/c0 Controller Bus Type = PCIe
/c0 Controller Bus Width = 1 lane
/c0 Controller Bus Speed = 2.5 Gbps/lane
Unit UnitType Status %RCmpl %V/I/M Stripe Size(GB) Cache AVrfy
------------------------------------------------------------------------------
u0 RAID-1 OK - - - 698.481 ON OFF
Port Status Unit Size Blocks Serial
---------------------------------------------------------------
p0 DEVICE-ERROR u0 698.63 GB 1465149168 9QK1LE1Y
p1 OK u0 698.63 GB 1465149168 9QK1LZ1N
Вернул старый диск, и уже не помню как отребилдил его, удалив и заново прицепив к u0.
Собственно вопрос. Как проще всего таки заменить один из винтов, потому что есть новый точно такой же?
Сейчас система живая и надолго в даун ее уводить очень бы не хотелось. Рейд подтупливает, подвисает шелл, но все данные на месте.
- Alex Keda
- стреляли...
- Сообщения: 35465
- Зарегистрирован: 2004-10-18 14:25:19
- Откуда: Made in USSR
- Контактная информация:
Re: Восстановление RAID на контроллерах 3ware
ровно как в статье
вынимайте p0 и меняйте
вынимайте p0 и меняйте
Убей их всех! Бог потом рассортирует...
-
- рядовой
- Сообщения: 22
- Зарегистрирован: 2011-02-16 15:30:07
Re: Восстановление RAID на контроллерах 3ware
Итак имеем , 9550SXU-16ML (http://www.3ware.com/products/pdf/9550S ... 81607B.pdf)
7 HDD SATA WD 2 TB в 5-м рейде .
Внимание вопрос:
Инициализация рейда идет уже 3-и сутки , кли говорит:
%V/I/M - 54 % , это я так понимаю на сколько прошла инициализация массива , 2-е суток заливалось 6ТБ данных попутно на данный массив .
Скорость чтения жах - около 20 мегабайт в сек . Это нормально столько инициировать рейд 5 ? Скорость я так понимаю из-за инициализации такое г ?
ЗЫ заливалось в среднем 20-30 мбайт в сек (по нфсу)
7 HDD SATA WD 2 TB в 5-м рейде .
Внимание вопрос:
Инициализация рейда идет уже 3-и сутки , кли говорит:
Код: Выделить всё
root@ra0:~/tw_cli# ./tw_cli
//ra0> /c2 show
Unit UnitType Status %RCmpl %V/I/M Stripe Size(GB) Cache AVrfy
------------------------------------------------------------------------------
u0 RAID-5 INITIALIZING - 54% 256K 11175.8 ON OFF
Port Status Unit Size Blocks Serial
---------------------------------------------------------------
p0 OK u0 1.82 TB 3907029168 WD-WCAVY2325573
p1 OK u0 1.82 TB 3907029168 WD-WCAVY2401612
p2 OK u0 1.82 TB 3907029168 WD-WCAVY1921087
p3 OK u0 1.82 TB 3907029168 WD-WCAVY2391811
p4 NOT-PRESENT - - - -
p5 OK u0 1.82 TB 3907029168 WD-WMAZA1637485
p6 OK u0 1.82 TB 3907029168 WD-WCAZA2920521
p7 OK u0 1.82 TB 3907029168 WD-WCAZA2908705
p8 NOT-PRESENT - - - -
p9 NOT-PRESENT - - - -
p10 NOT-PRESENT - - - -
p11 NOT-PRESENT - - - -
p12 NOT-PRESENT - - - -
p13 NOT-PRESENT - - - -
p14 NOT-PRESENT - - - -
p15 NOT-PRESENT -
Скорость чтения жах - около 20 мегабайт в сек . Это нормально столько инициировать рейд 5 ? Скорость я так понимаю из-за инициализации такое г ?
ЗЫ заливалось в среднем 20-30 мбайт в сек (по нфсу)
- manefesto
- Группенфюррер
- Сообщения: 6934
- Зарегистрирован: 2007-07-20 8:27:30
- Откуда: Пермь
- Контактная информация:
Re: Восстановление RAID на контроллерах 3ware
пока инициализация не закончена, нечего лить
-
- рядовой
- Сообщения: 22
- Зарегистрирован: 2011-02-16 15:30:07
Re: Восстановление RAID на контроллерах 3ware
Ну , уже все залил , инициирует 1% в 30 минут .... это нормально?
++ смущает:
root@ra0:~/tw_cli# cat /var/log/messages |grep -i sdb
Feb 14 20:43:19 ra0 kernel: [ 2.327274] sd 2:0:0:0: [sdb] 23437369344 512-byte logical blocks: (11.9 TB/10.9 TiB)
Feb 14 20:43:19 ra0 kernel: [ 2.327970] sd 2:0:0:0: [sdb] Write Protect is off
Feb 14 20:43:19 ra0 kernel: [ 2.328549] sd 2:0:0:0: [sdb] Write cache: enabled, read cache: disabled, doesn't support DPO or FUA
read cache: disabled - почему ? где включается?
На самом контроллере , кеш врубить можно только для записи
++ смущает:
root@ra0:~/tw_cli# cat /var/log/messages |grep -i sdb
Feb 14 20:43:19 ra0 kernel: [ 2.327274] sd 2:0:0:0: [sdb] 23437369344 512-byte logical blocks: (11.9 TB/10.9 TiB)
Feb 14 20:43:19 ra0 kernel: [ 2.327970] sd 2:0:0:0: [sdb] Write Protect is off
Feb 14 20:43:19 ra0 kernel: [ 2.328549] sd 2:0:0:0: [sdb] Write cache: enabled, read cache: disabled, doesn't support DPO or FUA
read cache: disabled - почему ? где включается?
На самом контроллере , кеш врубить можно только для записи
- Alex Keda
- стреляли...
- Сообщения: 35465
- Зарегистрирован: 2004-10-18 14:25:19
- Откуда: Made in USSR
- Контактная информация:
Re: Восстановление RAID на контроллерах 3ware
5 рейд вообще говно
Убей их всех! Бог потом рассортирует...
-
- рядовой
- Сообщения: 22
- Зарегистрирован: 2011-02-16 15:30:07
Re: Восстановление RAID на контроллерах 3ware
Это да . Вот новое гамно меня только что посетило :
инициализация была уже 64 % , и вот вам на:
//ra0> /c2 show
Unit UnitType Status %RCmpl %V/I/M Stripe Size(GB) Cache AVrfy
------------------------------------------------------------------------------
u0 RAID-5 REBUILDING 0% - 256K 11175.8 OFF OFF
Port Status Unit Size Blocks Serial
---------------------------------------------------------------
p0 OK u0 1.82 TB 3907029168 WD-WCAVY2325573
p1 OK u0 1.82 TB 3907029168 WD-WCAVY2401612
p2 OK u0 1.82 TB 3907029168 WD-WCAVY1921087
p3 OK u0 1.82 TB 3907029168 WD-WCAVY2391811
p4 NOT-PRESENT - - - -
p5 DEGRADED u0 1.82 TB 3907029168 WD-WMAZA1637485
p6 OK u0 1.82 TB 3907029168 WD-WCAZA2920521
p7 OK u0 1.82 TB 3907029168 WD-WCAZA2908705
Поставил ребилдиться , ума не приложу что за гамно , диски новые . Что не так ХЗ . Питалово не выдерал
инициализация была уже 64 % , и вот вам на:
//ra0> /c2 show
Unit UnitType Status %RCmpl %V/I/M Stripe Size(GB) Cache AVrfy
------------------------------------------------------------------------------
u0 RAID-5 REBUILDING 0% - 256K 11175.8 OFF OFF
Port Status Unit Size Blocks Serial
---------------------------------------------------------------
p0 OK u0 1.82 TB 3907029168 WD-WCAVY2325573
p1 OK u0 1.82 TB 3907029168 WD-WCAVY2401612
p2 OK u0 1.82 TB 3907029168 WD-WCAVY1921087
p3 OK u0 1.82 TB 3907029168 WD-WCAVY2391811
p4 NOT-PRESENT - - - -
p5 DEGRADED u0 1.82 TB 3907029168 WD-WMAZA1637485
p6 OK u0 1.82 TB 3907029168 WD-WCAZA2920521
p7 OK u0 1.82 TB 3907029168 WD-WCAZA2908705
Поставил ребилдиться , ума не приложу что за гамно , диски новые . Что не так ХЗ . Питалово не выдерал
- manefesto
- Группенфюррер
- Сообщения: 6934
- Зарегистрирован: 2007-07-20 8:27:30
- Откуда: Пермь
- Контактная информация:
Re: Восстановление RAID на контроллерах 3ware
дай проинициализироваться, залил новые данные, опять синхронизация