Восстановление RAID на контроллерах 3ware
Добавлено: 2010-04-21 10:25:32
forum.lissyara.su
Добрым словом и кулаком, добьёшься больше чем одним добрым словом.
https://forum.lissyara.su/
Восстановление RAID на контроллерах 3ware
Страница 1 из 2
Re: Восстановление RAID на контроллерах 3ware
Добавлено: 2010-04-22 9:30:22
всем похую? или статья идеальна, аж написать нечего даже?
Re: Восстановление RAID на контроллерах 3ware
Добавлено: 2010-04-22 11:28:09
по поводу идеальности сложно сказать 
с первого прочтения все понятно... можно было даже опустить несколько абзацев (правда тогда уже не статья, а faq получился бы)
с первого прочтения все понятно... можно было даже опустить несколько абзацев (правда тогда уже не статья, а faq получился бы)
Re: Восстановление RAID на контроллерах 3ware
Добавлено: 2010-04-22 12:17:26
ну, оно всё просто, после раскурки
но готовой пошаговой инструкции на этот случай я не нашёл в инетах.
а ковырять работающую систему наживую - стрёмно (на тот момент и сейчас там живут мой форум и сайт, кстати)...
но готовой пошаговой инструкции на этот случай я не нашёл в инетах.
а ковырять работающую систему наживую - стрёмно (на тот момент и сейчас там живут мой форум и сайт, кстати)...
Re: Восстановление RAID на контроллерах 3ware
Добавлено: 2010-04-22 12:28:31
Кста, у нас не так давно была аналогичная фигня с 3ware...
Тоже пробовали перезагружать, но пока не удалили отвалившийся диск из raid'а, не пересканировали диски и не добавили обратно, ничего не зеркалилось само.
Хотя у меня когда-то, на старом контроллере LSI зеркало, после выдергивания и вставляния одного из винтов, автоматом начинало зеркалиться, начальство просто в осадок выпало когда увидело такое дело, после их promise'ов это было просто сказкой.
В принципе я и от 3ware ожидал такого поведения, но жизнь показала другое...
А статья дельная, главное принцип изложен и кратенько списочек команд на память
Тоже пробовали перезагружать, но пока не удалили отвалившийся диск из raid'а, не пересканировали диски и не добавили обратно, ничего не зеркалилось само.
Хотя у меня когда-то, на старом контроллере LSI зеркало, после выдергивания и вставляния одного из винтов, автоматом начинало зеркалиться, начальство просто в осадок выпало когда увидело такое дело, после их promise'ов это было просто сказкой.
В принципе я и от 3ware ожидал такого поведения, но жизнь показала другое...
А статья дельная, главное принцип изложен и кратенько списочек команд на память
Re: Восстановление RAID на контроллерах 3ware
Добавлено: 2010-04-22 12:33:02
вчера в соседнем топике обсуждали с 9000 помоему серии, у тривари можно выставить авторебилд.
это 8006-2LP - он старый очень - я с ними первый раз столкнулся лет 5 назад, помоему...
это 8006-2LP - он старый очень - я с ними первый раз столкнулся лет 5 назад, помоему...
Re: Восстановление RAID на контроллерах 3ware
Добавлено: 2010-04-22 14:16:00
я не имел ввиду что статья довольно полно описывает ситуацию, и даже после одного прочтения вопросов нетну, оно всё просто, после раскурки
но готовой пошаговой инструкции на этот случай я не нашёл в инетах.
пожелание - обобщить подобные ситуации и для других контроллеров
Re: Восстановление RAID на контроллерах 3ware
Добавлено: 2010-04-22 14:42:28
хорошо обобщается для SmartArray - просто воткните новый диск )
)Re: Восстановление RAID на контроллерах 3ware
Добавлено: 2010-04-23 8:43:35
Отличная заметка!!!
Re: Восстановление RAID на контроллерах 3ware
Добавлено: 2010-04-27 12:34:55
Статья годная. Мне понравилось.
У тебя ситуация попроще была. Но на всякий случай предупреждаю.
Если у вас вываливается диск например из 5x-6x-10(более чем из 2-х дисков) RAID
и запущен ребилд - никогда во время этой процедуры не пихайте винт на горячую.
Было пару случаев что ребилд после перезагрузки cервака автоматом пошел(или запущен руками),
и тут воткнули диск. Вероятность получить кашу из данных и нерабочую систему - 90%
У тебя ситуация попроще была. Но на всякий случай предупреждаю.
Если у вас вываливается диск например из 5x-6x-10(более чем из 2-х дисков) RAID
и запущен ребилд - никогда во время этой процедуры не пихайте винт на горячую.
Было пару случаев что ребилд после перезагрузки cервака автоматом пошел(или запущен руками),
и тут воткнули диск. Вероятность получить кашу из данных и нерабочую систему - 90%
Re: Восстановление RAID на контроллерах 3ware
Добавлено: 2010-04-28 9:38:00
Спасибо, интересно, но, к сожалению, триварей в наличии нет. На будущее буду иметь в виду.
Re: Восстановление RAID на контроллерах 3ware
Добавлено: 2010-05-06 7:51:51
дополнение к статье.
Процесс миграции с 8000 серии на 9000
(я пробовал с 8006-2LP на 9500S-4LP)
при тупой замене контроллера получаем ругань в БИОС контроллера:
Раскуривание доков и манов выявляет - DCB - это Disk Configuration Block
его надо обновить. сделать это можно тока на старом контроллере, поэтому цепляем старый, раскуриваем статью на сайте 3ware (уже на LSI)
ftp://ftp.lissyara.su/users/lissyara/3w ... 000.iso.gz
дальше просто
и всё
==============
если у вас диски монтируются не по меткам а по именам, учтите что диски вместо twed0 станут da0 (например)
Процесс миграции с 8000 серии на 9000
(я пробовал с 8006-2LP на 9500S-4LP)
при тупой замене контроллера получаем ругань в БИОС контроллера:
Код: Выделить всё
Unconverted DCBего надо обновить. сделать это можно тока на старом контроллере, поэтому цепляем старый, раскуриваем статью на сайте 3ware (уже на LSI)
образок для CD-ROM прикладываю (у меня, паравда, на современном HP тазике с SATA CDROM не нашёл его. тока на PATA.https://www.3ware.com/3warekb/ писал(а):Q14839 - How to question: I have an array on an 8000 series controller. Can I convert that array for use with the 9000 series products?
ftp://ftp.lissyara.su/users/lissyara/3w ... 000.iso.gz
дальше просто
Код: Выделить всё
d:
convert *==============
если у вас диски монтируются не по меткам а по именам, учтите что диски вместо twed0 станут da0 (например)
Re: Восстановление RAID на контроллерах 3ware
Добавлено: 2010-05-06 23:52:41
a вот про апгрейд DCB - это ценно. Может пригодиться инфа о том, что апдейтить надо на старом контроллере. В плане экономии времени, как минимум.
Re: Восстановление RAID на контроллерах 3ware
Добавлено: 2010-05-07 7:39:04
там в принципе несложно совсем, но час потратил на поиск доки, и полдня ждал пока из LSI прислали ссылку на статью - иначе найти конвертер почти нереально
Re: Восстановление RAID на контроллерах 3ware
Добавлено: 2010-05-07 12:53:57
А чего происходит при абгрейде DCB? Чего это вообще такое?
На сколько я понимаю, это какая-то информация на дисках о конфигурации массива? Просто есть несколько восьмитысячных контроллеров. Так вот думаю, может заранее выполнить эту операцию, на случай поломки.
После абгрейда DCB сохраняется ли работоспособность массива на 8000-м контроллере? Т.е. можно ли добавлять диски, ребилдить и т.д.?
Что-то не нашёл я документации по DCB. Нашёл несколько тем на форумах, но ничего внятного там нет.
На сколько я понимаю, это какая-то информация на дисках о конфигурации массива? Просто есть несколько восьмитысячных контроллеров. Так вот думаю, может заранее выполнить эту операцию, на случай поломки.
После абгрейда DCB сохраняется ли работоспособность массива на 8000-м контроллере? Т.е. можно ли добавлять диски, ребилдить и т.д.?
Что-то не нашёл я документации по DCB. Нашёл несколько тем на форумах, но ничего внятного там нет.
Re: Восстановление RAID на контроллерах 3ware
Добавлено: 2010-05-07 17:46:01
поробуйте, отпишиетсь
я не пробовал. обновлял и втыкал новый не пробуя на старом забутиться
я не пробовал. обновлял и втыкал новый не пробуя на старом забутиться
Re: Восстановление RAID на контроллерах 3ware
Добавлено: 2010-05-07 18:21:03
Код: Выделить всё
srv5# tw_cli /c0 add type=single disk=2 name=backup
Creating new unit on controller /c0 ... Done. The new unit is /c0/u1.
Naming unit /c0/u1 to [backup] ... Done.
Setting write cache = ON for the new unit ... Done.
Warning: You do not have a battery backup unit for /c0/u1 and the enabled
write cache (default) may cause data loss in the event of power failure.
srv5# Re: Восстановление RAID на контроллерах 3ware
Добавлено: 2010-10-21 18:11:46
Всем привет, помогите с проблемкой.
имею следующее
В прошлый раз пытался поменять один из дисков, но рейд не ребилдился. Долго мучился и все равно оставался DEGRADED.
Вернул старый диск, и уже не помню как отребилдил его, удалив и заново прицепив к u0.
Собственно вопрос. Как проще всего таки заменить один из винтов, потому что есть новый точно такой же?
Сейчас система живая и надолго в даун ее уводить очень бы не хотелось. Рейд подтупливает, подвисает шелл, но все данные на месте.
имею следующее
Код: Выделить всё
tw_cli /c0 show all
/c0 Driver Version = 3.70.05.001
/c0 Model = 9650SE-2LP
/c0 Available Memory = 56MB
/c0 Firmware Version = FE9X 3.08.00.016
/c0 Bios Version = BE9X 3.08.00.004
/c0 Boot Loader Version = BL9X 3.08.00.001
/c0 Serial Number = L325010A8160245
/c0 PCB Version = Rev 032
/c0 PCHIP Version = 2.00
/c0 ACHIP Version = 1.90
/c0 Number of Ports = 2
/c0 Number of Drives = 2
/c0 Number of Units = 1
/c0 Total Optimal Units = 1
/c0 Not Optimal Units = 0
/c0 JBOD Export Policy = off
/c0 Disk Spinup Policy = 1
/c0 Spinup Stagger Time Policy (sec) = 1
/c0 Auto-Carving Policy = on
/c0 Auto-Carving Size = 2048 GB
/c0 Auto-Rebuild Policy = on
/c0 Rebuild Rate = 5
/c0 Verify Rate = 5
/c0 Controller Bus Type = PCIe
/c0 Controller Bus Width = 1 lane
/c0 Controller Bus Speed = 2.5 Gbps/lane
Unit UnitType Status %RCmpl %V/I/M Stripe Size(GB) Cache AVrfy
------------------------------------------------------------------------------
u0 RAID-1 OK - - - 698.481 ON OFF
Port Status Unit Size Blocks Serial
---------------------------------------------------------------
p0 DEVICE-ERROR u0 698.63 GB 1465149168 9QK1LE1Y
p1 OK u0 698.63 GB 1465149168 9QK1LZ1N
Вернул старый диск, и уже не помню как отребилдил его, удалив и заново прицепив к u0.
Собственно вопрос. Как проще всего таки заменить один из винтов, потому что есть новый точно такой же?
Сейчас система живая и надолго в даун ее уводить очень бы не хотелось. Рейд подтупливает, подвисает шелл, но все данные на месте.
Re: Восстановление RAID на контроллерах 3ware
Добавлено: 2010-10-21 18:29:55
ровно как в статье
вынимайте p0 и меняйте
вынимайте p0 и меняйте
Re: Восстановление RAID на контроллерах 3ware
Добавлено: 2011-02-16 15:38:36
Итак имеем , 9550SXU-16ML (http://www.3ware.com/products/pdf/9550S ... 81607B.pdf)
7 HDD SATA WD 2 TB в 5-м рейде .
Внимание вопрос:
Инициализация рейда идет уже 3-и сутки , кли говорит:
%V/I/M - 54 % , это я так понимаю на сколько прошла инициализация массива , 2-е суток заливалось 6ТБ данных попутно на данный массив .
Скорость чтения жах - около 20 мегабайт в сек . Это нормально столько инициировать рейд 5 ? Скорость я так понимаю из-за инициализации такое г ?
ЗЫ заливалось в среднем 20-30 мбайт в сек (по нфсу)
7 HDD SATA WD 2 TB в 5-м рейде .
Внимание вопрос:
Инициализация рейда идет уже 3-и сутки , кли говорит:
Код: Выделить всё
root@ra0:~/tw_cli# ./tw_cli
//ra0> /c2 show
Unit UnitType Status %RCmpl %V/I/M Stripe Size(GB) Cache AVrfy
------------------------------------------------------------------------------
u0 RAID-5 INITIALIZING - 54% 256K 11175.8 ON OFF
Port Status Unit Size Blocks Serial
---------------------------------------------------------------
p0 OK u0 1.82 TB 3907029168 WD-WCAVY2325573
p1 OK u0 1.82 TB 3907029168 WD-WCAVY2401612
p2 OK u0 1.82 TB 3907029168 WD-WCAVY1921087
p3 OK u0 1.82 TB 3907029168 WD-WCAVY2391811
p4 NOT-PRESENT - - - -
p5 OK u0 1.82 TB 3907029168 WD-WMAZA1637485
p6 OK u0 1.82 TB 3907029168 WD-WCAZA2920521
p7 OK u0 1.82 TB 3907029168 WD-WCAZA2908705
p8 NOT-PRESENT - - - -
p9 NOT-PRESENT - - - -
p10 NOT-PRESENT - - - -
p11 NOT-PRESENT - - - -
p12 NOT-PRESENT - - - -
p13 NOT-PRESENT - - - -
p14 NOT-PRESENT - - - -
p15 NOT-PRESENT - Скорость чтения жах - около 20 мегабайт в сек . Это нормально столько инициировать рейд 5 ? Скорость я так понимаю из-за инициализации такое г ?
ЗЫ заливалось в среднем 20-30 мбайт в сек (по нфсу)
Re: Восстановление RAID на контроллерах 3ware
Добавлено: 2011-02-16 16:00:18
пока инициализация не закончена, нечего лить
Re: Восстановление RAID на контроллерах 3ware
Добавлено: 2011-02-16 16:12:46
Ну , уже все залил , инициирует 1% в 30 минут .... это нормально?
++ смущает:
root@ra0:~/tw_cli# cat /var/log/messages |grep -i sdb
Feb 14 20:43:19 ra0 kernel: [ 2.327274] sd 2:0:0:0: [sdb] 23437369344 512-byte logical blocks: (11.9 TB/10.9 TiB)
Feb 14 20:43:19 ra0 kernel: [ 2.327970] sd 2:0:0:0: [sdb] Write Protect is off
Feb 14 20:43:19 ra0 kernel: [ 2.328549] sd 2:0:0:0: [sdb] Write cache: enabled, read cache: disabled, doesn't support DPO or FUA
read cache: disabled - почему ? где включается?
На самом контроллере , кеш врубить можно только для записи
++ смущает:
root@ra0:~/tw_cli# cat /var/log/messages |grep -i sdb
Feb 14 20:43:19 ra0 kernel: [ 2.327274] sd 2:0:0:0: [sdb] 23437369344 512-byte logical blocks: (11.9 TB/10.9 TiB)
Feb 14 20:43:19 ra0 kernel: [ 2.327970] sd 2:0:0:0: [sdb] Write Protect is off
Feb 14 20:43:19 ra0 kernel: [ 2.328549] sd 2:0:0:0: [sdb] Write cache: enabled, read cache: disabled, doesn't support DPO or FUA
read cache: disabled - почему ? где включается?
На самом контроллере , кеш врубить можно только для записи
Re: Восстановление RAID на контроллерах 3ware
Добавлено: 2011-02-16 20:00:17
5 рейд вообще говно
Re: Восстановление RAID на контроллерах 3ware
Добавлено: 2011-02-16 23:19:58
Это да . Вот новое гамно меня только что посетило :
инициализация была уже 64 % , и вот вам на:
//ra0> /c2 show
Unit UnitType Status %RCmpl %V/I/M Stripe Size(GB) Cache AVrfy
------------------------------------------------------------------------------
u0 RAID-5 REBUILDING 0% - 256K 11175.8 OFF OFF
Port Status Unit Size Blocks Serial
---------------------------------------------------------------
p0 OK u0 1.82 TB 3907029168 WD-WCAVY2325573
p1 OK u0 1.82 TB 3907029168 WD-WCAVY2401612
p2 OK u0 1.82 TB 3907029168 WD-WCAVY1921087
p3 OK u0 1.82 TB 3907029168 WD-WCAVY2391811
p4 NOT-PRESENT - - - -
p5 DEGRADED u0 1.82 TB 3907029168 WD-WMAZA1637485
p6 OK u0 1.82 TB 3907029168 WD-WCAZA2920521
p7 OK u0 1.82 TB 3907029168 WD-WCAZA2908705
Поставил ребилдиться , ума не приложу что за гамно , диски новые . Что не так ХЗ . Питалово не выдерал
инициализация была уже 64 % , и вот вам на:
//ra0> /c2 show
Unit UnitType Status %RCmpl %V/I/M Stripe Size(GB) Cache AVrfy
------------------------------------------------------------------------------
u0 RAID-5 REBUILDING 0% - 256K 11175.8 OFF OFF
Port Status Unit Size Blocks Serial
---------------------------------------------------------------
p0 OK u0 1.82 TB 3907029168 WD-WCAVY2325573
p1 OK u0 1.82 TB 3907029168 WD-WCAVY2401612
p2 OK u0 1.82 TB 3907029168 WD-WCAVY1921087
p3 OK u0 1.82 TB 3907029168 WD-WCAVY2391811
p4 NOT-PRESENT - - - -
p5 DEGRADED u0 1.82 TB 3907029168 WD-WMAZA1637485
p6 OK u0 1.82 TB 3907029168 WD-WCAZA2920521
p7 OK u0 1.82 TB 3907029168 WD-WCAZA2908705
Поставил ребилдиться , ума не приложу что за гамно , диски новые . Что не так ХЗ . Питалово не выдерал
Re: Восстановление RAID на контроллерах 3ware
Добавлено: 2011-02-17 8:04:18
дай проинициализироваться, залил новые данные, опять синхронизация