Восстановление RAID на контроллерах 3ware

Решение проблем связванных с работой железа. Проблемы программно-аппаратной совместимости.
Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35332
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Восстановление RAID на контроллерах 3ware

Непрочитанное сообщение Alex Keda » 2010-04-21 10:25:32

http://www.lissyara.su/articles/freebsd ... re/tw_cli/
пожелания приветствуются.
это пока черновик.
Убей их всех! Бог потом рассортирует...

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35332
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Восстановление RAID на контроллерах 3ware

Непрочитанное сообщение Alex Keda » 2010-04-22 9:30:22

всем похую? или статья идеальна, аж написать нечего даже? =)
Убей их всех! Бог потом рассортирует...

ev
ст. лейтенант
Сообщения: 1325
Зарегистрирован: 2008-07-27 17:11:30
Откуда: Москва

Re: Восстановление RAID на контроллерах 3ware

Непрочитанное сообщение ev » 2010-04-22 11:28:09

по поводу идеальности сложно сказать ;)
с первого прочтения все понятно... можно было даже опустить несколько абзацев (правда тогда уже не статья, а faq получился бы)

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35332
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Восстановление RAID на контроллерах 3ware

Непрочитанное сообщение Alex Keda » 2010-04-22 12:17:26

ну, оно всё просто, после раскурки
но готовой пошаговой инструкции на этот случай я не нашёл в инетах.
а ковырять работающую систему наживую - стрёмно (на тот момент и сейчас там живут мой форум и сайт, кстати)...
Убей их всех! Бог потом рассортирует...

odiemus
мл. сержант
Сообщения: 78
Зарегистрирован: 2008-11-24 12:49:11
Откуда: Moscow
Контактная информация:

Re: Восстановление RAID на контроллерах 3ware

Непрочитанное сообщение odiemus » 2010-04-22 12:28:31

Кста, у нас не так давно была аналогичная фигня с 3ware...
Тоже пробовали перезагружать, но пока не удалили отвалившийся диск из raid'а, не пересканировали диски и не добавили обратно, ничего не зеркалилось само.
Хотя у меня когда-то, на старом контроллере LSI зеркало, после выдергивания и вставляния одного из винтов, автоматом начинало зеркалиться, начальство просто в осадок выпало когда увидело такое дело, после их promise'ов это было просто сказкой.
В принципе я и от 3ware ожидал такого поведения, но жизнь показала другое...
А статья дельная, главное принцип изложен и кратенько списочек команд на память :)

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35332
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Восстановление RAID на контроллерах 3ware

Непрочитанное сообщение Alex Keda » 2010-04-22 12:33:02

вчера в соседнем топике обсуждали с 9000 помоему серии, у тривари можно выставить авторебилд.
это 8006-2LP - он старый очень - я с ними первый раз столкнулся лет 5 назад, помоему...
Убей их всех! Бог потом рассортирует...

ev
ст. лейтенант
Сообщения: 1325
Зарегистрирован: 2008-07-27 17:11:30
Откуда: Москва

Re: Восстановление RAID на контроллерах 3ware

Непрочитанное сообщение ev » 2010-04-22 14:16:00

ну, оно всё просто, после раскурки
но готовой пошаговой инструкции на этот случай я не нашёл в инетах.
я не имел ввиду что статья довольно полно описывает ситуацию, и даже после одного прочтения вопросов нет
пожелание - обобщить подобные ситуации и для других контроллеров ;)

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35332
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Восстановление RAID на контроллерах 3ware

Непрочитанное сообщение Alex Keda » 2010-04-22 14:42:28

хорошо обобщается для SmartArray - просто воткните новый диск =))
Убей их всех! Бог потом рассортирует...

s.romanov
мл. сержант
Сообщения: 72
Зарегистрирован: 2006-12-12 14:13:23
Откуда: Тольятти

Re: Восстановление RAID на контроллерах 3ware

Непрочитанное сообщение s.romanov » 2010-04-23 8:43:35

Отличная заметка!!!
---

Аватара пользователя
Fastman
ст. лейтенант
Сообщения: 1236
Зарегистрирован: 2006-07-07 10:20:38
Откуда: Минск. РБ

Re: Восстановление RAID на контроллерах 3ware

Непрочитанное сообщение Fastman » 2010-04-27 12:34:55

Статья годная. Мне понравилось.
У тебя ситуация попроще была. Но на всякий случай предупреждаю.
Если у вас вываливается диск например из 5x-6x-10(более чем из 2-х дисков) RAID
и запущен ребилд - никогда во время этой процедуры не пихайте винт на горячую.
Было пару случаев что ребилд после перезагрузки cервака автоматом пошел(или запущен руками),
и тут воткнули диск. Вероятность получить кашу из данных и нерабочую систему - 90%
Главное в жизни здоровье и любовь, остальное я все куплю.

shlash
мл. сержант
Сообщения: 82
Зарегистрирован: 2007-10-21 13:34:58
Откуда: С.-Петербург
Контактная информация:

Re: Восстановление RAID на контроллерах 3ware

Непрочитанное сообщение shlash » 2010-04-28 9:38:00

Спасибо, интересно, но, к сожалению, триварей в наличии нет. На будущее буду иметь в виду.

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35332
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Восстановление RAID на контроллерах 3ware

Непрочитанное сообщение Alex Keda » 2010-05-06 7:51:51

дополнение к статье.
Процесс миграции с 8000 серии на 9000
(я пробовал с 8006-2LP на 9500S-4LP)
при тупой замене контроллера получаем ругань в БИОС контроллера:

Код: Выделить всё

Unconverted DCB
Раскуривание доков и манов выявляет - DCB - это Disk Configuration Block
его надо обновить. сделать это можно тока на старом контроллере, поэтому цепляем старый, раскуриваем статью на сайте 3ware (уже на LSI)
https://www.3ware.com/3warekb/ писал(а):Q14839 - How to question: I have an array on an 8000 series controller. Can I convert that array for use with the 9000 series products?
образок для CD-ROM прикладываю (у меня, паравда, на современном HP тазике с SATA CDROM не нашёл его. тока на PATA.
ftp://ftp.lissyara.su/users/lissyara/3w ... 000.iso.gz
дальше просто

Код: Выделить всё

d:
convert *
и всё =)

==============
если у вас диски монтируются не по меткам а по именам, учтите что диски вместо twed0 станут da0 (например)
Убей их всех! Бог потом рассортирует...

FiL
ст. лейтенант
Сообщения: 1370
Зарегистрирован: 2010-02-05 0:21:40

Re: Восстановление RAID на контроллерах 3ware

Непрочитанное сообщение FiL » 2010-05-06 23:52:41

a вот про апгрейд DCB - это ценно. Может пригодиться инфа о том, что апдейтить надо на старом контроллере. В плане экономии времени, как минимум.

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35332
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Восстановление RAID на контроллерах 3ware

Непрочитанное сообщение Alex Keda » 2010-05-07 7:39:04

там в принципе несложно совсем, но час потратил на поиск доки, и полдня ждал пока из LSI прислали ссылку на статью - иначе найти конвертер почти нереально
Убей их всех! Бог потом рассортирует...

Alteron
сержант
Сообщения: 230
Зарегистрирован: 2008-07-21 9:35:11

Re: Восстановление RAID на контроллерах 3ware

Непрочитанное сообщение Alteron » 2010-05-07 12:53:57

А чего происходит при абгрейде DCB? Чего это вообще такое?
На сколько я понимаю, это какая-то информация на дисках о конфигурации массива? Просто есть несколько восьмитысячных контроллеров. Так вот думаю, может заранее выполнить эту операцию, на случай поломки.
После абгрейда DCB сохраняется ли работоспособность массива на 8000-м контроллере? Т.е. можно ли добавлять диски, ребилдить и т.д.?

Что-то не нашёл я документации по DCB. Нашёл несколько тем на форумах, но ничего внятного там нет.
Измеритель верёвочками.

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35332
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Восстановление RAID на контроллерах 3ware

Непрочитанное сообщение Alex Keda » 2010-05-07 17:46:01

поробуйте, отпишиетсь
я не пробовал. обновлял и втыкал новый не пробуя на старом забутиться
Убей их всех! Бог потом рассортирует...

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35332
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Восстановление RAID на контроллерах 3ware

Непрочитанное сообщение Alex Keda » 2010-05-07 18:21:03

Код: Выделить всё

srv5# tw_cli /c0 add type=single disk=2 name=backup
Creating new unit on controller /c0 ... Done. The new unit is /c0/u1.
Naming unit /c0/u1 to [backup] ... Done.
Setting write cache = ON for the new unit ... Done.
Warning: You do not have a battery backup unit for /c0/u1 and the enabled
write cache (default) may cause data loss in the event of power failure.
srv5#      
себе на память
Убей их всех! Бог потом рассортирует...

roadracer
проходил мимо
Сообщения: 1
Зарегистрирован: 2010-10-21 18:01:54

Re: Восстановление RAID на контроллерах 3ware

Непрочитанное сообщение roadracer » 2010-10-21 18:11:46

Всем привет, помогите с проблемкой.

имею следующее

Код: Выделить всё

tw_cli /c0 show all
/c0 Driver Version = 3.70.05.001
/c0 Model = 9650SE-2LP
/c0 Available Memory = 56MB
/c0 Firmware Version = FE9X 3.08.00.016
/c0 Bios Version = BE9X 3.08.00.004
/c0 Boot Loader Version = BL9X 3.08.00.001
/c0 Serial Number = L325010A8160245
/c0 PCB Version = Rev 032
/c0 PCHIP Version = 2.00
/c0 ACHIP Version = 1.90
/c0 Number of Ports = 2
/c0 Number of Drives = 2
/c0 Number of Units = 1
/c0 Total Optimal Units = 1
/c0 Not Optimal Units = 0
/c0 JBOD Export Policy = off
/c0 Disk Spinup Policy = 1
/c0 Spinup Stagger Time Policy (sec) = 1
/c0 Auto-Carving Policy = on
/c0 Auto-Carving Size = 2048 GB
/c0 Auto-Rebuild Policy = on
/c0 Rebuild Rate = 5
/c0 Verify Rate = 5
/c0 Controller Bus Type = PCIe
/c0 Controller Bus Width = 1 lane
/c0 Controller Bus Speed = 2.5 Gbps/lane

Unit  UnitType  Status         %RCmpl  %V/I/M  Stripe  Size(GB)  Cache  AVrfy
------------------------------------------------------------------------------
u0    RAID-1    OK             -       -       -       698.481   ON     OFF

Port   Status           Unit   Size        Blocks        Serial
---------------------------------------------------------------
p0     DEVICE-ERROR     u0     698.63 GB   1465149168    9QK1LE1Y
p1     OK               u0     698.63 GB   1465149168    9QK1LZ1N
В прошлый раз пытался поменять один из дисков, но рейд не ребилдился. Долго мучился и все равно оставался DEGRADED.
Вернул старый диск, и уже не помню как отребилдил его, удалив и заново прицепив к u0.

Собственно вопрос. Как проще всего таки заменить один из винтов, потому что есть новый точно такой же?
Сейчас система живая и надолго в даун ее уводить очень бы не хотелось. Рейд подтупливает, подвисает шелл, но все данные на месте.

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35332
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Восстановление RAID на контроллерах 3ware

Непрочитанное сообщение Alex Keda » 2010-10-21 18:29:55

ровно как в статье
вынимайте p0 и меняйте
Убей их всех! Бог потом рассортирует...

arty777
рядовой
Сообщения: 22
Зарегистрирован: 2011-02-16 15:30:07

Re: Восстановление RAID на контроллерах 3ware

Непрочитанное сообщение arty777 » 2011-02-16 15:38:36

Итак имеем , 9550SXU-16ML (http://www.3ware.com/products/pdf/9550S ... 81607B.pdf)
7 HDD SATA WD 2 TB в 5-м рейде .
Внимание вопрос:

Инициализация рейда идет уже 3-и сутки , кли говорит:

Код: Выделить всё

root@ra0:~/tw_cli# ./tw_cli
//ra0> /c2 show

Unit  UnitType  Status         %RCmpl  %V/I/M  Stripe  Size(GB)  Cache  AVrfy
------------------------------------------------------------------------------
u0    RAID-5    INITIALIZING   -       54%     256K    11175.8   ON     OFF

Port   Status           Unit   Size        Blocks        Serial
---------------------------------------------------------------
p0     OK               u0     1.82 TB     3907029168    WD-WCAVY2325573
p1     OK               u0     1.82 TB     3907029168    WD-WCAVY2401612
p2     OK               u0     1.82 TB     3907029168    WD-WCAVY1921087
p3     OK               u0     1.82 TB     3907029168    WD-WCAVY2391811
p4     NOT-PRESENT      -      -           -             -
p5     OK               u0     1.82 TB     3907029168    WD-WMAZA1637485
p6     OK               u0     1.82 TB     3907029168    WD-WCAZA2920521
p7     OK               u0     1.82 TB     3907029168    WD-WCAZA2908705
p8     NOT-PRESENT      -      -           -             -
p9     NOT-PRESENT      -      -           -             -
p10    NOT-PRESENT      -      -           -             -
p11    NOT-PRESENT      -      -           -             -
p12    NOT-PRESENT      -      -           -             -
p13    NOT-PRESENT      -      -           -             -
p14    NOT-PRESENT      -      -           -             -
p15    NOT-PRESENT      -    
%V/I/M - 54 % , это я так понимаю на сколько прошла инициализация массива , 2-е суток заливалось 6ТБ данных попутно на данный массив .
Скорость чтения жах - около 20 мегабайт в сек . Это нормально столько инициировать рейд 5 ? Скорость я так понимаю из-за инициализации такое г ?

ЗЫ заливалось в среднем 20-30 мбайт в сек (по нфсу)

Аватара пользователя
manefesto
Группенфюррер
Сообщения: 6934
Зарегистрирован: 2007-07-20 8:27:30
Откуда: Пермь
Контактная информация:

Re: Восстановление RAID на контроллерах 3ware

Непрочитанное сообщение manefesto » 2011-02-16 16:00:18

пока инициализация не закончена, нечего лить
я такой яростный шо аж пиздеЦ
Изображение

arty777
рядовой
Сообщения: 22
Зарегистрирован: 2011-02-16 15:30:07

Re: Восстановление RAID на контроллерах 3ware

Непрочитанное сообщение arty777 » 2011-02-16 16:12:46

Ну , уже все залил , инициирует 1% в 30 минут .... это нормально? :)


++ смущает:

root@ra0:~/tw_cli# cat /var/log/messages |grep -i sdb
Feb 14 20:43:19 ra0 kernel: [ 2.327274] sd 2:0:0:0: [sdb] 23437369344 512-byte logical blocks: (11.9 TB/10.9 TiB)
Feb 14 20:43:19 ra0 kernel: [ 2.327970] sd 2:0:0:0: [sdb] Write Protect is off
Feb 14 20:43:19 ra0 kernel: [ 2.328549] sd 2:0:0:0: [sdb] Write cache: enabled, read cache: disabled, doesn't support DPO or FUA



read cache: disabled - почему ? где включается?
На самом контроллере , кеш врубить можно только для записи

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35332
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Восстановление RAID на контроллерах 3ware

Непрочитанное сообщение Alex Keda » 2011-02-16 20:00:17

5 рейд вообще говно
Убей их всех! Бог потом рассортирует...

arty777
рядовой
Сообщения: 22
Зарегистрирован: 2011-02-16 15:30:07

Re: Восстановление RAID на контроллерах 3ware

Непрочитанное сообщение arty777 » 2011-02-16 23:19:58

Это да . Вот новое гамно меня только что посетило :

инициализация была уже 64 % , и вот вам на:
//ra0> /c2 show

Unit UnitType Status %RCmpl %V/I/M Stripe Size(GB) Cache AVrfy
------------------------------------------------------------------------------
u0 RAID-5 REBUILDING 0% - 256K 11175.8 OFF OFF

Port Status Unit Size Blocks Serial
---------------------------------------------------------------
p0 OK u0 1.82 TB 3907029168 WD-WCAVY2325573
p1 OK u0 1.82 TB 3907029168 WD-WCAVY2401612
p2 OK u0 1.82 TB 3907029168 WD-WCAVY1921087
p3 OK u0 1.82 TB 3907029168 WD-WCAVY2391811
p4 NOT-PRESENT - - - -
p5 DEGRADED u0 1.82 TB 3907029168 WD-WMAZA1637485
p6 OK u0 1.82 TB 3907029168 WD-WCAZA2920521
p7 OK u0 1.82 TB 3907029168 WD-WCAZA2908705


Поставил ребилдиться , ума не приложу что за гамно , диски новые . Что не так ХЗ . Питалово не выдерал

Аватара пользователя
manefesto
Группенфюррер
Сообщения: 6934
Зарегистрирован: 2007-07-20 8:27:30
Откуда: Пермь
Контактная информация:

Re: Восстановление RAID на контроллерах 3ware

Непрочитанное сообщение manefesto » 2011-02-17 8:04:18

дай проинициализироваться, залил новые данные, опять синхронизация
я такой яростный шо аж пиздеЦ
Изображение