Прроблемы с HBA и gmultipath

[Fomalhaut]

Есть сервер с двумя HBA-картами (/dev/isp0, /dev/isp1). К нему подключен стораж IBM FAStT600 (с двумя же контроллерами).
На сервере установлена FreeBSD 8.1-RELEASE amd64.
При попытке воспользоваться gmultipath получаю:

Код: Выделить всё

# gmultipath label -v rdst0 /dev/da0 /dev/da1
gmultipath: Unknown verb add

rdst0 создаётся, но в него входит только /dev/da0. Если изменить порядок в команде на "/dev/da1 /dev/da0", то rdst0 не создаётся, из чего я делаю вывод, что проблема именно в /dev/da1.
Заметил так же, что команды

Код: Выделить всё

# camcontrol inquiry da0 -S
# camcontrol inquiry da1 -S

выдают РАЗНЫЕ номера, хотя вроде бы должны один выдать: стораж-то один, только виден через два HBA-контроллера.
В чём может быть проблема? Проблема, вроде бы, не только у меня (вот ссылка), но решается она или нет - не понял.
P.S. По ссылке: у человека выдаётся ОДИН код на "camcontrol inquiry da1/2 -S".

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Fomalhaut]

Код: Выделить всё

# camcontrol inquiry da0 -S
1T41950130
# camcontrol inquiry da1 -S
1T42463875

Вот такие коды выдаются. Почему разные - я вообще не понимаю.

[Fomalhaut]

dmesg выдаёт следующее:

Код: Выделить всё

# dmesg | grep da0:isp0
(da0:isp0:0:0:0): READ(10). CDB: 28 0 19 73 21 ff 0 0 1 0
(da0:isp0:0:0:0): CAM status: SCSI Status Error
(da0:isp0:0:0:0): SCSI status: Check Condition
(da0:isp0:0:0:0): SCSI sense: ILLEGAL REQUEST asc:94,1 (Vendor Specific ASC)
(da0:isp0:0:0:0): READ(10). CDB: 28 0 19 73 21 ff 0 0 1 0
(da0:isp0:0:0:0): CAM status: SCSI Status Error
(da0:isp0:0:0:0): SCSI status: Check Condition
(da0:isp0:0:0:0): SCSI sense: ILLEGAL REQUEST asc:94,1 (Vendor Specific ASC)
(da0:isp0:0:0:0): READ(6)/WRITE(6) not supported, increasing minimum_cmd_size to 10.
(da0:isp0:0:0:0): READ(10). CDB: 28 0 0 0 0 80 0 0 10 0
(da0:isp0:0:0:0): CAM status: SCSI Status Error
(da0:isp0:0:0:0): SCSI status: Check Condition
(da0:isp0:0:0:0): SCSI sense: ILLEGAL REQUEST asc:94,1 (Vendor Specific ASC)
[... много ...]
(da0:isp0:0:0:0): READ(10). CDB: 28 0 0 0 0 0 0 0 1 0
(da0:isp0:0:0:0): CAM status: SCSI Status Error
(da0:isp0:0:0:0): SCSI status: Check Condition
(da0:isp0:0:0:0): SCSI sense: ILLEGAL REQUEST asc:94,1 (Vendor Specific ASC)

[Alex Keda]

ага.
вот у меня такое же.
сам-то мне советовал обновить прошивку - а чё сам не обновишь?
(руки до этого контроллера дойдут в лучшем случае через пару недель, а то и после НГ)

[Fomalhaut]

сам-то мне советовал обновить прошивку - а чё сам не обновишь?
(руки до этого контроллера дойдут в лучшем случае через пару недель, а то и после НГ)

Хм... Мне представилось, что это проблема не карты, а дисковой стойки. В смысле - не согласованность работы с картой: что-то в параметрах карты подправить, например.
В винде проблем с этими картами нет. Хотя попробую теперь карты перепрошить: скачаю последний UpdateExpress с сайта IBM.
У тебя дисковая стойка какая? И номера по camcontrol inquiry тоже выдаются разные?

[Alex Keda]

у меня контроллер с хотсваповыми дисками, не полка.
10 рейд был собран.
ошибки - может не прям такие же, но помоему вот это

Код: Выделить всё

(da0:isp0:0:0:0): CAM status: SCSI Status Error
(da0:isp0:0:0:0): SCSI status: Check Condition

постоянно повторялось

[Fomalhaut]

ошибки - может не прям такие же, но помоему вот это

Код: Выделить всё

(da0:isp0:0:0:0): CAM status: SCSI Status Error
(da0:isp0:0:0:0): SCSI status: Check Condition

постоянно повторялось

Посмотрим: первая попытка не увенчалась успехом: x345 уже не поддерживаются IBM-ом - UpdateExpress не помог. Теперь надо бутится с диска с доской и флешить вручную.

[Alex Keda]

гы-гы
я вот месяц назад скачал образа 5 дискеток
осталось тока найти 5 дискеток и полчаса времени )

[Fomalhaut]

Перепрошил HBA (1.25 -> 1.54). С сервером веселуха была вчера/сегодня.
То перепрошитые карты не виделись: точнее виделись, но detach на них. Потом скомпилированное ядро не запустилось с ошибкой в БИОСе (!), со старым - тоже самое: ребут при загрузке и ошибка в POST в NMI. И у сервера указатель ошибки горит на CPU. Замучался, пока не посоветовали просто выдернуть питание на минуту и всё. После этого оба ядра загрузились и карты перепрошитые увиделись. Правда ошибка осталась той же.
Хотелось бы пообщаться с кем-нибудь, у кого тоже по двум картам подключена дисковая стойка. Мне кажется всё таки, что проблема именно из-за того, что коды по разный сетевым разные. Может я где ошибся...

[Fomalhaut]

осталось тока найти 5 дискеток и полчаса времени )

СРАБОТАЛО!!!!!
Сменил порядок дисков - создался объединённый ресурс:

Код: Выделить всё

# gmultipath label -v rdst0 /dev/da0 /dev/da1
gmultipath: cannot clear metadata on /dev/da0: Invalid argument.
# gmultipath label -v rdst0 /dev/da1 /dev/da0
Done.
# gmultipath list
Geom name: rdst0
Providers:
1. Name: multipath/rdst0
   Mediasize: 218611580416 (204G)
   Sectorsize: 512
   Mode: r0w0e0
Consumers:
1. Name: da1
   Mediasize: 218611580928 (204G)
   Sectorsize: 512
   Mode: r0w0e0
2. Name: da0
   Mediasize: 218611580928 (204G)
   Sectorsize: 512
   Mode: r0w0e0

А ведь до обновления фирмвари и системы (сейчас 8.2-PRERELISE) менял - ничего не помогало.

[Fomalhaut]

Код: Выделить всё

# dmesg | grep GEOM_MULTIPATH
GEOM_MULTIPATH: adding da1 to rdst0/612af05d-0854-11e0-883c-0011258e011c
GEOM_MULTIPATH: da1 now active path in rdst0
GEOM_MULTIPATH: adding da0 to rdst0/612af05d-0854-11e0-883c-0011258e011c
# dmesg | grep da0
da0 at isp0 bus 0 scbus0 target 0 lun 0
da0: <IBM 1722-600 0520> Fixed Direct Access SCSI-3 device
da0: 200.000MB/s transfers WWNN 0x200600a0b8160ca8 WWPN 0x200700a0b8160ca9 PortID 0xe4
da0: Command Queueing enabled
da0: 208484MB (426975744 512 byte sectors: 255H 63S/T 26578C)
# dmesg | grep da1
da1 at isp1 bus 0 scbus1 target 0 lun 0
da1: <IBM 1722-600 0520> Fixed Direct Access SCSI-3 device
da1: 200.000MB/s transfers WWNN 0x200600a0b8160ca8 WWPN 0x200600a0b8160ca9 PortID 0xef
da1: Command Queueing enabled
da1: 208484MB (426975744 512 byte sectors: 255H 63S/T 26578C)

[leva555]

HBA Qlogic?
Как на них обновить firmware, если сервер это блейд?

[Fomalhaut]

HBA Qlogic?
Как на них обновить firmware, если сервер это блейд?

С блейдами не сталкивался, но, вероятно, надо загрузиться с CD/DVD с обновлениями. Для IBM есть UpdateExpress.

[Гость]

HBA Qlogic, истерзал весь гугл, как то плачевно с firmware, для них.

[Fomalhaut]

HBA Qlogic, истерзал весь гугл, как то плачевно с firmware, для них.

У меня тоже QLogic, но модель не вспомню - завтра на работе гляну, если не забуду.
Припоминаю, что фирмварь нашёл на сайте IBM-а, думаю, что и тебе имеет смысл поискать на сайте производителя твоего блейда.

[Al]

Сорри за некрофильство, но столкнулся с той же проблемой.
Дисковая полка IBM, на драйвере mtp два контроллера. При попытке объединить в мультипат сыпет теже ошибки про SCSI. Т.е. диск, который в стэендбае на полке, он прочитать не может.
Как решили-то?)

[Al]

Отвечу сам себе)
LSI + mpt + тип хоста HP-UX + gmultipath решают.