Страница 1 из 1
Прроблемы с HBA и gmultipath
Добавлено: 2010-12-05 23:36:19
Fomalhaut
Есть сервер с двумя
HBA-картами (
/dev/isp0,
/dev/isp1). К нему подключен стораж IBM FAStT600 (с двумя же контроллерами).
На сервере установлена
FreeBSD 8.1-RELEASE amd64.
При попытке воспользоваться gmultipath получаю:
Код: Выделить всё
# gmultipath label -v rdst0 /dev/da0 /dev/da1
gmultipath: Unknown verb add
rdst0 создаётся, но в него входит только
/dev/da0. Если изменить порядок в команде на "
/dev/da1 /dev/da0", то
rdst0 не создаётся, из чего я делаю вывод, что проблема именно в
/dev/da1.
Заметил так же, что команды
Код: Выделить всё
# camcontrol inquiry da0 -S
# camcontrol inquiry da1 -S
выдают
РАЗНЫЕ номера, хотя вроде бы должны один выдать: стораж-то один, только виден через два HBA-контроллера.
В чём может быть проблема? Проблема, вроде бы, не только у меня (
вот ссылка), но решается она или нет - не понял.
P.S. По ссылке: у человека выдаётся
ОДИН код на "
camcontrol inquiry da1/2 -S".
Re: Прроблемы с HBA и gmultipath
Добавлено: 2010-12-06 9:49:41
Fomalhaut
Код: Выделить всё
# camcontrol inquiry da0 -S
1T41950130
# camcontrol inquiry da1 -S
1T42463875
Вот такие коды выдаются. Почему разные - я вообще не понимаю.

Re: Прроблемы с HBA и gmultipath
Добавлено: 2010-12-09 12:55:05
Fomalhaut
dmesg выдаёт следующее:
Код: Выделить всё
# dmesg | grep da0:isp0
(da0:isp0:0:0:0): READ(10). CDB: 28 0 19 73 21 ff 0 0 1 0
(da0:isp0:0:0:0): CAM status: SCSI Status Error
(da0:isp0:0:0:0): SCSI status: Check Condition
(da0:isp0:0:0:0): SCSI sense: ILLEGAL REQUEST asc:94,1 (Vendor Specific ASC)
(da0:isp0:0:0:0): READ(10). CDB: 28 0 19 73 21 ff 0 0 1 0
(da0:isp0:0:0:0): CAM status: SCSI Status Error
(da0:isp0:0:0:0): SCSI status: Check Condition
(da0:isp0:0:0:0): SCSI sense: ILLEGAL REQUEST asc:94,1 (Vendor Specific ASC)
(da0:isp0:0:0:0): READ(6)/WRITE(6) not supported, increasing minimum_cmd_size to 10.
(da0:isp0:0:0:0): READ(10). CDB: 28 0 0 0 0 80 0 0 10 0
(da0:isp0:0:0:0): CAM status: SCSI Status Error
(da0:isp0:0:0:0): SCSI status: Check Condition
(da0:isp0:0:0:0): SCSI sense: ILLEGAL REQUEST asc:94,1 (Vendor Specific ASC)
[... много ...]
(da0:isp0:0:0:0): READ(10). CDB: 28 0 0 0 0 0 0 0 1 0
(da0:isp0:0:0:0): CAM status: SCSI Status Error
(da0:isp0:0:0:0): SCSI status: Check Condition
(da0:isp0:0:0:0): SCSI sense: ILLEGAL REQUEST asc:94,1 (Vendor Specific ASC)
Re: Прроблемы с HBA и gmultipath
Добавлено: 2010-12-09 21:51:13
Alex Keda
ага.
вот у меня такое же.
сам-то мне советовал обновить прошивку - а чё сам не обновишь?
(руки до этого контроллера дойдут в лучшем случае через пару недель, а то и после НГ)
Re: Прроблемы с HBA и gmultipath
Добавлено: 2010-12-10 0:53:16
Fomalhaut
Alex Keda писал(а):сам-то мне советовал обновить прошивку - а чё сам не обновишь?
(руки до этого контроллера дойдут в лучшем случае через пару недель, а то и после НГ)
Хм... Мне представилось, что это проблема не карты, а дисковой стойки. В смысле - не согласованность работы с картой: что-то в параметрах карты подправить, например.
В винде проблем с этими картами нет. Хотя попробую теперь карты перепрошить: скачаю последний UpdateExpress с сайта IBM.
У тебя дисковая стойка какая? И номера по
camcontrol inquiry тоже выдаются разные?
Re: Прроблемы с HBA и gmultipath
Добавлено: 2010-12-10 9:38:52
Alex Keda
у меня контроллер с хотсваповыми дисками, не полка.
10 рейд был собран.
ошибки - может не прям такие же, но помоему вот это
Код: Выделить всё
(da0:isp0:0:0:0): CAM status: SCSI Status Error
(da0:isp0:0:0:0): SCSI status: Check Condition
постоянно повторялось
Re: Прроблемы с HBA и gmultipath
Добавлено: 2010-12-11 12:34:51
Fomalhaut
Alex Keda писал(а):ошибки - может не прям такие же, но помоему вот это
Код: Выделить всё
(da0:isp0:0:0:0): CAM status: SCSI Status Error
(da0:isp0:0:0:0): SCSI status: Check Condition
постоянно повторялось
Посмотрим: первая попытка не увенчалась успехом: x345 уже не поддерживаются IBM-ом - UpdateExpress не помог. Теперь надо бутится с диска с доской и флешить вручную.

Re: Прроблемы с HBA и gmultipath
Добавлено: 2010-12-11 21:59:19
Alex Keda
гы-гы
я вот месяц назад скачал образа 5 дискеток
осталось тока найти 5 дискеток и полчаса времени

)
Re: Прроблемы с HBA и gmultipath
Добавлено: 2010-12-15 15:55:21
Fomalhaut
Перепрошил
HBA (1.25 -> 1.54). С сервером веселуха была вчера/сегодня.
То перепрошитые карты не виделись: точнее виделись, но
detach на них. Потом скомпилированное ядро не запустилось с ошибкой в БИОСе (!), со старым - тоже самое: ребут при загрузке и ошибка в
POST в
NMI. И у сервера указатель ошибки горит на
CPU. Замучался, пока не посоветовали просто выдернуть питание на минуту и всё. После этого оба ядра загрузились и карты перепрошитые увиделись. Правда ошибка осталась той же.

Хотелось бы пообщаться с кем-нибудь, у кого тоже по двум картам подключена дисковая стойка. Мне кажется всё таки, что проблема именно из-за того, что коды по разный сетевым разные. Может я где ошибся...
Re: Прроблемы с HBA и gmultipath
Добавлено: 2010-12-15 17:09:36
Fomalhaut
Alex Keda писал(а):осталось тока найти 5 дискеток и полчаса времени

)
СРАБОТАЛО!!!!!
Сменил порядок дисков - создался объединённый ресурс:
Код: Выделить всё
# gmultipath label -v rdst0 /dev/da0 /dev/da1
gmultipath: cannot clear metadata on /dev/da0: Invalid argument.
# gmultipath label -v rdst0 /dev/da1 /dev/da0
Done.
# gmultipath list
Geom name: rdst0
Providers:
1. Name: multipath/rdst0
Mediasize: 218611580416 (204G)
Sectorsize: 512
Mode: r0w0e0
Consumers:
1. Name: da1
Mediasize: 218611580928 (204G)
Sectorsize: 512
Mode: r0w0e0
2. Name: da0
Mediasize: 218611580928 (204G)
Sectorsize: 512
Mode: r0w0e0
А ведь до обновления фирмвари и системы (сейчас 8.2-PRERELISE) менял - ничего не помогало.
Re: Прроблемы с HBA и gmultipath
Добавлено: 2010-12-16 10:48:10
Fomalhaut
Код: Выделить всё
# dmesg | grep GEOM_MULTIPATH
GEOM_MULTIPATH: adding da1 to rdst0/612af05d-0854-11e0-883c-0011258e011c
GEOM_MULTIPATH: da1 now active path in rdst0
GEOM_MULTIPATH: adding da0 to rdst0/612af05d-0854-11e0-883c-0011258e011c
# dmesg | grep da0
da0 at isp0 bus 0 scbus0 target 0 lun 0
da0: <IBM 1722-600 0520> Fixed Direct Access SCSI-3 device
da0: 200.000MB/s transfers WWNN 0x200600a0b8160ca8 WWPN 0x200700a0b8160ca9 PortID 0xe4
da0: Command Queueing enabled
da0: 208484MB (426975744 512 byte sectors: 255H 63S/T 26578C)
# dmesg | grep da1
da1 at isp1 bus 0 scbus1 target 0 lun 0
da1: <IBM 1722-600 0520> Fixed Direct Access SCSI-3 device
da1: 200.000MB/s transfers WWNN 0x200600a0b8160ca8 WWPN 0x200600a0b8160ca9 PortID 0xef
da1: Command Queueing enabled
da1: 208484MB (426975744 512 byte sectors: 255H 63S/T 26578C)
Re: Прроблемы с HBA и gmultipath
Добавлено: 2012-03-19 20:14:27
leva555
HBA Qlogic?
Как на них обновить firmware, если сервер это блейд?
Re: Прроблемы с HBA и gmultipath
Добавлено: 2012-03-20 13:29:38
Fomalhaut
leva555 писал(а):HBA Qlogic?
Как на них обновить firmware, если сервер это блейд?
С блейдами не сталкивался, но, вероятно, надо загрузиться с CD/DVD с обновлениями. Для
IBM есть
UpdateExpress.
Re: Прроблемы с HBA и gmultipath
Добавлено: 2012-03-20 13:56:11
Гость
HBA Qlogic, истерзал весь гугл, как то плачевно с firmware, для них.
Re: Прроблемы с HBA и gmultipath
Добавлено: 2012-03-20 20:07:59
Fomalhaut
Гость писал(а):HBA Qlogic, истерзал весь гугл, как то плачевно с firmware, для них.
У меня тоже QLogic, но модель не вспомню - завтра на работе гляну, если не забуду.
Припоминаю, что фирмварь нашёл на сайте
IBM-а, думаю, что и тебе имеет смысл поискать на сайте производителя твоего блейда.
Re: Прроблемы с HBA и gmultipath
Добавлено: 2012-10-17 17:18:23
Al
Сорри за некрофильство, но столкнулся с той же проблемой.
Дисковая полка IBM, на драйвере mtp два контроллера. При попытке объединить в мультипат сыпет теже ошибки про SCSI. Т.е. диск, который в стэендбае на полке, он прочитать не может.
Как решили-то?)
Re: Прроблемы с HBA и gmultipath
Добавлено: 2012-10-18 9:13:35
Al
Отвечу сам себе)
LSI + mpt + тип хоста HP-UX + gmultipath решают.