Подержка дисковых контролёров серверов HP Gen9

Решение проблем связванных с работой железа. Проблемы программно-аппаратной совместимости.
Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
Neus
майор
Сообщения: 2006
Зарегистрирован: 2008-09-08 21:59:56

Подержка дисковых контролёров серверов HP Gen9

Непрочитанное сообщение Neus » 2015-12-20 10:33:13

Dmitriy_K писал(а):
guest писал(а):От себя, добавлю, лучше вообще не брать HP'ные сервера для xBSD, Linux
А какие брэнды из числа надёжных Вы могли бы посоветовать для Unix, с аналогом ILO для удалённого управления?
ну.. все производители энтерпрайза сертифицируют свои продукты на совместимость с RHEL, SLES, Oracle Linux(оракл в принципе та же красношапка, но у него какое-то "не убиваемое" :) ядро имеется свое)
для FreeBSD в каждом релизе есть список поддерживаемого железа
---
в вашей конторе нет системного инженера что-ли?

Отправлено спустя 36 минут 15 секунд:
guest писал(а):
Neus писал(а):
undefined писал(а): ZFS поверх аппаратного рейда - ЗЛО
что вы имеете против ZFS поверх аппаратного зеркала?
какие там проблемы вылазят?
http://open-zfs.org/wiki/Hardware#Hardw ... ontrollers
читал
думаю современные контроллеры в курсе про диски с 4к сектором и умеют выравнивать свои метаданные.
да и большинство дисков энтерпрайз уровня все еще идут со стандартным 512б сектором.
единственная реальная проблема с зеркалом в неидентичности копий секторов
интересно как ZFS разрулит такую проблему при прямом управлении дисками

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

guest
проходил мимо

Подержка дисковых контролёров серверов HP Gen9

Непрочитанное сообщение guest » 2015-12-20 12:50:50

Dmitriy_K писал(а):
guest писал(а):От себя, добавлю, лучше вообще не брать HP'ные сервера для xBSD, Linux
А какие брэнды из числа надёжных Вы могли бы посоветовать для Unix, с аналогом ILO для удалённого управления?
Вопрос звучит несколько не верно, если рассматривать производителей мейнстримов и серверного
оборудования, у всех высокое качество железа: HP, IBM, Intel, Dell, Cisco, Oracle ...

Вопрос не только в качестве и надежности железа, а в возможности комплектации и сборке,
качестве поддержки, удобности выбора конфигурации, комплектации и удобстве работы
с сайтом производителя по документации и драйверам, firmware...

Отличное качество у IBM, Dell, чуть слабее у Oracle (в пору Sun - одно из лучших), Cisco.

По комплексу этих параметров + очень важный фактор ЦЕНА, многие отдают предпочтение
аналогичным продуктам от Supermicro:
- понятный сайт
- понятная документация
- легко найти софт и firmware
- легко изучить железо
- легко скомплектовать свою конфигурацию и заказать ее в России
- support работает замечательно
- следование стандартам, никакой отсебятины
- контакт с Intel, Amd, Mellanox, LSI, Adaptec...
...
Благодаря такому комплексу факторов, на Supermicro встает практически все, в отличие
от остальных, особенно HP с собственными извращениями.
IBM к сожалению отходит от производства x86, вроде отдали эту часть Lenovo, после
переориентации - перестал следить, ну и очень дорого за бренд.
Dell - отличные сервера, очень дорогие.
Intel - отличные сервера, саппорт ничего, но сайт - ужасный, кто работает и с Intel и с Supermicro,
поймет сравнение.

Разумеется, для собственной комплектации и конфигурации нужно знать и понимать
железо.

Управление - IPMI, стандарт, у Supermicro с этим все в порядке.

Верхнее, только личное мнение и ни кого и ни к чему не обязывает.

ps. Это не реклама Supermicro и не агитация за их покупку.
pps. Если посмотреть что любят переукомплектовывать и перекручивать продавцы серверного
оборудования в России - это Intel и Supermicro, перекручивать HP,Dell,IBM,Oracle - очень
геморройно и дорого.

ev
ст. лейтенант
Сообщения: 1325
Зарегистрирован: 2008-07-27 17:11:30
Откуда: Москва

Подержка дисковых контролёров серверов HP Gen9

Непрочитанное сообщение ev » 2015-12-20 15:06:49

undefined писал(а): Intel - отличные сервера, саппорт ничего, но сайт - ужасный, кто работает и с Intel и с Supermicro,
поймет сравнение.
сначала да, но если приноровиться - все довольно понятно и нормально выбирается (проверено на себе)
у супермикро тоже сайт не идеал, некоторые вещи там слабо отражены... почему не допилят его с учетом опыта использования - загадка
undefined писал(а): Управление - IPMI, стандарт, у Supermicro с этим все в порядке.
ну не совсем прмям все - есть и зависания с необходимостью ручной перезагрузки :(
про интел пока сказать не могу, пока не так много в эксплуатации

guest
проходил мимо

Подержка дисковых контролёров серверов HP Gen9

Непрочитанное сообщение guest » 2015-12-20 15:59:55

ev писал(а):
undefined писал(а): Управление - IPMI, стандарт, у Supermicro с этим все в порядке.
ну не совсем прмям все - есть и зависания с необходимостью ручной перезагрузки :(
про интел пока сказать не могу, пока не так много в эксплуатации
вероятно к счастью, но никогда ipmi не требовал перезагрузки сервера ни на одной из
моделей, а их море...

В бородатых годах, были проблемы у ipmi с шарингом irq, давно уже (5-6 лет точно) с критическими
проблемами не сталкивались.

Dmitriy_K
сержант
Сообщения: 200
Зарегистрирован: 2009-04-07 6:22:33
Откуда: г.Королёв

Подержка дисковых контролёров серверов HP Gen9

Непрочитанное сообщение Dmitriy_K » 2015-12-20 23:38:17

Ещё раз большое спасибо всем за информацию!

Общее резюме по поводу установки FreeBSD на серверах HP Proliant Gen9 получается такое.
Встроенные контролёры поддерживаются нормально, с этим проблем нет (хотя серию драйверных RAID "Bxxi" всё равно лучше не использовать). Проблема возникает только при желании использовать FreeBSD + ZFS.
Дисковые контролёры серии HP Gen9 не поддерживают режим "чистого HBA", он специфически модифицирован сложной логикой этих контролёров, которые могут производить при этом некоторые служебные операции, вступающие в конфликт с работой ZFS. Во-вторых, они не поддерживают зарузку ОС в режиме HBA, поскольку в них предусмотрена загрузка только с "логических дисков", а они создаются только в режиме "Smart Array" (RAID).
Кстати, в предыдущей серии HP Gen8 имелись контролёры, скорее всего, поддерживающие режим "чистого HBA" (H220,H221,H222). Но, в целом, они также не вполне надёжны для использования в комбинации FreeBSD + ZFS.

При необходимости использования ZFS требуется тщательный подбор дисковых контролёров из числа уже протестированных на совместимость с ZFS. Их перечень можно посмотреть здесь:
http://blog.zorinaq.com/?e=10

ZFS категорически несовместима с любыми вариантами "аппаратных контролёров" и аппаратным кэшированием. Причём необходимо учитывать, что большинство производителей не предупреждают в документации, что реализуемый в их контролёрах режим HBA, на самом деле не "чистый HBA", а модифицированный, допускающий вмешательство сложной логики контролёра в дисковые операции в HBA-режиме.
http://www.tomshardware.co.uk/forum/269 ... dware-raid
https://en.wikipedia.org/wiki/ZFS
ZFS can not fully protect the user's data when using a hardware RAID controller, as it is not able to perform the automatic self-healing unless it controls the redundancy of the disks and data. ZFS prefers direct, exclusive access to the disks, with nothing in between that interferes. If the user insists on using hardware-level RAID, the controller should be configured as JBOD mode (i.e. turn off RAID-functionality) for ZFS to be able to guarantee data integrity.
The problem is that if the underlying RAID controller detects an error it will try to do its own recovery of the data. If it's unable to do so it will declare the volume dead and it won't permit the ZFS file system to access the data in order to recover at that level.
If a drive dies (the error), you replace it and the RAID controller rebuilds the set (the recovery). But if, during the course of the rebuild, it can't read required data from one of the other surviving disks then as far as the controller is concerned the whole volume is toast.
All of this takes place below the ZFS level - the ZFS file system has no ability to control or recover from this process.
Тем более недопустимы любые варианты RAID-режимов:
http://open-zfs.org/wiki/Hardware#Hardw ... ontrollers
One might be inclined to try using single-drive RAID 0 arrays to try to use a RAID controller like a HBA, but this is not recommended for many of the reasons listed for other hardware RAID types. It is best to use a HBA instead of a RAID controller, for both performance and reliability.
С учётом этого, нам придётся отложить переход на ZFS на какое-то время. :(
Основная причина в приведённых цитатах. При возникновении сбоя на одном из дисков, контролёр и ZFS передерутся за право внести изменения в данные. По накопленному сообществом FreeBSD опыту, это приводит к полной потере данных. Ну и т.п.

Аватара пользователя
Neus
майор
Сообщения: 2006
Зарегистрирован: 2008-09-08 21:59:56

Подержка дисковых контролёров серверов HP Gen9

Непрочитанное сообщение Neus » 2015-12-21 23:07:56

А зачем откладывать?
Что мешает поставить систему на флешку и создать так вам нужный raidz, переведя контроллер в НВА режим?
У меня так OmniOS утановлена на зеркало из двух флешек, и раздаёт zvol-ы по iscsi, диски подключены к lsi hba.
--
Красиво пишите, чувствуется академическая школа, подробное исследование провели по проблематике работы ZFS на raid контроллерах.

Dmitriy_K
сержант
Сообщения: 200
Зарегистрирован: 2009-04-07 6:22:33
Откуда: г.Королёв

Подержка дисковых контролёров серверов HP Gen9

Непрочитанное сообщение Dmitriy_K » 2015-12-22 9:41:41

Да, я знаю эту схему. Причин почему не использую сейчас несколько:
1) Контролёры серии HP Smart HBA H240 - оказались не HBA контролёрами. Это RAID контролёры с какой-то собственной реализацией HBA (например, они не обеспечивают загрузку в режиме HBA). Фирма HP не даёт никаких разъяснений по этой теме (я успел им написать).
В зарубежном интернете есть рассказы о попытках использования подобных "котов в мешке". Результаты печально отрицательны. Они способны непредсказуемо производить дисковые операции в соответствии со своей логикой, что приводит к разрушению пулов ZFS. Так что не хочется производить очередной подобный эксперимент, хочется надёжно работающее решение. Можно было бы купить HBA-адаптер LSI, но это была бы новая длинная история.
2) Мне пришлось бы отлаживать надёжность загрузки системы в случае выхода из строя флешки. Можно взять две флешки и попробовать создать из них зеркало (пока не знаю как), либо настроить загрузку с них последовательно (но нужно как-то синхронизировать их содержимое). Это довольно много возни. Кроме того, моему руководству совсем не понравится вариант покупки тех же флешек в магазине, а не у HP.
-----
Пишу подробно из-за принципиальных соображений (как это принято в "интернет-сообществе"): может это кому-то окажется полезно.
Но академическая школа тоже имеется. ;-)

Аватара пользователя
Neus
майор
Сообщения: 2006
Зарегистрирован: 2008-09-08 21:59:56

Подержка дисковых контролёров серверов HP Gen9

Непрочитанное сообщение Neus » 2015-12-22 11:03:46

Dmitriy_K писал(а): 1) Контролёры серии HP Smart HBA H240 - оказались не HBA контролёрами. Это RAID контролёры с какой-то собственной реализацией HBA (например, они не обеспечивают загрузку в режиме HBA).
а он и не должен поддерживать загрузку в режиме НВА. поддержка загрузки это функция БИОС, а для этого он должен иметь в себе драйвер этого адаптера, а он в режиме НВА представляет себя как контроллер шины.
ОС, которая имеет такой драйвер, определяет что к этой шине подключены дисковые устройства.
адаптеры LSI имеют 2 прошивки - RAID и НВА (не все, у меня именно такой) их можно перепрошить, поменяв тем самым тип адаптера.
в вашем адаптере режим переключается конфигуратором - на мой взгляд это плюс :)
Dmitriy_K писал(а): 2) Мне пришлось бы отлаживать надёжность загрузки системы в случае выхода из строя флешки. Можно взять две флешки и попробовать создать из них зеркало (пока не знаю как), либо настроить загрузку с них последовательно (но нужно как-то синхронизировать их содержимое). Это довольно много возни.
никакой возни, все делается инсталлятором FreeBSD, если выбрать установку на ZFS. (размер swap указать 0, его можно сделать потом на пуле из дисков HBA).
немного возни если использовать gmirror и UFS.
можно использовать 3-4 флешки как зеркало, будет двойное-тройное резервирование, как в военке :)
Dmitriy_K писал(а): Кроме того, моему руководству совсем не понравится вариант покупки тех же флешек в магазине, а не у HP.
не все то золото что НР ;)

Dmitriy_K
сержант
Сообщения: 200
Зарегистрирован: 2009-04-07 6:22:33
Откуда: г.Королёв

Подержка дисковых контролёров серверов HP Gen9

Непрочитанное сообщение Dmitriy_K » 2015-12-22 11:55:02

Что касается, собственно, загрузки с HBA, то возможно и так (я не смог раскопать точную информацию), но я недавно читал в интернете про настройку загрузки с HBA адаптеров LSI MegaRAID (они, конечно, бывают разными), и там со скриншотами показывалось как загрузочный диск указывается в меню настроек адаптера. Там это работает как-то по другому. С учётом, того, что LSI рекомендован для использования с ZFS, я предположил, что это стандартный вариант.
"Oracle® Storage 12 Gb/s SAS PCIe RAID HBA, Internal Installation Guide"
http://docs.oracle.com/cd/E52363_01/htm ... goglm.html
Насчёт идеи с обеспечением надёжности загрузки с флешки - большое спасибо!
Конечно, это было бы переоткрыто в процессе экспериментов, но лучше знать сразу.

Единственная принципиальная сложность конкретно для моего случая жизни - неопределённость по поводу поведения адаптеров HP H240 в HBA-режиме. Вероятность получения отсроченных во времени проблем весьма велика. Насчёт этого могли бы прояснить разработчики HP, но до них не дозовёшься.

guest
проходил мимо

Подержка дисковых контролёров серверов HP Gen9

Непрочитанное сообщение guest » 2015-12-22 12:02:24

Dmitriy_K писал(а): Кроме того, моему руководству совсем не понравится вариант покупки тех же флешек в магазине, а не у HP.
свидетельство о "тесной связи" закупщика с HP.
Переорентируйтесь на Linux, лучше на сертифицированный самим HP, ибо схему закупки
и получение откатов, Вам не перебороть.

Dmitriy_K
сержант
Сообщения: 200
Зарегистрирован: 2009-04-07 6:22:33
Откуда: г.Королёв

Подержка дисковых контролёров серверов HP Gen9

Непрочитанное сообщение Dmitriy_K » 2015-12-22 12:07:30

Вообще-то, в этом руководстве http://docs.oracle.com/cd/E52363_01/htm ... 37468.html
идёт запутывающее чередование упоминаний HBA и RAID, но в конечном счёте создаётся "виртуальный диск" в виде RAID, который потом используется как "логический диск" для загрузки.
Извиняюсь, не разобрался. :pardon:
guest писал(а):схему закупки и получение откатов, Вам не перебороть.
Да, у нас корпорация, но без нормального IT. Рулят не инженеры (нормальных спецов почти нет), а менеджеры. :(

Аватара пользователя
Neus
майор
Сообщения: 2006
Зарегистрирован: 2008-09-08 21:59:56

Подержка дисковых контролёров серверов HP Gen9

Непрочитанное сообщение Neus » 2015-12-22 13:00:58

Dmitriy_K писал(а): Что касается, собственно, загрузки с HBA, то возможно и так (я не смог раскопать точную информацию), но я недавно читал в интернете про настройку загрузки с HBA адаптеров LSI MegaRAID (они, конечно, бывают разными), и там со скриншотами показывалось как загрузочный диск указывается в меню настроек адаптера. Там это работает как-то по другому. С учётом, того, что LSI рекомендован для использования с ZFS, я предположил, что это стандартный вариант.
"Oracle® Storage 12 Gb/s SAS PCIe RAID HBA, Internal Installation Guide"
http://docs.oracle.com/cd/E52363_01/htm ... goglm.html
прошу прощения, я допустил оплошность в терминологии :(
HBA это host bus adapter, а не режим работы.
режим работы называется "IT mode" (IT mode stands for "initiator target").
В этом режиме его задача обеспечить прямой транспорт (passthrough) данных к диску и обратно, без всяких кэшей.
в приведенной вами ссылке показана настройка в IR mode (integrated RAID).
отсюда и всякие виртуальные группы и прочее биос специфичные понятия на скриншотах и возможность загрузки.
-----
протестируйте на нем ZFS чем-нибудь типа iozone в цикле с пару суток :)

guest
проходил мимо

Подержка дисковых контролёров серверов HP Gen9

Непрочитанное сообщение guest » 2015-12-22 13:30:38

Dmitriy_K писал(а):Вообще-то, в этом руководстве http://docs.oracle.com/cd/E52363_01/htm ... 37468.html
идёт запутывающее чередование упоминаний HBA и RAID, но в конечном счёте создаётся "виртуальный диск" в виде RAID, который потом используется как "логический диск" для загрузки.
Извиняюсь, не разобрался. :pardon:
guest писал(а):схему закупки и получение откатов, Вам не перебороть.
Да, у нас корпорация, но без нормального IT. Рулят не инженеры (нормальных спецов почти нет), а менеджеры. :(
если производите "регулярные" закупки серверного оборудования, откажитесь от HP,
если закупки не штучные - Niagara.
Раньше был один авторизованный дистрибьютер Supermicro (или представить), Niagara и они работали
только с крупными центрами по большим заказам, но времена меняются:

http://www.supermicro.nl/wheretobuy/europe.cfm?rgn=125
http://www.niagara.ru/

merlion и depo - дорогие компании, trinity - когда-то очень хорошо работали...
Не уверен, но похоже что Ниагара стала и в розницу продавать, попробуйте связаться
и поговорить.

Dmitriy_K
сержант
Сообщения: 200
Зарегистрирован: 2009-04-07 6:22:33
Откуда: г.Королёв

Подержка дисковых контролёров серверов HP Gen9

Непрочитанное сообщение Dmitriy_K » 2015-12-22 15:11:29

Ещё раз спасибо всем за полезную информацию и возможность обсудить сложные вопросы!
А вот на forums.freebsd.org и в почтовой рассылке FreeBSD не получил ни одного ответа.
Наверное, надо было сделать себе нерусский ник. ;-)

guest
проходил мимо

Подержка дисковых контролёров серверов HP Gen9

Непрочитанное сообщение guest » 2015-12-22 17:58:34

Dmitriy_K писал(а):Ещё раз спасибо всем за полезную информацию и возможность обсудить сложные вопросы!
А вот на forums.freebsd.org и в почтовой рассылке FreeBSD не получил ни одного ответа.
Наверное, надо было сделать себе нерусский ник. ;-)
эти вопросы не раз обсуждались и расписаны в документации, в списках рассылки могли только
в freebsd-questions ответить.

Dmitriy_K
сержант
Сообщения: 200
Зарегистрирован: 2009-04-07 6:22:33
Откуда: г.Королёв

Подержка дисковых контролёров серверов HP Gen9

Непрочитанное сообщение Dmitriy_K » 2016-02-15 15:13:24

Кое-что в завершение темы (извиняюсь, что с большой задержкой).
Я тогда всё-таки смог поставить "root on ZFS" на контролёре H240ar. Мне захотелось проапгрейдить серверный БИОС, с надеждой, что в нём исправили какие-либо ошибки. Ошибка с "x2APIC" осталась, но зато стала доступной установка системы во всех вариантах в HBA-mode контролёра.
Так что часть проблем была из-за ошибок БИОС.
Прошивку для H240ar тоже пришлось обновить, поскольку пришла рассылка от HP с предупреждением о страшном глюке этого контролёра в версиях его прошивки до 3.56

Использовать "root on ZFS" я всё таки пока не стал. Подожду другого момента, когда можно будет сделать root на обычном зеркале на флэшках.