Страница 1 из 2
Подержка дисковых контролёров серверов HP Gen9
Добавлено: 2015-07-28 22:25:27
Dmitriy_K
Приветствую всех!
Кто-нибудь может подсказать поддерживаются ли во FreeBSD 10.1 новые дисковые контролёры серверов HP Gen9 (H240ar, P440ar)?
На сайте разработчиков драйвера ciss (
http://cciss.sourceforge.net/) написано, что поддерживаются. Но в документации FreeBSD (
https://www.freebsd.org/releases/10.1R/hardware.html) поддержка этих контролёров не значится .
Я попробовал задать этот вопрос на <
doc@FreeBSD.org>, но пришло сообщение, что письмо задержано антиспамом и находится у модераторов. Так что, скорее, ответа не получу.
Подержка дисковых контролёров серверов HP Gen9
Добавлено: 2015-07-29 7:48:10
vadim64
Я хз
Для Вас создал
тему
Мониторьте, что world-комьюнити скажет, может кто в курсе там
Подержка дисковых контролёров серверов HP Gen9
Добавлено: 2015-07-29 17:32:46
Dmitriy_K
Спасибо!
Я также заслал вопрос в рассылки FreeBSD по документации и железу. Пока реакции нет, валит только разный спам типа:
I need Toyota Camry 2002 / 2001 model at cheaper rat location should be in Florida
Подержка дисковых контролёров серверов HP Gen9
Добавлено: 2015-12-15 23:47:00
Dmitriy_K
Спустя довольно много времени был куплен сервер DL360 Gen9 (K8N32A).
С процессом установки операционки (FreeBSD 10.2) возникли сложности, но не там где ожидалось первоначально.
Первой проблемой стала ошибка:
Код: Выделить всё
panic: APIC: CPU with APIC ID 0 is not enabled
Порывшись в интернете, нашёл что для её устранения надо отключить в BIOS опцию процессора "x2APIC".
Странным образом, этому поводу нашлось всего несколько упоминаний:
https://forum.pfsense.org/index.php?topic=95493.0
https://groups.google.com/forum/#!topic ... X3asVx7dEk
After the first boot, the system would panic with the message "panic: APIC: CPU with APIC ID 0 is not enabled".
The kernel refused to start until x2APIC has been disabled in the BIOS.
Alternative "set hint.apic.0.disabled=1" at the loader prompt before booting the kernel.
Пришлось ехать в Дата-центр вместо установки ОС по ILO.
Но самая большая засада оказалась в другом.
ОС с установочного образа прекрасно видит контролёр H240ar (HBA mode), HDD и встроенную сетевую карту. Всё замечательно устанавливается.
Но! После перезагрузки сервер не распознаёт, что на диске установлена ОС.
Это никак не зависит от типа установки (используемой файловой системы) или доступных настроек загрузки в BIOS. (Кстати, там был выставлен режим "Legacy", поскольку хотелось бы использовать "root on ZFS").
Кто-нибудь имеет опыт как справиться с этой проблемой?
Насколько вижу по отрывкам информации в поиске, в целом FreeBSD на HP Gen9 ставится. Но не удаётся найти как именно решается моя проблема.
Подержка дисковых контролёров серверов HP Gen9
Добавлено: 2015-12-16 8:15:31
Alex Keda
В рейд переключите, вместо хост-бас-адаптера
Подержка дисковых контролёров серверов HP Gen9
Добавлено: 2015-12-16 8:35:16
Dmitriy_K
Большое спасибо!
Всё именно так фатально? Режим RAID убивает преимущества ZFS-mirror.
В любом случае мне нужен ZFS с зеркалированием. Но у меня как-то нет полной уверенности, что зеркало RAID1 + ZFS будет таким же надёжным как ZFS-mirror. Скорость чтения с диска в таком варианте тоже упадёт почти вдвое.
У HP есть какие-нибудь дисковые контролёры, которые обеспечивают нормальный режим HBA (с загрузкой)?
Подержка дисковых контролёров серверов HP Gen9
Добавлено: 2015-12-16 14:45:18
Dmitriy_K
Ещё раз огромное спасибо, помогло!
В режиме "Smart Array" появилась опция возможности создания логического диска в виде RAID.
Есть надежда, что RAID1+ZFS-страйп всё же смогут обеспечить защиту от сбоя одного диска.
Что касается неоптимальной производительности при чтении в такой комбинации, то это адекватно смогут оценить только хорошие спецы по ZFS. Не вполне понятно как именно при этом производится чтение одновременно контролёром и ZFS.
Кстати, сюрприз! Несмотря на то, что он встроенный, на нём обнаружилась 2Гб кэш-памяти с батареей.
Опять же совсем не очевидно что с этим делать. Полезно это для данного случая с ZFS или лучше отключить.
Попозже я постараюсь приложить в тему некоторые подробности процесса установки ОС. Я много чего при этом перепробовал.
Кстати, удалось произвести все системные перенастройки через ILO.
Подержка дисковых контролёров серверов HP Gen9
Добавлено: 2015-12-17 21:54:50
Dmitriy_K
Несколько скриншотов по теме проблем, с которыми я столкнулся.
1. Интегрированный HBA контролёр H240ar имеет 2Гб кэш-памяти и батарею, только что с ними делать в случае использования ZFS?
2. При переходе из режима HBA в "Smart Array" установшик FreeBSD обнаружил не один, а много дисков. Но использовать оказалось возможно только созданный RAID1.
Иначе получаем ошибку, что на других дисках недостаточно места.
Подержка дисковых контролёров серверов HP Gen9
Добавлено: 2015-12-17 22:11:02
Dmitriy_K
Так что можно использовать только RAID1+ZFS-sripe.
Отправлено спустя 12 минут 3 секунды:
В общем, всё заработало
, но остались вопросы:
1) На каких контролёрах HP и с какими настройками можно реализовать ZFS-mirror с возможностью загрузки с него?
2) Отключать или использовать имеющийся энергонезависимый кэш чтения-записи, если используется ZFS?
3) Сильно ли проигрывает в скорости чтения вариант RAID1+ZFS-sripe по сравнению с ZFS-mirror?
Буду благодарен за какие-либо разъяснения по этим вопросам.
Подержка дисковых контролёров серверов HP Gen9
Добавлено: 2015-12-17 22:22:42
Alex Keda
непонимаю, зачем вам зеркало на zfs - у вас хороший аппаратный контроллер
не p410 и не p800 конечно, но тоже думаю хорошо вылизан.
Подержка дисковых контролёров серверов HP Gen9
Добавлено: 2015-12-17 23:44:44
Dmitriy_K
Несколько причин.
1) Нам важно получить максимальную эффективность по соотношению производительности к затратам в рамках закупки оборудования у доверенного корпоративного бренда (HP). Дисковая производительность нам тоже очень важна при желаемой минимизации затрат.
2) Существует официальный набор рекомендаций по настройке и использованию ZFS. То с чем я столкнулся, не стыкуется с этими рекомендациями по многим пунктам, что закономерно вызывает множество сомнений какое решение принять и каковы будут его последствия.
https://blogs.oracle.com/roch/entry/when_to_and_not_to
http://www.solarisinternals.com/wiki/in ... ices_Guide
3) Нам реально понадобились полезные особенности ZFS.
Подержка дисковых контролёров серверов HP Gen9
Добавлено: 2015-12-18 8:30:11
Alex Keda
Лично я, больше доверяю нормальным аппаратным контроллерами.
А чё там поверх них - zfs, ufs, fat.... До лампочки.
Никакая ФС не отменяет бэкапов.
Подержка дисковых контролёров серверов HP Gen9
Добавлено: 2015-12-18 11:37:48
Dmitriy_K
Да, в этом есть правда жизни.
Конечно, хороший дисковый контролёр важен не только в плане производительности и отсутствия багов, но и в плане способности прослужить около 10 лет (это вполне типичный срок службы серверов хороших брендов).
Но есть нюанс конкретно по ZFS. Это не только и не столько файловая система, сколько сочетание программного дискового контролёра и файловой системы. Причём, это реализовано максимально эффективным и надёжным образом. При этом ZFS создана для управления дисками напрямую, без каких-либо дополнительных контролёров (их специально рекомендуют отключить).
Режим ZFS-mirror привлекателен тем, что сам по себе обеспечивает RAID1 с почти удвоенной скоростью чтения (по двум зеркалированным дискам). Это максимально эффективное решение для многих.
А вот кто скажет как будет работать сочетание аппаратного RAID1 с ZFS-sripe? Каждый из них будет пытаться рулить дисковым железом напрямую не зная друг о друге. Можно предположить, что поскольку это хоть как-то заработало, то аппаратный контролёр HP как-то обрабатывает запросы к "голому дисковому железу" от ZFS. Но логично ожидать, что это либо уменьшит эффективность операций чтения по зеркалированным дискам, либо сделает его вовсе невозможным (мы получим потерю скорости чтения почти вдвое).
То же самое касается аппаратного кэширования. Вполне возможно, что его было бы лучше отключить.
Я полагаю, что специалисты по ZFS знают все эти нюансы, только знать бы где они сидят, чтобы спросить.
Я попробую их поискать, конечно. На forums.freebsd.org пока тишина.
Возможно, я не до конца смог разобраться в настройках контролёра HP.
Суть проблемы в том, что для загрузки ОС нужно, чтобы контролёр HP квалифицировал диски (или хоть один из них) как "логические".
В настройках "HP Smart Storage Administrator" имеется примечание к режиму "Smart Array":
"A logical drive cannot be created unless an array exists".
Но единственный найденный мной там способ, чтобы создать этот логический диск - это создание RAID1 или RAID0.
Подержка дисковых контролёров серверов HP Gen9
Добавлено: 2015-12-18 12:45:54
Neus
1. проблемы ZFS с аппаратными RAID проявляются в случае RAID5/6 - так называемый black hole write
с RAID1 у ZFS нет проблем
2. ZFS не может управлять дисками напрямую мимо контроллера.
3. в вашем случае будет двойное кэширование - 2 гига кэша контроллера и ARC в оперативке
как это будет влиять на прикладной уровень надо тестить, в том числе балансировку кэша контроллера по чтению/записи
дерзайте...
Подержка дисковых контролёров серверов HP Gen9
Добавлено: 2015-12-18 13:42:38
guest
Alex Keda писал(а):Лично я, больше доверяю нормальным аппаратным контроллерами.
А чё там поверх них - zfs, ufs, fat.... До лампочки.
Никакая ФС не отменяет бэкапов.
Что есть "нормальные аппаратные контроллеры"?
Вы не имели дело с высоконагруженными и серьезными аппаратными контроллерами,
иначе бы общались с инженерами из Adaptec и LSI и знали какие возникают проблемы
и как горят эти _нормальные_ контроллеры или большАя линейка дисков на них.
ZFS поверх аппаратного рейда - ЗЛО, если лично Вам до лампочки, не давайте pls подобных
советов другим, особенно новичкам и тем кто верит на слово, не желая, разбираться
самостоятельно.
Подержка дисковых контролёров серверов HP Gen9
Добавлено: 2015-12-18 16:06:39
Neus
undefined писал(а): ZFS поверх аппаратного рейда - ЗЛО
что вы имеете против ZFS поверх аппаратного зеркала?
какие там проблемы вылазят?
Подержка дисковых контролёров серверов HP Gen9
Добавлено: 2015-12-18 16:56:57
Dmitriy_K
Спасибо всем за информацию!
Neus писал(а):2. ZFS не может управлять дисками напрямую мимо контроллера.
Ну, силой мысли, без проводов - да, не может.
А так - пожалуйста. Рекомендуемый режим. Это реализуется в JBOD и HBA.
Полагаю, что просто имеется нестыковка в понимании термина "контролёр". Я, всё-таки, понимаю под этим то, что не JBOD и HBA.
Neus писал(а):3. в вашем случае будет двойное кэширование - 2 гига кэша контроллера и ARC в оперативке
как это будет влиять на прикладной уровень надо тестить, в том числе балансировку кэша контроллера по чтению/записи
дерзайте...
Ой-ой...
Подержка дисковых контролёров серверов HP Gen9
Добавлено: 2015-12-18 18:02:56
guest
Neus писал(а):undefined писал(а): ZFS поверх аппаратного рейда - ЗЛО
что вы имеете против ZFS поверх аппаратного зеркала?
какие там проблемы вылазят?
http://open-zfs.org/wiki/Hardware#Hardw ... ontrollers
Подержка дисковых контролёров серверов HP Gen9
Добавлено: 2015-12-18 18:24:43
Alex Keda
Что есть "нормальные аппаратные контроллеры"?
Вы не имели дело с высоконагруженными и серьезными аппаратными контроллерами,
иначе бы общались с инженерами из Adaptec и LSI и знали какие возникают проблемы
и как горят эти _нормальные_ контроллеры или большАя линейка дисков на них.
Высоконагруженные - это какие? Чтение запись, непрерывно, на пределе дисков?
С такими - каждый день общаюсь. От баз данных, на конфигурации которых съэкономили рамы, до бэкапных, на которые пишется в два десятка параллельных потоков и читается ещё в пяток - эти самые базы и их архивлоги.
Все - smart array p800 - тобишь LSI, ecли этикеточку HP отодрать.
И количество их, я уже стойками меряю, а не штуками.
Отправлено спустя 2 минуты 21 секунду:
Собственно, проблемы тока с дисками. Не с контроллерами.
Прекрасно чувствуется, например, когда контейнер на погрузке уронили, или серия кривая.... Даже у НР...
Подержка дисковых контролёров серверов HP Gen9
Добавлено: 2015-12-18 18:41:15
guest
Alex Keda писал(а):Что есть "нормальные аппаратные контроллеры"?
Вы не имели дело с высоконагруженными и серьезными аппаратными контроллерами,
иначе бы общались с инженерами из Adaptec и LSI и знали какие возникают проблемы
и как горят эти _нормальные_ контроллеры или большАя линейка дисков на них.
Высоконагруженные - это какие? Чтение запись, непрерывно, на пределе дисков?
С такими - каждый день общаюсь. От баз данных, на конфигурации которых съэкономили рамы, до бэкапных, на которые пишется в два десятка параллельных потоков и читается ещё в пяток - эти самые базы и их архивлоги.
Все - smart array p800 - тобишь LSI, ecли этикеточку HP отодрать.
И количество их, я уже стойками меряю, а не штуками.
Отправлено спустя 2 минуты 21 секунду:
Собственно, проблемы тока с дисками. Не с контроллерами.
Прекрасно чувствуется, например, когда контейнер на погрузке уронили, или серия кривая.... Даже у НР...
hp'ные smart array - редкая дешевая какашка, lsi еще куда ни шло, но до могутности adaptec...
стойками...
Тут на видео можно увидеть всего лишь несколько гермозон:
http://science-tv.jinr.ru/?p=1762
Подержка дисковых контролёров серверов HP Gen9
Добавлено: 2015-12-18 20:58:48
Dmitriy_K
Я сейчас нашёл немного времени, чтобы покопаться в поиске по теме. Нашёл и эту ссылку, и другие.
Вгоняет в печаль, хотя я это знал и раньше из мануалов ZFS.
https://www.opennet.ru/openforum/vsluhf ... 88146.html
У меня возникла одна догадка на счет контроллеров, они ведь рейдовые и он наверное диски зацепил в рейд, а потом "сверху" положил ZFS. Это распространенная ошибка. С ZFS ВСЕГДА нужно использовать JBOD!
http://www.tomshardware.co.uk/forum/269 ... dware-raid
"ZFS can not fully protect the user's data when using a hardware RAID controller, as it is not able to perform the automatic self-healing unless it controls the redundancy of the disks and data. ZFS prefers direct, exclusive access to the disks, with nothing in between that interferes. If the user insists on using hardware-level RAID, the controller should be configured as JBOD mode (i.e. turn off RAID-functionality) for ZFS to be able to guarantee data integrity"
https://forum.proxmox.com/threads/sugge ... ost-117938
Код: Выделить всё
believe some raid controllers, when you tell them to expose disks in "JBOD" mode - what they actually do is run "Multiple volume single disk raid0" - ie - it is not 100% strictly speaking true to call it JBOD, as the raid controller is still involved. I know in the past, in some configs, this has meant unfortunate behaviour for ZFS with those controllers. ie, I have read many forum posts despairing certain LSI controllers with BSD NAS Distros (FreeNAS, etc) when using ZFS on top of these pseudo-JBOD raid0 disks, ie, "they work great until things go badly and you lose everything without warning".
guest писал(а):hp'ные smart array - редкая дешевая какашка, lsi еще куда ни шло, но до могутности adaptec...
Это про какие конкретные примеры? В принципе, я уже тоже на них изругался в связи с возникшими трудностями.
В характеристиках их контролёра был прописан основной режим HBA, это их официальное позиционирование продукта. Ну почему тогда они не дали возможность грузить ОС в этом режиме? Это фактический обман покупателей.
Вы можете дать какие-нибудь рекомендации как было бы лучше настроить это, если оно уже есть и другого не предвидится?
Насчёт Adaptec, Вы можете посоветовать какие-либо из их недорогих адаптеров (HBA?), чтобы воткнуть в сервер высотой 1U или хотя бы 2U?
Да, масштабы превосходят воображение.
Подержка дисковых контролёров серверов HP Gen9
Добавлено: 2015-12-18 22:20:02
Alex Keda
guest писал(а):hp'ные smart array - редкая дешевая какашка, lsi еще куда ни шло, но до могутности adaptec...
чё бы это вдруг?
по сравнению со всем прочим что удалось посчупать - понравились больше всего.
да, там крутить особо нечего. дык мне и не надо крутить.
мне чтоб работало
к сожалению, флеша у меня нет...
рекомендую юзать html5
Подержка дисковых контролёров серверов HP Gen9
Добавлено: 2015-12-18 22:44:34
guest
Dmitriy_K писал(а):
guest писал(а):hp'ные smart array - редкая дешевая какашка, lsi еще куда ни шло, но до могутности adaptec...
Это про какие конкретные примеры? В принципе, я уже тоже на них изругался в связи с возникшими трудностями.
В характеристиках их контролёра был прописан основной режим HBA, это их официальное позиционирование продукта. Ну почему тогда они не дали возможность грузить ОС в этом режиме? Это фактический обман покупателей.
Вы можете дать какие-нибудь рекомендации как было бы лучше настроить это, если оно уже есть и другого не предвидится?
Насчёт Adaptec, Вы можете посоветовать какие-либо из их недорогих адаптеров (HBA?), чтобы воткнуть в сервер высотой 1U или хотя бы 2U?
Извините, я не буду квотировать по отдельности, потому как ответ достаточно прост:
- НЕ НАДО ПОКУПАТЬ HP SERVER'а для неподдерживаемых ими ОС.
От себя, добавлю, лучше вообще не брать HP'ные сервера для xBSD, Linux, по следующим причинам:
- support - один из самых гавенных, это платный;
- бесплатный support вовсе никакой;
- любовь к нарушению стандартов;
- накручивание собственных технологий, из-за которых много головной боли;
...
список можно продолжать...
Классно исполненные корпуса, неплохое железо и как всегда ложечка дегтя,
которая все сводит на нет.
Все эти их smart array'и - барахло, посему и расписывать не буду.
Простите, но рекомендаций по их настройкам для FreeBSD дать не могу, отказались от HP давно.
Все верхнее на многолетнем опыте еще с PA-Risc и HP/UX и сравнение саппорта HP и Sun/IBM/Supermicro/...
HBA'ные контроллеры на базе Adaptec не посоветую, у Adaptec'а хороши могутные RAID-контроллеры,
а вот HBA - на базе LSI чипов, PCI-E для пропускной способности. Большинство Expander'ов тоже
на LSI чипах. Модели легко найти в форумах по ZFS и куче анализов и рекомендаций.
Подержка дисковых контролёров серверов HP Gen9
Добавлено: 2015-12-19 17:08:30
Dmitriy_K
guest писал(а):От себя, добавлю, лучше вообще не брать HP'ные сервера для xBSD, Linux
А какие брэнды из числа надёжных Вы могли бы посоветовать для Unix, с аналогом ILO для удалённого управления?
Подержка дисковых контролёров серверов HP Gen9
Добавлено: 2015-12-19 19:15:52
ev
intel, supermicro
но косяки бывают у всех