RAID контроллер и FREEBSD

[GiftWind]

guest писал(а): ↑
2018-07-12 16:58:20
Угробите кучу времени и поймете что ZFS поверх RAID - ужасная конструкция и грозит неприятностями.

Абсолютно верно.

Повторюсь, что это мы пытаемся из ситуации выйти, в которую через свои ошибки попали. Понимаем,что это не лучшее решение. Пробовали следующее: вынимали один из дисков аппаратного зеркала, на котором zfs. Подключали к другому серверу и все данные были доступны. Именно это обстоятельство заставило нас согласиться на аппартный рэйд(если заработает всё), а не покупать сразу другие контроллеры.

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Demis]

Вот смотрите у Вас, в первом посте, написано:

Докупили RAID контроллер ADAPTEC ASR-5405Z

Есть чудо линк https://adaptec.com/en-us/support/raid/ ... sas-5405z/ где в разделе документации есть документы. И есть такой документ http://download.adaptec.com/pdfs/user_g ... 5_2012.pdfв котором на странице 27, а по сути это "About the Adaptec RAID 5405Z", есть такое:
Phys (Unified Serial Ports) 4

и такое:
Maximum number of disk drives 4 direct-attached (or up to 256 with expanders)

Последний параметр говорит про необходимость наличия экспандера.
У Вас-то как оно живет? Из последней фотки мне этого не понять.

[guest]

Demis, контроллер, соединён с платой корзин таким кабелем.

Разъём одинаковый на обоих концах

mini-SAS SFF8087 <-> mini-SAS SFF8087 (внутрений iPass)
контроллер <-> backplane

Это Вам ну никак не поможет, sorry.

Еще раз, с железом Вы уже получили ПОПАДОС на свою голову,
хотите получить ЕЩЕ один ПОПАДОС с ZFS поверх RAID?

Оно Вам надо? Ловить проблемы ZFS с таймаутами или еще чем через RAID прослойку?
OS -> ZFS -> GEOM -> драйвер HW RAID Adaptec <-> HDD
узкое место: "драйвер HW RAID Adaptec"
В этой схеме, драйвер HW RAID и сам RAID будут пропускать всю работу ZFS через себя,
оно Вам надо?!

Пример: что будет, если в 11.x даже с linuxolator'ом, у Вас из пакетов-портов
не заведутся утилиты управления Adaptec RAID?! Как Вы будете выводить
диск из RAID/JBOD и заменять? Перезагружаться для выхода в BIOS и через
BIOS?

Нарвались на грабли, но сейчас то можно подумать трезво.

И да, ЧТО МЕШАЕТ установить Debian (ну или Ubuntu) с ZFS?! ZFS сейчас в основных репах
обеих ОС. Работает прилично.

[Demis]

не будут JBOD видны в BIOS'е материнки

Особо спорить не буду. У меня видны и загрузка идет и них. Но мой вариант для примера не катит, т.к. контроллер встроенный.
Однако помнится для не встроенных попадалось, что можно переключиться на загрузку как со "scsi" и вуа-ля, начинает жить.

[GiftWind]

guest, zfs, наверное, не станем использовать в такой схеме. Трудности с контроллерами вынуждают делать всё как можно проще.

[Demis]

ZFS поверх RAID

Этого точно делать не нужно. Верно сказано.

[guest]

Повторюсь, что это мы пытаемся из ситуации выйти, в которую через свои ошибки попали. Понимаем,что это не лучшее решение. Пробовали следующее: вынимали один из дисков аппаратного зеркала, на котором zfs. Подключали к другому серверу и все данные были доступны. Именно это обстоятельство заставило нас согласиться на аппартный рэйд(если заработает всё), а не покупать сразу другие контроллеры.

Вы перечитайте ВСЕ внимательно, смысл в том, ЧТО НЕ ДОЙДЕТ ДО ВАС сейчас,
потом будете хлебать по полной и вручную.

О боже: "вынимали один из дисков аппаратного зеркала, на котором zfs. Подключали к другому серверу и все данные были доступны"

RAID пишет метаданные на диск, разберем:

- создаем HW RAID 1 (mirror), ну или fake-raid 1 - на диск в спец область запишутся метаданные.
- перенесете с Adaptec'а на HP Smart Array 200/400... и прювет... формат метаданных разный,
хорошо если ZFS по своим метаданным Вам поможет...

Детский лепет, собственно, все расписано, думайте, решать Вам.

ps. Я свою точку зрения расписал с обоснованием, более расписывать нечего.

Могу лишь пожелать удачи в решении проблемы, как можно проще и менее затратно.

[Demis]

ЧТО МЕШАЕТ установить Debian (ну или Ubuntu) с ZFS?! ZFS сейчас в основных репах
обеих ОС

Думаю ничего ему не мешает, но есть все та-же проблемка, изначально железки должны быть правильно подогнаны. Я почему и пытаюсь понять как ТС подключает 5 дисков к контроллеру у которого 4 порта. Guest правильные замечания дает.

[GiftWind]

- перенесете с Adaptec'а на HP Smart Array 200/400... и прювет... формат метаданных разный,
хорошо если ZFS по своим метаданным Вам поможет...

Детский лепет, собственно, все расписано, думайте, решать Вам.

Да это понятно. Таким образом мы проверили доступность данных в принципе, а не возможность замены контроллера другого производителя.
Детский лепет? так мы поэтому в раздел для новичков обратились. Мы стараемся всё предложенное обдумать, ни от чего не отказываемся сразу. Всем благодарны за ответы, участие.

[guest]

guest, zfs, наверное, не станем использовать в такой схеме. Трудности с контроллерами вынуждают делать всё как можно проще.

Первая здравая мысль!
Самый простой вариант - Debian или Ubuntu и HW RAID без проблем и возможно даже
диски в JBOD будут видны как sd[a-...]

В итоге, ушли от ZFS - сохранили RAM под задачи и получили работоспособный HW RAID (если он нужен, а он как я понял нужен)
с управлением из Linux. Все - задача решена и без доп.затрат.

Осталось выяснить: диски какого объема поддерживаются и не использовать в HW RAID десктопные диски,
чтобы не выкидывать их пачками, ну и возможно найти последние firmware для Adaptec - почитать исправления
и сделать вывод, шить или нет.

[GiftWind]

Последний параметр говорит про необходимость наличия экспандера.
У Вас-то как оно живет? Из последней фотки мне этого не понять.

Как я понял, экспандер в сервере в backplane распаян, так сказали продавцы сервера (только что по телефону). Об экспандере раньше не слышали, так что есть он там или нет - будем разбираться.

[GiftWind]

Самый простой вариант - Debian или Ubuntu и HW RAID без проблем и возможно даже
диски в JBOD будут видны как sd[a-...]

Да видят JBOD, система ставится, но не загружается по той же причине - количество дисков. Всё пока говорит за то, что нету экспандера на плате.

[guest]

Думаю ничего ему не мешает, но есть все та-же проблемка, изначально железки должны быть правильно подогнаны. Я почему и пытаюсь понять как ТС подключает 5 дисков к контроллеру у которого 4 порта. Guest правильные замечания дает.

дык через Backplane, если на Backplane Expander 24x или 36x - то 24 или 36 HDD без проблем,
а вот напрямую контроллер <-> HDD, через один mini-SAS SFF-8087 - от 4x до 8xHDD, но это зависимо, обычно до 4x.

Чтение SAS стандартов, устройств, кабельного хозяйства, кол-во линий через порт, sas-expander - дают
понимание и представление.

ps. 4'е порта iPass - унутренний то бишь, iPass он же mini-SAS, он же SFF-8087 вроде так, в лом все это запоминать, всегда
можно спросить у Хухла и почитать доки.

[Demis]

Пока решается|выясняется вопрос по экспандерам, вопрос такого порядка, а SATA на матери нет? Или встроенного в мать порта порта usb? Да и вне зависимости от них, воткнуть чистую флеху, диск 900-тый выкинуть. Те, которые 2х2 сделать jbod-ами. Поставить фрю (желательно, но не обязательно с CD) на флеху, посмотреть как затолкается zfs. И посмотреть "как" и "что" будет видеться. Обратить внимание, что бывает установщик все видит и делает, но при перезагрузке могут быть проблемы, но это решаемо (чаще всего).

[guest]

Да видят JBOD, система ставится, но не загружается по той же причине - количество дисков. Всё пока говорит за то, что нету экспандера на плате.

Backplane может быть и БЕЗ SAS Expander'а, просто выступать повторителем и разветвителем SATA,
но для SAS с такими не сталкивался. Для SAS должен быть Expander, imho по логике вещей, давно это было...
В дополнение к сказанному, Backplane обеспечивает HOT-PLUG или HOT-SWAP - горячую замену.

[Demis]

дык через Backplane, если на Backplane Expander 24x или 36x - то 24 или 36 HDD без проблем,

Это да, но если смотреть спецификацию сервера ТС, то 3Гиговые диски ставятся в четырех портовый плайн. Но могу ошибаться. Пруф http://h20628.www2.hp.com/km-ext/kmcsdi ... 7924-8.pdf

[guest]

Пока решается|выясняется вопрос по экспандерам, вопрос такого порядка, а SATA на матери нет? Или встроенного в мать порта порта usb? Да и вне зависимости от них, воткнуть чистую флеху, диск 900-тый выкинуть. Те, которые 2х2 сделать jbod-ами. Поставить фрю (желательно, но не обязательно с CD) на флеху, посмотреть как затолкается zfs. И посмотреть "как" и "что" будет видеться. Обратить внимание, что бывает установщик все видит и делает, но при перезагрузке могут быть проблемы, но это решаемо (чаще всего).

Использование флешки с установленной на нее FreeBSD - очень правильный вариант, сам всегда пользую.

Но с USB всегда могут быть ньюансы, тут нужно быть осторожным:
- использовать флешку USB 2.0 (без всяких там USB 3.0 compatible USB 2.0) и порт USB 2.0
- смотреть настройки BIOS, для FreeBSD по возможности не использовать EHCI
- смотреть настройки HW RAID

столько историй с верхним связано - когда ОС до нескольких часов будет грузиться
с флешки или BIOS не видит что флешка загрузочная (как вариант, приходилось отключать
возможность загрузки с HW RAID), историй полно, надо было записывать... чтобы не вспоминать при проблемах...

Один только Solaris, тьфу illumos - со свой USB 2.0 ONLY крови попортит - мама не горюй.

[Demis]

Все верно.

[Neus]

по возможности не использовать EHCI

Эээ… так это же usb 2.0 и есть. Предлагаешь грузится с 1.1? Оно же еле ворочается.

[Demis]

Посмотрел доку на мать, так там вроде аж 6 сериал ата. Вполне парочку под систему можно забить.

[guest]

по возможности не использовать EHCI

Эээ… так это же usb 2.0 и есть. Предлагаешь грузится с 1.1? Оно же еле ворочается.

вырезаем только то что нравится?

Было:
"- смотреть настройки BIOS, для FreeBSD по возможности не использовать EHCI"

уточняю, во многих BIOS имеется EHCI [Hand-Off] Disable/Enables - управление
передается BIOS'у=Enable, драйверу ОС в случае Disable.

Для MASADOS, XP и прочей хламуди - Enable, там где есть драйвер - Disable.

[Neus]

Ну так бы сразу и писал что речь о Hand-Off.

[Demis]

так бы сразу

_______^- Не парься...

Для общего развития пара статей про экспандеры, уж коли эта тема затронута, читаем очень внимательно здесь:
https://true-system.blogspot.com/2011/09/sas.html и здесь:
https://storage.microsemi.com/ru-ru/pro ... 2885t.html
Это никогда не помешает вспомнить...
Тем более, что народ еще будет с таким сталкиваться, а всего знать невозможно.

[Demis]

И еще читаем https://adaptec.com/ru-ru/products/cont ... sas-5405z/где видим:

Код: Выделить всё

Ключевые характеристики RAID
• Поддержка подключения 4 дисков при прямом подключении или до 256 дисков SATA или SAS при использовании SAS-экспандеров  

Но это я уже повторяюсь...

[snorlov]

Может банально питания не хватает, я тут мучался с сдромом... втыкаешь его, видиться и ошибками плюется, в другой комп все те же лица и на ура... БП поменял и хоккей стал...