RAID контроллер и FREEBSD

Простые/общие вопросы по UNIX системам. Спросите здесь, если вы новичок

Модераторы: vadim64, terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
GiftWind
рядовой
Сообщения: 39
Зарегистрирован: 2018-05-21 16:10:17

RAID контроллер и FREEBSD

Непрочитанное сообщение GiftWind » 2018-07-12 17:18:30

Demis писал(а):
2018-07-12 17:08:12
guest писал(а): ↑
2018-07-12 16:58:20
Угробите кучу времени и поймете что ZFS поверх RAID - ужасная конструкция и грозит неприятностями.

Абсолютно верно.
Повторюсь, что это мы пытаемся из ситуации выйти, в которую через свои ошибки попали. Понимаем,что это не лучшее решение. Пробовали следующее: вынимали один из дисков аппаратного зеркала, на котором zfs. Подключали к другому серверу и все данные были доступны. Именно это обстоятельство заставило нас согласиться на аппартный рэйд(если заработает всё), а не покупать сразу другие контроллеры.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Demis
ст. сержант
Сообщения: 356
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 17:19:39

Вот смотрите у Вас, в первом посте, написано:
GiftWind писал(а):
2018-07-11 13:39:51
Докупили RAID контроллер ADAPTEC ASR-5405Z
Есть чудо линк https://adaptec.com/en-us/support/raid/ ... sas-5405z/ где в разделе документации есть документы. И есть такой документ http://download.adaptec.com/pdfs/user_g ... 5_2012.pdfв котором на странице 27, а по сути это "About the Adaptec RAID 5405Z", есть такое:
Phys (Unified Serial Ports) 4

и такое:
Maximum number of disk drives 4 direct-attached (or up to 256 with expanders)

Последний параметр говорит про необходимость наличия экспандера.
У Вас-то как оно живет? Из последней фотки мне этого не понять.

guest
проходил мимо

RAID контроллер и FREEBSD

Непрочитанное сообщение guest » 2018-07-12 17:22:58

Demis, контроллер, соединён с платой корзин таким кабелем.

Разъём одинаковый на обоих концах
mini-SAS SFF8087 <-> mini-SAS SFF8087 (внутрений iPass)
контроллер <-> backplane

Это Вам ну никак не поможет, sorry.

Еще раз, с железом Вы уже получили ПОПАДОС на свою голову,
хотите получить ЕЩЕ один ПОПАДОС с ZFS поверх RAID?

Оно Вам надо? Ловить проблемы ZFS с таймаутами или еще чем через RAID прослойку?
OS -> ZFS -> GEOM -> драйвер HW RAID Adaptec <-> HDD
узкое место: "драйвер HW RAID Adaptec"
В этой схеме, драйвер HW RAID и сам RAID будут пропускать всю работу ZFS через себя,
оно Вам надо?!

Пример: что будет, если в 11.x даже с linuxolator'ом, у Вас из пакетов-портов
не заведутся утилиты управления Adaptec RAID?! Как Вы будете выводить
диск из RAID/JBOD и заменять? Перезагружаться для выхода в BIOS и через
BIOS?

Нарвались на грабли, но сейчас то можно подумать трезво.

И да, ЧТО МЕШАЕТ установить Debian (ну или Ubuntu) с ZFS?! ZFS сейчас в основных репах
обеих ОС. Работает прилично.

Demis
ст. сержант
Сообщения: 356
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 17:29:49

guest писал(а):
2018-07-12 17:06:54
не будут JBOD видны в BIOS'е материнки
Особо спорить не буду. У меня видны и загрузка идет и них. Но мой вариант для примера не катит, т.к. контроллер встроенный.
Однако помнится для не встроенных попадалось, что можно переключиться на загрузку как со "scsi" и вуа-ля, начинает жить.

GiftWind
рядовой
Сообщения: 39
Зарегистрирован: 2018-05-21 16:10:17

RAID контроллер и FREEBSD

Непрочитанное сообщение GiftWind » 2018-07-12 17:31:19

guest, zfs, наверное, не станем использовать в такой схеме. Трудности с контроллерами вынуждают делать всё как можно проще.

Demis
ст. сержант
Сообщения: 356
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 17:31:49

guest писал(а):
2018-07-12 17:22:58
ZFS поверх RAID
Этого точно делать не нужно. Верно сказано.

guest
проходил мимо

RAID контроллер и FREEBSD

Непрочитанное сообщение guest » 2018-07-12 17:35:30

Повторюсь, что это мы пытаемся из ситуации выйти, в которую через свои ошибки попали. Понимаем,что это не лучшее решение. Пробовали следующее: вынимали один из дисков аппаратного зеркала, на котором zfs. Подключали к другому серверу и все данные были доступны. Именно это обстоятельство заставило нас согласиться на аппартный рэйд(если заработает всё), а не покупать сразу другие контроллеры.
Вы перечитайте ВСЕ внимательно, смысл в том, ЧТО НЕ ДОЙДЕТ ДО ВАС сейчас,
потом будете хлебать по полной и вручную.

О боже: "вынимали один из дисков аппаратного зеркала, на котором zfs. Подключали к другому серверу и все данные были доступны"

RAID пишет метаданные на диск, разберем:

- создаем HW RAID 1 (mirror), ну или fake-raid 1 - на диск в спец область запишутся метаданные.
- перенесете с Adaptec'а на HP Smart Array 200/400... и прювет... формат метаданных разный,
хорошо если ZFS по своим метаданным Вам поможет...

Детский лепет, собственно, все расписано, думайте, решать Вам.

ps. Я свою точку зрения расписал с обоснованием, более расписывать нечего.

Могу лишь пожелать удачи в решении проблемы, как можно проще и менее затратно.

Demis
ст. сержант
Сообщения: 356
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 17:42:13

guest писал(а):
2018-07-12 17:22:58
ЧТО МЕШАЕТ установить Debian (ну или Ubuntu) с ZFS?! ZFS сейчас в основных репах
обеих ОС
Думаю ничего ему не мешает, но есть все та-же проблемка, изначально железки должны быть правильно подогнаны. Я почему и пытаюсь понять как ТС подключает 5 дисков к контроллеру у которого 4 порта. Guest правильные замечания дает.

GiftWind
рядовой
Сообщения: 39
Зарегистрирован: 2018-05-21 16:10:17

RAID контроллер и FREEBSD

Непрочитанное сообщение GiftWind » 2018-07-12 17:42:51

guest писал(а):
2018-07-12 17:35:30
- перенесете с Adaptec'а на HP Smart Array 200/400... и прювет... формат метаданных разный,
хорошо если ZFS по своим метаданным Вам поможет...

Детский лепет, собственно, все расписано, думайте, решать Вам.
Да это понятно. Таким образом мы проверили доступность данных в принципе, а не возможность замены контроллера другого производителя.
Детский лепет? так мы поэтому в раздел для новичков обратились. Мы стараемся всё предложенное обдумать, ни от чего не отказываемся сразу. Всем благодарны за ответы, участие.

guest
проходил мимо

RAID контроллер и FREEBSD

Непрочитанное сообщение guest » 2018-07-12 17:45:03

guest, zfs, наверное, не станем использовать в такой схеме. Трудности с контроллерами вынуждают делать всё как можно проще.
Первая здравая мысль!
Самый простой вариант - Debian или Ubuntu и HW RAID без проблем и возможно даже
диски в JBOD будут видны как sd[a-...]

В итоге, ушли от ZFS - сохранили RAM под задачи и получили работоспособный HW RAID (если он нужен, а он как я понял нужен)
с управлением из Linux. Все - задача решена и без доп.затрат.

Осталось выяснить: диски какого объема поддерживаются и не использовать в HW RAID десктопные диски,
чтобы не выкидывать их пачками, ну и возможно найти последние firmware для Adaptec - почитать исправления
и сделать вывод, шить или нет.

GiftWind
рядовой
Сообщения: 39
Зарегистрирован: 2018-05-21 16:10:17

RAID контроллер и FREEBSD

Непрочитанное сообщение GiftWind » 2018-07-12 17:47:39

Demis писал(а):
2018-07-12 17:19:39
Последний параметр говорит про необходимость наличия экспандера.
У Вас-то как оно живет? Из последней фотки мне этого не понять.
Как я понял, экспандер в сервере в backplane распаян, так сказали продавцы сервера (только что по телефону). Об экспандере раньше не слышали, так что есть он там или нет - будем разбираться.

GiftWind
рядовой
Сообщения: 39
Зарегистрирован: 2018-05-21 16:10:17

RAID контроллер и FREEBSD

Непрочитанное сообщение GiftWind » 2018-07-12 17:49:23

guest писал(а):
2018-07-12 17:45:03
Самый простой вариант - Debian или Ubuntu и HW RAID без проблем и возможно даже
диски в JBOD будут видны как sd[a-...]
Да видят JBOD, система ставится, но не загружается по той же причине - количество дисков. Всё пока говорит за то, что нету экспандера на плате.

guest
проходил мимо

RAID контроллер и FREEBSD

Непрочитанное сообщение guest » 2018-07-12 17:54:00

Думаю ничего ему не мешает, но есть все та-же проблемка, изначально железки должны быть правильно подогнаны. Я почему и пытаюсь понять как ТС подключает 5 дисков к контроллеру у которого 4 порта. Guest правильные замечания дает.
дык через Backplane, если на Backplane Expander 24x или 36x - то 24 или 36 HDD без проблем,
а вот напрямую контроллер <-> HDD, через один mini-SAS SFF-8087 - от 4x до 8xHDD, но это зависимо, обычно до 4x.

Чтение SAS стандартов, устройств, кабельного хозяйства, кол-во линий через порт, sas-expander - дают
понимание и представление.

ps. 4'е порта iPass - унутренний то бишь, iPass он же mini-SAS, он же SFF-8087 вроде так, в лом все это запоминать, всегда
можно спросить у Хухла и почитать доки.

Demis
ст. сержант
Сообщения: 356
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 17:59:41

Пока решается|выясняется вопрос по экспандерам, вопрос такого порядка, а SATA на матери нет? Или встроенного в мать порта порта usb? Да и вне зависимости от них, воткнуть чистую флеху, диск 900-тый выкинуть. Те, которые 2х2 сделать jbod-ами. Поставить фрю (желательно, но не обязательно с CD) на флеху, посмотреть как затолкается zfs. И посмотреть "как" и "что" будет видеться. Обратить внимание, что бывает установщик все видит и делает, но при перезагрузке могут быть проблемы, но это решаемо (чаще всего).

guest
проходил мимо

RAID контроллер и FREEBSD

Непрочитанное сообщение guest » 2018-07-12 18:01:05

Да видят JBOD, система ставится, но не загружается по той же причине - количество дисков. Всё пока говорит за то, что нету экспандера на плате.
Backplane может быть и БЕЗ SAS Expander'а, просто выступать повторителем и разветвителем SATA,
но для SAS с такими не сталкивался. Для SAS должен быть Expander, imho по логике вещей, давно это было...
В дополнение к сказанному, Backplane обеспечивает HOT-PLUG или HOT-SWAP - горячую замену.

Demis
ст. сержант
Сообщения: 356
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 18:03:38

guest писал(а):
2018-07-12 17:54:00
дык через Backplane, если на Backplane Expander 24x или 36x - то 24 или 36 HDD без проблем,
Это да, но если смотреть спецификацию сервера ТС, то 3Гиговые диски ставятся в четырех портовый плайн. Но могу ошибаться. Пруф http://h20628.www2.hp.com/km-ext/kmcsdi ... 7924-8.pdf

guest
проходил мимо

RAID контроллер и FREEBSD

Непрочитанное сообщение guest » 2018-07-12 18:10:52

Пока решается|выясняется вопрос по экспандерам, вопрос такого порядка, а SATA на матери нет? Или встроенного в мать порта порта usb? Да и вне зависимости от них, воткнуть чистую флеху, диск 900-тый выкинуть. Те, которые 2х2 сделать jbod-ами. Поставить фрю (желательно, но не обязательно с CD) на флеху, посмотреть как затолкается zfs. И посмотреть "как" и "что" будет видеться. Обратить внимание, что бывает установщик все видит и делает, но при перезагрузке могут быть проблемы, но это решаемо (чаще всего).
Использование флешки с установленной на нее FreeBSD - очень правильный вариант, сам всегда пользую.

Но с USB всегда могут быть ньюансы, тут нужно быть осторожным:
- использовать флешку USB 2.0 (без всяких там USB 3.0 compatible USB 2.0) и порт USB 2.0
- смотреть настройки BIOS, для FreeBSD по возможности не использовать EHCI
- смотреть настройки HW RAID

столько историй с верхним связано - когда ОС до нескольких часов будет грузиться
с флешки или BIOS не видит что флешка загрузочная (как вариант, приходилось отключать
возможность загрузки с HW RAID), историй полно, надо было записывать... чтобы не вспоминать при проблемах...

Один только Solaris, тьфу illumos - со свой USB 2.0 ONLY крови попортит - мама не горюй.

Demis
ст. сержант
Сообщения: 356
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 18:24:50

Все верно.

Аватара пользователя
Neus
капитан
Сообщения: 1814
Зарегистрирован: 2008-09-08 21:59:56

RAID контроллер и FREEBSD

Непрочитанное сообщение Neus » 2018-07-12 18:26:43

по возможности не использовать EHCI
Эээ… так это же usb 2.0 и есть. Предлагаешь грузится с 1.1? Оно же еле ворочается.
«Вы никогда не сумеете решить возникшую проблему,
если сохраните то же мышление и тот же подход,
который привёл вас к этой проблеме.»
© Альберт Эйнштейн

Demis
ст. сержант
Сообщения: 356
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 18:37:21

Посмотрел доку на мать, так там вроде аж 6 сериал ата. Вполне парочку под систему можно забить.

guest
проходил мимо

RAID контроллер и FREEBSD

Непрочитанное сообщение guest » 2018-07-12 19:56:07

по возможности не использовать EHCI
Эээ… так это же usb 2.0 и есть. Предлагаешь грузится с 1.1? Оно же еле ворочается.
вырезаем только то что нравится?

Было:
"- смотреть настройки BIOS, для FreeBSD по возможности не использовать EHCI"

уточняю, во многих BIOS имеется EHCI [Hand-Off] Disable/Enables - управление
передается BIOS'у=Enable, драйверу ОС в случае Disable.

Для MASADOS, XP и прочей хламуди - Enable, там где есть драйвер - Disable.

Аватара пользователя
Neus
капитан
Сообщения: 1814
Зарегистрирован: 2008-09-08 21:59:56

RAID контроллер и FREEBSD

Непрочитанное сообщение Neus » 2018-07-12 20:18:26

Ну так бы сразу и писал что речь о Hand-Off.
«Вы никогда не сумеете решить возникшую проблему,
если сохраните то же мышление и тот же подход,
который привёл вас к этой проблеме.»
© Альберт Эйнштейн

Demis
ст. сержант
Сообщения: 356
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 20:33:47

Neus писал(а):
2018-07-12 20:18:26
так бы сразу
_______^- Не парься...

Для общего развития пара статей про экспандеры, уж коли эта тема затронута, читаем очень внимательно здесь:
https://true-system.blogspot.com/2011/09/sas.html и здесь:
https://storage.microsemi.com/ru-ru/pro ... 2885t.html
Это никогда не помешает вспомнить...
Тем более, что народ еще будет с таким сталкиваться, а всего знать невозможно.

Demis
ст. сержант
Сообщения: 356
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 20:42:56

И еще читаем https://adaptec.com/ru-ru/products/cont ... sas-5405z/где видим:

Код: Выделить всё

Ключевые характеристики RAID
• Поддержка подключения 4 дисков при прямом подключении или до 256 дисков SATA или SAS при использовании SAS-экспандеров  
Но это я уже повторяюсь...

snorlov
подполковник
Сообщения: 3846
Зарегистрирован: 2008-09-04 11:51:25
Откуда: Санкт-Петербург

RAID контроллер и FREEBSD

Непрочитанное сообщение snorlov » 2018-07-13 0:57:56

Может банально питания не хватает, я тут мучался с сдромом... втыкаешь его, видиться и ошибками плюется, в другой комп все те же лица и на ура... БП поменял и хоккей стал...