RAID контроллер и FREEBSD

Простые/общие вопросы по UNIX системам. Спросите здесь, если вы новичок

Модераторы: vadim64, terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
GiftWind
рядовой
Сообщения: 39
Зарегистрирован: 2018-05-21 16:10:17

RAID контроллер и FREEBSD

Непрочитанное сообщение GiftWind » 2018-07-12 17:18:30

Demis писал(а):
2018-07-12 17:08:12
guest писал(а): ↑
2018-07-12 16:58:20
Угробите кучу времени и поймете что ZFS поверх RAID - ужасная конструкция и грозит неприятностями.

Абсолютно верно.
Повторюсь, что это мы пытаемся из ситуации выйти, в которую через свои ошибки попали. Понимаем,что это не лучшее решение. Пробовали следующее: вынимали один из дисков аппаратного зеркала, на котором zfs. Подключали к другому серверу и все данные были доступны. Именно это обстоятельство заставило нас согласиться на аппартный рэйд(если заработает всё), а не покупать сразу другие контроллеры.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 17:19:39

Вот смотрите у Вас, в первом посте, написано:
GiftWind писал(а):
2018-07-11 13:39:51
Докупили RAID контроллер ADAPTEC ASR-5405Z
Есть чудо линк https://adaptec.com/en-us/support/raid/ ... sas-5405z/ где в разделе документации есть документы. И есть такой документ http://download.adaptec.com/pdfs/user_g ... 5_2012.pdfв котором на странице 27, а по сути это "About the Adaptec RAID 5405Z", есть такое:
Phys (Unified Serial Ports) 4

и такое:
Maximum number of disk drives 4 direct-attached (or up to 256 with expanders)

Последний параметр говорит про необходимость наличия экспандера.
У Вас-то как оно живет? Из последней фотки мне этого не понять.

guest
проходил мимо

RAID контроллер и FREEBSD

Непрочитанное сообщение guest » 2018-07-12 17:22:58

Demis, контроллер, соединён с платой корзин таким кабелем.

Разъём одинаковый на обоих концах
mini-SAS SFF8087 <-> mini-SAS SFF8087 (внутрений iPass)
контроллер <-> backplane

Это Вам ну никак не поможет, sorry.

Еще раз, с железом Вы уже получили ПОПАДОС на свою голову,
хотите получить ЕЩЕ один ПОПАДОС с ZFS поверх RAID?

Оно Вам надо? Ловить проблемы ZFS с таймаутами или еще чем через RAID прослойку?
OS -> ZFS -> GEOM -> драйвер HW RAID Adaptec <-> HDD
узкое место: "драйвер HW RAID Adaptec"
В этой схеме, драйвер HW RAID и сам RAID будут пропускать всю работу ZFS через себя,
оно Вам надо?!

Пример: что будет, если в 11.x даже с linuxolator'ом, у Вас из пакетов-портов
не заведутся утилиты управления Adaptec RAID?! Как Вы будете выводить
диск из RAID/JBOD и заменять? Перезагружаться для выхода в BIOS и через
BIOS?

Нарвались на грабли, но сейчас то можно подумать трезво.

И да, ЧТО МЕШАЕТ установить Debian (ну или Ubuntu) с ZFS?! ZFS сейчас в основных репах
обеих ОС. Работает прилично.

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 17:29:49

guest писал(а):
2018-07-12 17:06:54
не будут JBOD видны в BIOS'е материнки
Особо спорить не буду. У меня видны и загрузка идет и них. Но мой вариант для примера не катит, т.к. контроллер встроенный.
Однако помнится для не встроенных попадалось, что можно переключиться на загрузку как со "scsi" и вуа-ля, начинает жить.

GiftWind
рядовой
Сообщения: 39
Зарегистрирован: 2018-05-21 16:10:17

RAID контроллер и FREEBSD

Непрочитанное сообщение GiftWind » 2018-07-12 17:31:19

guest, zfs, наверное, не станем использовать в такой схеме. Трудности с контроллерами вынуждают делать всё как можно проще.

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 17:31:49

guest писал(а):
2018-07-12 17:22:58
ZFS поверх RAID
Этого точно делать не нужно. Верно сказано.

guest
проходил мимо

RAID контроллер и FREEBSD

Непрочитанное сообщение guest » 2018-07-12 17:35:30

Повторюсь, что это мы пытаемся из ситуации выйти, в которую через свои ошибки попали. Понимаем,что это не лучшее решение. Пробовали следующее: вынимали один из дисков аппаратного зеркала, на котором zfs. Подключали к другому серверу и все данные были доступны. Именно это обстоятельство заставило нас согласиться на аппартный рэйд(если заработает всё), а не покупать сразу другие контроллеры.
Вы перечитайте ВСЕ внимательно, смысл в том, ЧТО НЕ ДОЙДЕТ ДО ВАС сейчас,
потом будете хлебать по полной и вручную.

О боже: "вынимали один из дисков аппаратного зеркала, на котором zfs. Подключали к другому серверу и все данные были доступны"

RAID пишет метаданные на диск, разберем:

- создаем HW RAID 1 (mirror), ну или fake-raid 1 - на диск в спец область запишутся метаданные.
- перенесете с Adaptec'а на HP Smart Array 200/400... и прювет... формат метаданных разный,
хорошо если ZFS по своим метаданным Вам поможет...

Детский лепет, собственно, все расписано, думайте, решать Вам.

ps. Я свою точку зрения расписал с обоснованием, более расписывать нечего.

Могу лишь пожелать удачи в решении проблемы, как можно проще и менее затратно.

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 17:42:13

guest писал(а):
2018-07-12 17:22:58
ЧТО МЕШАЕТ установить Debian (ну или Ubuntu) с ZFS?! ZFS сейчас в основных репах
обеих ОС
Думаю ничего ему не мешает, но есть все та-же проблемка, изначально железки должны быть правильно подогнаны. Я почему и пытаюсь понять как ТС подключает 5 дисков к контроллеру у которого 4 порта. Guest правильные замечания дает.

GiftWind
рядовой
Сообщения: 39
Зарегистрирован: 2018-05-21 16:10:17

RAID контроллер и FREEBSD

Непрочитанное сообщение GiftWind » 2018-07-12 17:42:51

guest писал(а):
2018-07-12 17:35:30
- перенесете с Adaptec'а на HP Smart Array 200/400... и прювет... формат метаданных разный,
хорошо если ZFS по своим метаданным Вам поможет...

Детский лепет, собственно, все расписано, думайте, решать Вам.
Да это понятно. Таким образом мы проверили доступность данных в принципе, а не возможность замены контроллера другого производителя.
Детский лепет? так мы поэтому в раздел для новичков обратились. Мы стараемся всё предложенное обдумать, ни от чего не отказываемся сразу. Всем благодарны за ответы, участие.

guest
проходил мимо

RAID контроллер и FREEBSD

Непрочитанное сообщение guest » 2018-07-12 17:45:03

guest, zfs, наверное, не станем использовать в такой схеме. Трудности с контроллерами вынуждают делать всё как можно проще.
Первая здравая мысль!
Самый простой вариант - Debian или Ubuntu и HW RAID без проблем и возможно даже
диски в JBOD будут видны как sd[a-...]

В итоге, ушли от ZFS - сохранили RAM под задачи и получили работоспособный HW RAID (если он нужен, а он как я понял нужен)
с управлением из Linux. Все - задача решена и без доп.затрат.

Осталось выяснить: диски какого объема поддерживаются и не использовать в HW RAID десктопные диски,
чтобы не выкидывать их пачками, ну и возможно найти последние firmware для Adaptec - почитать исправления
и сделать вывод, шить или нет.

GiftWind
рядовой
Сообщения: 39
Зарегистрирован: 2018-05-21 16:10:17

RAID контроллер и FREEBSD

Непрочитанное сообщение GiftWind » 2018-07-12 17:47:39

Demis писал(а):
2018-07-12 17:19:39
Последний параметр говорит про необходимость наличия экспандера.
У Вас-то как оно живет? Из последней фотки мне этого не понять.
Как я понял, экспандер в сервере в backplane распаян, так сказали продавцы сервера (только что по телефону). Об экспандере раньше не слышали, так что есть он там или нет - будем разбираться.

GiftWind
рядовой
Сообщения: 39
Зарегистрирован: 2018-05-21 16:10:17

RAID контроллер и FREEBSD

Непрочитанное сообщение GiftWind » 2018-07-12 17:49:23

guest писал(а):
2018-07-12 17:45:03
Самый простой вариант - Debian или Ubuntu и HW RAID без проблем и возможно даже
диски в JBOD будут видны как sd[a-...]
Да видят JBOD, система ставится, но не загружается по той же причине - количество дисков. Всё пока говорит за то, что нету экспандера на плате.

guest
проходил мимо

RAID контроллер и FREEBSD

Непрочитанное сообщение guest » 2018-07-12 17:54:00

Думаю ничего ему не мешает, но есть все та-же проблемка, изначально железки должны быть правильно подогнаны. Я почему и пытаюсь понять как ТС подключает 5 дисков к контроллеру у которого 4 порта. Guest правильные замечания дает.
дык через Backplane, если на Backplane Expander 24x или 36x - то 24 или 36 HDD без проблем,
а вот напрямую контроллер <-> HDD, через один mini-SAS SFF-8087 - от 4x до 8xHDD, но это зависимо, обычно до 4x.

Чтение SAS стандартов, устройств, кабельного хозяйства, кол-во линий через порт, sas-expander - дают
понимание и представление.

ps. 4'е порта iPass - унутренний то бишь, iPass он же mini-SAS, он же SFF-8087 вроде так, в лом все это запоминать, всегда
можно спросить у Хухла и почитать доки.

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 17:59:41

Пока решается|выясняется вопрос по экспандерам, вопрос такого порядка, а SATA на матери нет? Или встроенного в мать порта порта usb? Да и вне зависимости от них, воткнуть чистую флеху, диск 900-тый выкинуть. Те, которые 2х2 сделать jbod-ами. Поставить фрю (желательно, но не обязательно с CD) на флеху, посмотреть как затолкается zfs. И посмотреть "как" и "что" будет видеться. Обратить внимание, что бывает установщик все видит и делает, но при перезагрузке могут быть проблемы, но это решаемо (чаще всего).

guest
проходил мимо

RAID контроллер и FREEBSD

Непрочитанное сообщение guest » 2018-07-12 18:01:05

Да видят JBOD, система ставится, но не загружается по той же причине - количество дисков. Всё пока говорит за то, что нету экспандера на плате.
Backplane может быть и БЕЗ SAS Expander'а, просто выступать повторителем и разветвителем SATA,
но для SAS с такими не сталкивался. Для SAS должен быть Expander, imho по логике вещей, давно это было...
В дополнение к сказанному, Backplane обеспечивает HOT-PLUG или HOT-SWAP - горячую замену.

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 18:03:38

guest писал(а):
2018-07-12 17:54:00
дык через Backplane, если на Backplane Expander 24x или 36x - то 24 или 36 HDD без проблем,
Это да, но если смотреть спецификацию сервера ТС, то 3Гиговые диски ставятся в четырех портовый плайн. Но могу ошибаться. Пруф http://h20628.www2.hp.com/km-ext/kmcsdi ... 7924-8.pdf

guest
проходил мимо

RAID контроллер и FREEBSD

Непрочитанное сообщение guest » 2018-07-12 18:10:52

Пока решается|выясняется вопрос по экспандерам, вопрос такого порядка, а SATA на матери нет? Или встроенного в мать порта порта usb? Да и вне зависимости от них, воткнуть чистую флеху, диск 900-тый выкинуть. Те, которые 2х2 сделать jbod-ами. Поставить фрю (желательно, но не обязательно с CD) на флеху, посмотреть как затолкается zfs. И посмотреть "как" и "что" будет видеться. Обратить внимание, что бывает установщик все видит и делает, но при перезагрузке могут быть проблемы, но это решаемо (чаще всего).
Использование флешки с установленной на нее FreeBSD - очень правильный вариант, сам всегда пользую.

Но с USB всегда могут быть ньюансы, тут нужно быть осторожным:
- использовать флешку USB 2.0 (без всяких там USB 3.0 compatible USB 2.0) и порт USB 2.0
- смотреть настройки BIOS, для FreeBSD по возможности не использовать EHCI
- смотреть настройки HW RAID

столько историй с верхним связано - когда ОС до нескольких часов будет грузиться
с флешки или BIOS не видит что флешка загрузочная (как вариант, приходилось отключать
возможность загрузки с HW RAID), историй полно, надо было записывать... чтобы не вспоминать при проблемах...

Один только Solaris, тьфу illumos - со свой USB 2.0 ONLY крови попортит - мама не горюй.

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 18:24:50

Все верно.

Аватара пользователя
Neus
капитан
Сообщения: 1983
Зарегистрирован: 2008-09-08 21:59:56

RAID контроллер и FREEBSD

Непрочитанное сообщение Neus » 2018-07-12 18:26:43

по возможности не использовать EHCI
Эээ… так это же usb 2.0 и есть. Предлагаешь грузится с 1.1? Оно же еле ворочается.
Physics is mathematics with the constraint of reality.
Engineering is physics with the constraint of money.

LOR захватили ситхи.
Добро пожаловать на светлую сторону!

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 18:37:21

Посмотрел доку на мать, так там вроде аж 6 сериал ата. Вполне парочку под систему можно забить.

guest
проходил мимо

RAID контроллер и FREEBSD

Непрочитанное сообщение guest » 2018-07-12 19:56:07

по возможности не использовать EHCI
Эээ… так это же usb 2.0 и есть. Предлагаешь грузится с 1.1? Оно же еле ворочается.
вырезаем только то что нравится?

Было:
"- смотреть настройки BIOS, для FreeBSD по возможности не использовать EHCI"

уточняю, во многих BIOS имеется EHCI [Hand-Off] Disable/Enables - управление
передается BIOS'у=Enable, драйверу ОС в случае Disable.

Для MASADOS, XP и прочей хламуди - Enable, там где есть драйвер - Disable.

Аватара пользователя
Neus
капитан
Сообщения: 1983
Зарегистрирован: 2008-09-08 21:59:56

RAID контроллер и FREEBSD

Непрочитанное сообщение Neus » 2018-07-12 20:18:26

Ну так бы сразу и писал что речь о Hand-Off.
Physics is mathematics with the constraint of reality.
Engineering is physics with the constraint of money.

LOR захватили ситхи.
Добро пожаловать на светлую сторону!

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 20:33:47

Neus писал(а):
2018-07-12 20:18:26
так бы сразу
_______^- Не парься...

Для общего развития пара статей про экспандеры, уж коли эта тема затронута, читаем очень внимательно здесь:
https://true-system.blogspot.com/2011/09/sas.html и здесь:
https://storage.microsemi.com/ru-ru/pro ... 2885t.html
Это никогда не помешает вспомнить...
Тем более, что народ еще будет с таким сталкиваться, а всего знать невозможно.

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 20:42:56

И еще читаем https://adaptec.com/ru-ru/products/cont ... sas-5405z/где видим:

Код: Выделить всё

Ключевые характеристики RAID
• Поддержка подключения 4 дисков при прямом подключении или до 256 дисков SATA или SAS при использовании SAS-экспандеров  
Но это я уже повторяюсь...

snorlov
подполковник
Сообщения: 3927
Зарегистрирован: 2008-09-04 11:51:25
Откуда: Санкт-Петербург

RAID контроллер и FREEBSD

Непрочитанное сообщение snorlov » 2018-07-13 0:57:56

Может банально питания не хватает, я тут мучался с сдромом... втыкаешь его, видиться и ошибками плюется, в другой комп все те же лица и на ура... БП поменял и хоккей стал...