RAID контроллер и FREEBSD

Простые/общие вопросы по UNIX системам. Спросите здесь, если вы новичок

Модераторы: vadim64, terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
GiftWind
рядовой
Сообщения: 39
Зарегистрирован: 2018-05-21 16:10:17

RAID контроллер и FREEBSD

Непрочитанное сообщение GiftWind » 2018-07-11 13:39:51

Добрый день.
Возникла необходимость увеличить дисковое пространство на файловом сервере.
Закупили сервер HP ProLiant DL180 G6. Для меня это было открытием, но жёсткие диски можно подключить
только через RAID контроллер. Докупили RAID контроллер ADAPTEC ASR-5405Z. Аппаратный raid не использовали,
всегда хватало ZFS. Выяснили, что есть такой режим JBOD. Создали. FREEBSD 11.1 диски не видит во время установки.
Устройство /dev/aacd пристуствует. Модуль aac.ko загружен. После ряда экспериментов пришли к выводу, что проблема с
драйверами, т.к. Debian видел диски и определял их как SCSI.
Согласились уже ипользовать аппратный RAID.
1:1TB VOLUME (системный)
2:3TB MIRROR (хранилище)
3:3TB MIRROR (хранилище)
Система после установки начинает загружаться и повисает.
mountroot.jpg
Выключение одного из зеркал помогает-система загружается и видит оставшееся включенным зеркало.
Есть подозрение на то, что неверно указан порядок загрузки, и система пытается загружаться не с того диска. Как это можно установить достоврено и исправить?
(В BIOS контролера в пункте меню MANAGE ARRAYS предлагется нажать Ctrl+B для выбора массива, с которого будет грузиться система. Нажатие ничего не поменяло)

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2460 рублей (8 CPU, 8Gb RAM, 2x500Gb HDD, RAID 3ware 9750):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
ommm
рядовой
Сообщения: 42
Зарегистрирован: 2011-01-28 15:18:48

RAID контроллер и FREEBSD

Непрочитанное сообщение ommm » 2018-07-11 20:24:21

если raid контроллер позволяет переведите его в режим IT(Initiator Target) вместо IR(Integrated RAID) для использования zfs mirror

guest
проходил мимо

RAID контроллер и FREEBSD

Непрочитанное сообщение guest » 2018-07-11 23:58:21

если raid контроллер позволяет переведите его в режим IT(Initiator Target) вместо IR(Integrated RAID) для использования zfs mirror
какой IT?! Это HP'ное гумно с недоношенными софтовыми контроллерами,
сначала приобрели древнее HP'ое гумно - "сервер", затем еще одно
древнее гумно от Adaptec, под который и драйверов то нет.

И зачем на HP пытаться натянуть FreeBSD, если туда отлично садиться
любой коммерческий Linux, да и даже некоммерческий.

Demis
сержант
Сообщения: 162
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 10:47:33

А я вот чего-то не догоняю. Ведь на фотке видно строки:
>Root waiting mount for: usbus5
>Root waiting mount for: usbus5
потом, пониже:
>Cannot find label "zroot"
А "?" в этом режиме рисует чего-то?
Соответственно: не было-ли вставлено в этот момент что-нибудь в usb порт?

GiftWind
рядовой
Сообщения: 39
Зарегистрирован: 2018-05-21 16:10:17

RAID контроллер и FREEBSD

Непрочитанное сообщение GiftWind » 2018-07-12 11:19:56

После ряда экспериментов замечена следующая закономерность: система перестаёт загружаться в случае когда настроено 3 массива: будь то тип VOLUME или MIRROR. Т.е.2 зеркала - всё работает, VOLUME + MIRROR тоже работает, но 3 MIRROR, либо VOLUME + 2 MIRROR - повторяется результат, который описан в 1м посте. С порядком загрузки разобрались, пробовали менять. Дело не в нём.
ommm писал(а):
2018-07-11 20:24:21
если raid контроллер позволяет переведите его в режим IT(Initiator Target) вместо IR(Integrated RAID) для использования zfs mirror
В настройках биоса ничего подобного нет. Похоже контроллер не позволяет.
Demis писал(а):
2018-07-12 10:47:33
Соответственно: не было-ли вставлено в этот момент что-нибудь в usb порт?
Единственная манипуляци с usb - вынули загрузочную флешку после установки. В момент старта системы никаких устройст не подключали и не выключали.

P.S.:
Уважаемый guest!
Да оборудование старое. Ясно,новое, всего скорее, лучше. Мы используем несколько серверов HP Proliant c FreeBSD 11 и никаких трудностей не возникало с установкой и настройкой системы. Все они без RAID контроллеров.
P.P.S.:
На крайний случай рассматриваем вариант замены контроллеров на другие модели.Посоветуйте пожалуйста модели, которые точно будут хорошо работать с FreeBSD. В конечном варианте интересует программный рэйд на zfs без использования аппаратного.

Demis
сержант
Сообщения: 162
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 11:42:33

Не знаю как у кого, но лично у меня всегда моменты загрузки с zfs вызывают некоторую оторопь.
Нет, понятно, что когда установил, настроил - все работает шикарно, но когда начинаются какие-то траблы - начинается вынос мозга на ровном месте, имхо.

По теме: раз с отключенным грузится, значит железо видится, скорее всего, нормально. Соответственно где-то в логике искать нужно. М.б. "активность" раздела нужно убрать с одного из массивов. Или наоборот определить ее на конкретный массив, речь на параметр "mountfrom" из фотки, да и всего, что вокруг загрузки пулов.

Аватара пользователя
Neus
капитан
Сообщения: 1751
Зарегистрирован: 2008-09-08 21:59:56

RAID контроллер и FREEBSD

Непрочитанное сообщение Neus » 2018-07-12 11:46:46

GiftWind писал(а):
2018-07-12 11:19:56
Посоветуйте пожалуйста модели, которые точно будут хорошо работать с FreeBSD.
LSI HBA
«Вы никогда не сумеете решить возникшую проблему,
если сохраните то же мышление и тот же подход,
который привёл вас к этой проблеме.»
© Альберт Эйнштейн

GiftWind
рядовой
Сообщения: 39
Зарегистрирован: 2018-05-21 16:10:17

RAID контроллер и FREEBSD

Непрочитанное сообщение GiftWind » 2018-07-12 11:55:01

Demis писал(а):
2018-07-12 11:42:33
Не знаю как у кого, но лично у меня всегда моменты загрузки с zfs вызывают некоторую оторопь.
Нет, понятно, что когда установил, настроил - все работает шикарно, но когда начинаются какие-то траблы - начинается вынос мозга на ровном месте, имхо.
Пробовали при установке FreeBSD выбирать UFS. Не помогло. Результат такой же.
Свежеустановленный DEBIAN(VOLUME + MIRROR+MIRROR)
debian.jpg
Debian9.4
Neus, спасибо.

Demis
сержант
Сообщения: 162
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 11:58:46

GiftWind писал(а):
2018-07-12 11:19:56
Т.е.2 зеркала - всё работает, VOLUME + MIRROR тоже работает, но 3 MIRROR, либо VOLUME + 2 MIRROR - повторяется результат
Есть подозрение, что MIRROR и MIRROR2 имеют идеально одинаковые параметры. Поэтому система и стопорится, а как только один из них убираешь все становится пучком.
GiftWind писал(а):
2018-07-12 11:55:01
Результат такой же
Все верно, это только подтвержает мое предположение.

Demis
сержант
Сообщения: 162
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 12:10:48

Demis писал(а):
2018-07-12 11:58:46
Есть подозрение, что MIRROR и MIRROR2 имеют идеально одинаковые параметры
Это как в десятке (не помню в 11-ой поправили или нет), где-то я распинался по этому поводу, без всяких-там zfs, тупо на ufs. Ставишь десятку на часть диска. Потом решаешь заиспользовать неиспользованное место. При стандарных процедурах, после перезагрузки получаешь труп, на ровном месте. Детальный разбор показывает, что становится два активных слайса. Одну из активностей убираешь, труп оживает и никакого "мошенства".

Аватара пользователя
Neus
капитан
Сообщения: 1751
Зарегистрирован: 2008-09-08 21:59:56

RAID контроллер и FREEBSD

Непрочитанное сообщение Neus » 2018-07-12 12:23:53

GiftWind писал(а):
2018-07-12 11:55:01
Neus, спасибо
есть одно "но": у меня 2 из 3 таких контроллера не поддерживают загрузку.
т.е. биос не видит подключенные к ним диски и не показывает хоткей чтобы зайти в фирмварь контроллера.
«Вы никогда не сумеете решить возникшую проблему,
если сохраните то же мышление и тот же подход,
который привёл вас к этой проблеме.»
© Альберт Эйнштейн

GiftWind
рядовой
Сообщения: 39
Зарегистрирован: 2018-05-21 16:10:17

RAID контроллер и FREEBSD

Непрочитанное сообщение GiftWind » 2018-07-12 13:07:32

Demis, параметры MIRROR и MIRROR2 действительно во многом одинаковые. Т.е.это одни и те же диски по 3 ТБ. Если оставить только 2 полностью одинаковых зеркала в конфигурации, на одно поставить систему, всё работает. Добавляем ещё одно зеркало либо VOLUME и всё ломается. Можно ли эту "одинаковость" как-то "нарушить", чтобы добиться рабочего результата?
Neus, модель одинаковая у всех 3х, т.е. это некорректная работа устройства? Либо есть модели,которые не поддерживают загрузку?

Аватара пользователя
Neus
капитан
Сообщения: 1751
Зарегистрирован: 2008-09-08 21:59:56

RAID контроллер и FREEBSD

Непрочитанное сообщение Neus » 2018-07-12 13:17:08

GiftWind, модель одинаковая (LSI SAS HBA 2008), версия биоса тоже(16). но в 1-м есть хоткей войти в биос, а в 2-х других нет.
Я воткнул туда SATA DOM на 32Гб, с нее и грузится.
«Вы никогда не сумеете решить возникшую проблему,
если сохраните то же мышление и тот же подход,
который привёл вас к этой проблеме.»
© Альберт Эйнштейн

Demis
сержант
Сообщения: 162
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 13:40:54

GiftWind писал(а):
2018-07-12 13:07:32
Можно ли эту "одинаковость" как-то "нарушить", чтобы добиться рабочего результата?
Конечно можно, однозначно! Нужно будет поднять свои записи, просто на это потребуется время. Так вот с ходу в онлайне "на память" не смогу. Нужно порыться именно это я называю "вынос мозга". Те-же самые тараканы вылезают при загрузке подобных систем с флешки или при появлении других дисков, даже если вне рейд-контроллера. И каждый раз приходится рожать, чтобы найти точку преткновения... Просто может оказаться, что Вы быстрее сможете найти этот момент в тыркнетах чем я успею что-то сделать.

GiftWind
рядовой
Сообщения: 39
Зарегистрирован: 2018-05-21 16:10:17

RAID контроллер и FREEBSD

Непрочитанное сообщение GiftWind » 2018-07-12 14:14:33

Demis писал(а):
2018-07-12 13:40:54
Просто может оказаться, что Вы быстрее сможете найти этот момент в тыркнетах чем я успею что-то сделать.
Об изменении имени устройства, например, когода вытыкаешь флешку, уже попадалась статья. Автор решил проблему прописав в fstab монтирование по uuid. Мы обращали внимание на имя устройства. При установке и на установленной системе (в случаях,когда она загружалась) имя устройства оставалось таким же. К тому же zfs не использует fstab, если не настроена для этого специально. Поэтому решили, что это не наш случай.
Возможно не хватает понимания и опыта,чтобы правильно составить запрос гуглу. Demis, если вы найдёте записи о том как решали, был бы очень признателен. Либо, подскажите пожалуйста, где можно прочитать о решении подобной проблемы?

Demis
сержант
Сообщения: 162
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 14:21:14

По срочному изучите пока:
http://wiki.lissyara.su/wiki/%D0%97%D0% ... BE_FreeBSD и freebsd-unix-dlya-nachinayuschih-f53/ka ... 37731.html и http://www.warenhaus.com.ua/?p=946 (примерно посередине). В кратце, думаю, нужно на "последнем" добавленном пуле (еще до перезагрузки, т.е. в CLI установки) поиграть с zfs get mountpoint

Demis
сержант
Сообщения: 162
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 14:39:19

Точне выражу мысль так:
1. Делаете как у Вас получается и работает "система" + "пул1". убеждаетесь, что все грузится.
2. А только потом создаете, добавляете, "пул2" и сразу смотрите|проверяете|правите zfs get|set mountpoint.

В среднем линке там все больше про клонирование, но смотрите на мультипульность и какие у ребят там значения, соответственно правите под себя.

Если я правильно понял на какой стадии у Вас это происходит, т.к. последовательность действий при установне мне, честно говоря, не ясна (не увидел где это описано). Ну т.е. сразу два пула, не считая системного, при установке делается или нет.

guest
проходил мимо

RAID контроллер и FREEBSD

Непрочитанное сообщение guest » 2018-07-12 14:52:01

P.S.:
Уважаемый guest!
Да оборудование старое. Ясно,новое, всего скорее, лучше. Мы используем несколько серверов HP Proliant c FreeBSD 11 и никаких трудностей не возникало с установкой и настройкой системы. Все они без RAID контроллеров.
Так зачем брали HP с рейд?
Вы можете использовать сколько угодно серверов HP, но если планируете что-то приобрести,
ПРЕЖДЕ, соберите информацию.

На будущее, HP никогда не был АЙС к свободным ОС, видимо, Вы никогда не сталкивались
с их саппортом и техникой, начиная со Sparc и заканчивая x86.
P.P.S.:
На крайний случай рассматриваем вариант замены контроллеров на другие модели.Посоветуйте пожалуйста модели, которые точно будут хорошо работать с FreeBSD. В конечном варианте интересует программный рэйд на zfs без использования аппаратного.
LSI 9211 на базе 2008 чипа, покупать лучше на ebay, советовать что-то более современное,
в Ваше гумно, sorry, нет смысла, а эта модель, вероятно, лучшая из SAS2(6Gbps)
LSI 9211-8i или 4i (PCI-E x8) - кол-во портов зависит от Ваших целей.

Контроллер имеет два режима: IR (RAID) и IT(HBA) Mode, изменяются прошивкой firmware.
Firmware можно прошить из DOS, Linux, FreeBSD.

Смотрите что у Вас есть из PCI-E в Вашем HP. К сожалению, HP'ный BIOS может стать ЗАСАДОЙ.
И последняя Важная вещь - это Backplane на Вашем HP и наличие Expander'a SAS2 на 6Gbps,
в ином случае, придется подключать диски на прямую с контроллера, в этом случае,
Вам понадобится кабель mini-SAS SFF8087 (iPass) на 4xSATA или mini-SAS SFF8087 на SFF-8482,
последний универсальный SAS/SATA, его лучше брать с 4xPower.
Обычно, один SAS-порт поддерживает не более 4xHDD на прямую.

За 20-30 лет общения с разным Саппортом, вывод такой:
1. Sun Microsystems - лучший
2. Supermicro - очень напоминает поддержку Sun Microsystems, красавцы - оправдывают
принцип работы support'а - помочь, а не отпинывать: OEM, пятое-десятое...
...
l. Dell
...
x. HP, WD & etc...

1. Supermicro - одна из самых удачных платформ для FreeBSD и разумеется Linux, самая дешевая,
лучший саппорт и поход к созданию техники по стандартам, не впихивая свой OEM для удорожания
и посылания на куй. Да - открытость, документация, конструктор - собери свой сервер на базе
шасси & etc.
2. Современные Dell сервера, увы, со старыми x86_64 не приходилось сталкиваться.
3. Intel - хотел поставить на второе место, но со свежими моделями не сталкивался
...
последнее место. HP - что Sparc гумно, что x86.

Верхнее ни разу не реклама, а личный опыт, и надеюсь, кому-то он поможет
избежать ошибок и проблем, все Tier'ы построены на Supermicro и сейчас Dell'ы, все HP выброшены
на свалку и от закупок серверов этой компании отказались.

snorlov
подполковник
Сообщения: 3639
Зарегистрирован: 2008-09-04 11:51:25
Откуда: Санкт-Петербург

RAID контроллер и FREEBSD

Непрочитанное сообщение snorlov » 2018-07-12 14:58:28

Еще вопрос как собираете пулы по меткам или именам? Метки разделам присваиваете?

GiftWind
рядовой
Сообщения: 39
Зарегистрирован: 2018-05-21 16:10:17

RAID контроллер и FREEBSD

Непрочитанное сообщение GiftWind » 2018-07-12 14:59:58

Весь процесс установки такой:
1) В настройках контроллера создаю 3 массива, как указано вначале: 1хVOLUME , 2хRAID-1(MIRROR)
2) Устанавливаю FreeBSD в флешки. Во время установки выбираю AutoZFS и 1й том(VOLUME) как zfs stripe, два остальных устройства не трогаю.
3) После установки планировалось каждое зеркало добавить как отдельный пул:

Код: Выделить всё

zpool create storage1(2) /dev/aacd1(2)

GiftWind
рядовой
Сообщения: 39
Зарегистрирован: 2018-05-21 16:10:17

RAID контроллер и FREEBSD

Непрочитанное сообщение GiftWind » 2018-07-12 15:02:50

snorlov писал(а):
2018-07-12 14:58:28
Еще вопрос как собираете пулы по меткам или именам? Метки разделам присваиваете?
В биосе контроллера, при создании массивов,каждому присваивал метку.(SYSTEM, STORAGE, STORAGE2)

Demis
сержант
Сообщения: 162
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 15:11:15

GiftWind писал(а):
2018-07-12 14:59:58
stripe
А почему страйп?

Demis
сержант
Сообщения: 162
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 15:13:14

Demis писал(а):
2018-07-12 14:39:19
смотрите|проверяете|правите zfs get|set mountpoint.
Читать как "смотрите|проверяете|правите zfs get|set mountpoint для последнего пула"

Demis
сержант
Сообщения: 162
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 15:13:59

GiftWind писал(а):
2018-07-12 14:59:58
создаю 3 массива
jbod ?

GiftWind
рядовой
Сообщения: 39
Зарегистрирован: 2018-05-21 16:10:17

RAID контроллер и FREEBSD

Непрочитанное сообщение GiftWind » 2018-07-12 15:14:25

guest писал(а):
2018-07-12 14:52:01
Так зачем брали HP с рейд?
Вы можете использовать сколько угодно серверов HP, но если планируете что-то приобрести,
ПРЕЖДЕ, соберите информацию.
Тут нечего сказать, всё правильно. Не могу сказать,что это мой осознанный выбор. Дело именно в отсутствии опыта. Заказал, как посоветовали более опытные коллеги + наличие серверов того же производителя, к которым не было нареканий. При общении с менеджером со своей стороны указал, что аппаратный рейд не хотим использовать. Прислали сервера совсем без контроллеров. Т.е. sas разъём есть, а куда включать его-нету. Связались с менеджером, он сказал, что есть недорогое решение (+ скидку сделали), которое позволит нам подключать диски "напрямую". Вот вкратце почему так всё получилось. За несколько дней узнал много нового для себя.
За советы благодарю.