Страница 1 из 4

RAID контроллер и FREEBSD

Добавлено: 2018-07-11 13:39:51
GiftWind
Добрый день.
Возникла необходимость увеличить дисковое пространство на файловом сервере.
Закупили сервер HP ProLiant DL180 G6. Для меня это было открытием, но жёсткие диски можно подключить
только через RAID контроллер. Докупили RAID контроллер ADAPTEC ASR-5405Z. Аппаратный raid не использовали,
всегда хватало ZFS. Выяснили, что есть такой режим JBOD. Создали. FREEBSD 11.1 диски не видит во время установки.
Устройство /dev/aacd пристуствует. Модуль aac.ko загружен. После ряда экспериментов пришли к выводу, что проблема с
драйверами, т.к. Debian видел диски и определял их как SCSI.
Согласились уже ипользовать аппратный RAID.
1:1TB VOLUME (системный)
2:3TB MIRROR (хранилище)
3:3TB MIRROR (хранилище)
Система после установки начинает загружаться и повисает.
mountroot.jpg
Выключение одного из зеркал помогает-система загружается и видит оставшееся включенным зеркало.
Есть подозрение на то, что неверно указан порядок загрузки, и система пытается загружаться не с того диска. Как это можно установить достоврено и исправить?
(В BIOS контролера в пункте меню MANAGE ARRAYS предлагется нажать Ctrl+B для выбора массива, с которого будет грузиться система. Нажатие ничего не поменяло)

RAID контроллер и FREEBSD

Добавлено: 2018-07-11 20:24:21
ommm
если raid контроллер позволяет переведите его в режим IT(Initiator Target) вместо IR(Integrated RAID) для использования zfs mirror

RAID контроллер и FREEBSD

Добавлено: 2018-07-11 23:58:21
guest
если raid контроллер позволяет переведите его в режим IT(Initiator Target) вместо IR(Integrated RAID) для использования zfs mirror
какой IT?! Это HP'ное гумно с недоношенными софтовыми контроллерами,
сначала приобрели древнее HP'ое гумно - "сервер", затем еще одно
древнее гумно от Adaptec, под который и драйверов то нет.

И зачем на HP пытаться натянуть FreeBSD, если туда отлично садиться
любой коммерческий Linux, да и даже некоммерческий.

RAID контроллер и FREEBSD

Добавлено: 2018-07-12 10:47:33
Demis
А я вот чего-то не догоняю. Ведь на фотке видно строки:
>Root waiting mount for: usbus5
>Root waiting mount for: usbus5
потом, пониже:
>Cannot find label "zroot"
А "?" в этом режиме рисует чего-то?
Соответственно: не было-ли вставлено в этот момент что-нибудь в usb порт?

RAID контроллер и FREEBSD

Добавлено: 2018-07-12 11:19:56
GiftWind
После ряда экспериментов замечена следующая закономерность: система перестаёт загружаться в случае когда настроено 3 массива: будь то тип VOLUME или MIRROR. Т.е.2 зеркала - всё работает, VOLUME + MIRROR тоже работает, но 3 MIRROR, либо VOLUME + 2 MIRROR - повторяется результат, который описан в 1м посте. С порядком загрузки разобрались, пробовали менять. Дело не в нём.
ommm писал(а):
2018-07-11 20:24:21
если raid контроллер позволяет переведите его в режим IT(Initiator Target) вместо IR(Integrated RAID) для использования zfs mirror
В настройках биоса ничего подобного нет. Похоже контроллер не позволяет.
Demis писал(а):
2018-07-12 10:47:33
Соответственно: не было-ли вставлено в этот момент что-нибудь в usb порт?
Единственная манипуляци с usb - вынули загрузочную флешку после установки. В момент старта системы никаких устройст не подключали и не выключали.

P.S.:
Уважаемый guest!
Да оборудование старое. Ясно,новое, всего скорее, лучше. Мы используем несколько серверов HP Proliant c FreeBSD 11 и никаких трудностей не возникало с установкой и настройкой системы. Все они без RAID контроллеров.
P.P.S.:
На крайний случай рассматриваем вариант замены контроллеров на другие модели.Посоветуйте пожалуйста модели, которые точно будут хорошо работать с FreeBSD. В конечном варианте интересует программный рэйд на zfs без использования аппаратного.

RAID контроллер и FREEBSD

Добавлено: 2018-07-12 11:42:33
Demis
Не знаю как у кого, но лично у меня всегда моменты загрузки с zfs вызывают некоторую оторопь.
Нет, понятно, что когда установил, настроил - все работает шикарно, но когда начинаются какие-то траблы - начинается вынос мозга на ровном месте, имхо.

По теме: раз с отключенным грузится, значит железо видится, скорее всего, нормально. Соответственно где-то в логике искать нужно. М.б. "активность" раздела нужно убрать с одного из массивов. Или наоборот определить ее на конкретный массив, речь на параметр "mountfrom" из фотки, да и всего, что вокруг загрузки пулов.

RAID контроллер и FREEBSD

Добавлено: 2018-07-12 11:46:46
Neus
GiftWind писал(а):
2018-07-12 11:19:56
Посоветуйте пожалуйста модели, которые точно будут хорошо работать с FreeBSD.
LSI HBA

RAID контроллер и FREEBSD

Добавлено: 2018-07-12 11:55:01
GiftWind
Demis писал(а):
2018-07-12 11:42:33
Не знаю как у кого, но лично у меня всегда моменты загрузки с zfs вызывают некоторую оторопь.
Нет, понятно, что когда установил, настроил - все работает шикарно, но когда начинаются какие-то траблы - начинается вынос мозга на ровном месте, имхо.
Пробовали при установке FreeBSD выбирать UFS. Не помогло. Результат такой же.
Свежеустановленный DEBIAN(VOLUME + MIRROR+MIRROR)
debian.jpg
Debian9.4
Neus, спасибо.

RAID контроллер и FREEBSD

Добавлено: 2018-07-12 11:58:46
Demis
GiftWind писал(а):
2018-07-12 11:19:56
Т.е.2 зеркала - всё работает, VOLUME + MIRROR тоже работает, но 3 MIRROR, либо VOLUME + 2 MIRROR - повторяется результат
Есть подозрение, что MIRROR и MIRROR2 имеют идеально одинаковые параметры. Поэтому система и стопорится, а как только один из них убираешь все становится пучком.
GiftWind писал(а):
2018-07-12 11:55:01
Результат такой же
Все верно, это только подтвержает мое предположение.

RAID контроллер и FREEBSD

Добавлено: 2018-07-12 12:10:48
Demis
Demis писал(а):
2018-07-12 11:58:46
Есть подозрение, что MIRROR и MIRROR2 имеют идеально одинаковые параметры
Это как в десятке (не помню в 11-ой поправили или нет), где-то я распинался по этому поводу, без всяких-там zfs, тупо на ufs. Ставишь десятку на часть диска. Потом решаешь заиспользовать неиспользованное место. При стандарных процедурах, после перезагрузки получаешь труп, на ровном месте. Детальный разбор показывает, что становится два активных слайса. Одну из активностей убираешь, труп оживает и никакого "мошенства".

RAID контроллер и FREEBSD

Добавлено: 2018-07-12 12:23:53
Neus
GiftWind писал(а):
2018-07-12 11:55:01
Neus, спасибо
есть одно "но": у меня 2 из 3 таких контроллера не поддерживают загрузку.
т.е. биос не видит подключенные к ним диски и не показывает хоткей чтобы зайти в фирмварь контроллера.

RAID контроллер и FREEBSD

Добавлено: 2018-07-12 13:07:32
GiftWind
Demis, параметры MIRROR и MIRROR2 действительно во многом одинаковые. Т.е.это одни и те же диски по 3 ТБ. Если оставить только 2 полностью одинаковых зеркала в конфигурации, на одно поставить систему, всё работает. Добавляем ещё одно зеркало либо VOLUME и всё ломается. Можно ли эту "одинаковость" как-то "нарушить", чтобы добиться рабочего результата?
Neus, модель одинаковая у всех 3х, т.е. это некорректная работа устройства? Либо есть модели,которые не поддерживают загрузку?

RAID контроллер и FREEBSD

Добавлено: 2018-07-12 13:17:08
Neus
GiftWind, модель одинаковая (LSI SAS HBA 2008), версия биоса тоже(16). но в 1-м есть хоткей войти в биос, а в 2-х других нет.
Я воткнул туда SATA DOM на 32Гб, с нее и грузится.

RAID контроллер и FREEBSD

Добавлено: 2018-07-12 13:40:54
Demis
GiftWind писал(а):
2018-07-12 13:07:32
Можно ли эту "одинаковость" как-то "нарушить", чтобы добиться рабочего результата?
Конечно можно, однозначно! Нужно будет поднять свои записи, просто на это потребуется время. Так вот с ходу в онлайне "на память" не смогу. Нужно порыться именно это я называю "вынос мозга". Те-же самые тараканы вылезают при загрузке подобных систем с флешки или при появлении других дисков, даже если вне рейд-контроллера. И каждый раз приходится рожать, чтобы найти точку преткновения... Просто может оказаться, что Вы быстрее сможете найти этот момент в тыркнетах чем я успею что-то сделать.

RAID контроллер и FREEBSD

Добавлено: 2018-07-12 14:14:33
GiftWind
Demis писал(а):
2018-07-12 13:40:54
Просто может оказаться, что Вы быстрее сможете найти этот момент в тыркнетах чем я успею что-то сделать.
Об изменении имени устройства, например, когода вытыкаешь флешку, уже попадалась статья. Автор решил проблему прописав в fstab монтирование по uuid. Мы обращали внимание на имя устройства. При установке и на установленной системе (в случаях,когда она загружалась) имя устройства оставалось таким же. К тому же zfs не использует fstab, если не настроена для этого специально. Поэтому решили, что это не наш случай.
Возможно не хватает понимания и опыта,чтобы правильно составить запрос гуглу. Demis, если вы найдёте записи о том как решали, был бы очень признателен. Либо, подскажите пожалуйста, где можно прочитать о решении подобной проблемы?

RAID контроллер и FREEBSD

Добавлено: 2018-07-12 14:21:14
Demis
По срочному изучите пока:
http://wiki.lissyara.su/wiki/%D0%97%D0% ... BE_FreeBSD и freebsd-unix-dlya-nachinayuschih-f53/ka ... 37731.html и http://www.warenhaus.com.ua/?p=946 (примерно посередине). В кратце, думаю, нужно на "последнем" добавленном пуле (еще до перезагрузки, т.е. в CLI установки) поиграть с zfs get mountpoint

RAID контроллер и FREEBSD

Добавлено: 2018-07-12 14:39:19
Demis
Точне выражу мысль так:
1. Делаете как у Вас получается и работает "система" + "пул1". убеждаетесь, что все грузится.
2. А только потом создаете, добавляете, "пул2" и сразу смотрите|проверяете|правите zfs get|set mountpoint.

В среднем линке там все больше про клонирование, но смотрите на мультипульность и какие у ребят там значения, соответственно правите под себя.

Если я правильно понял на какой стадии у Вас это происходит, т.к. последовательность действий при установне мне, честно говоря, не ясна (не увидел где это описано). Ну т.е. сразу два пула, не считая системного, при установке делается или нет.

RAID контроллер и FREEBSD

Добавлено: 2018-07-12 14:52:01
guest
P.S.:
Уважаемый guest!
Да оборудование старое. Ясно,новое, всего скорее, лучше. Мы используем несколько серверов HP Proliant c FreeBSD 11 и никаких трудностей не возникало с установкой и настройкой системы. Все они без RAID контроллеров.
Так зачем брали HP с рейд?
Вы можете использовать сколько угодно серверов HP, но если планируете что-то приобрести,
ПРЕЖДЕ, соберите информацию.

На будущее, HP никогда не был АЙС к свободным ОС, видимо, Вы никогда не сталкивались
с их саппортом и техникой, начиная со Sparc и заканчивая x86.
P.P.S.:
На крайний случай рассматриваем вариант замены контроллеров на другие модели.Посоветуйте пожалуйста модели, которые точно будут хорошо работать с FreeBSD. В конечном варианте интересует программный рэйд на zfs без использования аппаратного.
LSI 9211 на базе 2008 чипа, покупать лучше на ebay, советовать что-то более современное,
в Ваше гумно, sorry, нет смысла, а эта модель, вероятно, лучшая из SAS2(6Gbps)
LSI 9211-8i или 4i (PCI-E x8) - кол-во портов зависит от Ваших целей.

Контроллер имеет два режима: IR (RAID) и IT(HBA) Mode, изменяются прошивкой firmware.
Firmware можно прошить из DOS, Linux, FreeBSD.

Смотрите что у Вас есть из PCI-E в Вашем HP. К сожалению, HP'ный BIOS может стать ЗАСАДОЙ.
И последняя Важная вещь - это Backplane на Вашем HP и наличие Expander'a SAS2 на 6Gbps,
в ином случае, придется подключать диски на прямую с контроллера, в этом случае,
Вам понадобится кабель mini-SAS SFF8087 (iPass) на 4xSATA или mini-SAS SFF8087 на SFF-8482,
последний универсальный SAS/SATA, его лучше брать с 4xPower.
Обычно, один SAS-порт поддерживает не более 4xHDD на прямую.

За 20-30 лет общения с разным Саппортом, вывод такой:
1. Sun Microsystems - лучший
2. Supermicro - очень напоминает поддержку Sun Microsystems, красавцы - оправдывают
принцип работы support'а - помочь, а не отпинывать: OEM, пятое-десятое...
...
l. Dell
...
x. HP, WD & etc...

1. Supermicro - одна из самых удачных платформ для FreeBSD и разумеется Linux, самая дешевая,
лучший саппорт и поход к созданию техники по стандартам, не впихивая свой OEM для удорожания
и посылания на куй. Да - открытость, документация, конструктор - собери свой сервер на базе
шасси & etc.
2. Современные Dell сервера, увы, со старыми x86_64 не приходилось сталкиваться.
3. Intel - хотел поставить на второе место, но со свежими моделями не сталкивался
...
последнее место. HP - что Sparc гумно, что x86.

Верхнее ни разу не реклама, а личный опыт, и надеюсь, кому-то он поможет
избежать ошибок и проблем, все Tier'ы построены на Supermicro и сейчас Dell'ы, все HP выброшены
на свалку и от закупок серверов этой компании отказались.

RAID контроллер и FREEBSD

Добавлено: 2018-07-12 14:58:28
snorlov
Еще вопрос как собираете пулы по меткам или именам? Метки разделам присваиваете?

RAID контроллер и FREEBSD

Добавлено: 2018-07-12 14:59:58
GiftWind
Весь процесс установки такой:
1) В настройках контроллера создаю 3 массива, как указано вначале: 1хVOLUME , 2хRAID-1(MIRROR)
2) Устанавливаю FreeBSD в флешки. Во время установки выбираю AutoZFS и 1й том(VOLUME) как zfs stripe, два остальных устройства не трогаю.
3) После установки планировалось каждое зеркало добавить как отдельный пул:

Код: Выделить всё

zpool create storage1(2) /dev/aacd1(2)

RAID контроллер и FREEBSD

Добавлено: 2018-07-12 15:02:50
GiftWind
snorlov писал(а):
2018-07-12 14:58:28
Еще вопрос как собираете пулы по меткам или именам? Метки разделам присваиваете?
В биосе контроллера, при создании массивов,каждому присваивал метку.(SYSTEM, STORAGE, STORAGE2)

RAID контроллер и FREEBSD

Добавлено: 2018-07-12 15:11:15
Demis
GiftWind писал(а):
2018-07-12 14:59:58
stripe
А почему страйп?

RAID контроллер и FREEBSD

Добавлено: 2018-07-12 15:13:14
Demis
Demis писал(а):
2018-07-12 14:39:19
смотрите|проверяете|правите zfs get|set mountpoint.
Читать как "смотрите|проверяете|правите zfs get|set mountpoint для последнего пула"

RAID контроллер и FREEBSD

Добавлено: 2018-07-12 15:13:59
Demis
GiftWind писал(а):
2018-07-12 14:59:58
создаю 3 массива
jbod ?

RAID контроллер и FREEBSD

Добавлено: 2018-07-12 15:14:25
GiftWind
guest писал(а):
2018-07-12 14:52:01
Так зачем брали HP с рейд?
Вы можете использовать сколько угодно серверов HP, но если планируете что-то приобрести,
ПРЕЖДЕ, соберите информацию.
Тут нечего сказать, всё правильно. Не могу сказать,что это мой осознанный выбор. Дело именно в отсутствии опыта. Заказал, как посоветовали более опытные коллеги + наличие серверов того же производителя, к которым не было нареканий. При общении с менеджером со своей стороны указал, что аппаратный рейд не хотим использовать. Прислали сервера совсем без контроллеров. Т.е. sas разъём есть, а куда включать его-нету. Связались с менеджером, он сказал, что есть недорогое решение (+ скидку сделали), которое позволит нам подключать диски "напрямую". Вот вкратце почему так всё получилось. За несколько дней узнал много нового для себя.
За советы благодарю.