RAID контроллер и FREEBSD
Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
-
- рядовой
- Сообщения: 39
- Зарегистрирован: 2018-05-21 16:10:17
RAID контроллер и FREEBSD
Добрый день.
Возникла необходимость увеличить дисковое пространство на файловом сервере.
Закупили сервер HP ProLiant DL180 G6. Для меня это было открытием, но жёсткие диски можно подключить
только через RAID контроллер. Докупили RAID контроллер ADAPTEC ASR-5405Z. Аппаратный raid не использовали,
всегда хватало ZFS. Выяснили, что есть такой режим JBOD. Создали. FREEBSD 11.1 диски не видит во время установки.
Устройство /dev/aacd пристуствует. Модуль aac.ko загружен. После ряда экспериментов пришли к выводу, что проблема с
драйверами, т.к. Debian видел диски и определял их как SCSI.
Согласились уже ипользовать аппратный RAID.
1:1TB VOLUME (системный)
2:3TB MIRROR (хранилище)
3:3TB MIRROR (хранилище)
Система после установки начинает загружаться и повисает. Выключение одного из зеркал помогает-система загружается и видит оставшееся включенным зеркало.
Есть подозрение на то, что неверно указан порядок загрузки, и система пытается загружаться не с того диска. Как это можно установить достоврено и исправить?
(В BIOS контролера в пункте меню MANAGE ARRAYS предлагется нажать Ctrl+B для выбора массива, с которого будет грузиться система. Нажатие ничего не поменяло)
Возникла необходимость увеличить дисковое пространство на файловом сервере.
Закупили сервер HP ProLiant DL180 G6. Для меня это было открытием, но жёсткие диски можно подключить
только через RAID контроллер. Докупили RAID контроллер ADAPTEC ASR-5405Z. Аппаратный raid не использовали,
всегда хватало ZFS. Выяснили, что есть такой режим JBOD. Создали. FREEBSD 11.1 диски не видит во время установки.
Устройство /dev/aacd пристуствует. Модуль aac.ko загружен. После ряда экспериментов пришли к выводу, что проблема с
драйверами, т.к. Debian видел диски и определял их как SCSI.
Согласились уже ипользовать аппратный RAID.
1:1TB VOLUME (системный)
2:3TB MIRROR (хранилище)
3:3TB MIRROR (хранилище)
Система после установки начинает загружаться и повисает. Выключение одного из зеркал помогает-система загружается и видит оставшееся включенным зеркало.
Есть подозрение на то, что неверно указан порядок загрузки, и система пытается загружаться не с того диска. Как это можно установить достоврено и исправить?
(В BIOS контролера в пункте меню MANAGE ARRAYS предлагется нажать Ctrl+B для выбора массива, с которого будет грузиться система. Нажатие ничего не поменяло)
Услуги хостинговой компании Host-Food.ru
Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/
- ommm
- рядовой
- Сообщения: 45
- Зарегистрирован: 2011-01-28 15:18:48
RAID контроллер и FREEBSD
если raid контроллер позволяет переведите его в режим IT(Initiator Target) вместо IR(Integrated RAID) для использования zfs mirror
-
- проходил мимо
RAID контроллер и FREEBSD
какой IT?! Это HP'ное гумно с недоношенными софтовыми контроллерами,если raid контроллер позволяет переведите его в режим IT(Initiator Target) вместо IR(Integrated RAID) для использования zfs mirror
сначала приобрели древнее HP'ое гумно - "сервер", затем еще одно
древнее гумно от Adaptec, под который и драйверов то нет.
И зачем на HP пытаться натянуть FreeBSD, если туда отлично садиться
любой коммерческий Linux, да и даже некоммерческий.
-
- прапорщик
- Сообщения: 493
- Зарегистрирован: 2015-05-25 14:36:32
RAID контроллер и FREEBSD
А я вот чего-то не догоняю. Ведь на фотке видно строки:
>Root waiting mount for: usbus5
>Root waiting mount for: usbus5
потом, пониже:
>Cannot find label "zroot"
А "?" в этом режиме рисует чего-то?
Соответственно: не было-ли вставлено в этот момент что-нибудь в usb порт?
>Root waiting mount for: usbus5
>Root waiting mount for: usbus5
потом, пониже:
>Cannot find label "zroot"
А "?" в этом режиме рисует чего-то?
Соответственно: не было-ли вставлено в этот момент что-нибудь в usb порт?
-
- рядовой
- Сообщения: 39
- Зарегистрирован: 2018-05-21 16:10:17
RAID контроллер и FREEBSD
После ряда экспериментов замечена следующая закономерность: система перестаёт загружаться в случае когда настроено 3 массива: будь то тип VOLUME или MIRROR. Т.е.2 зеркала - всё работает, VOLUME + MIRROR тоже работает, но 3 MIRROR, либо VOLUME + 2 MIRROR - повторяется результат, который описан в 1м посте. С порядком загрузки разобрались, пробовали менять. Дело не в нём.
P.S.:
Уважаемый guest!
Да оборудование старое. Ясно,новое, всего скорее, лучше. Мы используем несколько серверов HP Proliant c FreeBSD 11 и никаких трудностей не возникало с установкой и настройкой системы. Все они без RAID контроллеров.
P.P.S.:
На крайний случай рассматриваем вариант замены контроллеров на другие модели.Посоветуйте пожалуйста модели, которые точно будут хорошо работать с FreeBSD. В конечном варианте интересует программный рэйд на zfs без использования аппаратного.
В настройках биоса ничего подобного нет. Похоже контроллер не позволяет.
Единственная манипуляци с usb - вынули загрузочную флешку после установки. В момент старта системы никаких устройст не подключали и не выключали.
P.S.:
Уважаемый guest!
Да оборудование старое. Ясно,новое, всего скорее, лучше. Мы используем несколько серверов HP Proliant c FreeBSD 11 и никаких трудностей не возникало с установкой и настройкой системы. Все они без RAID контроллеров.
P.P.S.:
На крайний случай рассматриваем вариант замены контроллеров на другие модели.Посоветуйте пожалуйста модели, которые точно будут хорошо работать с FreeBSD. В конечном варианте интересует программный рэйд на zfs без использования аппаратного.
-
- прапорщик
- Сообщения: 493
- Зарегистрирован: 2015-05-25 14:36:32
RAID контроллер и FREEBSD
Не знаю как у кого, но лично у меня всегда моменты загрузки с zfs вызывают некоторую оторопь.
Нет, понятно, что когда установил, настроил - все работает шикарно, но когда начинаются какие-то траблы - начинается вынос мозга на ровном месте, имхо.
По теме: раз с отключенным грузится, значит железо видится, скорее всего, нормально. Соответственно где-то в логике искать нужно. М.б. "активность" раздела нужно убрать с одного из массивов. Или наоборот определить ее на конкретный массив, речь на параметр "mountfrom" из фотки, да и всего, что вокруг загрузки пулов.
Нет, понятно, что когда установил, настроил - все работает шикарно, но когда начинаются какие-то траблы - начинается вынос мозга на ровном месте, имхо.
По теме: раз с отключенным грузится, значит железо видится, скорее всего, нормально. Соответственно где-то в логике искать нужно. М.б. "активность" раздела нужно убрать с одного из массивов. Или наоборот определить ее на конкретный массив, речь на параметр "mountfrom" из фотки, да и всего, что вокруг загрузки пулов.
- Neus
- капитан
- Сообщения: 1946
- Зарегистрирован: 2008-09-08 21:59:56
RAID контроллер и FREEBSD
LSI HBA
Physics is mathematics with the constraint of reality.
Engineering is physics with the constraint of money.
LOR захватили ситхи.
Добро пожаловать на светлую сторону!
Engineering is physics with the constraint of money.
LOR захватили ситхи.
Добро пожаловать на светлую сторону!
-
- рядовой
- Сообщения: 39
- Зарегистрирован: 2018-05-21 16:10:17
RAID контроллер и FREEBSD
Пробовали при установке FreeBSD выбирать UFS. Не помогло. Результат такой же.
Свежеустановленный DEBIAN(VOLUME + MIRROR+MIRROR) Neus, спасибо.
-
- прапорщик
- Сообщения: 493
- Зарегистрирован: 2015-05-25 14:36:32
RAID контроллер и FREEBSD
Есть подозрение, что MIRROR и MIRROR2 имеют идеально одинаковые параметры. Поэтому система и стопорится, а как только один из них убираешь все становится пучком.
Все верно, это только подтвержает мое предположение.
-
- прапорщик
- Сообщения: 493
- Зарегистрирован: 2015-05-25 14:36:32
RAID контроллер и FREEBSD
Это как в десятке (не помню в 11-ой поправили или нет), где-то я распинался по этому поводу, без всяких-там zfs, тупо на ufs. Ставишь десятку на часть диска. Потом решаешь заиспользовать неиспользованное место. При стандарных процедурах, после перезагрузки получаешь труп, на ровном месте. Детальный разбор показывает, что становится два активных слайса. Одну из активностей убираешь, труп оживает и никакого "мошенства".
- Neus
- капитан
- Сообщения: 1946
- Зарегистрирован: 2008-09-08 21:59:56
RAID контроллер и FREEBSD
есть одно "но": у меня 2 из 3 таких контроллера не поддерживают загрузку.
т.е. биос не видит подключенные к ним диски и не показывает хоткей чтобы зайти в фирмварь контроллера.
Physics is mathematics with the constraint of reality.
Engineering is physics with the constraint of money.
LOR захватили ситхи.
Добро пожаловать на светлую сторону!
Engineering is physics with the constraint of money.
LOR захватили ситхи.
Добро пожаловать на светлую сторону!
-
- рядовой
- Сообщения: 39
- Зарегистрирован: 2018-05-21 16:10:17
RAID контроллер и FREEBSD
Demis, параметры MIRROR и MIRROR2 действительно во многом одинаковые. Т.е.это одни и те же диски по 3 ТБ. Если оставить только 2 полностью одинаковых зеркала в конфигурации, на одно поставить систему, всё работает. Добавляем ещё одно зеркало либо VOLUME и всё ломается. Можно ли эту "одинаковость" как-то "нарушить", чтобы добиться рабочего результата?
Neus, модель одинаковая у всех 3х, т.е. это некорректная работа устройства? Либо есть модели,которые не поддерживают загрузку?
Neus, модель одинаковая у всех 3х, т.е. это некорректная работа устройства? Либо есть модели,которые не поддерживают загрузку?
- Neus
- капитан
- Сообщения: 1946
- Зарегистрирован: 2008-09-08 21:59:56
RAID контроллер и FREEBSD
GiftWind, модель одинаковая (LSI SAS HBA 2008), версия биоса тоже(16). но в 1-м есть хоткей войти в биос, а в 2-х других нет.
Я воткнул туда SATA DOM на 32Гб, с нее и грузится.
Я воткнул туда SATA DOM на 32Гб, с нее и грузится.
Physics is mathematics with the constraint of reality.
Engineering is physics with the constraint of money.
LOR захватили ситхи.
Добро пожаловать на светлую сторону!
Engineering is physics with the constraint of money.
LOR захватили ситхи.
Добро пожаловать на светлую сторону!
-
- прапорщик
- Сообщения: 493
- Зарегистрирован: 2015-05-25 14:36:32
RAID контроллер и FREEBSD
Конечно можно, однозначно! Нужно будет поднять свои записи, просто на это потребуется время. Так вот с ходу в онлайне "на память" не смогу. Нужно порыться именно это я называю "вынос мозга". Те-же самые тараканы вылезают при загрузке подобных систем с флешки или при появлении других дисков, даже если вне рейд-контроллера. И каждый раз приходится рожать, чтобы найти точку преткновения... Просто может оказаться, что Вы быстрее сможете найти этот момент в тыркнетах чем я успею что-то сделать.
-
- рядовой
- Сообщения: 39
- Зарегистрирован: 2018-05-21 16:10:17
RAID контроллер и FREEBSD
Об изменении имени устройства, например, когода вытыкаешь флешку, уже попадалась статья. Автор решил проблему прописав в fstab монтирование по uuid. Мы обращали внимание на имя устройства. При установке и на установленной системе (в случаях,когда она загружалась) имя устройства оставалось таким же. К тому же zfs не использует fstab, если не настроена для этого специально. Поэтому решили, что это не наш случай.
Возможно не хватает понимания и опыта,чтобы правильно составить запрос гуглу. Demis, если вы найдёте записи о том как решали, был бы очень признателен. Либо, подскажите пожалуйста, где можно прочитать о решении подобной проблемы?
-
- прапорщик
- Сообщения: 493
- Зарегистрирован: 2015-05-25 14:36:32
RAID контроллер и FREEBSD
По срочному изучите пока:
http://wiki.lissyara.su/wiki/%D0%97%D0% ... BE_FreeBSD и freebsd-unix-dlya-nachinayuschih-f53/ka ... 37731.html и http://www.warenhaus.com.ua/?p=946 (примерно посередине). В кратце, думаю, нужно на "последнем" добавленном пуле (еще до перезагрузки, т.е. в CLI установки) поиграть с zfs get mountpoint
http://wiki.lissyara.su/wiki/%D0%97%D0% ... BE_FreeBSD и freebsd-unix-dlya-nachinayuschih-f53/ka ... 37731.html и http://www.warenhaus.com.ua/?p=946 (примерно посередине). В кратце, думаю, нужно на "последнем" добавленном пуле (еще до перезагрузки, т.е. в CLI установки) поиграть с zfs get mountpoint
-
- прапорщик
- Сообщения: 493
- Зарегистрирован: 2015-05-25 14:36:32
RAID контроллер и FREEBSD
Точне выражу мысль так:
1. Делаете как у Вас получается и работает "система" + "пул1". убеждаетесь, что все грузится.
2. А только потом создаете, добавляете, "пул2" и сразу смотрите|проверяете|правите zfs get|set mountpoint.
В среднем линке там все больше про клонирование, но смотрите на мультипульность и какие у ребят там значения, соответственно правите под себя.
Если я правильно понял на какой стадии у Вас это происходит, т.к. последовательность действий при установне мне, честно говоря, не ясна (не увидел где это описано). Ну т.е. сразу два пула, не считая системного, при установке делается или нет.
1. Делаете как у Вас получается и работает "система" + "пул1". убеждаетесь, что все грузится.
2. А только потом создаете, добавляете, "пул2" и сразу смотрите|проверяете|правите zfs get|set mountpoint.
В среднем линке там все больше про клонирование, но смотрите на мультипульность и какие у ребят там значения, соответственно правите под себя.
Если я правильно понял на какой стадии у Вас это происходит, т.к. последовательность действий при установне мне, честно говоря, не ясна (не увидел где это описано). Ну т.е. сразу два пула, не считая системного, при установке делается или нет.
-
- проходил мимо
RAID контроллер и FREEBSD
Так зачем брали HP с рейд?P.S.:
Уважаемый guest!
Да оборудование старое. Ясно,новое, всего скорее, лучше. Мы используем несколько серверов HP Proliant c FreeBSD 11 и никаких трудностей не возникало с установкой и настройкой системы. Все они без RAID контроллеров.
Вы можете использовать сколько угодно серверов HP, но если планируете что-то приобрести,
ПРЕЖДЕ, соберите информацию.
На будущее, HP никогда не был АЙС к свободным ОС, видимо, Вы никогда не сталкивались
с их саппортом и техникой, начиная со Sparc и заканчивая x86.
LSI 9211 на базе 2008 чипа, покупать лучше на ebay, советовать что-то более современное,P.P.S.:
На крайний случай рассматриваем вариант замены контроллеров на другие модели.Посоветуйте пожалуйста модели, которые точно будут хорошо работать с FreeBSD. В конечном варианте интересует программный рэйд на zfs без использования аппаратного.
в Ваше гумно, sorry, нет смысла, а эта модель, вероятно, лучшая из SAS2(6Gbps)
LSI 9211-8i или 4i (PCI-E x8) - кол-во портов зависит от Ваших целей.
Контроллер имеет два режима: IR (RAID) и IT(HBA) Mode, изменяются прошивкой firmware.
Firmware можно прошить из DOS, Linux, FreeBSD.
Смотрите что у Вас есть из PCI-E в Вашем HP. К сожалению, HP'ный BIOS может стать ЗАСАДОЙ.
И последняя Важная вещь - это Backplane на Вашем HP и наличие Expander'a SAS2 на 6Gbps,
в ином случае, придется подключать диски на прямую с контроллера, в этом случае,
Вам понадобится кабель mini-SAS SFF8087 (iPass) на 4xSATA или mini-SAS SFF8087 на SFF-8482,
последний универсальный SAS/SATA, его лучше брать с 4xPower.
Обычно, один SAS-порт поддерживает не более 4xHDD на прямую.
За 20-30 лет общения с разным Саппортом, вывод такой:
1. Sun Microsystems - лучший
2. Supermicro - очень напоминает поддержку Sun Microsystems, красавцы - оправдывают
принцип работы support'а - помочь, а не отпинывать: OEM, пятое-десятое...
...
l. Dell
...
x. HP, WD & etc...
1. Supermicro - одна из самых удачных платформ для FreeBSD и разумеется Linux, самая дешевая,
лучший саппорт и поход к созданию техники по стандартам, не впихивая свой OEM для удорожания
и посылания на куй. Да - открытость, документация, конструктор - собери свой сервер на базе
шасси & etc.
2. Современные Dell сервера, увы, со старыми x86_64 не приходилось сталкиваться.
3. Intel - хотел поставить на второе место, но со свежими моделями не сталкивался
...
последнее место. HP - что Sparc гумно, что x86.
Верхнее ни разу не реклама, а личный опыт, и надеюсь, кому-то он поможет
избежать ошибок и проблем, все Tier'ы построены на Supermicro и сейчас Dell'ы, все HP выброшены
на свалку и от закупок серверов этой компании отказались.
-
- подполковник
- Сообщения: 3923
- Зарегистрирован: 2008-09-04 11:51:25
- Откуда: Санкт-Петербург
RAID контроллер и FREEBSD
Еще вопрос как собираете пулы по меткам или именам? Метки разделам присваиваете?
-
- рядовой
- Сообщения: 39
- Зарегистрирован: 2018-05-21 16:10:17
RAID контроллер и FREEBSD
Весь процесс установки такой:
1) В настройках контроллера создаю 3 массива, как указано вначале: 1хVOLUME , 2хRAID-1(MIRROR)
2) Устанавливаю FreeBSD в флешки. Во время установки выбираю AutoZFS и 1й том(VOLUME) как zfs stripe, два остальных устройства не трогаю.
3) После установки планировалось каждое зеркало добавить как отдельный пул:
1) В настройках контроллера создаю 3 массива, как указано вначале: 1хVOLUME , 2хRAID-1(MIRROR)
2) Устанавливаю FreeBSD в флешки. Во время установки выбираю AutoZFS и 1й том(VOLUME) как zfs stripe, два остальных устройства не трогаю.
3) После установки планировалось каждое зеркало добавить как отдельный пул:
Код: Выделить всё
zpool create storage1(2) /dev/aacd1(2)
-
- рядовой
- Сообщения: 39
- Зарегистрирован: 2018-05-21 16:10:17
-
- прапорщик
- Сообщения: 493
- Зарегистрирован: 2015-05-25 14:36:32
-
- прапорщик
- Сообщения: 493
- Зарегистрирован: 2015-05-25 14:36:32
-
- прапорщик
- Сообщения: 493
- Зарегистрирован: 2015-05-25 14:36:32
-
- рядовой
- Сообщения: 39
- Зарегистрирован: 2018-05-21 16:10:17
RAID контроллер и FREEBSD
Тут нечего сказать, всё правильно. Не могу сказать,что это мой осознанный выбор. Дело именно в отсутствии опыта. Заказал, как посоветовали более опытные коллеги + наличие серверов того же производителя, к которым не было нареканий. При общении с менеджером со своей стороны указал, что аппаратный рейд не хотим использовать. Прислали сервера совсем без контроллеров. Т.е. sas разъём есть, а куда включать его-нету. Связались с менеджером, он сказал, что есть недорогое решение (+ скидку сделали), которое позволит нам подключать диски "напрямую". Вот вкратце почему так всё получилось. За несколько дней узнал много нового для себя.
За советы благодарю.