RAID контроллер и FREEBSD

GiftWind

Demis писал(а): ↑
2018-07-12 15:13:59
jbod ?

Если создать JBOD, система не видит ни одного диска при установке

Хостинг HostFood.ru · **Хостинг HostFood.ru**

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

snorlov · Непрочитанное сообщение **snorlov** » 2018-07-12 15:26:44

GiftWind писал(а): ↑
2018-07-12 15:02:50
В биосе контроллера, при создании массивов,каждому присваивал метку.(SYSTEM, STORAGE, STORAGE2)

Нифига не понял, вы в биосе создаете страйпы, а потом их зеркалируете, или что-то другое. Размечаете то их как...

Demis · Непрочитанное сообщение **Demis** » 2018-07-12 15:32:38

guest писал(а): ↑
2018-07-12 14:52:01
2. Supermicro - очень напоминает поддержку Sun Microsystems, красавцы

Именно красавцы... Тут как повезет. Попались две машинки, заработали по человечески только при помощи колдунств с редактированием и загрузкой правленного acpi. При этом пришлось подгонять, что "мол система винда" по другому никак, глючило железо. И то, есть траблы "софтово-железные", т.е. в бивосе "что-то" происходит ровно через 7 дней аптайма. После чего удаленный ребут висит на точке "алл диск синксед" и только кнопкой или через ipmi. Никакие шаманства с бивосом не помогают. ТП пофиг, как при покупке, так и сейчас. С другой стороны на НР таких косяков не отлавливал. Хотя были и весьма прикольные, был на сервере порт скази-3, в него воткнули библиотечку от НР, сервер перестал грузиться. Даже мать по гарантии поменяли. Потом случайно определил, что библиотека "вредничает". Спецы руками разводили, в Москву отравляли. Потом, после очень внимательного прочтения инструкции понял что дело именно в порте, т.к. было написано, что-то вроде "порт только для подключения массива". Поставил карту скази и все взлетело. А ходили целыми делегациями "такого не может быть"...

Demis · Непрочитанное сообщение **Demis** » 2018-07-12 15:33:03

snorlov писал(а): ↑
2018-07-12 15:26:44
Нифига не понял

аналогично...

GiftWind

snorlov писал(а): ↑
2018-07-12 15:26:44
Нифига не понял, вы в биосе создаете страйпы, а потом их зеркалируете, или что-то другое. Размечаете то их как...

: Настройки

: Таблица массивов

Во время установки выбираю только том с меткой SYSTEM.

Demis · Непрочитанное сообщение **Demis** » 2018-07-12 15:38:37

GiftWind писал(а): ↑
2018-07-12 15:15:56
система не видит ни одного диска при установке

Странновато конечно, м.б. кроме биоса контроллера еще в биосе железки есть чем поиграть? Биос последний?
На супермикре было, что выставляешь jbod, но видиться все начинает только после полной вырубки питания, включая шнур 220.

Demis · Непрочитанное сообщение **Demis** » 2018-07-12 15:41:40

Нет стоп.
Физических дисков-то сколько?
Три и попарно, или как?

snorlov · Непрочитанное сообщение **snorlov** » 2018-07-12 15:43:58

Но system то у вас, если я правильно понимаю один диск и он видится системой, следовательно можно и не создавать в биосе рейды, их потом средствами zfs создадите...

Demis · Непрочитанное сообщение **Demis** » 2018-07-12 15:46:05

snorlov писал(а): ↑
2018-07-12 15:43:58
их потом средствами zfs создадите

Бывают случаи когда и не увидеться. У меня на супермикре виделось только как jbod или как массив (если делал).

GiftWind

Demis писал(а): ↑
2018-07-12 15:41:40
Физических дисков-то сколько?
Три и попарно, или как?

Физических дисков 5: VOLUME -1 + каждый RAID1 по 2 диска

snorlov писал(а): ↑
2018-07-12 15:43:58
Но system то у вас, если я правильно понимаю один диск и он видится системой, следовательно можно и не создавать в биосе рейды, их потом средствами zfs создадите...

Я бы ни одного рейда не создавал, всё средствами zfs, только если ничего не создавать, то система при загрузке не видит дисков никаких.

Demis · Непрочитанное сообщение **Demis** » 2018-07-12 15:49:48

А как тогда сделан "систем" из одного диска, это видимо так и получилось "страйп" как единственный вариант?

GiftWind

Пробовали все 5 дисков создать как отдельный том (VOLUME в биосе контроллера), перестаёт загружаться при наличии всех 5 дисков, достаточно отключить 1 диск и система снова грузится, т.е. получается не более 4 можно использовать.

GiftWind

Demis писал(а): ↑
2018-07-12 15:49:48
А как тогда сделан "систем" из одного диска, это видимо так и получилось "страйп" как единственный вариант?

Именно. При выборе одного диска - это единственный вариант.

Demis · Непрочитанное сообщение **Demis** » 2018-07-12 15:54:20

Понял.
Когда диск "систем" делаешь jbod он биосе самой матери видится? Т.е. можно на его загрузку переключится?

GiftWind

Demis писал(а): ↑
2018-07-12 15:54:20
Когда диск "систем" делаешь jbod он биосе самой матери видится? Т.е. можно на его загрузку переключится?

Переделал диск в jbod. В биосе материнки он не появился.

Demis · Непрочитанное сообщение **Demis** » 2018-07-12 16:12:12

Интересный фокус-покус. А если попробовать сделать так:
1. Отключить шлейфы от 4-х последних дисков (и, надеюсь, по ранжиру дисков разобрались).
2. Остается только один 900-ый "систем" ( чтобы по портам был с индексом порта в контроллере 0).
3. Его сделать jbod'om
4. Перегрузиться в мать, посмотреть видится или нет.
5. Если видится, можно загрузиться в инстал, в cli, посмотреть его там, посмотреть в самой инсталяшке, даже не устанавливая до конца. Просто как факт.
6. После этого добавлять попарно остальные (зеркалом или бодами отдельный вопрос).
Главное чтобы 900-ый страйпом не стал.
Питание, полностью, вырубали?

Demis · Непрочитанное сообщение **Demis** » 2018-07-12 16:29:53

На картинке раздел бута.
Нужно поиграть в другом месте.
Подойти "по смыслу".
а) д.б. устанавливаться некое время на "инициализацию" устройств, его нужно попробовать увеличить.
т.к. контроллер мог еще не определить свои устройства до конца (почему и писал про отключить 4-ре, меньше времени на инит).
б) что-нибудь еще.
например: есть диск не 900-тый, а скажем 300-ый. даже просто с другого компа. можно систему не ставить на него, просто посмотреть он увидится или нет.
Посмотреть режимы AHCP<->IDE при них как видится.

GiftWind

Demis писал(а): ↑
2018-07-12 16:12:12
Интересный фокус-покус. А если попробовать сделать так:
1. Отключить шлейфы от 4-х последних дисков (и, надеюсь, по ранжиру дисков разобрались).
2. Остается только один 900-ый "систем" ( чтобы по портам был с индексом порта в контроллере 0).
3. Его сделать jbod'om
4. Перегрузиться в мать, посмотреть видится или нет.
5. Если видится, можно загрузиться в инстал, в cli, посмотреть его там, посмотреть в самой инсталяшке, даже не устанавливая до конца. Просто как факт.
6. После этого добавлять попарно остальные (зеркалом или бодами отдельный вопрос).
Главное чтобы 900-ый страйпом не стал.
Питание, полностью, вырубали?

Всё по пунктам проделали.Питание отключали. В биосе материнки не видно диска, который сделали jbod'ом.

Demis · Непрочитанное сообщение **Demis** » 2018-07-12 16:52:08

а по

Demis писал(а): ↑
2018-07-12 16:29:53
Нужно поиграть в другом месте.

успели посмотреть?
О! Вспомнил еще вариант (но это не про бивос материнки, не запутайтесь), но не уверен прокатит или нет. У меня это было на LSI, однако расскажу. На том контроллере (вроде 2108, но не уверен) было веб-меню. Которое не позволяло, просто отсутствовало, какую-то мелочь с jbod'om сделать. Однако, увидев, что есть (при включении компа) два варианта входа в настройки контроллера воспользовался вторым. И все, что нужно сделал без проблем. Т.е. там было два входа, один в вебку, второй в cli. С ним конечно пришлось повозиться, но было не зря.

Demis · Непрочитанное сообщение **Demis** » 2018-07-12 16:54:40

И я как-то не понимаю, Ваш контроллер имеет всего четыре порта. А пятый диск Вы куда втыкаете?

guest · Непрочитанное сообщение **guest** » 2018-07-12 16:58:20

У Adaptec - HBA контроллеры отдельно, RAID - отдельно.
Если память не изменяет, были у Adaptec отдельные могучие RAID контроллеры, которые
умели отдавать диски из RAID как Single или HBA, но это редкие контроллеры и модели
не помню.

Теперь про Ваш случай:
- по идее, драйвер aac при конфигурации в JBOD, а только этот режим более менее
подойдет для ZFS, диски должны быть видны типа aacdX: aacd0, aacd1 ...

Еще раз, послушайтесь совета, забейте на HP'ный RAID и на Adaptec и купите LSI 9211.
И HP (кроме старинных моделей, когда много лет назад HP спосировал своими серверами FreeBSD)
и Adaptec не особо поддерживается и допиливаются во FreeBSD.
Про Adaptec все забыли уже больше 10 лет...

Мы в научном институте покупаем частным образом через ebay.com за копейки - в случае проблем.
Обычно выбираем "лучший продавец" из Китая или Гонконга, за копейки, так было c RAM,CPU,
InfiniBand - которые здесь за 40K рублей, сейчас снова заказали LSI 9211 ~4K рублей за 8i + кабель
(сам контроллер ~3200-4000 руб).
Затем выписывается премия - компенсация за покупку.

Угробите кучу времени и поймете что ZFS поверх RAID - ужасная конструкция и грозит неприятностями.

LSI 9211 с прошивкой P19-IT и P20-IT замечательно работают под FreeBSD/Linux, P19-IT - под illumos (OpenIndiana/OmniOS)
И старые прошивки P14-IT у меня отлично работают под FreeBSD/Linux.

В подобных случаях, я делал так:
Брал 2xпортовые SATA6 для ZFS rpool(zroot): Espada, Orient или STLab 480 на базе чипа ASM1061 все PCI-E 1x - 800-1300руб
в России, навалом.
И LSI9211 для ZFS массивов. И не парился.
Единственная возможная засада - это HP'ный BIOS.

ps. Надо было ДО ЗАКУПКИ спросить в форуме, Вам бы подсказали по железу.

guest · Непрочитанное сообщение **guest** » 2018-07-12 17:06:54

Всё по пунктам проделали.Питание отключали. В биосе материнки не видно диска, который сделали jbod'ом.

и не будут JBOD видны в BIOS'е материнки, это Вам не HBA и не Passthrough.
Это ж RAID от Adaptec, все через драйвер, а управление и linux ioctl после
подгрузки эмуляции linux в ядре, обычное дело, 3Ware RAID аналогично,
и только в системе JBOD или Single Disk можно увидеть через camcontrol.

GiftWind

Demis, контроллер, соединён с платой корзин таким кабелем.

Разъём одинаковый на обоих концах

Demis · Непрочитанное сообщение **Demis** » 2018-07-12 17:08:12

guest писал(а): ↑
2018-07-12 16:58:20
Угробите кучу времени и поймете что ZFS поверх RAID - ужасная конструкция и грозит неприятностями.

Абсолютно верно.

GiftWind

guest писал(а): ↑
2018-07-12 16:58:20
Теперь про Ваш случай:
- по идее, драйвер aac при конфигурации в JBOD, а только этот режим более менее
подойдет для ZFS, диски должны быть видны типа aacdX: aacd0, aacd1 ...

Диски именно так и определяются,но только в случае использования массивов, а не jbod(с jbod-никак).

guest писал(а): ↑
2018-07-12 16:58:20
Еще раз, послушайтесь совета, забейте на HP'ный RAID и на Adaptec и купите LSI 9211.

Прислушались, спасибо за совет. Варианты уже озвучили. Не всё от меня зависит.

forum.lissyara.su