RAID контроллер и FREEBSD

Простые/общие вопросы по UNIX системам. Спросите здесь, если вы новичок

Модераторы: vadim64, terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
GiftWind
рядовой
Сообщения: 39
Зарегистрирован: 2018-05-21 16:10:17

RAID контроллер и FREEBSD

Непрочитанное сообщение GiftWind » 2018-07-12 15:15:56

Demis писал(а):
2018-07-12 15:13:59
jbod ?
Если создать JBOD, система не видит ни одного диска при установке

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

snorlov
подполковник
Сообщения: 3927
Зарегистрирован: 2008-09-04 11:51:25
Откуда: Санкт-Петербург

RAID контроллер и FREEBSD

Непрочитанное сообщение snorlov » 2018-07-12 15:26:44

GiftWind писал(а):
2018-07-12 15:02:50
В биосе контроллера, при создании массивов,каждому присваивал метку.(SYSTEM, STORAGE, STORAGE2)
Нифига не понял, вы в биосе создаете страйпы, а потом их зеркалируете, или что-то другое. Размечаете то их как...

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 15:32:38

guest писал(а):
2018-07-12 14:52:01
2. Supermicro - очень напоминает поддержку Sun Microsystems, красавцы
Именно красавцы... Тут как повезет. Попались две машинки, заработали по человечески только при помощи колдунств с редактированием и загрузкой правленного acpi. При этом пришлось подгонять, что "мол система винда" по другому никак, глючило железо. И то, есть траблы "софтово-железные", т.е. в бивосе "что-то" происходит ровно через 7 дней аптайма. После чего удаленный ребут висит на точке "алл диск синксед" и только кнопкой или через ipmi. Никакие шаманства с бивосом не помогают. ТП пофиг, как при покупке, так и сейчас. С другой стороны на НР таких косяков не отлавливал. Хотя были и весьма прикольные, был на сервере порт скази-3, в него воткнули библиотечку от НР, сервер перестал грузиться. Даже мать по гарантии поменяли. Потом случайно определил, что библиотека "вредничает". Спецы руками разводили, в Москву отравляли. Потом, после очень внимательного прочтения инструкции понял что дело именно в порте, т.к. было написано, что-то вроде "порт только для подключения массива". Поставил карту скази и все взлетело. А ходили целыми делегациями "такого не может быть"...

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 15:33:03

snorlov писал(а):
2018-07-12 15:26:44
Нифига не понял
аналогично...

GiftWind
рядовой
Сообщения: 39
Зарегистрирован: 2018-05-21 16:10:17

RAID контроллер и FREEBSD

Непрочитанное сообщение GiftWind » 2018-07-12 15:37:34

snorlov писал(а):
2018-07-12 15:26:44
Нифига не понял, вы в биосе создаете страйпы, а потом их зеркалируете, или что-то другое. Размечаете то их как...
arr2.jpg
Настройки
arr1.jpg
Таблица массивов
Во время установки выбираю только том с меткой SYSTEM.

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 15:38:37

GiftWind писал(а):
2018-07-12 15:15:56
система не видит ни одного диска при установке
Странновато конечно, м.б. кроме биоса контроллера еще в биосе железки есть чем поиграть? Биос последний?
На супермикре было, что выставляешь jbod, но видиться все начинает только после полной вырубки питания, включая шнур 220.

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 15:41:40

Нет стоп.
Физических дисков-то сколько?
Три и попарно, или как?

snorlov
подполковник
Сообщения: 3927
Зарегистрирован: 2008-09-04 11:51:25
Откуда: Санкт-Петербург

RAID контроллер и FREEBSD

Непрочитанное сообщение snorlov » 2018-07-12 15:43:58

Но system то у вас, если я правильно понимаю один диск и он видится системой, следовательно можно и не создавать в биосе рейды, их потом средствами zfs создадите...

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 15:46:05

snorlov писал(а):
2018-07-12 15:43:58
их потом средствами zfs создадите
Бывают случаи когда и не увидеться. У меня на супермикре виделось только как jbod или как массив (если делал).
Последний раз редактировалось Demis 2018-07-12 15:47:02, всего редактировалось 1 раз.

GiftWind
рядовой
Сообщения: 39
Зарегистрирован: 2018-05-21 16:10:17

RAID контроллер и FREEBSD

Непрочитанное сообщение GiftWind » 2018-07-12 15:46:28

Demis писал(а):
2018-07-12 15:41:40
Физических дисков-то сколько?
Три и попарно, или как?
Физических дисков 5: VOLUME -1 + каждый RAID1 по 2 диска
snorlov писал(а):
2018-07-12 15:43:58
Но system то у вас, если я правильно понимаю один диск и он видится системой, следовательно можно и не создавать в биосе рейды, их потом средствами zfs создадите...
Я бы ни одного рейда не создавал, всё средствами zfs, только если ничего не создавать, то система при загрузке не видит дисков никаких.

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 15:49:48

А как тогда сделан "систем" из одного диска, это видимо так и получилось "страйп" как единственный вариант?

GiftWind
рядовой
Сообщения: 39
Зарегистрирован: 2018-05-21 16:10:17

RAID контроллер и FREEBSD

Непрочитанное сообщение GiftWind » 2018-07-12 15:51:13

Пробовали все 5 дисков создать как отдельный том (VOLUME в биосе контроллера), перестаёт загружаться при наличии всех 5 дисков, достаточно отключить 1 диск и система снова грузится, т.е. получается не более 4 можно использовать.

GiftWind
рядовой
Сообщения: 39
Зарегистрирован: 2018-05-21 16:10:17

RAID контроллер и FREEBSD

Непрочитанное сообщение GiftWind » 2018-07-12 15:52:14

Demis писал(а):
2018-07-12 15:49:48
А как тогда сделан "систем" из одного диска, это видимо так и получилось "страйп" как единственный вариант?
Именно. При выборе одного диска - это единственный вариант.

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 15:54:20

Понял.
Когда диск "систем" делаешь jbod он биосе самой матери видится? Т.е. можно на его загрузку переключится?

GiftWind
рядовой
Сообщения: 39
Зарегистрирован: 2018-05-21 16:10:17

RAID контроллер и FREEBSD

Непрочитанное сообщение GiftWind » 2018-07-12 16:09:02

Demis писал(а):
2018-07-12 15:54:20
Когда диск "систем" делаешь jbod он биосе самой матери видится? Т.е. можно на его загрузку переключится?
Переделал диск в jbod. В биосе материнки он не появился.
biosHP.jpg

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 16:12:12

Интересный фокус-покус. А если попробовать сделать так:
1. Отключить шлейфы от 4-х последних дисков (и, надеюсь, по ранжиру дисков разобрались).
2. Остается только один 900-ый "систем" ( чтобы по портам был с индексом порта в контроллере 0).
3. Его сделать jbod'om
4. Перегрузиться в мать, посмотреть видится или нет.
5. Если видится, можно загрузиться в инстал, в cli, посмотреть его там, посмотреть в самой инсталяшке, даже не устанавливая до конца. Просто как факт.
6. После этого добавлять попарно остальные (зеркалом или бодами отдельный вопрос).
Главное чтобы 900-ый страйпом не стал.
Питание, полностью, вырубали?

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 16:29:53

На картинке раздел бута.
Нужно поиграть в другом месте.
Подойти "по смыслу".
а) д.б. устанавливаться некое время на "инициализацию" устройств, его нужно попробовать увеличить.
т.к. контроллер мог еще не определить свои устройства до конца (почему и писал про отключить 4-ре, меньше времени на инит).
б) что-нибудь еще.
например: есть диск не 900-тый, а скажем 300-ый. даже просто с другого компа. можно систему не ставить на него, просто посмотреть он увидится или нет.
Посмотреть режимы AHCP<->IDE при них как видится.

GiftWind
рядовой
Сообщения: 39
Зарегистрирован: 2018-05-21 16:10:17

RAID контроллер и FREEBSD

Непрочитанное сообщение GiftWind » 2018-07-12 16:47:24

Demis писал(а):
2018-07-12 16:12:12
Интересный фокус-покус. А если попробовать сделать так:
1. Отключить шлейфы от 4-х последних дисков (и, надеюсь, по ранжиру дисков разобрались).
2. Остается только один 900-ый "систем" ( чтобы по портам был с индексом порта в контроллере 0).
3. Его сделать jbod'om
4. Перегрузиться в мать, посмотреть видится или нет.
5. Если видится, можно загрузиться в инстал, в cli, посмотреть его там, посмотреть в самой инсталяшке, даже не устанавливая до конца. Просто как факт.
6. После этого добавлять попарно остальные (зеркалом или бодами отдельный вопрос).
Главное чтобы 900-ый страйпом не стал.
Питание, полностью, вырубали?
Всё по пунктам проделали.Питание отключали. В биосе материнки не видно диска, который сделали jbod'ом.

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 16:52:08

а по
Demis писал(а):
2018-07-12 16:29:53
Нужно поиграть в другом месте.
успели посмотреть?
О! Вспомнил еще вариант (но это не про бивос материнки, не запутайтесь), но не уверен прокатит или нет. У меня это было на LSI, однако расскажу. На том контроллере (вроде 2108, но не уверен) было веб-меню. Которое не позволяло, просто отсутствовало, какую-то мелочь с jbod'om сделать. Однако, увидев, что есть (при включении компа) два варианта входа в настройки контроллера воспользовался вторым. И все, что нужно сделал без проблем. Т.е. там было два входа, один в вебку, второй в cli. С ним конечно пришлось повозиться, но было не зря.

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 16:54:40

И я как-то не понимаю, Ваш контроллер имеет всего четыре порта. А пятый диск Вы куда втыкаете?

guest
проходил мимо

RAID контроллер и FREEBSD

Непрочитанное сообщение guest » 2018-07-12 16:58:20

У Adaptec - HBA контроллеры отдельно, RAID - отдельно.
Если память не изменяет, были у Adaptec отдельные могучие RAID контроллеры, которые
умели отдавать диски из RAID как Single или HBA, но это редкие контроллеры и модели
не помню.

Теперь про Ваш случай:
- по идее, драйвер aac при конфигурации в JBOD, а только этот режим более менее
подойдет для ZFS, диски должны быть видны типа aacdX: aacd0, aacd1 ...

Еще раз, послушайтесь совета, забейте на HP'ный RAID и на Adaptec и купите LSI 9211.
И HP (кроме старинных моделей, когда много лет назад HP спосировал своими серверами FreeBSD)
и Adaptec не особо поддерживается и допиливаются во FreeBSD.
Про Adaptec все забыли уже больше 10 лет...

Мы в научном институте покупаем частным образом через ebay.com за копейки - в случае проблем.
Обычно выбираем "лучший продавец" из Китая или Гонконга, за копейки, так было c RAM,CPU,
InfiniBand - которые здесь за 40K рублей, сейчас снова заказали LSI 9211 ~4K рублей за 8i + кабель
(сам контроллер ~3200-4000 руб).
Затем выписывается премия - компенсация за покупку.

Угробите кучу времени и поймете что ZFS поверх RAID - ужасная конструкция и грозит неприятностями.

LSI 9211 с прошивкой P19-IT и P20-IT замечательно работают под FreeBSD/Linux, P19-IT - под illumos (OpenIndiana/OmniOS)
И старые прошивки P14-IT у меня отлично работают под FreeBSD/Linux.

В подобных случаях, я делал так:
Брал 2xпортовые SATA6 для ZFS rpool(zroot): Espada, Orient или STLab 480 на базе чипа ASM1061 все PCI-E 1x - 800-1300руб
в России, навалом.
И LSI9211 для ZFS массивов. И не парился.
Единственная возможная засада - это HP'ный BIOS.

ps. Надо было ДО ЗАКУПКИ спросить в форуме, Вам бы подсказали по железу.

guest
проходил мимо

RAID контроллер и FREEBSD

Непрочитанное сообщение guest » 2018-07-12 17:06:54

Всё по пунктам проделали.Питание отключали. В биосе материнки не видно диска, который сделали jbod'ом.
и не будут JBOD видны в BIOS'е материнки, это Вам не HBA и не Passthrough.
Это ж RAID от Adaptec, все через драйвер, а управление и linux ioctl после
подгрузки эмуляции linux в ядре, обычное дело, 3Ware RAID аналогично,
и только в системе JBOD или Single Disk можно увидеть через camcontrol.

GiftWind
рядовой
Сообщения: 39
Зарегистрирован: 2018-05-21 16:10:17

RAID контроллер и FREEBSD

Непрочитанное сообщение GiftWind » 2018-07-12 17:07:46

Demis, контроллер, соединён с платой корзин таким кабелем.
sas.jpg
Разъём одинаковый на обоих концах

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

RAID контроллер и FREEBSD

Непрочитанное сообщение Demis » 2018-07-12 17:08:12

guest писал(а):
2018-07-12 16:58:20
Угробите кучу времени и поймете что ZFS поверх RAID - ужасная конструкция и грозит неприятностями.
Абсолютно верно.

GiftWind
рядовой
Сообщения: 39
Зарегистрирован: 2018-05-21 16:10:17

RAID контроллер и FREEBSD

Непрочитанное сообщение GiftWind » 2018-07-12 17:13:53

guest писал(а):
2018-07-12 16:58:20
Теперь про Ваш случай:
- по идее, драйвер aac при конфигурации в JBOD, а только этот режим более менее
подойдет для ZFS, диски должны быть видны типа aacdX: aacd0, aacd1 ...
Диски именно так и определяются,но только в случае использования массивов, а не jbod(с jbod-никак).
guest писал(а):
2018-07-12 16:58:20
Еще раз, послушайтесь совета, забейте на HP'ный RAID и на Adaptec и купите LSI 9211.
Прислушались, спасибо за совет. Варианты уже озвучили. Не всё от меня зависит.