Помогите разобраться с raid контроллером

Проблемы установки, настройки и работы Правильной Операционной Системы

Модератор: terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
emoxam
мл. сержант
Сообщения: 85
Зарегистрирован: 2008-03-03 20:45:14
Откуда: Москва
Контактная информация:

Помогите разобраться с raid контроллером

Непрочитанное сообщение emoxam » 2022-08-02 12:17:41

Всем привет!
Достался мне сервер с freebsd 11.3-RELEASE-p14 (На самом деле тут даже FreeNAS-11.3-U5), хочу понять сколько там дисков, в каких массивах, как с ними дружить, как организованны диски вообще.

если верить dmesg то это контроллер LSI MR9266-8i 3.46 на котором три логических диска, но даже этот вывод не прозрачен

Код: Выделить всё

da0 at mrsas0 bus 0 scbus0 target 0 lun 0
da1 at mrsas0 bus 0 scbus0 target 1 lun 0
da2 at mrsas0 bus 0 scbus0 target 2 lun 0
da0: <LSI MR9266-8i 3.46> Fixed Direct Access SPC-3 SCSI device
da0: Serial Number 0094f77232f6a7182740e58305b00506
da0: 150.000MB/s transfersda2: <LSI MR9266-8i 3.46> Fixed Direct Access SPC-3 SCSI device
da2: Serial Number 00900361347ad0762840e58305b00506
da2: 150.000MB/s transfers
da2: 19074560MB (39064698880 512 byte sectors)

da0: 228416MB (467795968 512 byte sectors)
da1: <LSI MR9266-8i 3.46> Fixed Direct Access SPC-3 SCSI device
da1: Serial Number 00c7fc7232f6a7182740e58305b00506
da1: 150.000MB/s transfers
da1: 30519296MB (62503518208 512 byte sectors)
Почему здесь всё вперемешку? "da0: 228416MB (467795968 512 byte sectors)" например?
da2 тоже на <LSI MR9266-8i 3.46>? Почему у da2 не строки с моделью контроллера?

150.000MB/s transfers - это значит что скорость работы массивов sata 1 ?

camcontrol devlist

Код: Выделить всё

<LSI MR9266-8i 3.46>               at scbus0 target 0 lun 0 (pass0,da0)
<LSI MR9266-8i 3.46>               at scbus0 target 1 lun 0 (pass1,da1)
<LSI MR9266-8i 3.46>               at scbus0 target 2 lun 0 (pass2,da2)
<LSI SAS2X36 0e0b>                 at scbus1 target 34 lun 0 (pass3,ses0)
Тут есть ещё один контроллер, а что за ses0 ?
Почему в /etc/fstab всё что есть это
fdescfs /dev/fd fdescfs rw 0 0

А где все файловые системы что смонтированы?
Например в выводе mount есть
Lun0 on /mnt/Lun0 (zfs, NFS exported, local, nfsv4acls)
Lun2 on /mnt/Lun2 (zfs, NFS exported, local, nfsv4acls)

Как определить какой утилитой и на каких дисках созданы эти Lun0 и Lun2 ?
Спасибо
Самурай без меча подобен самураю с мечом но только без меча.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Помогите разобраться с raid контроллером

Непрочитанное сообщение Neus » 2022-08-02 13:16:41

Прикольно, zfs поверх raid.
Какой умник такое навернул?

По твоим вопросам:
Так как это raid контроллер, то лезь в его биос и смотри там что и как сделано.
У da2 есть строка с моделью контроллера, она слилась с предидущей строкой.
Почему он говорит про 150мб/с - хз, может баг какой.
ses это контроллер бекплейна к которому подключены диски. (man ses)
fstab пустой потому что у тебя zfs, ей он не нужен.
Lan0 и Lan2 пулы zfs.
Смотри вывод zpool list -v и zfs list.
Physics is mathematics with the constraint of reality.
Engineering is physics with the constraint of money.

LOR захватили ситхи.
Добро пожаловать на светлую сторону!

guest
проходил мимо

Помогите разобраться с raid контроллером

Непрочитанное сообщение guest » 2022-08-02 14:08:03

da0 at mrsas0 bus 0 scbus0 target 0 lun 0
da1 at mrsas0 bus 0 scbus0 target 1 lun 0
da2 at mrsas0 bus 0 scbus0 target 2 lun 0
da0: <LSI MR9266-8i 3.46> Fixed Direct Access SPC-3 SCSI device
в первых трех строках: da[0,1,2] at mrsas
драйвер контроллера mrsas, логические тома da0,1,2
в четвертой строке контроллер LSI MR9266-8i (MR=MegaRAID, 9266, 8i - 8 internal ports)
у каждого тома свой target 0,1,2

Далее, на базе этих логических томов создали zfs пулы с dataset'ами (файловыми системами)
при загрузке zfs выполняет import и автоматически монтирует dataset в mountpoints
которые были заданы при создании dataset'ов, поэтому их нет в /etc/fstab.

Как бы уже все в предыдущем посте расписали.

Логические тома можно создать, варианты:
- из bios raid контроллера
- или утилитами megacli - устаревшее, storcli - актуальное (в портах), они же покажут физические hdd,
к которым в случае HW RAID нет прямого доступа, только из bios или через утилиты

# man mrsas
# man zpool
# man zfs
# locate megacli
# locate storcli

----------------------------------------------------------------
слой 1 физические диски - megacli/storcli
----------------------------------------------------------------
слой 2 логические тома - megacli/storcli : da0,1,2
----------------------------------------------------------------
слой 3 zfs pool
----------------------------------------------------------------
слой 4 zfs dataset (файловая система)
----------------------------------------------------------------
слой 3 и 4 можно совместить в один: zfs

emoxam
мл. сержант
Сообщения: 85
Зарегистрирован: 2008-03-03 20:45:14
Откуда: Москва
Контактная информация:

Помогите разобраться с raid контроллером

Непрочитанное сообщение emoxam » 2022-08-02 15:23:26

Большое спасибо, господа! В выводе
storcli /c0 show | less

я вижу

Код: Выделить всё

TOPOLOGY :
========

-----------------------------------------------------------------------------
DG Arr Row EID:Slot DID Type  State BT       Size PDC  PI SED DS3  FSpace TR
-----------------------------------------------------------------------------
 0 -   -   -        -   RAID1 Optl  N  223.062 GB enbl N  N   none N      N
 0 0   -   -        -   RAID1 Optl  N  223.062 GB enbl N  N   none N      N
 0 0   0   34:0     32  DRIVE Onln  N  223.062 GB enbl N  N   none -      N
 0 0   1   34:1     33  DRIVE Onln  N  223.062 GB enbl N  N   none -      N
 1 -   -   -        -   RAID6 Optl  N   29.105 TB dflt N  N   none N      N
 1 0   -   -        -   RAID6 Optl  N   29.105 TB dflt N  N   none N      N
 1 0   0   34:2     35  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
 1 0   1   34:3     36  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
 1 0   2   34:4     37  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
 1 0   3   34:5     38  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
 1 0   4   34:6     39  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
 1 0   5   34:7     40  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
 1 0   6   34:8     41  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
 1 0   7   34:9     42  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
 1 0   8   34:10    43  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
 1 0   9   34:11    44  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
 2 -   -   -        -   RAID6 Optl  N   18.190 TB dflt N  N   none N      N
 2 0   -   -        -   RAID6 Optl  N   18.190 TB dflt N  N   none N      N
 2 0   0   34:12    46  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
 2 0   1   34:13    45  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
 2 0   2   34:14    47  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
 2 0   3   34:15    49  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
 2 0   4   34:16    48  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
 2 0   5   34:17    51  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
 2 0   6   34:23    50  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
-----------------------------------------------------------------------------

Код: Выделить всё

VD LIST :
=======

---------------------------------------------------------------
DG/VD TYPE  State Access Consist Cache Cac sCC       Size Name
---------------------------------------------------------------
0/0   RAID1 Optl  RW     Yes     RWTD  -   ON  223.062 GB
1/1   RAID6 Optl  RW     Yes     RWTD  -   ON   29.105 TB
2/2   RAID6 Optl  RW     Yes     RWTD  -   ON   18.190 TB
---------------------------------------------------------------

Откуда становиться видно какие есть массивы, и какие диски входят в те или иные VD.
не совсем правда понятны первые 4 строчки, например, в выводе TOPOLOY. Подскажете как их интерпретировать?

Хотел увидеть скорость работы дисков, но то ли не правильный синатксис команды использую, то ли чего-то не понимаю.

camcontrol devlist

Код: Выделить всё

<LSI MR9266-8i 3.46>               at scbus0 target 0 lun 0 (pass0,da0)
<LSI MR9266-8i 3.46>               at scbus0 target 1 lun 0 (pass1,da1)
<LSI MR9266-8i 3.46>               at scbus0 target 2 lun 0 (pass2,da2)
<LSI SAS2X36 0e0b>                 at scbus1 target 34 lun 0 (pass3,ses0)
<AHCI SGPIO Enclosure 2.00 0001>   at scbus8 target 0 lun 0 (pass4,ses1)
camcontrol identify 0:0

Код: Выделить всё

camcontrol: ATA ATA_IDENTIFY via pass_16 failed
camcontrol: ATA ATAPI_IDENTIFY via pass_16 failed
Подскажете почему ругается? И как увидеть режим работы SATA?

Спасибо
Самурай без меча подобен самураю с мечом но только без меча.

guest
проходил мимо

Помогите разобраться с raid контроллером

Непрочитанное сообщение guest » 2022-08-03 16:44:31

Хотел увидеть скорость работы дисков, но то ли не правильный синатксис команды использую, то ли чего-то не понимаю.
Вам все разжевали и дали направление на документацию, далее сами:
- чтение документации storcli просветляет, в том числе и в каком режиме работают диски

camcontrol работает с direct attach устройствами, уже ж было сказано, вот по ним
покажет инфу, по hw рейдам только storcli
вся инфа по real-hdd подключенным к hw-raid, serial, прошивка, скорости, smart'ы
через storcli

note: camcontrol работает через scsi layout с ata/sata и scsi

- sata identify
# camcontrol identify ada0
- scsi/sas identify
# camcontrol inquiry da0

emoxam
мл. сержант
Сообщения: 85
Зарегистрирован: 2008-03-03 20:45:14
Откуда: Москва
Контактная информация:

Помогите разобраться с raid контроллером

Непрочитанное сообщение emoxam » 2022-08-03 17:01:04

camcontrol inquiry da0

Код: Выделить всё

pass0: <LSI MR9266-8i 3.46> Fixed Direct Access SPC-3 SCSI device
pass0: Serial Number 0094f77232f6a7182740e58305b00506
pass0: 150.000MB/s transfers, Command Queueing Enabled
camcontrol inquiry da1

Код: Выделить всё

pass1: <LSI MR9266-8i 3.46> Fixed Direct Access SPC-3 SCSI device
pass1: Serial Number 00c7fc7232f6a7182740e58305b00506
pass1: 150.000MB/s transfers, Command Queueing Enabled
camcontrol inquiry da2

Код: Выделить всё

pass2: <LSI MR9266-8i 3.46> Fixed Direct Access SPC-3 SCSI device
pass2: Serial Number 00900361347ad0762840e58305b00506
pass2: 150.000MB/s transfers, Command Queueing Enabled
не смотря на то что диски стоят SATA - TOSHIBA MG04ACA400E
обращаться с ними надо как с SCSI!

Почему их скорость 150.000MB/s мне не понятно. Из-за backplane? Я в вопросах backplain и extender не силён совсем.



sesutil map

Код: Выделить всё

ses0:
        Enclosure Name: LSI SAS2X36 0e0b
        Enclosure ID: 50030480003f00bf
        Element 0, Type: Array Device Slot
                Status: Unsupported (0x00 0x00 0x00 0x00)
                Description: Drive Slots
        Element 1, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 01
        Element 2, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 02
        Element 3, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 03
        Element 4, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 04
        Element 5, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 05
        Element 6, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 06
        Element 7, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 07
        Element 8, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 08
        Element 9, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 09
        Element 10, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 10
        Element 11, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 11
        Element 12, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 12
        Element 13, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 13
        Element 14, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 14
        Element 15, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 15
        Element 16, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 16
        Element 17, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 17
        Element 18, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 18
        Element 19, Type: Array Device Slot
                Status: Not Installed (0x05 0x00 0x00 0x00)
                Description: Slot 19
        Element 20, Type: Array Device Slot
                Status: Not Installed (0x05 0x00 0x00 0x00)
                Description: Slot 20
        Element 21, Type: Array Device Slot
                Status: Not Installed (0x05 0x00 0x00 0x00)
                Description: Slot 21
        Element 22, Type: Array Device Slot
                Status: Not Installed (0x05 0x00 0x00 0x00)
                Description: Slot 22
        Element 23, Type: Array Device Slot
                Status: Not Installed (0x05 0x00 0x00 0x00)
                Description: Slot 23
        Element 24, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 24
        Element 25, Type: Temperature Sensors
                Status: Unsupported (0x00 0x00 0x00 0x00)
                Description: Temperature Sensors
                Extra status:
                - Temperature: -reserved-
        Element 26, Type: Temperature Sensors
                Status: OK (0x01 0x00 0x35 0x00)
                Description: Temperature
                Extra status:
                - Temperature: 33 C
        Element 27, Type: Cooling
                Status: Unsupported (0x00 0x00 0x00 0x00)
                Description: Fans
                Extra status:
                - Speed: 0 rpm
        Element 28, Type: Cooling
                Status: OK (0x01 0x02 0x58 0x25)
                Description: Fan1
                Extra status:
                - Speed: 6000 rpm
        Element 29, Type: Cooling
                Status: OK (0x01 0x02 0x6a 0x26)
                Description: Fan2
                Extra status:
                - Speed: 6180 rpm
        Element 30, Type: Cooling
                Status: OK (0x01 0x02 0x5e 0x25)
                Description: Fan3
                Extra status:
                - Speed: 6060 rpm
        Element 31, Type: Cooling
                Status: Not Available (0x07 0x00 0x00 0x10)
                Description: JBOD_Fan1
                Extra status:
                - Speed: 0 rpm
        Element 32, Type: Cooling
                Status: Not Available (0x07 0x00 0x00 0x10)
                Description: JBOD_Fan2
                Extra status:
                - Speed: 0 rpm
        Element 33, Type: Voltage Sensor
                Status: Unsupported (0x00 0x00 0x00 0x00)
                Description: Voltage Sensors
                Extra status:
                - Voltage: 0.00 V
        Element 34, Type: Voltage Sensor
                Status: OK (0x01 0x00 0x01 0xf6)
                Description: 5V
                Extra status:
                - Voltage: 5.02 V
        Element 35, Type: Voltage Sensor
                Status: OK (0x01 0x00 0x04 0xab)
                Description: 12V
                Extra status:
                - Voltage: 11.95 V
        Element 36, Type: Power Supply
                Status: Unsupported (0x00 0x00 0x00 0x00)
                Description: Power Supplies
        Element 37, Type: Enclosure
                Status: Unsupported (0x00 0x00 0x00 0x00)
                Description: Enclosure
        Element 38, Type: Enclosure
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Enclosure
        Element 39, Type: SAS Expander
                Status: Unsupported (0x00 0x00 0x00 0x00)
                Description: SAS Expanders
        Element 40, Type: SAS Expander
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Primary Expander
        Element 41, Type: SAS Expander
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Secondary Expander
        Element 42, Type: SAS Connector
                Status: Unsupported (0x00 0x00 0x00 0x00)
                Description: SAS Connectors
        Element 43, Type: SAS Connector
                Status: OK (0x01 0x11 0xff 0x00)
                Description: Upstream Connector (Primary)
        Element 44, Type: SAS Connector
                Status: OK (0x01 0x11 0xff 0x00)
                Description: Downstream Connector 1 (Primary)
        Element 45, Type: SAS Connector
                Status: OK (0x01 0x11 0xff 0x00)
                Description: Downstream Connector 2 (Primary)
        Element 46, Type: SAS Connector
                Status: OK (0x01 0x11 0xff 0x00)
                Description: Upstream Connector (Secondary)
        Element 47, Type: SAS Connector
                Status: OK (0x01 0x11 0xff 0x00)
                Description: Downstream Connector 1 (Secondary)
        Element 48, Type: SAS Connector
                Status: OK (0x01 0x11 0xff 0x00)
                Description: Downstream Connector 2 (Secondary)
        Element 49, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 00
        Element 50, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 01
        Element 51, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 02
        Element 52, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 03
        Element 53, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 04
        Element 54, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 05
        Element 55, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 06
        Element 56, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 07
        Element 57, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 08
        Element 58, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 09
        Element 59, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 10
        Element 60, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 11
        Element 61, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 12
        Element 62, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 13
        Element 63, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 14
        Element 64, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 15
        Element 65, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 16
        Element 66, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 17
        Element 67, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 18
        Element 68, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 19
        Element 69, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 20
        Element 70, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 21
        Element 71, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 22
        Element 72, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 23
        Element 73, Type: Communication Port
                Status: Unsupported (0x00 0x00 0x00 0x00)
                Description: Ethernet ports
        Element 74, Type: Communication Port
                Status: Unsupported (0x00 0x00 0x00 0x00)
                Description: Ethernet_port_1
        Element 75, Type: Communication Port
                Status: Unsupported (0x00 0x00 0x00 0x00)
                Description: Ethernet_port_2
ses1:
        Enclosure Name: AHCI SGPIO Enclosure 2.00
        Enclosure ID: 3061686369656d30
        Element 0, Type: Array Device Slot
                Status: Unsupported (0x00 0x00 0x00 0x00)
                Description: Drive Slots
        Element 1, Type: Array Device Slot
                Status: Not Installed (0x05 0x00 0x00 0x00)
                Description: Slot 00
        Element 2, Type: Array Device Slot
                Status: Not Installed (0x05 0x00 0x00 0x00)
                Description: Slot 01
        Element 3, Type: Array Device Slot
                Status: Not Installed (0x05 0x00 0x00 0x00)
                Description: Slot 02
        Element 4, Type: Array Device Slot
                Status: Not Installed (0x05 0x00 0x00 0x00)
                Description: Slot 03
        Element 5, Type: Array Device Slot
                Status: Not Installed (0x05 0x00 0x00 0x00)
                Description: Slot 04
        Element 6, Type: Array Device Slot
                Status: Not Installed (0x05 0x00 0x00 0x00)
                Description: Slot 05
А вот такая портянка не будет полезна? Например если какой-то extender не в том режиме, или "не той системы"
Самурай без меча подобен самураю с мечом но только без меча.

guest
проходил мимо

Помогите разобраться с raid контроллером

Непрочитанное сообщение guest » 2022-08-03 18:51:20

Мне другое непонятно, я написал на русском языке с понятным
объяснением, как для школьника, но Вы почему-то упорно не
желаете понять то что Вам расписали, и это поражает.

Есть RAID контроллер к которому подключено N-дисков.
Они подключены к RAID-контроллеру, а не к HBA контроллеру,
разницу понимаете?

Драйвера ATA: man ata
поддерживают большое кол-во HBA SATA контроллеров, эти контроллеры
работают с дисками "напрямую" (direct attach), используем camcontrol.

HW-RAID контроллеры не дают прямой доступ к дискам, только
через свое собственное ПО, не используем camcontrol.

Поэтому camcontrol не даст Вам прямой доступ к физическому диску
и посмотреть его состояние, расписывал же уже, что тут непонятно?

В HW-RAID контроллере мы из физических дисков, создаем
логические тома, вот последние, точнее созданные массивы и видны в системе как:
da0, da1 и da2.
В реалии, da0 - raid1 собранный из двух физических дисков,
da1 - raid6 и собран из 10 физических дисков, da2 из 7...

Что Вы пытаетесь увидеть через camcontrol?!

драйвер mrsas - драйвер megaraid контроллера, который выдал
Вам в качестве итога общее пространство сконфигуренных рейдов.

Пример: у нас 24xHDD подключенные к HW-RAID контроллеру.
берем и конфигурим 4xHDD в RAID10, еще 5xHDD в RAID5 и еще 6xHDD в RAID5.
Всего задействовали 4+5+6 дисков = 15. Сколько создали рейд массивов?

Правильно: 3'и, сколько увидит драйвер mrsas - правильно 3'и, как их
обзовет: da0,da1,da2.

Что получается? Получается, что Вы видите готовый результат в виде так называемых "дисков",
ибо это блочные устройства.
Но Вы не видите что da0 = RAID1 из 2xHDD и не видите что da1 = RAID5 из 5xHDD и тд и тп.
Это только storcli покажет.

Так какого хрена Вы выполняете:
# camcontrol inquiry da0
сказано же что camcontrol работает с direct attach HDD, а Вы ему даете логический том
из двух физических дисков и чего-то ожидаете?

Сказано, есть storcli - вот с помощью нее и смотрите инфу с физических
дисков.
Причем диски у Вас подключены к Backplane на которой SAS2x36 экспандер,
SAS2 - какая у него скорость?
К SAS экспандеру можно подключать хоть SATA, хоть SAS HDD.

----
документация storcli раздел: Drive Commands
изучайте:

Show physical disk information: /cx[/ex]/sx show [all]
Show information about all physical disk drives and other devices
connected to the selected adapters; includes drive type, size, serial
number, and firmware version: /cx/eall/sall show [all]

Далее самостоятельно.

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Помогите разобраться с raid контроллером

Непрочитанное сообщение Neus » 2022-08-03 23:27:01

guest писал(а):
2022-08-03 18:51:20
К SAS экспандеру можно подключать хоть SATA, хоть SAS HDD.
О! Появился вопрос, а можно подключать их одновременно?
А то у меня запас sata на исходе, зато sas есть.
Physics is mathematics with the constraint of reality.
Engineering is physics with the constraint of money.

LOR захватили ситхи.
Добро пожаловать на светлую сторону!

guest
проходил мимо

Помогите разобраться с raid контроллером

Непрочитанное сообщение guest » 2022-08-04 2:03:18

Можно, правильно сказать к бэкплейн на которой sas expander. Но у некоторых моделей контроллеров с некоторыми бекплейнами, бывают проблемы. С одним из sas lsi c bacplain от supermicro такое как раз было при миксе сата и сас дисков с разными скоростями. Экспандер неудачно тунелировал сата и в итоге падала скорость на сас дисках и общий итог сильно падала производительность ZFS.

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Помогите разобраться с raid контроллером

Непрочитанное сообщение Neus » 2022-08-04 9:52:02

Ок, спасибо!
Physics is mathematics with the constraint of reality.
Engineering is physics with the constraint of money.

LOR захватили ситхи.
Добро пожаловать на светлую сторону!

guest
проходил мимо

Помогите разобраться с raid контроллером

Непрочитанное сообщение guest » 2022-08-04 11:16:13

Нашел в записках, 2016-17 год на серверах Supermicro, в связке HBA SAS3 <-> Backplain с SAS2 expander,
как только корзины наполняли смешанными дисками, происходила деградация ZFS.
В конечном итоге выяснили модель backplane и апгрейд прошивки.

С 2019 снова проблемы с mpr и mps драйверами, снова timeouts, но не со всеми
дисками, ряд WD и Seagate, лечилось то ли отключением NCQ, то ли уменьшением очереди NCQ...
Потом вышли патчи на драйвера Broadcom... (Проблема проявлялась при преходе с 11 -> 12
и вроде как была устранена в конце 2021 или в самом начале 2022?)

ps. Увы, уже как несколько лет нет времени следить за списками рассылки FreeBSD.

pps. Я первоначально отключаю на дисках все IDLE, APM/PM если есть, оставляю только
READ/WRITE cache, хотя сама ZFS проверяет возможность WRITE cache на дисках.
Потом гоняю тесты, нагружаю, смотрю, жду... и потом в продакшн, но теперь
ZFS в основном на Debian.

emoxam
мл. сержант
Сообщения: 85
Зарегистрирован: 2008-03-03 20:45:14
Откуда: Москва
Контактная информация:

Помогите разобраться с raid контроллером

Непрочитанное сообщение emoxam » 2022-08-04 13:30:14

storcli /c0 /eall /sall show all | grep Speed

Код: Выделить всё

Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Похоже зря развёл панику.
Вообще там raid 6 и если я правильно понимаю то скорости выше 100 МБ/С там всё равно не получить на запись.
Спасибо
Самурай без меча подобен самураю с мечом но только без меча.

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Помогите разобраться с raid контроллером

Непрочитанное сообщение Neus » 2022-08-05 10:01:10

А ты возьми fio да проверь. 😏
Physics is mathematics with the constraint of reality.
Engineering is physics with the constraint of money.

LOR захватили ситхи.
Добро пожаловать на светлую сторону!

lazhu
сержант
Сообщения: 254
Зарегистрирован: 2013-08-10 14:28:38
Контактная информация:

Помогите разобраться с raid контроллером

Непрочитанное сообщение lazhu » 2022-08-05 10:12:28

6 Gbps это скорость SAS шины, к скорости чтения/записи на диск имеющая мало отношения. Если вам нужна производительность, raid6 самый худший вариант. А zfs поверх железного рейда вообще бред

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Помогите разобраться с raid контроллером

Непрочитанное сообщение Neus » 2022-08-05 12:35:23

emoxam писал(а):
2022-08-04 13:30:14
Вообще там raid 6 и если я правильно понимаю то скорости выше 100 МБ/С там всё равно не получить на запись.
на моем raidz2 вот так:

Код: Выделить всё

# dd if=/dev/zero of=/sb-fs/bigfile bs=1M count=10240
10240+0 records in
10240+0 records out
10737418240 bytes transferred in 24.726886 secs (414MB/sec)
Physics is mathematics with the constraint of reality.
Engineering is physics with the constraint of money.

LOR захватили ситхи.
Добро пожаловать на светлую сторону!

emoxam
мл. сержант
Сообщения: 85
Зарегистрирован: 2008-03-03 20:45:14
Откуда: Москва
Контактная информация:

Помогите разобраться с raid контроллером

Непрочитанное сообщение emoxam » 2022-08-05 13:49:45

Neus писал(а):
2022-08-05 12:35:23
на моем raidz2 вот так:
У меня все гораздо печальнее
Neus писал(а):
2022-08-05 10:01:10
dd if=/dev/zero of=/sb-fs/bigfile bs=1M count=10240
dd if=/dev/zero of=/mnt/Lun0/backups/test.f bs=1M count=10240

Код: Выделить всё

10240+0 records in
10240+0 records out
10737418240 bytes transferred in 148.937261 secs (72093566 bytes/sec)
dd if=/dev/zero of=/mnt/Lun2/dump/test.f bs=1M count=10240

Код: Выделить всё

10240+0 records in
10240+0 records out
10737418240 bytes transferred in 144.661082 secs (74224651 bytes/sec)
fio --name=random-write --ioengine=posixaio --rw=randwrite --bs=1m --numjobs=1 --size=4g --iodepth=1 --runtime=60 --time_based --end_fsync=1

Код: Выделить всё

random-write: (g=0): rw=randwrite, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=posixaio, iodepth=1
fio-3.16
Starting 1 process
random-write: Laying out IO file (1 file / 4096MiB)
Jobs: 1 (f=1): [F(1)][100.0%][eta 00m:00s]
random-write: (groupid=0, jobs=1): err= 0: pid=88898: Fri Aug  5 13:45:07 2022
  write: IOPS=51, BW=51.4MiB/s (53.9MB/s)(4949MiB/96251msec)
    slat (usec): min=13, max=185, avg=59.19, stdev=16.53
    clat (usec): min=315, max=861550, avg=12064.00, stdev=26177.37
     lat (usec): min=339, max=861619, avg=12123.19, stdev=26177.06
    clat percentiles (usec):
     |  1.00th=[   363],  5.00th=[   529], 10.00th=[   562], 20.00th=[   807],
     | 30.00th=[   865], 40.00th=[   914], 50.00th=[   988], 60.00th=[  1156],
     | 70.00th=[  4883], 80.00th=[ 19530], 90.00th=[ 43254], 95.00th=[ 62129],
     | 99.00th=[106431], 99.50th=[123208], 99.90th=[164627], 99.95th=[196084],
     | 99.99th=[859833]
   bw (  KiB/s): min=26204, max=1209996, per=100.00%, avg=84004.60, stdev=194059.94, samples=119
   iops        : min=   25, max= 1181, avg=81.61, stdev=189.53, samples=119
  lat (usec)   : 500=2.36%, 750=14.25%, 1000=34.23%
  lat (msec)   : 2=16.02%, 4=2.67%, 10=4.49%, 20=6.41%, 50=11.98%
  lat (msec)   : 100=6.30%, 250=1.27%, 1000=0.02%
  cpu          : usr=0.32%, sys=0.06%, ctx=4992, majf=0, minf=2
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued rwts: total=0,4949,0,1 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
  WRITE: bw=51.4MiB/s (53.9MB/s), 51.4MiB/s-51.4MiB/s (53.9MB/s-53.9MB/s), io=4949MiB (5189MB), run=96251-96251msec
Самурай без меча подобен самураю с мечом но только без меча.

emoxam
мл. сержант
Сообщения: 85
Зарегистрирован: 2008-03-03 20:45:14
Откуда: Москва
Контактная информация:

Помогите разобраться с raid контроллером

Непрочитанное сообщение emoxam » 2022-08-05 13:50:46

Если будет полезно то ZFS массивов нет.

zpool status

Код: Выделить всё

  pool: Lun0
 state: ONLINE
  scan: scrub repaired 0 in 0 days 09:32:01 with 0 errors on Sun Jul 17 09:32:05 2022
config:

        NAME                                          STATE     READ WRITE CKSUM
        Lun0                                          ONLINE       0     0     0
          gptid/dcd45994-12cb-11eb-916d-00259049bfc8  ONLINE       0     0     0

errors: No known data errors

  pool: Lun2
 state: ONLINE
  scan: scrub repaired 0 in 0 days 21:37:11 with 0 errors on Sun Jul 31 21:37:16 2022
config:

        NAME                                          STATE     READ WRITE CKSUM
        Lun2                                          ONLINE       0     0     0
          gptid/28b4e8ff-de45-11eb-9f4a-00259049bfc8  ONLINE       0     0     0

errors: No known data errors

  pool: freenas-boot
 state: ONLINE
  scan: scrub repaired 0 in 0 days 00:00:10 with 0 errors on Tue Aug  2 03:45:10 2022
config:

        NAME        STATE     READ WRITE CKSUM
        freenas-boot  ONLINE       0     0     0
          da0p2     ONLINE       0     0     0

errors: No known data errors
Самурай без меча подобен самураю с мечом но только без меча.

lazhu
сержант
Сообщения: 254
Зарегистрирован: 2013-08-10 14:28:38
Контактная информация:

Помогите разобраться с raid контроллером

Непрочитанное сообщение lazhu » 2022-08-05 14:05:25

Что значит нет, когда 3 пула
zfs list для просмотра датасетов

emoxam
мл. сержант
Сообщения: 85
Зарегистрирован: 2008-03-03 20:45:14
Откуда: Москва
Контактная информация:

Помогите разобраться с raid контроллером

Непрочитанное сообщение emoxam » 2022-08-05 15:07:11

Я имею массивов raid/raidz

zfs list

Код: Выделить всё

NAME                                                    USED  AVAIL  REFER  MOUNTPOINT
Lun0                                                   15.9T  12.2T  15.9T  /mnt/Lun0
Lun0/.system                                           1.13G  12.2T    96K  legacy
Lun0/.system/configs-e6cb7c26dd1243d3962c3f87f9eddfe5   740M  12.2T   740M  legacy
Lun0/.system/cores                                     11.8M  12.2T  11.8M  legacy
Lun0/.system/rrd-e6cb7c26dd1243d3962c3f87f9eddfe5       138M  12.2T   138M  legacy
Lun0/.system/samba4                                    3.48M  12.2T  3.48M  legacy
Lun0/.system/syslog-e6cb7c26dd1243d3962c3f87f9eddfe5    268M  12.2T   268M  legacy
Lun0/.system/webui                                       88K  12.2T    88K  legacy
Lun0/iocage                                            3.71G  12.2T  9.08M  /mnt/Lun0/iocage
Lun0/iocage/download                                    289M  12.2T    88K  /mnt/Lun0/iocage/download
Lun0/iocage/download/11.3-RELEASE                       289M  12.2T   289M  /mnt/Lun0/iocage/download/11.3-RELEASE
Lun0/iocage/images                                       88K  12.2T    88K  /mnt/Lun0/iocage/images
Lun0/iocage/jails                                      2.34G  12.2T    88K  /mnt/Lun0/iocage/jails
Lun0/iocage/jails/GlosArch                              906M  12.2T   324K  /mnt/Lun0/iocage/jails/GlosArch
Lun0/iocage/jails/GlosArch/root                         905M  12.2T   905M  /mnt/Lun0/iocage/jails/GlosArch/root
Lun0/iocage/jails/GlosJail                             1.46G  12.2T   348K  /mnt/Lun0/iocage/jails/GlosJail
Lun0/iocage/jails/GlosJail/root                        1.46G  12.2T  1.46G  /mnt/Lun0/iocage/jails/GlosJail/root
Lun0/iocage/log                                          96K  12.2T    96K  /mnt/Lun0/iocage/log
Lun0/iocage/releases                                   1.08G  12.2T    88K  /mnt/Lun0/iocage/releases
Lun0/iocage/releases/11.3-RELEASE                      1.08G  12.2T    88K  /mnt/Lun0/iocage/releases/11.3-RELEASE
Lun0/iocage/releases/11.3-RELEASE/root                 1.08G  12.2T  1.08G  /mnt/Lun0/iocage/releases/11.3-RELEASE/root
Lun0/iocage/templates                                    88K  12.2T    88K  /mnt/Lun0/iocage/templates
Lun2                                                   5.91T  11.6T  5.91T  /mnt/Lun2
freenas-boot                                           7.62G   192G    88K  none
freenas-boot/ROOT                                      7.62G   192G    88K  none
freenas-boot/ROOT/Initial-Install                         8K   192G  1.25G  legacy
freenas-boot/ROOT/default                              7.62G   192G  7.61G  legacy
Самурай без меча подобен самураю с мечом но только без меча.

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Помогите разобраться с raid контроллером

Непрочитанное сообщение Neus » 2022-08-05 15:19:53

emoxam писал(а):
2022-08-05 15:07:11
Я имею массивов raid/raidz
это массив тебя имеет 😏
pool raidz2 выглядит так:

Код: Выделить всё

        NAME         STATE     READ WRITE CKSUM
        sb-fs        ONLINE       0     0     0
          raidz2-0   ONLINE       0     0     0
            c1t64d0  ONLINE       0     0     0
            c1t65d0  ONLINE       0     0     0
            c1t66d0  ONLINE       0     0     0
            c1t67d0  ONLINE       0     0     0
            c1t68d0  ONLINE       0     0     0
            c1t69d0  ONLINE       0     0     0
            c1t70d0  ONLINE       0     0     0
            c1t71d0  ONLINE       0     0     0
Physics is mathematics with the constraint of reality.
Engineering is physics with the constraint of money.

LOR захватили ситхи.
Добро пожаловать на светлую сторону!

emoxam
мл. сержант
Сообщения: 85
Зарегистрирован: 2008-03-03 20:45:14
Откуда: Москва
Контактная информация:

Помогите разобраться с raid контроллером

Непрочитанное сообщение emoxam » 2022-08-05 16:26:09

Neus писал(а):
2022-08-05 15:19:53
так
да, я понял, опечатка то была
так что есть шанс заставить работать быстрее?
Самурай без меча подобен самураю с мечом но только без меча.

guest
проходил мимо

Помогите разобраться с raid контроллером

Непрочитанное сообщение guest » 2022-08-05 17:31:13

так что есть шанс заставить работать быстрее?
заставить работать быстрее ЧТО?
1. HDD?
2. RAID?
3. ZFS?

Как там в известном выражении: "Чтобы получить ответ на поставленный вопрос, нужно
грамотно его изложить, а это уже 50% ответа"

1. HDD - нельзя заставить быстрей читать и быстрей писать :)
но есть косвенные решения, благодаря которым которым достигают "увеличения" скорости
отдачи данных при чтении: кеширование, увеличить скорость записи невозможно.
2. RAID - выбирать соответствующие уровни рейдов: raid50, raid60, но самый быстрый raid10
3. ZFS - тут огромное кол-во вариантов настроек и параметров... и универсального просто НЕТ,
создание разных пулов под разные задачи с разными настройками, создание разных datasets
с разными параметрами под разные задачи и последущий анализ на базе статистики и тюнинг

Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s


сие Вам однозначно говорит что диск с контроллером договорились правильно, на максимуме
контроллер <-> expander <-> диск.
Но как уже было сказано, это не даст Вам реального значения скорости записи!
В случае использования массивов, измерять нужно I/O с помощью fio

исключительно в качестве ликбеза цитаты
(с комментам, жаль что только сейчас вставил, нужно было своевременно: интерфейс, модель, год) :
The theoretical speed limits of popular interfaces are as follows:

SATA Revision 1.0 – up to 1.5 Gbit/s ( 192 MB/s)
SATA Revision 2.0 – up to 3 Gbit/s ( 384 MB/s)
SATA Revision 3.0 – up to 6 Gbit/s ( 768 MB/s)

Teoretically 3Gbps read/write speed ~375MB/s, max teoretical transfer 300MB/s
6Gbps read/write speed ~740MB/s, max teoretical transfer 600MB/s

Real top fast: mechanical drives limited by physics ~180MB/s (данные немного устарели, но в среднем похоже)

SATA SSD top 515MB/s in sequential reads!

REAL HDD Seq Speed ~125MB/s (вероятно на read)
REAL SSD Seq Speed ~550MB/s (вероятно на read)

HDD read/write speed UltraStar DC HC620 with SAS 12GB/s interface
Sustained transfer rate:
255 MBps read and write (выше чем 180, но интерфейс и hdd sas12)

SDD read/write speed Samsung 970 Evo with PCIe 3 interface
Read speed 3,500 MBps max.
Write speed 2,500 MBps max.


emoxam
мл. сержант
Сообщения: 85
Зарегистрирован: 2008-03-03 20:45:14
Откуда: Москва
Контактная информация:

Помогите разобраться с raid контроллером

Непрочитанное сообщение emoxam » 2022-08-06 14:22:28

Neus писал(а):
2022-08-05 12:35:23
на моем raidz2 вот так:
raidz2 - аналог raid 6
почему к Neus скорость (414MB/sec) ? У него SSD?
У меня так например не выше (95MB/sec)
Самурай без меча подобен самураю с мечом но только без меча.

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Помогите разобраться с raid контроллером

Непрочитанное сообщение Neus » 2022-08-06 14:57:32

emoxam писал(а):
2022-08-06 14:22:28
raidz2 - аналог raid 6
аналог только в том что у обоих вариантов 2 контрольных суммы.
emoxam писал(а):
2022-08-06 14:22:28
почему к Neus скорость (414MB/sec) ? У него SSD?
У меня так например не выше (95MB/sec)
нет, обычные SATA HDD, 8 дисков по 4 ТБ.
414 это показывает dd, zpool iostat показывает 600-800.
а скорость операции zpool scrub вообще до 1ГБ/с доходит.
у тебя 95 потому что пул сделан поверх аппаратного рейда.
Physics is mathematics with the constraint of reality.
Engineering is physics with the constraint of money.

LOR захватили ситхи.
Добро пожаловать на светлую сторону!