Помогите разобраться с raid контроллером

[emoxam]

Всем привет!
Достался мне сервер с freebsd 11.3-RELEASE-p14 (На самом деле тут даже FreeNAS-11.3-U5), хочу понять сколько там дисков, в каких массивах, как с ними дружить, как организованны диски вообще.

если верить dmesg то это контроллер LSI MR9266-8i 3.46 на котором три логических диска, но даже этот вывод не прозрачен

Код: Выделить всё

da0 at mrsas0 bus 0 scbus0 target 0 lun 0
da1 at mrsas0 bus 0 scbus0 target 1 lun 0
da2 at mrsas0 bus 0 scbus0 target 2 lun 0
da0: <LSI MR9266-8i 3.46> Fixed Direct Access SPC-3 SCSI device
da0: Serial Number 0094f77232f6a7182740e58305b00506
da0: 150.000MB/s transfersda2: <LSI MR9266-8i 3.46> Fixed Direct Access SPC-3 SCSI device
da2: Serial Number 00900361347ad0762840e58305b00506
da2: 150.000MB/s transfers
da2: 19074560MB (39064698880 512 byte sectors)

da0: 228416MB (467795968 512 byte sectors)
da1: <LSI MR9266-8i 3.46> Fixed Direct Access SPC-3 SCSI device
da1: Serial Number 00c7fc7232f6a7182740e58305b00506
da1: 150.000MB/s transfers
da1: 30519296MB (62503518208 512 byte sectors)

Почему здесь всё вперемешку? "da0: 228416MB (467795968 512 byte sectors)" например?
da2 тоже на <LSI MR9266-8i 3.46>? Почему у da2 не строки с моделью контроллера?

150.000MB/s transfers - это значит что скорость работы массивов sata 1 ?

camcontrol devlist

Код: Выделить всё

<LSI MR9266-8i 3.46>               at scbus0 target 0 lun 0 (pass0,da0)
<LSI MR9266-8i 3.46>               at scbus0 target 1 lun 0 (pass1,da1)
<LSI MR9266-8i 3.46>               at scbus0 target 2 lun 0 (pass2,da2)
<LSI SAS2X36 0e0b>                 at scbus1 target 34 lun 0 (pass3,ses0)

Тут есть ещё один контроллер, а что за ses0 ?
Почему в /etc/fstab всё что есть это
fdescfs /dev/fd fdescfs rw 0 0

А где все файловые системы что смонтированы?
Например в выводе mount есть
Lun0 on /mnt/Lun0 (zfs, NFS exported, local, nfsv4acls)
Lun2 on /mnt/Lun2 (zfs, NFS exported, local, nfsv4acls)

Как определить какой утилитой и на каких дисках созданы эти Lun0 и Lun2 ?
Спасибо

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Neus]

Прикольно, zfs поверх raid.
Какой умник такое навернул?

По твоим вопросам:
Так как это raid контроллер, то лезь в его биос и смотри там что и как сделано.
У da2 есть строка с моделью контроллера, она слилась с предидущей строкой.
Почему он говорит про 150мб/с - хз, может баг какой.
ses это контроллер бекплейна к которому подключены диски. (man ses)
fstab пустой потому что у тебя zfs, ей он не нужен.
Lan0 и Lan2 пулы zfs.
Смотри вывод zpool list -v и zfs list.

[guest]

da0 at mrsas0 bus 0 scbus0 target 0 lun 0
da1 at mrsas0 bus 0 scbus0 target 1 lun 0
da2 at mrsas0 bus 0 scbus0 target 2 lun 0
da0: <LSI MR9266-8i 3.46> Fixed Direct Access SPC-3 SCSI device

в первых трех строках: da[0,1,2] at mrsas
драйвер контроллера mrsas, логические тома da0,1,2
в четвертой строке контроллер LSI MR9266-8i (MR=MegaRAID, 9266, 8i - 8 internal ports)
у каждого тома свой target 0,1,2

Далее, на базе этих логических томов создали zfs пулы с dataset'ами (файловыми системами)
при загрузке zfs выполняет import и автоматически монтирует dataset в mountpoints
которые были заданы при создании dataset'ов, поэтому их нет в /etc/fstab.

Как бы уже все в предыдущем посте расписали.

Логические тома можно создать, варианты:
- из bios raid контроллера
- или утилитами megacli - устаревшее, storcli - актуальное (в портах), они же покажут физические hdd,
к которым в случае HW RAID нет прямого доступа, только из bios или через утилиты

# man mrsas
# man zpool
# man zfs
# locate megacli
# locate storcli

----------------------------------------------------------------
слой 1 физические диски - megacli/storcli
----------------------------------------------------------------
слой 2 логические тома - megacli/storcli : da0,1,2
----------------------------------------------------------------
слой 3 zfs pool
----------------------------------------------------------------
слой 4 zfs dataset (файловая система)
----------------------------------------------------------------
слой 3 и 4 можно совместить в один: zfs

[emoxam]

Большое спасибо, господа! В выводе
storcli /c0 show | less

я вижу

Код: Выделить всё

TOPOLOGY :
========

-----------------------------------------------------------------------------
DG Arr Row EID:Slot DID Type  State BT       Size PDC  PI SED DS3  FSpace TR
-----------------------------------------------------------------------------
 0 -   -   -        -   RAID1 Optl  N  223.062 GB enbl N  N   none N      N
 0 0   -   -        -   RAID1 Optl  N  223.062 GB enbl N  N   none N      N
 0 0   0   34:0     32  DRIVE Onln  N  223.062 GB enbl N  N   none -      N
 0 0   1   34:1     33  DRIVE Onln  N  223.062 GB enbl N  N   none -      N
 1 -   -   -        -   RAID6 Optl  N   29.105 TB dflt N  N   none N      N
 1 0   -   -        -   RAID6 Optl  N   29.105 TB dflt N  N   none N      N
 1 0   0   34:2     35  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
 1 0   1   34:3     36  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
 1 0   2   34:4     37  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
 1 0   3   34:5     38  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
 1 0   4   34:6     39  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
 1 0   5   34:7     40  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
 1 0   6   34:8     41  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
 1 0   7   34:9     42  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
 1 0   8   34:10    43  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
 1 0   9   34:11    44  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
 2 -   -   -        -   RAID6 Optl  N   18.190 TB dflt N  N   none N      N
 2 0   -   -        -   RAID6 Optl  N   18.190 TB dflt N  N   none N      N
 2 0   0   34:12    46  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
 2 0   1   34:13    45  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
 2 0   2   34:14    47  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
 2 0   3   34:15    49  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
 2 0   4   34:16    48  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
 2 0   5   34:17    51  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
 2 0   6   34:23    50  DRIVE Onln  N    3.637 TB dflt N  N   none -      N
-----------------------------------------------------------------------------

Код: Выделить всё

VD LIST :
=======

---------------------------------------------------------------
DG/VD TYPE  State Access Consist Cache Cac sCC       Size Name
---------------------------------------------------------------
0/0   RAID1 Optl  RW     Yes     RWTD  -   ON  223.062 GB
1/1   RAID6 Optl  RW     Yes     RWTD  -   ON   29.105 TB
2/2   RAID6 Optl  RW     Yes     RWTD  -   ON   18.190 TB
---------------------------------------------------------------

Откуда становиться видно какие есть массивы, и какие диски входят в те или иные VD.
не совсем правда понятны первые 4 строчки, например, в выводе TOPOLOY. Подскажете как их интерпретировать?

Хотел увидеть скорость работы дисков, но то ли не правильный синатксис команды использую, то ли чего-то не понимаю.

camcontrol devlist

Код: Выделить всё

<LSI MR9266-8i 3.46>               at scbus0 target 0 lun 0 (pass0,da0)
<LSI MR9266-8i 3.46>               at scbus0 target 1 lun 0 (pass1,da1)
<LSI MR9266-8i 3.46>               at scbus0 target 2 lun 0 (pass2,da2)
<LSI SAS2X36 0e0b>                 at scbus1 target 34 lun 0 (pass3,ses0)
<AHCI SGPIO Enclosure 2.00 0001>   at scbus8 target 0 lun 0 (pass4,ses1)

camcontrol identify 0:0

Код: Выделить всё

camcontrol: ATA ATA_IDENTIFY via pass_16 failed
camcontrol: ATA ATAPI_IDENTIFY via pass_16 failed

Подскажете почему ругается? И как увидеть режим работы SATA?

Спасибо

[guest]

Хотел увидеть скорость работы дисков, но то ли не правильный синатксис команды использую, то ли чего-то не понимаю.

Вам все разжевали и дали направление на документацию, далее сами:
- чтение документации storcli просветляет, в том числе и в каком режиме работают диски

camcontrol работает с direct attach устройствами, уже ж было сказано, вот по ним
покажет инфу, по hw рейдам только storcli
вся инфа по real-hdd подключенным к hw-raid, serial, прошивка, скорости, smart'ы
через storcli

note: camcontrol работает через scsi layout с ata/sata и scsi

- sata identify
# camcontrol identify ada0
- scsi/sas identify
# camcontrol inquiry da0

[emoxam]

camcontrol inquiry da0

Код: Выделить всё

pass0: <LSI MR9266-8i 3.46> Fixed Direct Access SPC-3 SCSI device
pass0: Serial Number 0094f77232f6a7182740e58305b00506
pass0: 150.000MB/s transfers, Command Queueing Enabled

camcontrol inquiry da1

Код: Выделить всё

pass1: <LSI MR9266-8i 3.46> Fixed Direct Access SPC-3 SCSI device
pass1: Serial Number 00c7fc7232f6a7182740e58305b00506
pass1: 150.000MB/s transfers, Command Queueing Enabled

camcontrol inquiry da2

Код: Выделить всё

pass2: <LSI MR9266-8i 3.46> Fixed Direct Access SPC-3 SCSI device
pass2: Serial Number 00900361347ad0762840e58305b00506
pass2: 150.000MB/s transfers, Command Queueing Enabled

не смотря на то что диски стоят SATA - TOSHIBA MG04ACA400E
обращаться с ними надо как с SCSI!

Почему их скорость 150.000MB/s мне не понятно. Из-за backplane? Я в вопросах backplain и extender не силён совсем.



sesutil map

Код: Выделить всё

ses0:
        Enclosure Name: LSI SAS2X36 0e0b
        Enclosure ID: 50030480003f00bf
        Element 0, Type: Array Device Slot
                Status: Unsupported (0x00 0x00 0x00 0x00)
                Description: Drive Slots
        Element 1, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 01
        Element 2, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 02
        Element 3, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 03
        Element 4, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 04
        Element 5, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 05
        Element 6, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 06
        Element 7, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 07
        Element 8, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 08
        Element 9, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 09
        Element 10, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 10
        Element 11, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 11
        Element 12, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 12
        Element 13, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 13
        Element 14, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 14
        Element 15, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 15
        Element 16, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 16
        Element 17, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 17
        Element 18, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 18
        Element 19, Type: Array Device Slot
                Status: Not Installed (0x05 0x00 0x00 0x00)
                Description: Slot 19
        Element 20, Type: Array Device Slot
                Status: Not Installed (0x05 0x00 0x00 0x00)
                Description: Slot 20
        Element 21, Type: Array Device Slot
                Status: Not Installed (0x05 0x00 0x00 0x00)
                Description: Slot 21
        Element 22, Type: Array Device Slot
                Status: Not Installed (0x05 0x00 0x00 0x00)
                Description: Slot 22
        Element 23, Type: Array Device Slot
                Status: Not Installed (0x05 0x00 0x00 0x00)
                Description: Slot 23
        Element 24, Type: Array Device Slot
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Slot 24
        Element 25, Type: Temperature Sensors
                Status: Unsupported (0x00 0x00 0x00 0x00)
                Description: Temperature Sensors
                Extra status:
                - Temperature: -reserved-
        Element 26, Type: Temperature Sensors
                Status: OK (0x01 0x00 0x35 0x00)
                Description: Temperature
                Extra status:
                - Temperature: 33 C
        Element 27, Type: Cooling
                Status: Unsupported (0x00 0x00 0x00 0x00)
                Description: Fans
                Extra status:
                - Speed: 0 rpm
        Element 28, Type: Cooling
                Status: OK (0x01 0x02 0x58 0x25)
                Description: Fan1
                Extra status:
                - Speed: 6000 rpm
        Element 29, Type: Cooling
                Status: OK (0x01 0x02 0x6a 0x26)
                Description: Fan2
                Extra status:
                - Speed: 6180 rpm
        Element 30, Type: Cooling
                Status: OK (0x01 0x02 0x5e 0x25)
                Description: Fan3
                Extra status:
                - Speed: 6060 rpm
        Element 31, Type: Cooling
                Status: Not Available (0x07 0x00 0x00 0x10)
                Description: JBOD_Fan1
                Extra status:
                - Speed: 0 rpm
        Element 32, Type: Cooling
                Status: Not Available (0x07 0x00 0x00 0x10)
                Description: JBOD_Fan2
                Extra status:
                - Speed: 0 rpm
        Element 33, Type: Voltage Sensor
                Status: Unsupported (0x00 0x00 0x00 0x00)
                Description: Voltage Sensors
                Extra status:
                - Voltage: 0.00 V
        Element 34, Type: Voltage Sensor
                Status: OK (0x01 0x00 0x01 0xf6)
                Description: 5V
                Extra status:
                - Voltage: 5.02 V
        Element 35, Type: Voltage Sensor
                Status: OK (0x01 0x00 0x04 0xab)
                Description: 12V
                Extra status:
                - Voltage: 11.95 V
        Element 36, Type: Power Supply
                Status: Unsupported (0x00 0x00 0x00 0x00)
                Description: Power Supplies
        Element 37, Type: Enclosure
                Status: Unsupported (0x00 0x00 0x00 0x00)
                Description: Enclosure
        Element 38, Type: Enclosure
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Enclosure
        Element 39, Type: SAS Expander
                Status: Unsupported (0x00 0x00 0x00 0x00)
                Description: SAS Expanders
        Element 40, Type: SAS Expander
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Primary Expander
        Element 41, Type: SAS Expander
                Status: OK (0x01 0x00 0x00 0x00)
                Description: Secondary Expander
        Element 42, Type: SAS Connector
                Status: Unsupported (0x00 0x00 0x00 0x00)
                Description: SAS Connectors
        Element 43, Type: SAS Connector
                Status: OK (0x01 0x11 0xff 0x00)
                Description: Upstream Connector (Primary)
        Element 44, Type: SAS Connector
                Status: OK (0x01 0x11 0xff 0x00)
                Description: Downstream Connector 1 (Primary)
        Element 45, Type: SAS Connector
                Status: OK (0x01 0x11 0xff 0x00)
                Description: Downstream Connector 2 (Primary)
        Element 46, Type: SAS Connector
                Status: OK (0x01 0x11 0xff 0x00)
                Description: Upstream Connector (Secondary)
        Element 47, Type: SAS Connector
                Status: OK (0x01 0x11 0xff 0x00)
                Description: Downstream Connector 1 (Secondary)
        Element 48, Type: SAS Connector
                Status: OK (0x01 0x11 0xff 0x00)
                Description: Downstream Connector 2 (Secondary)
        Element 49, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 00
        Element 50, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 01
        Element 51, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 02
        Element 52, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 03
        Element 53, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 04
        Element 54, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 05
        Element 55, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 06
        Element 56, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 07
        Element 57, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 08
        Element 58, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 09
        Element 59, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 10
        Element 60, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 11
        Element 61, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 12
        Element 62, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 13
        Element 63, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 14
        Element 64, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 15
        Element 65, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 16
        Element 66, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 17
        Element 67, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 18
        Element 68, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 19
        Element 69, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 20
        Element 70, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 21
        Element 71, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 22
        Element 72, Type: SAS Connector
                Status: OK (0x01 0x20 0x00 0x00)
                Description: Drive Connector 23
        Element 73, Type: Communication Port
                Status: Unsupported (0x00 0x00 0x00 0x00)
                Description: Ethernet ports
        Element 74, Type: Communication Port
                Status: Unsupported (0x00 0x00 0x00 0x00)
                Description: Ethernet_port_1
        Element 75, Type: Communication Port
                Status: Unsupported (0x00 0x00 0x00 0x00)
                Description: Ethernet_port_2
ses1:
        Enclosure Name: AHCI SGPIO Enclosure 2.00
        Enclosure ID: 3061686369656d30
        Element 0, Type: Array Device Slot
                Status: Unsupported (0x00 0x00 0x00 0x00)
                Description: Drive Slots
        Element 1, Type: Array Device Slot
                Status: Not Installed (0x05 0x00 0x00 0x00)
                Description: Slot 00
        Element 2, Type: Array Device Slot
                Status: Not Installed (0x05 0x00 0x00 0x00)
                Description: Slot 01
        Element 3, Type: Array Device Slot
                Status: Not Installed (0x05 0x00 0x00 0x00)
                Description: Slot 02
        Element 4, Type: Array Device Slot
                Status: Not Installed (0x05 0x00 0x00 0x00)
                Description: Slot 03
        Element 5, Type: Array Device Slot
                Status: Not Installed (0x05 0x00 0x00 0x00)
                Description: Slot 04
        Element 6, Type: Array Device Slot
                Status: Not Installed (0x05 0x00 0x00 0x00)
                Description: Slot 05

А вот такая портянка не будет полезна? Например если какой-то extender не в том режиме, или "не той системы"

[guest]

Мне другое непонятно, я написал на русском языке с понятным
объяснением, как для школьника, но Вы почему-то упорно не
желаете понять то что Вам расписали, и это поражает.

Есть RAID контроллер к которому подключено N-дисков.
Они подключены к RAID-контроллеру, а не к HBA контроллеру,
разницу понимаете?

Драйвера ATA: man ata
поддерживают большое кол-во HBA SATA контроллеров, эти контроллеры
работают с дисками "напрямую" (direct attach), используем camcontrol.

HW-RAID контроллеры не дают прямой доступ к дискам, только
через свое собственное ПО, не используем camcontrol.

Поэтому camcontrol не даст Вам прямой доступ к физическому диску
и посмотреть его состояние, расписывал же уже, что тут непонятно?

В HW-RAID контроллере мы из физических дисков, создаем
логические тома, вот последние, точнее созданные массивы и видны в системе как:
da0, da1 и da2.
В реалии, da0 - raid1 собранный из двух физических дисков,
da1 - raid6 и собран из 10 физических дисков, da2 из 7...

Что Вы пытаетесь увидеть через camcontrol?!

драйвер mrsas - драйвер megaraid контроллера, который выдал
Вам в качестве итога общее пространство сконфигуренных рейдов.

Пример: у нас 24xHDD подключенные к HW-RAID контроллеру.
берем и конфигурим 4xHDD в RAID10, еще 5xHDD в RAID5 и еще 6xHDD в RAID5.
Всего задействовали 4+5+6 дисков = 15. Сколько создали рейд массивов?

Правильно: 3'и, сколько увидит драйвер mrsas - правильно 3'и, как их
обзовет: da0,da1,da2.

Что получается? Получается, что Вы видите готовый результат в виде так называемых "дисков",
ибо это блочные устройства.
Но Вы не видите что da0 = RAID1 из 2xHDD и не видите что da1 = RAID5 из 5xHDD и тд и тп.
Это только storcli покажет.

Так какого хрена Вы выполняете:
# camcontrol inquiry da0
сказано же что camcontrol работает с direct attach HDD, а Вы ему даете логический том
из двух физических дисков и чего-то ожидаете?

Сказано, есть storcli - вот с помощью нее и смотрите инфу с физических
дисков.
Причем диски у Вас подключены к Backplane на которой SAS2x36 экспандер,
SAS2 - какая у него скорость?
К SAS экспандеру можно подключать хоть SATA, хоть SAS HDD.

----
документация storcli раздел: Drive Commands
изучайте:

Show physical disk information: /cx[/ex]/sx show [all]
Show information about all physical disk drives and other devices
connected to the selected adapters; includes drive type, size, serial
number, and firmware version: /cx/eall/sall show [all]

Далее самостоятельно.

[Neus]

К SAS экспандеру можно подключать хоть SATA, хоть SAS HDD.

О! Появился вопрос, а можно подключать их одновременно?
А то у меня запас sata на исходе, зато sas есть.

[guest]

Можно, правильно сказать к бэкплейн на которой sas expander. Но у некоторых моделей контроллеров с некоторыми бекплейнами, бывают проблемы. С одним из sas lsi c bacplain от supermicro такое как раз было при миксе сата и сас дисков с разными скоростями. Экспандер неудачно тунелировал сата и в итоге падала скорость на сас дисках и общий итог сильно падала производительность ZFS.

[Neus]

Ок, спасибо!

[guest]

Нашел в записках, 2016-17 год на серверах Supermicro, в связке HBA SAS3 <-> Backplain с SAS2 expander,
как только корзины наполняли смешанными дисками, происходила деградация ZFS.
В конечном итоге выяснили модель backplane и апгрейд прошивки.

С 2019 снова проблемы с mpr и mps драйверами, снова timeouts, но не со всеми
дисками, ряд WD и Seagate, лечилось то ли отключением NCQ, то ли уменьшением очереди NCQ...
Потом вышли патчи на драйвера Broadcom... (Проблема проявлялась при преходе с 11 -> 12
и вроде как была устранена в конце 2021 или в самом начале 2022?)

ps. Увы, уже как несколько лет нет времени следить за списками рассылки FreeBSD.

pps. Я первоначально отключаю на дисках все IDLE, APM/PM если есть, оставляю только
READ/WRITE cache, хотя сама ZFS проверяет возможность WRITE cache на дисках.
Потом гоняю тесты, нагружаю, смотрю, жду... и потом в продакшн, но теперь
ZFS в основном на Debian.

[emoxam]

storcli /c0 /eall /sall show all | grep Speed

Код: Выделить всё

Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s

Похоже зря развёл панику.
Вообще там raid 6 и если я правильно понимаю то скорости выше 100 МБ/С там всё равно не получить на запись.
Спасибо

[Neus]

А ты возьми fio да проверь.

[lazhu]

6 Gbps это скорость SAS шины, к скорости чтения/записи на диск имеющая мало отношения. Если вам нужна производительность, raid6 самый худший вариант. А zfs поверх железного рейда вообще бред

[Neus]

Вообще там raid 6 и если я правильно понимаю то скорости выше 100 МБ/С там всё равно не получить на запись.

на моем raidz2 вот так:

Код: Выделить всё

# dd if=/dev/zero of=/sb-fs/bigfile bs=1M count=10240
10240+0 records in
10240+0 records out
10737418240 bytes transferred in 24.726886 secs (414MB/sec)

[emoxam]

на моем raidz2 вот так:

У меня все гораздо печальнее

dd if=/dev/zero of=/sb-fs/bigfile bs=1M count=10240

dd if=/dev/zero of=/mnt/Lun0/backups/test.f bs=1M count=10240

Код: Выделить всё

10240+0 records in
10240+0 records out
10737418240 bytes transferred in 148.937261 secs (72093566 bytes/sec)

dd if=/dev/zero of=/mnt/Lun2/dump/test.f bs=1M count=10240

Код: Выделить всё

10240+0 records in
10240+0 records out
10737418240 bytes transferred in 144.661082 secs (74224651 bytes/sec)

fio --name=random-write --ioengine=posixaio --rw=randwrite --bs=1m --numjobs=1 --size=4g --iodepth=1 --runtime=60 --time_based --end_fsync=1

Код: Выделить всё

random-write: (g=0): rw=randwrite, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=posixaio, iodepth=1
fio-3.16
Starting 1 process
random-write: Laying out IO file (1 file / 4096MiB)
Jobs: 1 (f=1): [F(1)][100.0%][eta 00m:00s]
random-write: (groupid=0, jobs=1): err= 0: pid=88898: Fri Aug  5 13:45:07 2022
  write: IOPS=51, BW=51.4MiB/s (53.9MB/s)(4949MiB/96251msec)
    slat (usec): min=13, max=185, avg=59.19, stdev=16.53
    clat (usec): min=315, max=861550, avg=12064.00, stdev=26177.37
     lat (usec): min=339, max=861619, avg=12123.19, stdev=26177.06
    clat percentiles (usec):
     |  1.00th=[   363],  5.00th=[   529], 10.00th=[   562], 20.00th=[   807],
     | 30.00th=[   865], 40.00th=[   914], 50.00th=[   988], 60.00th=[  1156],
     | 70.00th=[  4883], 80.00th=[ 19530], 90.00th=[ 43254], 95.00th=[ 62129],
     | 99.00th=[106431], 99.50th=[123208], 99.90th=[164627], 99.95th=[196084],
     | 99.99th=[859833]
   bw (  KiB/s): min=26204, max=1209996, per=100.00%, avg=84004.60, stdev=194059.94, samples=119
   iops        : min=   25, max= 1181, avg=81.61, stdev=189.53, samples=119
  lat (usec)   : 500=2.36%, 750=14.25%, 1000=34.23%
  lat (msec)   : 2=16.02%, 4=2.67%, 10=4.49%, 20=6.41%, 50=11.98%
  lat (msec)   : 100=6.30%, 250=1.27%, 1000=0.02%
  cpu          : usr=0.32%, sys=0.06%, ctx=4992, majf=0, minf=2
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued rwts: total=0,4949,0,1 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
  WRITE: bw=51.4MiB/s (53.9MB/s), 51.4MiB/s-51.4MiB/s (53.9MB/s-53.9MB/s), io=4949MiB (5189MB), run=96251-96251msec

[emoxam]

Если будет полезно то ZFS массивов нет.

zpool status

Код: Выделить всё

  pool: Lun0
 state: ONLINE
  scan: scrub repaired 0 in 0 days 09:32:01 with 0 errors on Sun Jul 17 09:32:05 2022
config:

        NAME                                          STATE     READ WRITE CKSUM
        Lun0                                          ONLINE       0     0     0
          gptid/dcd45994-12cb-11eb-916d-00259049bfc8  ONLINE       0     0     0

errors: No known data errors

  pool: Lun2
 state: ONLINE
  scan: scrub repaired 0 in 0 days 21:37:11 with 0 errors on Sun Jul 31 21:37:16 2022
config:

        NAME                                          STATE     READ WRITE CKSUM
        Lun2                                          ONLINE       0     0     0
          gptid/28b4e8ff-de45-11eb-9f4a-00259049bfc8  ONLINE       0     0     0

errors: No known data errors

  pool: freenas-boot
 state: ONLINE
  scan: scrub repaired 0 in 0 days 00:00:10 with 0 errors on Tue Aug  2 03:45:10 2022
config:

        NAME        STATE     READ WRITE CKSUM
        freenas-boot  ONLINE       0     0     0
          da0p2     ONLINE       0     0     0

errors: No known data errors

[lazhu]

Что значит нет, когда 3 пула
zfs list для просмотра датасетов

[emoxam]

Я имею массивов raid/raidz

zfs list

Код: Выделить всё

NAME                                                    USED  AVAIL  REFER  MOUNTPOINT
Lun0                                                   15.9T  12.2T  15.9T  /mnt/Lun0
Lun0/.system                                           1.13G  12.2T    96K  legacy
Lun0/.system/configs-e6cb7c26dd1243d3962c3f87f9eddfe5   740M  12.2T   740M  legacy
Lun0/.system/cores                                     11.8M  12.2T  11.8M  legacy
Lun0/.system/rrd-e6cb7c26dd1243d3962c3f87f9eddfe5       138M  12.2T   138M  legacy
Lun0/.system/samba4                                    3.48M  12.2T  3.48M  legacy
Lun0/.system/syslog-e6cb7c26dd1243d3962c3f87f9eddfe5    268M  12.2T   268M  legacy
Lun0/.system/webui                                       88K  12.2T    88K  legacy
Lun0/iocage                                            3.71G  12.2T  9.08M  /mnt/Lun0/iocage
Lun0/iocage/download                                    289M  12.2T    88K  /mnt/Lun0/iocage/download
Lun0/iocage/download/11.3-RELEASE                       289M  12.2T   289M  /mnt/Lun0/iocage/download/11.3-RELEASE
Lun0/iocage/images                                       88K  12.2T    88K  /mnt/Lun0/iocage/images
Lun0/iocage/jails                                      2.34G  12.2T    88K  /mnt/Lun0/iocage/jails
Lun0/iocage/jails/GlosArch                              906M  12.2T   324K  /mnt/Lun0/iocage/jails/GlosArch
Lun0/iocage/jails/GlosArch/root                         905M  12.2T   905M  /mnt/Lun0/iocage/jails/GlosArch/root
Lun0/iocage/jails/GlosJail                             1.46G  12.2T   348K  /mnt/Lun0/iocage/jails/GlosJail
Lun0/iocage/jails/GlosJail/root                        1.46G  12.2T  1.46G  /mnt/Lun0/iocage/jails/GlosJail/root
Lun0/iocage/log                                          96K  12.2T    96K  /mnt/Lun0/iocage/log
Lun0/iocage/releases                                   1.08G  12.2T    88K  /mnt/Lun0/iocage/releases
Lun0/iocage/releases/11.3-RELEASE                      1.08G  12.2T    88K  /mnt/Lun0/iocage/releases/11.3-RELEASE
Lun0/iocage/releases/11.3-RELEASE/root                 1.08G  12.2T  1.08G  /mnt/Lun0/iocage/releases/11.3-RELEASE/root
Lun0/iocage/templates                                    88K  12.2T    88K  /mnt/Lun0/iocage/templates
Lun2                                                   5.91T  11.6T  5.91T  /mnt/Lun2
freenas-boot                                           7.62G   192G    88K  none
freenas-boot/ROOT                                      7.62G   192G    88K  none
freenas-boot/ROOT/Initial-Install                         8K   192G  1.25G  legacy
freenas-boot/ROOT/default                              7.62G   192G  7.61G  legacy

[Neus]

Я имею массивов raid/raidz

это массив тебя имеет
pool raidz2 выглядит так:

Код: Выделить всё

        NAME         STATE     READ WRITE CKSUM
        sb-fs        ONLINE       0     0     0
          raidz2-0   ONLINE       0     0     0
            c1t64d0  ONLINE       0     0     0
            c1t65d0  ONLINE       0     0     0
            c1t66d0  ONLINE       0     0     0
            c1t67d0  ONLINE       0     0     0
            c1t68d0  ONLINE       0     0     0
            c1t69d0  ONLINE       0     0     0
            c1t70d0  ONLINE       0     0     0
            c1t71d0  ONLINE       0     0     0

[emoxam]

так

да, я понял, опечатка то была
так что есть шанс заставить работать быстрее?

[guest]

так что есть шанс заставить работать быстрее?

заставить работать быстрее ЧТО?
1. HDD?
2. RAID?
3. ZFS?

Как там в известном выражении: "Чтобы получить ответ на поставленный вопрос, нужно
грамотно его изложить, а это уже 50% ответа"

1. HDD - нельзя заставить быстрей читать и быстрей писать
но есть косвенные решения, благодаря которым которым достигают "увеличения" скорости
отдачи данных при чтении: кеширование, увеличить скорость записи невозможно.
2. RAID - выбирать соответствующие уровни рейдов: raid50, raid60, но самый быстрый raid10
3. ZFS - тут огромное кол-во вариантов настроек и параметров... и универсального просто НЕТ,
создание разных пулов под разные задачи с разными настройками, создание разных datasets
с разными параметрами под разные задачи и последущий анализ на базе статистики и тюнинг

Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s

сие Вам однозначно говорит что диск с контроллером договорились правильно, на максимуме
контроллер <-> expander <-> диск.
Но как уже было сказано, это не даст Вам реального значения скорости записи!
В случае использования массивов, измерять нужно I/O с помощью fio

исключительно в качестве ликбеза цитаты
(с комментам, жаль что только сейчас вставил, нужно было своевременно: интерфейс, модель, год) :

The theoretical speed limits of popular interfaces are as follows:

SATA Revision 1.0 – up to 1.5 Gbit/s ( 192 MB/s)
SATA Revision 2.0 – up to 3 Gbit/s ( 384 MB/s)
SATA Revision 3.0 – up to 6 Gbit/s ( 768 MB/s)

Teoretically 3Gbps read/write speed ~375MB/s, max teoretical transfer 300MB/s
6Gbps read/write speed ~740MB/s, max teoretical transfer 600MB/s

Real top fast: mechanical drives limited by physics ~180MB/s (данные немного устарели, но в среднем похоже)

SATA SSD top 515MB/s in sequential reads!

REAL HDD Seq Speed ~125MB/s (вероятно на read)
REAL SSD Seq Speed ~550MB/s (вероятно на read)

HDD read/write speed UltraStar DC HC620 with SAS 12GB/s interface
Sustained transfer rate:
255 MBps read and write (выше чем 180, но интерфейс и hdd sas12)

SDD read/write speed Samsung 970 Evo with PCIe 3 interface
Read speed 3,500 MBps max.
Write speed 2,500 MBps max.

[lazhu]

Про уровни RAID для чайников

[emoxam]

на моем raidz2 вот так:

raidz2 - аналог raid 6
почему к Neus скорость (414MB/sec) ? У него SSD?
У меня так например не выше (95MB/sec)

[Neus]

raidz2 - аналог raid 6

аналог только в том что у обоих вариантов 2 контрольных суммы.

почему к Neus скорость (414MB/sec) ? У него SSD?
У меня так например не выше (95MB/sec)

нет, обычные SATA HDD, 8 дисков по 4 ТБ.
414 это показывает dd, zpool iostat показывает 600-800.
а скорость операции zpool scrub вообще до 1ГБ/с доходит.
у тебя 95 потому что пул сделан поверх аппаратного рейда.