Страница 1 из 2
Помогите разобраться с raid контроллером
Добавлено: 2022-08-02 12:17:41
emoxam
Всем привет!
Достался мне сервер с freebsd 11.3-RELEASE-p14 (На самом деле тут даже FreeNAS-11.3-U5), хочу понять сколько там дисков, в каких массивах, как с ними дружить, как организованны диски вообще.
если верить dmesg то это контроллер LSI MR9266-8i 3.46 на котором три логических диска, но даже этот вывод не прозрачен
Код: Выделить всё
da0 at mrsas0 bus 0 scbus0 target 0 lun 0
da1 at mrsas0 bus 0 scbus0 target 1 lun 0
da2 at mrsas0 bus 0 scbus0 target 2 lun 0
da0: <LSI MR9266-8i 3.46> Fixed Direct Access SPC-3 SCSI device
da0: Serial Number 0094f77232f6a7182740e58305b00506
da0: 150.000MB/s transfersda2: <LSI MR9266-8i 3.46> Fixed Direct Access SPC-3 SCSI device
da2: Serial Number 00900361347ad0762840e58305b00506
da2: 150.000MB/s transfers
da2: 19074560MB (39064698880 512 byte sectors)
da0: 228416MB (467795968 512 byte sectors)
da1: <LSI MR9266-8i 3.46> Fixed Direct Access SPC-3 SCSI device
da1: Serial Number 00c7fc7232f6a7182740e58305b00506
da1: 150.000MB/s transfers
da1: 30519296MB (62503518208 512 byte sectors)
Почему здесь всё вперемешку? "da0: 228416MB (467795968 512 byte sectors)" например?
da2 тоже на <LSI MR9266-8i 3.46>? Почему у da2 не строки с моделью контроллера?
150.000MB/s transfers - это значит что скорость работы массивов sata 1 ?
camcontrol devlist
Код: Выделить всё
<LSI MR9266-8i 3.46> at scbus0 target 0 lun 0 (pass0,da0)
<LSI MR9266-8i 3.46> at scbus0 target 1 lun 0 (pass1,da1)
<LSI MR9266-8i 3.46> at scbus0 target 2 lun 0 (pass2,da2)
<LSI SAS2X36 0e0b> at scbus1 target 34 lun 0 (pass3,ses0)
Тут есть ещё один контроллер, а что за ses0 ?
Почему в /etc/fstab всё что есть это
fdescfs /dev/fd fdescfs rw 0 0
А где все файловые системы что смонтированы?
Например в выводе mount есть
Lun0 on /mnt/Lun0 (zfs, NFS exported, local, nfsv4acls)
Lun2 on /mnt/Lun2 (zfs, NFS exported, local, nfsv4acls)
Как определить какой утилитой и на каких дисках созданы эти Lun0 и Lun2 ?
Спасибо
Помогите разобраться с raid контроллером
Добавлено: 2022-08-02 13:16:41
Neus
Прикольно, zfs поверх raid.
Какой умник такое навернул?
По твоим вопросам:
Так как это raid контроллер, то лезь в его биос и смотри там что и как сделано.
У da2 есть строка с моделью контроллера, она слилась с предидущей строкой.
Почему он говорит про 150мб/с - хз, может баг какой.
ses это контроллер бекплейна к которому подключены диски. (man ses)
fstab пустой потому что у тебя zfs, ей он не нужен.
Lan0 и Lan2 пулы zfs.
Смотри вывод zpool list -v и zfs list.
Помогите разобраться с raid контроллером
Добавлено: 2022-08-02 14:08:03
guest
da0 at mrsas0 bus 0 scbus0 target 0 lun 0
da1 at mrsas0 bus 0 scbus0 target 1 lun 0
da2 at mrsas0 bus 0 scbus0 target 2 lun 0
da0: <LSI MR9266-8i 3.46> Fixed Direct Access SPC-3 SCSI device
в первых трех строках: da[0,1,2] at mrsas
драйвер контроллера mrsas, логические тома da0,1,2
в четвертой строке контроллер LSI MR9266-8i (MR=MegaRAID, 9266, 8i - 8 internal ports)
у каждого тома свой target 0,1,2
Далее, на базе этих логических томов создали zfs пулы с dataset'ами (файловыми системами)
при загрузке zfs выполняет import и автоматически монтирует dataset в mountpoints
которые были заданы при создании dataset'ов, поэтому их нет в /etc/fstab.
Как бы уже все в предыдущем посте расписали.
Логические тома можно создать, варианты:
- из bios raid контроллера
- или утилитами megacli - устаревшее, storcli - актуальное (в портах), они же покажут физические hdd,
к которым в случае HW RAID нет прямого доступа, только из bios или через утилиты
# man mrsas
# man zpool
# man zfs
# locate megacli
# locate storcli
----------------------------------------------------------------
слой 1 физические диски - megacli/storcli
----------------------------------------------------------------
слой 2 логические тома - megacli/storcli : da0,1,2
----------------------------------------------------------------
слой 3 zfs pool
----------------------------------------------------------------
слой 4 zfs dataset (файловая система)
----------------------------------------------------------------
слой 3 и 4 можно совместить в один: zfs
Помогите разобраться с raid контроллером
Добавлено: 2022-08-02 15:23:26
emoxam
Большое спасибо, господа! В выводе
storcli /c0 show | less
я вижу
Код: Выделить всё
TOPOLOGY :
========
-----------------------------------------------------------------------------
DG Arr Row EID:Slot DID Type State BT Size PDC PI SED DS3 FSpace TR
-----------------------------------------------------------------------------
0 - - - - RAID1 Optl N 223.062 GB enbl N N none N N
0 0 - - - RAID1 Optl N 223.062 GB enbl N N none N N
0 0 0 34:0 32 DRIVE Onln N 223.062 GB enbl N N none - N
0 0 1 34:1 33 DRIVE Onln N 223.062 GB enbl N N none - N
1 - - - - RAID6 Optl N 29.105 TB dflt N N none N N
1 0 - - - RAID6 Optl N 29.105 TB dflt N N none N N
1 0 0 34:2 35 DRIVE Onln N 3.637 TB dflt N N none - N
1 0 1 34:3 36 DRIVE Onln N 3.637 TB dflt N N none - N
1 0 2 34:4 37 DRIVE Onln N 3.637 TB dflt N N none - N
1 0 3 34:5 38 DRIVE Onln N 3.637 TB dflt N N none - N
1 0 4 34:6 39 DRIVE Onln N 3.637 TB dflt N N none - N
1 0 5 34:7 40 DRIVE Onln N 3.637 TB dflt N N none - N
1 0 6 34:8 41 DRIVE Onln N 3.637 TB dflt N N none - N
1 0 7 34:9 42 DRIVE Onln N 3.637 TB dflt N N none - N
1 0 8 34:10 43 DRIVE Onln N 3.637 TB dflt N N none - N
1 0 9 34:11 44 DRIVE Onln N 3.637 TB dflt N N none - N
2 - - - - RAID6 Optl N 18.190 TB dflt N N none N N
2 0 - - - RAID6 Optl N 18.190 TB dflt N N none N N
2 0 0 34:12 46 DRIVE Onln N 3.637 TB dflt N N none - N
2 0 1 34:13 45 DRIVE Onln N 3.637 TB dflt N N none - N
2 0 2 34:14 47 DRIVE Onln N 3.637 TB dflt N N none - N
2 0 3 34:15 49 DRIVE Onln N 3.637 TB dflt N N none - N
2 0 4 34:16 48 DRIVE Onln N 3.637 TB dflt N N none - N
2 0 5 34:17 51 DRIVE Onln N 3.637 TB dflt N N none - N
2 0 6 34:23 50 DRIVE Onln N 3.637 TB dflt N N none - N
-----------------------------------------------------------------------------
Код: Выделить всё
VD LIST :
=======
---------------------------------------------------------------
DG/VD TYPE State Access Consist Cache Cac sCC Size Name
---------------------------------------------------------------
0/0 RAID1 Optl RW Yes RWTD - ON 223.062 GB
1/1 RAID6 Optl RW Yes RWTD - ON 29.105 TB
2/2 RAID6 Optl RW Yes RWTD - ON 18.190 TB
---------------------------------------------------------------
Откуда становиться видно какие есть массивы, и какие диски входят в те или иные VD.
не совсем правда понятны первые 4 строчки, например, в выводе TOPOLOY. Подскажете как их интерпретировать?
Хотел увидеть скорость работы дисков, но то ли не правильный синатксис команды использую, то ли чего-то не понимаю.
camcontrol devlist
Код: Выделить всё
<LSI MR9266-8i 3.46> at scbus0 target 0 lun 0 (pass0,da0)
<LSI MR9266-8i 3.46> at scbus0 target 1 lun 0 (pass1,da1)
<LSI MR9266-8i 3.46> at scbus0 target 2 lun 0 (pass2,da2)
<LSI SAS2X36 0e0b> at scbus1 target 34 lun 0 (pass3,ses0)
<AHCI SGPIO Enclosure 2.00 0001> at scbus8 target 0 lun 0 (pass4,ses1)
camcontrol identify 0:0
Код: Выделить всё
camcontrol: ATA ATA_IDENTIFY via pass_16 failed
camcontrol: ATA ATAPI_IDENTIFY via pass_16 failed
Подскажете почему ругается? И как увидеть режим работы SATA?
Спасибо
Помогите разобраться с raid контроллером
Добавлено: 2022-08-03 16:44:31
guest
Хотел увидеть скорость работы дисков, но то ли не правильный синатксис команды использую, то ли чего-то не понимаю.
Вам все разжевали и дали направление на документацию, далее сами:
- чтение документации storcli просветляет, в том числе и в каком режиме работают диски
camcontrol работает с
direct attach устройствами, уже ж было сказано, вот по ним
покажет инфу, по hw рейдам только
storcli
вся инфа по real-hdd подключенным к hw-raid, serial, прошивка, скорости, smart'ы
через storcli
note: camcontrol работает через scsi layout с ata/sata и scsi
- sata identify
# camcontrol identify ada0
- scsi/sas identify
# camcontrol inquiry da0
Помогите разобраться с raid контроллером
Добавлено: 2022-08-03 17:01:04
emoxam
camcontrol inquiry da0
Код: Выделить всё
pass0: <LSI MR9266-8i 3.46> Fixed Direct Access SPC-3 SCSI device
pass0: Serial Number 0094f77232f6a7182740e58305b00506
pass0: 150.000MB/s transfers, Command Queueing Enabled
camcontrol inquiry da1
Код: Выделить всё
pass1: <LSI MR9266-8i 3.46> Fixed Direct Access SPC-3 SCSI device
pass1: Serial Number 00c7fc7232f6a7182740e58305b00506
pass1: 150.000MB/s transfers, Command Queueing Enabled
camcontrol inquiry da2
Код: Выделить всё
pass2: <LSI MR9266-8i 3.46> Fixed Direct Access SPC-3 SCSI device
pass2: Serial Number 00900361347ad0762840e58305b00506
pass2: 150.000MB/s transfers, Command Queueing Enabled
не смотря на то что диски стоят SATA - TOSHIBA MG04ACA400E
обращаться с ними надо как с SCSI!
Почему их скорость 150.000MB/s мне не понятно. Из-за backplane? Я в вопросах backplain и extender не силён совсем.
sesutil map
Код: Выделить всё
ses0:
Enclosure Name: LSI SAS2X36 0e0b
Enclosure ID: 50030480003f00bf
Element 0, Type: Array Device Slot
Status: Unsupported (0x00 0x00 0x00 0x00)
Description: Drive Slots
Element 1, Type: Array Device Slot
Status: OK (0x01 0x00 0x00 0x00)
Description: Slot 01
Element 2, Type: Array Device Slot
Status: OK (0x01 0x00 0x00 0x00)
Description: Slot 02
Element 3, Type: Array Device Slot
Status: OK (0x01 0x00 0x00 0x00)
Description: Slot 03
Element 4, Type: Array Device Slot
Status: OK (0x01 0x00 0x00 0x00)
Description: Slot 04
Element 5, Type: Array Device Slot
Status: OK (0x01 0x00 0x00 0x00)
Description: Slot 05
Element 6, Type: Array Device Slot
Status: OK (0x01 0x00 0x00 0x00)
Description: Slot 06
Element 7, Type: Array Device Slot
Status: OK (0x01 0x00 0x00 0x00)
Description: Slot 07
Element 8, Type: Array Device Slot
Status: OK (0x01 0x00 0x00 0x00)
Description: Slot 08
Element 9, Type: Array Device Slot
Status: OK (0x01 0x00 0x00 0x00)
Description: Slot 09
Element 10, Type: Array Device Slot
Status: OK (0x01 0x00 0x00 0x00)
Description: Slot 10
Element 11, Type: Array Device Slot
Status: OK (0x01 0x00 0x00 0x00)
Description: Slot 11
Element 12, Type: Array Device Slot
Status: OK (0x01 0x00 0x00 0x00)
Description: Slot 12
Element 13, Type: Array Device Slot
Status: OK (0x01 0x00 0x00 0x00)
Description: Slot 13
Element 14, Type: Array Device Slot
Status: OK (0x01 0x00 0x00 0x00)
Description: Slot 14
Element 15, Type: Array Device Slot
Status: OK (0x01 0x00 0x00 0x00)
Description: Slot 15
Element 16, Type: Array Device Slot
Status: OK (0x01 0x00 0x00 0x00)
Description: Slot 16
Element 17, Type: Array Device Slot
Status: OK (0x01 0x00 0x00 0x00)
Description: Slot 17
Element 18, Type: Array Device Slot
Status: OK (0x01 0x00 0x00 0x00)
Description: Slot 18
Element 19, Type: Array Device Slot
Status: Not Installed (0x05 0x00 0x00 0x00)
Description: Slot 19
Element 20, Type: Array Device Slot
Status: Not Installed (0x05 0x00 0x00 0x00)
Description: Slot 20
Element 21, Type: Array Device Slot
Status: Not Installed (0x05 0x00 0x00 0x00)
Description: Slot 21
Element 22, Type: Array Device Slot
Status: Not Installed (0x05 0x00 0x00 0x00)
Description: Slot 22
Element 23, Type: Array Device Slot
Status: Not Installed (0x05 0x00 0x00 0x00)
Description: Slot 23
Element 24, Type: Array Device Slot
Status: OK (0x01 0x00 0x00 0x00)
Description: Slot 24
Element 25, Type: Temperature Sensors
Status: Unsupported (0x00 0x00 0x00 0x00)
Description: Temperature Sensors
Extra status:
- Temperature: -reserved-
Element 26, Type: Temperature Sensors
Status: OK (0x01 0x00 0x35 0x00)
Description: Temperature
Extra status:
- Temperature: 33 C
Element 27, Type: Cooling
Status: Unsupported (0x00 0x00 0x00 0x00)
Description: Fans
Extra status:
- Speed: 0 rpm
Element 28, Type: Cooling
Status: OK (0x01 0x02 0x58 0x25)
Description: Fan1
Extra status:
- Speed: 6000 rpm
Element 29, Type: Cooling
Status: OK (0x01 0x02 0x6a 0x26)
Description: Fan2
Extra status:
- Speed: 6180 rpm
Element 30, Type: Cooling
Status: OK (0x01 0x02 0x5e 0x25)
Description: Fan3
Extra status:
- Speed: 6060 rpm
Element 31, Type: Cooling
Status: Not Available (0x07 0x00 0x00 0x10)
Description: JBOD_Fan1
Extra status:
- Speed: 0 rpm
Element 32, Type: Cooling
Status: Not Available (0x07 0x00 0x00 0x10)
Description: JBOD_Fan2
Extra status:
- Speed: 0 rpm
Element 33, Type: Voltage Sensor
Status: Unsupported (0x00 0x00 0x00 0x00)
Description: Voltage Sensors
Extra status:
- Voltage: 0.00 V
Element 34, Type: Voltage Sensor
Status: OK (0x01 0x00 0x01 0xf6)
Description: 5V
Extra status:
- Voltage: 5.02 V
Element 35, Type: Voltage Sensor
Status: OK (0x01 0x00 0x04 0xab)
Description: 12V
Extra status:
- Voltage: 11.95 V
Element 36, Type: Power Supply
Status: Unsupported (0x00 0x00 0x00 0x00)
Description: Power Supplies
Element 37, Type: Enclosure
Status: Unsupported (0x00 0x00 0x00 0x00)
Description: Enclosure
Element 38, Type: Enclosure
Status: OK (0x01 0x00 0x00 0x00)
Description: Enclosure
Element 39, Type: SAS Expander
Status: Unsupported (0x00 0x00 0x00 0x00)
Description: SAS Expanders
Element 40, Type: SAS Expander
Status: OK (0x01 0x00 0x00 0x00)
Description: Primary Expander
Element 41, Type: SAS Expander
Status: OK (0x01 0x00 0x00 0x00)
Description: Secondary Expander
Element 42, Type: SAS Connector
Status: Unsupported (0x00 0x00 0x00 0x00)
Description: SAS Connectors
Element 43, Type: SAS Connector
Status: OK (0x01 0x11 0xff 0x00)
Description: Upstream Connector (Primary)
Element 44, Type: SAS Connector
Status: OK (0x01 0x11 0xff 0x00)
Description: Downstream Connector 1 (Primary)
Element 45, Type: SAS Connector
Status: OK (0x01 0x11 0xff 0x00)
Description: Downstream Connector 2 (Primary)
Element 46, Type: SAS Connector
Status: OK (0x01 0x11 0xff 0x00)
Description: Upstream Connector (Secondary)
Element 47, Type: SAS Connector
Status: OK (0x01 0x11 0xff 0x00)
Description: Downstream Connector 1 (Secondary)
Element 48, Type: SAS Connector
Status: OK (0x01 0x11 0xff 0x00)
Description: Downstream Connector 2 (Secondary)
Element 49, Type: SAS Connector
Status: OK (0x01 0x20 0x00 0x00)
Description: Drive Connector 00
Element 50, Type: SAS Connector
Status: OK (0x01 0x20 0x00 0x00)
Description: Drive Connector 01
Element 51, Type: SAS Connector
Status: OK (0x01 0x20 0x00 0x00)
Description: Drive Connector 02
Element 52, Type: SAS Connector
Status: OK (0x01 0x20 0x00 0x00)
Description: Drive Connector 03
Element 53, Type: SAS Connector
Status: OK (0x01 0x20 0x00 0x00)
Description: Drive Connector 04
Element 54, Type: SAS Connector
Status: OK (0x01 0x20 0x00 0x00)
Description: Drive Connector 05
Element 55, Type: SAS Connector
Status: OK (0x01 0x20 0x00 0x00)
Description: Drive Connector 06
Element 56, Type: SAS Connector
Status: OK (0x01 0x20 0x00 0x00)
Description: Drive Connector 07
Element 57, Type: SAS Connector
Status: OK (0x01 0x20 0x00 0x00)
Description: Drive Connector 08
Element 58, Type: SAS Connector
Status: OK (0x01 0x20 0x00 0x00)
Description: Drive Connector 09
Element 59, Type: SAS Connector
Status: OK (0x01 0x20 0x00 0x00)
Description: Drive Connector 10
Element 60, Type: SAS Connector
Status: OK (0x01 0x20 0x00 0x00)
Description: Drive Connector 11
Element 61, Type: SAS Connector
Status: OK (0x01 0x20 0x00 0x00)
Description: Drive Connector 12
Element 62, Type: SAS Connector
Status: OK (0x01 0x20 0x00 0x00)
Description: Drive Connector 13
Element 63, Type: SAS Connector
Status: OK (0x01 0x20 0x00 0x00)
Description: Drive Connector 14
Element 64, Type: SAS Connector
Status: OK (0x01 0x20 0x00 0x00)
Description: Drive Connector 15
Element 65, Type: SAS Connector
Status: OK (0x01 0x20 0x00 0x00)
Description: Drive Connector 16
Element 66, Type: SAS Connector
Status: OK (0x01 0x20 0x00 0x00)
Description: Drive Connector 17
Element 67, Type: SAS Connector
Status: OK (0x01 0x20 0x00 0x00)
Description: Drive Connector 18
Element 68, Type: SAS Connector
Status: OK (0x01 0x20 0x00 0x00)
Description: Drive Connector 19
Element 69, Type: SAS Connector
Status: OK (0x01 0x20 0x00 0x00)
Description: Drive Connector 20
Element 70, Type: SAS Connector
Status: OK (0x01 0x20 0x00 0x00)
Description: Drive Connector 21
Element 71, Type: SAS Connector
Status: OK (0x01 0x20 0x00 0x00)
Description: Drive Connector 22
Element 72, Type: SAS Connector
Status: OK (0x01 0x20 0x00 0x00)
Description: Drive Connector 23
Element 73, Type: Communication Port
Status: Unsupported (0x00 0x00 0x00 0x00)
Description: Ethernet ports
Element 74, Type: Communication Port
Status: Unsupported (0x00 0x00 0x00 0x00)
Description: Ethernet_port_1
Element 75, Type: Communication Port
Status: Unsupported (0x00 0x00 0x00 0x00)
Description: Ethernet_port_2
ses1:
Enclosure Name: AHCI SGPIO Enclosure 2.00
Enclosure ID: 3061686369656d30
Element 0, Type: Array Device Slot
Status: Unsupported (0x00 0x00 0x00 0x00)
Description: Drive Slots
Element 1, Type: Array Device Slot
Status: Not Installed (0x05 0x00 0x00 0x00)
Description: Slot 00
Element 2, Type: Array Device Slot
Status: Not Installed (0x05 0x00 0x00 0x00)
Description: Slot 01
Element 3, Type: Array Device Slot
Status: Not Installed (0x05 0x00 0x00 0x00)
Description: Slot 02
Element 4, Type: Array Device Slot
Status: Not Installed (0x05 0x00 0x00 0x00)
Description: Slot 03
Element 5, Type: Array Device Slot
Status: Not Installed (0x05 0x00 0x00 0x00)
Description: Slot 04
Element 6, Type: Array Device Slot
Status: Not Installed (0x05 0x00 0x00 0x00)
Description: Slot 05
А вот такая портянка не будет полезна? Например если какой-то extender не в том режиме, или "не той системы"
Помогите разобраться с raid контроллером
Добавлено: 2022-08-03 18:51:20
guest
Мне другое непонятно, я написал на русском языке с понятным
объяснением, как для школьника, но Вы почему-то упорно не
желаете понять то что Вам расписали, и это поражает.
Есть RAID контроллер к которому подключено N-дисков.
Они подключены к RAID-контроллеру, а не к HBA контроллеру,
разницу понимаете?
Драйвера ATA: man ata
поддерживают большое кол-во HBA SATA контроллеров, эти контроллеры
работают с дисками "напрямую" (direct attach), используем camcontrol.
HW-RAID контроллеры не дают прямой доступ к дискам, только
через свое собственное ПО, не используем camcontrol.
Поэтому camcontrol не даст Вам прямой доступ к физическому диску
и посмотреть его состояние, расписывал же уже, что тут непонятно?
В HW-RAID контроллере мы из физических дисков, создаем
логические тома, вот последние, точнее созданные массивы и видны в системе как:
da0, da1 и da2.
В реалии, da0 - raid1 собранный из двух физических дисков,
da1 - raid6 и собран из 10 физических дисков, da2 из 7...
Что Вы пытаетесь увидеть через camcontrol?!
драйвер mrsas - драйвер megaraid контроллера, который выдал
Вам в качестве итога общее пространство сконфигуренных рейдов.
Пример: у нас 24xHDD подключенные к HW-RAID контроллеру.
берем и конфигурим 4xHDD в RAID10, еще 5xHDD в RAID5 и еще 6xHDD в RAID5.
Всего задействовали 4+5+6 дисков = 15. Сколько создали рейд массивов?
Правильно: 3'и, сколько увидит драйвер mrsas - правильно 3'и, как их
обзовет: da0,da1,da2.
Что получается? Получается, что Вы видите готовый результат в виде так называемых "дисков",
ибо это блочные устройства.
Но Вы не видите что da0 = RAID1 из 2xHDD и не видите что da1 = RAID5 из 5xHDD и тд и тп.
Это только storcli покажет.
Так какого хрена Вы выполняете:
# camcontrol inquiry da0
сказано же что camcontrol работает с direct attach HDD, а Вы ему даете логический том
из двух физических дисков и чего-то ожидаете?
Сказано, есть storcli - вот с помощью нее и смотрите инфу с физических
дисков.
Причем диски у Вас подключены к Backplane на которой SAS2x36 экспандер,
SAS2 - какая у него скорость?
К SAS экспандеру можно подключать хоть SATA, хоть SAS HDD.
----
документация storcli раздел: Drive Commands
изучайте:
Show physical disk information: /cx[/ex]/sx show [all]
Show information about all physical disk drives and other devices
connected to the selected adapters; includes drive type, size, serial
number, and firmware version: /cx/eall/sall show [all]
Далее самостоятельно.
Помогите разобраться с raid контроллером
Добавлено: 2022-08-03 23:27:01
Neus
guest писал(а): ↑2022-08-03 18:51:20
К SAS экспандеру можно подключать хоть SATA, хоть SAS HDD.
О! Появился вопрос, а можно подключать их одновременно?
А то у меня запас sata на исходе, зато sas есть.
Помогите разобраться с raid контроллером
Добавлено: 2022-08-04 2:03:18
guest
Можно, правильно сказать к бэкплейн на которой sas expander. Но у некоторых моделей контроллеров с некоторыми бекплейнами, бывают проблемы. С одним из sas lsi c bacplain от supermicro такое как раз было при миксе сата и сас дисков с разными скоростями. Экспандер неудачно тунелировал сата и в итоге падала скорость на сас дисках и общий итог сильно падала производительность ZFS.
Помогите разобраться с raid контроллером
Добавлено: 2022-08-04 9:52:02
Neus
Ок, спасибо!
Помогите разобраться с raid контроллером
Добавлено: 2022-08-04 11:16:13
guest
Нашел в записках, 2016-17 год на серверах Supermicro, в связке HBA SAS3 <-> Backplain с SAS2 expander,
как только корзины наполняли смешанными дисками, происходила деградация ZFS.
В конечном итоге выяснили модель backplane и апгрейд прошивки.
С 2019 снова проблемы с mpr и mps драйверами, снова timeouts, но не со всеми
дисками, ряд WD и Seagate, лечилось то ли отключением NCQ, то ли уменьшением очереди NCQ...
Потом вышли патчи на драйвера Broadcom... (Проблема проявлялась при преходе с 11 -> 12
и вроде как была устранена в конце 2021 или в самом начале 2022?)
ps. Увы, уже как несколько лет нет времени следить за списками рассылки FreeBSD.
pps. Я первоначально отключаю на дисках все IDLE, APM/PM если есть, оставляю только
READ/WRITE cache, хотя сама ZFS проверяет возможность WRITE cache на дисках.
Потом гоняю тесты, нагружаю, смотрю, жду... и потом в продакшн, но теперь
ZFS в основном на Debian.
Помогите разобраться с raid контроллером
Добавлено: 2022-08-04 13:30:14
emoxam
storcli /c0 /eall /sall show all | grep Speed
Код: Выделить всё
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
Похоже зря развёл панику.
Вообще там raid 6 и если я правильно понимаю то скорости выше 100 МБ/С там всё равно не получить на запись.
Спасибо
Помогите разобраться с raid контроллером
Добавлено: 2022-08-05 10:01:10
Neus
А ты возьми fio да проверь.
Помогите разобраться с raid контроллером
Добавлено: 2022-08-05 10:12:28
lazhu
6 Gbps это скорость SAS шины, к скорости чтения/записи на диск имеющая мало отношения. Если вам нужна производительность, raid6 самый худший вариант. А zfs поверх железного рейда вообще бред
Помогите разобраться с raid контроллером
Добавлено: 2022-08-05 12:35:23
Neus
emoxam писал(а): ↑2022-08-04 13:30:14
Вообще там raid 6 и если я правильно понимаю то скорости выше 100 МБ/С там всё равно не получить на запись.
на моем raidz2 вот так:
Код: Выделить всё
# dd if=/dev/zero of=/sb-fs/bigfile bs=1M count=10240
10240+0 records in
10240+0 records out
10737418240 bytes transferred in 24.726886 secs (414MB/sec)
Помогите разобраться с raid контроллером
Добавлено: 2022-08-05 13:49:45
emoxam
Neus писал(а): ↑2022-08-05 12:35:23
на моем raidz2 вот так:
У меня все гораздо печальнее
Neus писал(а): ↑2022-08-05 10:01:10
dd if=/dev/zero of=/sb-fs/bigfile bs=1M count=10240
dd if=/dev/zero of=/mnt/Lun0/backups/test.f bs=1M count=10240
Код: Выделить всё
10240+0 records in
10240+0 records out
10737418240 bytes transferred in 148.937261 secs (72093566 bytes/sec)
dd if=/dev/zero of=/mnt/Lun2/dump/test.f bs=1M count=10240
Код: Выделить всё
10240+0 records in
10240+0 records out
10737418240 bytes transferred in 144.661082 secs (74224651 bytes/sec)
fio --name=random-write --ioengine=posixaio --rw=randwrite --bs=1m --numjobs=1 --size=4g --iodepth=1 --runtime=60 --time_based --end_fsync=1
Код: Выделить всё
random-write: (g=0): rw=randwrite, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=posixaio, iodepth=1
fio-3.16
Starting 1 process
random-write: Laying out IO file (1 file / 4096MiB)
Jobs: 1 (f=1): [F(1)][100.0%][eta 00m:00s]
random-write: (groupid=0, jobs=1): err= 0: pid=88898: Fri Aug 5 13:45:07 2022
write: IOPS=51, BW=51.4MiB/s (53.9MB/s)(4949MiB/96251msec)
slat (usec): min=13, max=185, avg=59.19, stdev=16.53
clat (usec): min=315, max=861550, avg=12064.00, stdev=26177.37
lat (usec): min=339, max=861619, avg=12123.19, stdev=26177.06
clat percentiles (usec):
| 1.00th=[ 363], 5.00th=[ 529], 10.00th=[ 562], 20.00th=[ 807],
| 30.00th=[ 865], 40.00th=[ 914], 50.00th=[ 988], 60.00th=[ 1156],
| 70.00th=[ 4883], 80.00th=[ 19530], 90.00th=[ 43254], 95.00th=[ 62129],
| 99.00th=[106431], 99.50th=[123208], 99.90th=[164627], 99.95th=[196084],
| 99.99th=[859833]
bw ( KiB/s): min=26204, max=1209996, per=100.00%, avg=84004.60, stdev=194059.94, samples=119
iops : min= 25, max= 1181, avg=81.61, stdev=189.53, samples=119
lat (usec) : 500=2.36%, 750=14.25%, 1000=34.23%
lat (msec) : 2=16.02%, 4=2.67%, 10=4.49%, 20=6.41%, 50=11.98%
lat (msec) : 100=6.30%, 250=1.27%, 1000=0.02%
cpu : usr=0.32%, sys=0.06%, ctx=4992, majf=0, minf=2
IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
issued rwts: total=0,4949,0,1 short=0,0,0,0 dropped=0,0,0,0
latency : target=0, window=0, percentile=100.00%, depth=1
Run status group 0 (all jobs):
WRITE: bw=51.4MiB/s (53.9MB/s), 51.4MiB/s-51.4MiB/s (53.9MB/s-53.9MB/s), io=4949MiB (5189MB), run=96251-96251msec
Помогите разобраться с raid контроллером
Добавлено: 2022-08-05 13:50:46
emoxam
Если будет полезно то ZFS массивов нет.
zpool status
Код: Выделить всё
pool: Lun0
state: ONLINE
scan: scrub repaired 0 in 0 days 09:32:01 with 0 errors on Sun Jul 17 09:32:05 2022
config:
NAME STATE READ WRITE CKSUM
Lun0 ONLINE 0 0 0
gptid/dcd45994-12cb-11eb-916d-00259049bfc8 ONLINE 0 0 0
errors: No known data errors
pool: Lun2
state: ONLINE
scan: scrub repaired 0 in 0 days 21:37:11 with 0 errors on Sun Jul 31 21:37:16 2022
config:
NAME STATE READ WRITE CKSUM
Lun2 ONLINE 0 0 0
gptid/28b4e8ff-de45-11eb-9f4a-00259049bfc8 ONLINE 0 0 0
errors: No known data errors
pool: freenas-boot
state: ONLINE
scan: scrub repaired 0 in 0 days 00:00:10 with 0 errors on Tue Aug 2 03:45:10 2022
config:
NAME STATE READ WRITE CKSUM
freenas-boot ONLINE 0 0 0
da0p2 ONLINE 0 0 0
errors: No known data errors
Помогите разобраться с raid контроллером
Добавлено: 2022-08-05 14:05:25
lazhu
Что значит нет, когда 3 пула
zfs list для просмотра датасетов
Помогите разобраться с raid контроллером
Добавлено: 2022-08-05 15:07:11
emoxam
Я имею массивов raid/raidz
zfs list
Код: Выделить всё
NAME USED AVAIL REFER MOUNTPOINT
Lun0 15.9T 12.2T 15.9T /mnt/Lun0
Lun0/.system 1.13G 12.2T 96K legacy
Lun0/.system/configs-e6cb7c26dd1243d3962c3f87f9eddfe5 740M 12.2T 740M legacy
Lun0/.system/cores 11.8M 12.2T 11.8M legacy
Lun0/.system/rrd-e6cb7c26dd1243d3962c3f87f9eddfe5 138M 12.2T 138M legacy
Lun0/.system/samba4 3.48M 12.2T 3.48M legacy
Lun0/.system/syslog-e6cb7c26dd1243d3962c3f87f9eddfe5 268M 12.2T 268M legacy
Lun0/.system/webui 88K 12.2T 88K legacy
Lun0/iocage 3.71G 12.2T 9.08M /mnt/Lun0/iocage
Lun0/iocage/download 289M 12.2T 88K /mnt/Lun0/iocage/download
Lun0/iocage/download/11.3-RELEASE 289M 12.2T 289M /mnt/Lun0/iocage/download/11.3-RELEASE
Lun0/iocage/images 88K 12.2T 88K /mnt/Lun0/iocage/images
Lun0/iocage/jails 2.34G 12.2T 88K /mnt/Lun0/iocage/jails
Lun0/iocage/jails/GlosArch 906M 12.2T 324K /mnt/Lun0/iocage/jails/GlosArch
Lun0/iocage/jails/GlosArch/root 905M 12.2T 905M /mnt/Lun0/iocage/jails/GlosArch/root
Lun0/iocage/jails/GlosJail 1.46G 12.2T 348K /mnt/Lun0/iocage/jails/GlosJail
Lun0/iocage/jails/GlosJail/root 1.46G 12.2T 1.46G /mnt/Lun0/iocage/jails/GlosJail/root
Lun0/iocage/log 96K 12.2T 96K /mnt/Lun0/iocage/log
Lun0/iocage/releases 1.08G 12.2T 88K /mnt/Lun0/iocage/releases
Lun0/iocage/releases/11.3-RELEASE 1.08G 12.2T 88K /mnt/Lun0/iocage/releases/11.3-RELEASE
Lun0/iocage/releases/11.3-RELEASE/root 1.08G 12.2T 1.08G /mnt/Lun0/iocage/releases/11.3-RELEASE/root
Lun0/iocage/templates 88K 12.2T 88K /mnt/Lun0/iocage/templates
Lun2 5.91T 11.6T 5.91T /mnt/Lun2
freenas-boot 7.62G 192G 88K none
freenas-boot/ROOT 7.62G 192G 88K none
freenas-boot/ROOT/Initial-Install 8K 192G 1.25G legacy
freenas-boot/ROOT/default 7.62G 192G 7.61G legacy
Помогите разобраться с raid контроллером
Добавлено: 2022-08-05 15:19:53
Neus
emoxam писал(а): ↑2022-08-05 15:07:11
Я имею массивов raid/raidz
это массив тебя имеет
pool raidz2 выглядит так:
Код: Выделить всё
NAME STATE READ WRITE CKSUM
sb-fs ONLINE 0 0 0
raidz2-0 ONLINE 0 0 0
c1t64d0 ONLINE 0 0 0
c1t65d0 ONLINE 0 0 0
c1t66d0 ONLINE 0 0 0
c1t67d0 ONLINE 0 0 0
c1t68d0 ONLINE 0 0 0
c1t69d0 ONLINE 0 0 0
c1t70d0 ONLINE 0 0 0
c1t71d0 ONLINE 0 0 0
Помогите разобраться с raid контроллером
Добавлено: 2022-08-05 16:26:09
emoxam
Neus писал(а): ↑2022-08-05 15:19:53
так
да, я понял, опечатка то была
так что есть шанс заставить работать быстрее?
Помогите разобраться с raid контроллером
Добавлено: 2022-08-05 17:31:13
guest
так что есть шанс заставить работать быстрее?
заставить работать быстрее ЧТО?
1. HDD?
2. RAID?
3. ZFS?
Как там в известном выражении: "Чтобы получить ответ на поставленный вопрос, нужно
грамотно его изложить, а это уже 50% ответа"
1. HDD - нельзя заставить быстрей читать и быстрей писать
но есть косвенные решения, благодаря которым которым достигают "увеличения" скорости
отдачи данных при чтении: кеширование, увеличить скорость записи невозможно.
2. RAID - выбирать соответствующие уровни рейдов: raid50, raid60, но самый быстрый raid10
3. ZFS - тут огромное кол-во вариантов настроек и параметров... и универсального просто НЕТ,
создание разных пулов под разные задачи с разными настройками, создание разных datasets
с разными параметрами под разные задачи и последущий анализ на базе статистики и тюнинг
Device Speed = 6.0Gb/s
Link Speed = 6.0Gb/s
сие Вам однозначно говорит что диск с контроллером договорились правильно, на максимуме
контроллер <-> expander <-> диск.
Но как уже было сказано, это не даст Вам реального значения скорости записи!
В случае использования массивов, измерять нужно
I/O с помощью
fio
исключительно в качестве ликбеза цитаты
(с комментам, жаль что только сейчас вставил, нужно было своевременно: интерфейс, модель, год) :
The theoretical speed limits of popular interfaces are as follows:
SATA Revision 1.0 – up to 1.5 Gbit/s ( 192 MB/s)
SATA Revision 2.0 – up to 3 Gbit/s ( 384 MB/s)
SATA Revision 3.0 – up to 6 Gbit/s ( 768 MB/s)
Teoretically 3Gbps read/write speed ~375MB/s, max teoretical transfer 300MB/s
6Gbps read/write speed ~740MB/s, max teoretical transfer 600MB/s
Real top fast: mechanical drives limited by physics ~180MB/s (данные немного устарели, но в среднем похоже)
SATA SSD top 515MB/s in sequential reads!
REAL HDD Seq Speed ~125MB/s (вероятно на read)
REAL SSD Seq Speed ~550MB/s (вероятно на read)
HDD read/write speed UltraStar DC HC620 with SAS 12GB/s interface
Sustained transfer rate:
255 MBps read and write (выше чем 180, но интерфейс и hdd sas12)
SDD read/write speed Samsung 970 Evo with PCIe 3 interface
Read speed 3,500 MBps max.
Write speed 2,500 MBps max.
Помогите разобраться с raid контроллером
Добавлено: 2022-08-05 19:03:01
lazhu
Помогите разобраться с raid контроллером
Добавлено: 2022-08-06 14:22:28
emoxam
Neus писал(а): ↑2022-08-05 12:35:23
на моем raidz2 вот так:
raidz2 - аналог raid 6
почему к Neus скорость (414MB/sec) ? У него SSD?
У меня так например не выше (95MB/sec)
Помогите разобраться с raid контроллером
Добавлено: 2022-08-06 14:57:32
Neus
emoxam писал(а): ↑2022-08-06 14:22:28
raidz2 - аналог raid 6
аналог только в том что у обоих вариантов 2 контрольных суммы.
emoxam писал(а): ↑2022-08-06 14:22:28
почему к Neus скорость (414MB/sec) ? У него SSD?
У меня так например не выше (95MB/sec)
нет, обычные SATA HDD, 8 дисков по 4 ТБ.
414 это показывает dd, zpool iostat показывает 600-800.
а скорость операции zpool scrub вообще до 1ГБ/с доходит.
у тебя 95 потому что пул сделан поверх аппаратного рейда.
