Zpool, большая нагрузка на один из дисков

[kharkov_max]

День добрый.

Есть пул raidz, пул немного подтормаживает, обратил внимание что gstat на одном из дисков (первом) показывает нагрузку на 30-40 % больше чем на остальных дисках.
Дисков всего 6шт.

На остальных дисках иногда подпрыгивает до 80-100%, но в среднем 30-40% а вот на первом диске минимум 60-70 %.
Есть подозрение что подтормаживание пула как то связано с нагрузкой на перый диск.

Собственно как и что проверить, или может это нормально ?

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Neus]

smart глянь

[kharkov_max]

Да в том то и дело что со smart все в порядке:

Код: Выделить всё

 smartctl -a /dev/ada0
smartctl 6.3 2014-07-26 r3976 [FreeBSD 9.2-STABLE amd64] (local build)
Copyright (C) 2002-14, Bruce Allen, Christian Franke, http://www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Western Digital Caviar Green (AF, SATA 6Gb/s)
Device Model:     WDC WD20EARX-00PASB0
Serial Number:    WD-WMAZA7714844
LU WWN Device Id: 5 0014ee 2b1746953
Firmware Version: 51.0AB51
User Capacity:    2 000 398 934 016 bytes [2,00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ATA8-ACS (minor revision not indicated)
SATA Version is:  SATA 3.0, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Tue Aug 19 19:05:41 2014 EEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x85) Offline data collection activity
                                        was aborted by an interrupting command from host.
                                        Auto Offline Data Collection: Enabled.
Self-test execution status:      ( 241) Self-test routine in progress...
                                        10% of test remaining.
Total time to complete Offline
data collection:                (39300) seconds.
Offline data collection
capabilities:                    (0x7b) SMART execute Offline immediate.
                                        Auto Offline data collection on/off support.
                                        Suspend Offline collection upon new
                                        command.
                                        Offline surface scan supported.
                                        Self-test supported.
                                        Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine
recommended polling time:        (   2) minutes.
Extended self-test routine
recommended polling time:        ( 379) minutes.
Conveyance self-test routine
recommended polling time:        (   5) minutes.
SCT capabilities:              (0x3035) SCT Status supported.
                                        SCT Feature Control supported.
                                        SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       0
  3 Spin_Up_Time            0x0027   169   167   021    Pre-fail  Always       -       6508
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       47
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   200   200   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   073   073   000    Old_age   Always       -       19714
 10 Spin_Retry_Count        0x0032   100   253   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   253   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       45
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       38
193 Load_Cycle_Count        0x0032   169   169   000    Old_age   Always       -       93921
194 Temperature_Celsius     0x0022   128   111   000    Old_age   Always       -       22
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   200   200   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   200   200   000    Old_age   Offline      -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed without error       00%     19686         -
# 2  Short offline       Completed without error       00%     19644         -
# 3  Short offline       Interrupted (host reset)      10%     19620         -
# 4  Short offline       Completed without error       00%     19593         -
# 5  Short offline       Completed without error       00%     19484         -
# 6  Short offline       Completed without error       00%     19401         -
# 7  Short offline       Completed without error       00%     19377         -
# 8  Short offline       Completed without error       00%     19353         -
# 9  Short offline       Completed without error       00%     19329         -
#10  Short offline       Completed without error       00%     19305         -
#11  Short offline       Completed without error       00%     19281         -
#12  Short offline       Completed without error       00%     19257         -
#13  Short offline       Completed without error       00%     19233         -
#14  Short offline       Completed without error       00%     19211         -
#15  Short offline       Completed without error       00%     19185         -
#16  Short offline       Completed without error       00%     19161         -
#17  Short offline       Completed without error       00%     19138         -
#18  Short offline       Completed without error       00%     19114         -
#19  Short offline       Completed without error       00%     19090         -
#20  Short offline       Completed without error       00%     19066         -
#21  Short offline       Completed without error       00%     19042         -

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute dela]

[UBRIUM]

Возможно, что с кабелем проблема.
Была немного иного рода проблема в raidz с 6 дисками, поменяв кабель SATA на заведомо качественный, все стало хорошо.

[Neus]

http://habrahabr.ru/post/106273/

[kharkov_max]

http://habrahabr.ru/post/106273/

Парковка головок, это возможно и вариант, но происходит она когда на диск не пишутся данные, и когда он пытается уйти в простой.

Дело в том что диски загружены постоянно, т.е. постоянно что то на них пишется и парковка по идее не может быть причиной.
Хотя х.з. если он не зависимо от состояния пытается парковаться, то может быть ...

Собственно состояние Load_Cycle_Count на всех дисках приблизительно одинаковое ...

[guest]

http://habrahabr.ru/post/106273/

1) парковка головок - это только одна из проблем WD Green (указана ранее)
2) другая проблема - кривые firmware, диски с размером сектора 4k сообщают о себе что 512k, из-за чего
в ZFS сильно снижается производительность, решение:
- написать в support WD, какую версию firmware они посоветуют для ZFS (лучше отписать, бояться не надо)
- ZFS с выравниванием в 4k

3) если модель достаточно старая, возможна еще и проблема с TLER, искать утилиту и менять timeout,
как минимум посмотреть что скажет wdtler про диск, мб для данных моделей не актуально.

Важно: Утилиты TLER, WD убрал, и якобы в современных моделях такого нет - вранье, поиск утилит в интернет и
проверка, после чего можно быть спокойным.

Вывод: всегда проводить анализ оборудования для OS и задач, и не брать дешевое г-но без анализа, диски из
RAID линеек only и с анализом моделей на таймауты.

прим. Некоторые проколы WD не означают что все линейки дисков г. как может сложиться впечатление
при чтении о WD Green и ZFS!!! WD RE и Hitachi Ultrastar - наиболее успешное решение для RAID и ZFS.
Ну и конечно же использование HBA контроллеров.

ps. В 2010-11 просто тьма нареканий было на WD Green и еще ряд моделей WD при работе с ZFS,
списки составлялись для ZFS hardware recommended. Соственно ХУХЛ + хворум WD

[kharkov_max]

Все диски из одной партии, т.е. покупались вместе ...
Для ZFS все диски выравнивал под 4к, тут с этим проблемы нет ...

Код: Выделить всё

>> zdb | grep ashift
            ashift: 12

[kharkov_max]

Подскажите, правильно ли я понимаю что исходя из

Код: Выделить всё

  9 Power_On_Hours          0x0032   073   073   000    Old_age   Always       -       19714
193 Load_Cycle_Count        0x0032   169   169   000    Old_age   Always       -       93921

Парковка происходит приблизительно 93921/19714 ~ 5 раз в час ?

[guest]

Подскажите, правильно ли я понимаю что исходя из

Код: Выделить всё

  9 Power_On_Hours          0x0032   073   073   000    Old_age   Always       -       19714
193 Load_Cycle_Count        0x0032   169   169   000    Old_age   Always       -       93921

Парковка происходит приблизительно 93921/19714 ~ 5 раз в час ?

если считать что raw value в часах - тогда Да, но зачастую, raw значение может быть в
особом формате и требует нормализации по формуле Вендора.
Напишите в support WD или спросите на их портале или задать вопрос в службу поддержки,
всем было бы интересен формат raw value для POH и формула от WD.

ashift - не является как таковым параметром выравнивания, это размер блока
посему, выравнивание делают используя gnop, затем создают zfs

ps. Если память не изменяет, то использовать wdtler и wdidle можно только в Enhanced или Compatible SATA
режимах IDE в BIOS, в Native SATA (AHCI) - нельзя.