Adaptec5805 Raid high cpu i\o wait

[stalker2011]

Доброго времени суток. Имеется сервер с 6 сас 1Тб жесткими упакованными в Raid1+0. При большой дисковой активности в топе ряд ядер висит в состоянии wait иногда достигающего 100%. Соответственно скорость доступа к файлам порядка 15MB/s. Причем иногда даже nginx стоящий на отдаче пишет в логе File not found.. хотя етественно он на месте. На сервере крутится SLES10. Недавно на рйде отказала BBU, но после замены никаких изменений в положительную сторону. Ниже привожу выдержку из статусной таблицы адаптека:

Код: Выделить всё

./arcconf getconfig 1
Controllers found: 1
----------------------------------------------------------------------
Controller information
----------------------------------------------------------------------
   Controller Status                        : Optimal
   Channel description                      : SAS/SATA
   Controller Model                         : Adaptec 5805
   Controller Serial Number                 : 8C4110B06B4
   Physical Slot                            : 53
   Temperature                              : 66 C/ 150 F (Normal)
   Installed memory                         : 512 MB
   Copyback                                 : Disabled
   Background consistency check             : Disabled
   Automatic Failover                       : Enabled
   Global task priority                     : High
   Performance Mode                         : Default/Dynamic
   Stayawake period                         : Disabled
   Spinup limit internal drives             : 0
   Spinup limit external drives             : 0
   Defunct disk drive count                 : 0
   Logical devices/Failed/Degraded          : 2/0/0
   Statistics data collection mode          : Enabled
   --------------------------------------------------------
   Controller Version Information
   --------------------------------------------------------
   BIOS                                     : 5.2-0 (16343)
   Firmware                                 : 5.2-0 (16343)
   Driver                                   : 1.1-5 (2449)
   Boot Flash                               : 5.2-0 (16343)
   --------------------------------------------------------
   Controller Battery Information
   --------------------------------------------------------
   Status                                   : Optimal
   Over temperature                         : No
   Capacity remaining                       : 100 percent
   Time remaining (at current draw)         : 1 days, 20 hours, 7 minutes

----------------------------------------------------------------------
Logical device information
----------------------------------------------------------------------
Logical device number 0
   Logical device name                      : 
   RAID level                               : 10
   Status of logical device                 : Optimal
   Size                                     : 689 MB
   Stripe-unit size                         : 256 KB
   Read-cache mode                          : Enabled
   Write-cache mode                         : Enabled (write-back)
   Write-cache setting                      : Enabled (write-back) when protected by battery/ZMM
   Partitioned                              : Yes
   Protected by Hot-Spare                   : No
   Bootable                                 : Yes
   Failed stripes                           : No
   Power settings                           : Disabled
   --------------------------------------------------------
   Logical device segment information
   --------------------------------------------------------
   Group 0, Segment 0                       : Present (0,0)             9QJ2L16K
   Group 0, Segment 1                       : Present (0,1)             9QJ2KWJ3
   Group 1, Segment 0                       : Present (0,2)             9QJ2BPH8
   Group 1, Segment 1                       : Present (0,4)             9QJ2C2X0
   Group 2, Segment 0                       : Present (0,5)             9QJ2KWV8
   Group 2, Segment 1                       : Present (0,6)             9QJ2KX04

Logical device number 1
   Logical device name                      : data
   RAID level                               : 10
   Status of logical device                 : Optimal
   Size                                     : 2859320 MB
   Stripe-unit size                         : 256 KB
   Read-cache mode                          : Enabled
   Write-cache mode                         : Enabled (write-back)
   Write-cache setting                      : Enabled (write-back)
   Partitioned                              : Yes
   Protected by Hot-Spare                   : No
   Bootable                                 : No
   Failed stripes                           : No
   Power settings                           : Disabled
   --------------------------------------------------------
   Logical device segment information
   --------------------------------------------------------
   Group 0, Segment 0                       : Present (0,0)             9QJ2L16K
   Group 0, Segment 1                       : Present (0,1)             9QJ2KWJ3
   Group 1, Segment 0                       : Present (0,2)             9QJ2BPH8
   Group 1, Segment 1                       : Present (0,4)             9QJ2C2X0
   Group 2, Segment 0                       : Present (0,5)             9QJ2KWV8
   Group 2, Segment 1                       : Present (0,6)             9QJ2KX04


----------------------------------------------------------------------
Physical Device information
----------------------------------------------------------------------
      Device #0
         Device is a Hard drive
         State                              : Online
         Supported                          : Yes
         Transfer Speed                     : SATA 3.0 Gb/s
         Reported Channel,Device(T:L)       : 0,0(0:0)
         Reported Location                  : Enclosure 0, Slot 0
         Reported ESD(T:L)                  : 2,0(0:0)
         Vendor                             : 
         Model                              : ST31000340NS
         Firmware                           : AN05
         Serial number                      : 9QJ2L16K
         Size                               : 953869 MB
         Write Cache                        : Enabled (write-back)
         FRU                                : None
         S.M.A.R.T.                         : No
         S.M.A.R.T. warnings                : 0
         Power State                        : Full rpm
         Supported Power States             : Full rpm,Powered off
         NCQ status                         : Disabled
      Device #1
         Device is a Hard drive
         State                              : Online
         Supported                          : Yes
         Transfer Speed                     : SATA 3.0 Gb/s
         Reported Channel,Device(T:L)       : 0,1(1:0)
         Reported Location                  : Enclosure 0, Slot 1
         Reported ESD(T:L)                  : 2,0(0:0)
         Vendor                             : 
         Model                              : ST31000340NS
         Firmware                           : AN05
         Serial number                      : 9QJ2KWJ3
         Size                               : 953869 MB
         Write Cache                        : Enabled (write-back)
         FRU                                : None
         S.M.A.R.T.                         : No
         S.M.A.R.T. warnings                : 0
         Power State                        : Full rpm
         Supported Power States             : Full rpm,Powered off
         NCQ status                         : Disabled
      Device #2
         Device is a Hard drive
         State                              : Online
         Supported                          : Yes
         Transfer Speed                     : SATA 3.0 Gb/s
         Reported Channel,Device(T:L)       : 0,2(2:0)
         Reported Location                  : Enclosure 0, Slot 2
         Reported ESD(T:L)                  : 2,0(0:0)
         Vendor                             : 
         Model                              : ST31000340NS
         Firmware                           : AN05
         Serial number                      : 9QJ2BPH8
         Size                               : 953869 MB
         Write Cache                        : Enabled (write-back)
         FRU                                : None
         S.M.A.R.T.                         : No
         S.M.A.R.T. warnings                : 0
         Power State                        : Full rpm
         Supported Power States             : Full rpm,Powered off
         NCQ status                         : Disabled
      Device #3
         Device is a Hard drive
         State                              : Online
         Supported                          : Yes
         Transfer Speed                     : SATA 3.0 Gb/s
         Reported Channel,Device(T:L)       : 0,4(4:0)
         Reported Location                  : Enclosure 1, Slot 4
         Reported ESD(T:L)                  : 2,1(1:0)
         Vendor                             : 
         Model                              : ST31000340NS
         Firmware                           : AN05
         Serial number                      : 9QJ2C2X0
         Size                               : 953869 MB
         Write Cache                        : Enabled (write-back)
         FRU                                : None
         S.M.A.R.T.                         : No
         S.M.A.R.T. warnings                : 0
         Power State                        : Full rpm
         Supported Power States             : Full rpm,Powered off
         NCQ status                         : Disabled
      Device #4
         Device is a Hard drive
         State                              : Online
         Supported                          : Yes
         Transfer Speed                     : SATA 3.0 Gb/s
         Reported Channel,Device(T:L)       : 0,5(5:0)
         Reported Location                  : Enclosure 1, Slot 5
         Reported ESD(T:L)                  : 2,1(1:0)
         Vendor                             : 
         Model                              : ST31000340NS
         Firmware                           : AN05
         Serial number                      : 9QJ2KWV8
         Size                               : 953869 MB
         Write Cache                        : Enabled (write-back)
         FRU                                : None
         S.M.A.R.T.                         : No
         S.M.A.R.T. warnings                : 0
         Power State                        : Full rpm
         Supported Power States             : Full rpm,Powered off
         NCQ status                         : Disabled
      Device #5
         Device is a Hard drive
         State                              : Online
         Supported                          : Yes
         Transfer Speed                     : SATA 3.0 Gb/s
         Reported Channel,Device(T:L)       : 0,6(6:0)
         Reported Location                  : Enclosure 1, Slot 6
         Reported ESD(T:L)                  : 2,1(1:0)
         Vendor                             : 
         Model                              : ST31000340NS
         Firmware                           : AN05
         Serial number                      : 9QJ2KX04
         Size                               : 953869 MB
         Write Cache                        : Enabled (write-back)
         FRU                                : None
         S.M.A.R.T.                         : No
         S.M.A.R.T. warnings                : 0
         Power State                        : Full rpm
         Supported Power States             : Full rpm,Powered off
         NCQ status                         : Disabled
      Device #6
         Device is an Enclosure services device
         Reported Channel,Device(T:L)       : 2,0(0:0)
         Enclosure ID                       : 0
         Type                               : SES2
         Vendor                             : ADAPTEC
         Model                              : Virtual SGPIO
         Firmware                           : 0001
         Status of Enclosure services device
      Device #7
         Device is an Enclosure services device
         Reported Channel,Device(T:L)       : 2,1(1:0)
         Enclosure ID                       : 1
         Type                               : SES2
         Vendor                             : ADAPTEC
         Model                              : Virtual SGPIO
         Firmware                           : 0001
         Status of Enclosure services device


Command completed successfully.

Любые разумные и не разумные предположения с радостью услышу.

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Fastman]

Сдается у вас траблы по причинам что не следите за актуальностью прошивок.
Почитайте рассылки и адаптековские доки покурите.
Навскидку:
Диски у вас SATA а не SAS как в посте указали.
ST31000340NS - спорная модель. Глюков выше крыши с 5x серией адаптеков.
Firmware : AN05 - старая как г мамонта. И именно с ней было много глюков.
Обновляйтесь.
Плюс обновляйте прошивку самого контроллера.
Ну и под базу данных и мелкое файло диски SATA мягко говоря не лучшее решение.
Это первичная вещь. После этого квест можно будет проходить дальше.

Вероятно пока не было большой нагрузки все худо бедно работало.
Нагрузка пошла вверх - получите свои плюшки.

[Fastman]

Специально нашел:

Код: Выделить всё

4.10 Using the Controller with a Seagate Barracuda 1TB SATA Drive 
       
       To ensure reliability when using Adaptec 2-series and 5-series 
       controllers with a Seagate Barracuda ES.2 1TB SATA Drive 
       (ST31000340NS), Adaptec recommends using Seagate firmware 
       version AN05 or SN06 or higher. 

Читать весь pdf в приложении полезно.
Там еще кучу вуду действий можно проделать.
И прошивку менять обязательно и контроллера и дисков и драйвер обновить.
Плюс полазать еще по адаптековскому саппорт-сайту и почитать все документы.

[stalker2011]

Спасибо, действительно, чем больше читаешь - тем меньше вопросов. За вчера нарыл еще одну неприятную вещь в логе контроллера, а именно быстрорастущее ttlDiskFailures="40550542" ( примерно +30000 в мин). С перепрошивкой таких вещей никогда не сталкивался, да и железо стоит очень далеко от меня, посему написал в адаптек, посмотрим что ответят. Кстати, Есть ли у кого инфа насколько опасно это все перепрошивать. что можно на горячую и тд.. Просто спецам из датацентра прийдется дать очень точную инструкцию и права на ошибку нет, хотя конечно бэкап прийдется делать...

[Fastman]

Любая перепрошивка имеет вероятность закончиться фэйлом.
При ровных руках - вероятность минимальна. Бэкап обязательно в любом случае.
Все операции прошивки винтов и контроллера конечно же есть в документации - читаем не стесняемся ))
ttlDiskFailures есть несколько вариантов.
Не может контроллер договориться с винтом и прежде чем веник чего то выдаст и выкидывает таймаут.
(это проблема прошивок кстати)
Поменять кабели к веникам(бывает иногда).
Веник помирает. Надо менять.

[stalker2011]

В продолжение темы. Долго не было новой информации - покупали внешний дисковый массив для бэкапа. Прошивка жестких дисков до версии sn06 и самого адаптера до версии 17911 излечило только ошибки ttlDiskFailures, но видимого эффекта не дало. Как и проверка утилитой arcconf массива на ошибки. Отписался в адаптек, выслал им новый support.log. Мысли опять кончились...

[stalker2011]

Пришел ответ от adaptec
Discussion Thread
---------------------------------------------------------------
Response (Luis Maldonado) - 12/27/2010 02:11 PM
Greetings from Adaptec,

The two arrays show up as being optimal. There appear to be indications of aborted commands and time outs, however from the logs we cannot determine when these errors occurred. The driver you are using still appeara to be an older embedded driver. We would suggest updating the drivers or if you are using an very updated kernel, use the source code to compile and updated driver.

If you are still seeing error at the operating system level, you may need to perform some kind of repair in Linux to try to resolve the problems. Please also make sure that motherboard bios is up to date and that the controller is not sharing the IRQ it is assigned with a network controller or video card.