FreeBSD: Мониторинг RAID из командной строки (CLI)

[weec]

http://www.nico.schottelius.org/docs/fr ... onitoring/

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Александр Фролов]

Cсервер Intel Server System SR1600URHS с контроллером LSI Logic MegaRAID SAS 8704EM2.

Закачал фирменную утилиту MegaCli. Проверяю все подряд команды, и все без проблем, пока не дошел до определения информации о физических дисках.

Пытаюсь выдать команду:

Код: Выделить всё

MegaCli -PDInfo -PhysDrv [E:S] -aALL

Не получается задать значения E и S для этой команды. На любые значения, которые я пробовал, выдает

Код: Выделить всё

#MegaCli -PDInfo -PhysDrv [252:0] -aALL
MegaCli: No match.

Подскажите, пожалуйста, какие параметры мне указывать для команды «MegaCli -PDInfo -PhysDrv [E:S] –aALL», чтобы посмотреть информацию о физических дисках.
Спасибо!

Вот результаты выполнения команды MegaCli -PDList -aALL

Код: Выделить всё

# MegaCli -PDList -aALL

Adapter #0

Enclosure Device ID: 252
Slot Number: 0
Device Id: 4
Sequence Number: 2
Media Error Count: 0
Other Error Count: 0
Predictive Failure Count: 0
Last Predictive Failure Event Seq Number: 0
PD Type: SAS
Raw Size: 558.911 GB [0x45dd2fb0 Sectors]
Non Coerced Size: 558.411 GB [0x45cd2fb0 Sectors]
Coerced Size: 557.861 GB [0x45bb9000 Sectors]
Firmware state: Online
SAS Address(0): 0x5000c500056c6b65
SAS Address(1): 0x0
Connected Port Number: 0(path0)
Inquiry Data: SEAGATE ST3600057SS     00063SL098QA
FDE Capable: Not Capable
FDE Enable: Disable
Secured: Unsecured
Locked: Unlocked
Foreign State: None
Device Speed: Unknown
Link Speed: 3.0Gb/s
Media Type: Hard Disk Device

Enclosure Device ID: 252
Slot Number: 1
Device Id: 5
Sequence Number: 2
Media Error Count: 0
Other Error Count: 0
Predictive Failure Count: 0
Last Predictive Failure Event Seq Number: 0
PD Type: SAS
Raw Size: 558.911 GB [0x45dd2fb0 Sectors]
Non Coerced Size: 558.411 GB [0x45cd2fb0 Sectors]
Coerced Size: 557.861 GB [0x45bb9000 Sectors]
Firmware state: Online
SAS Address(0): 0x5000c500056c65a9
SAS Address(1): 0x0
Connected Port Number: 1(path0)
Inquiry Data: SEAGATE ST3600057SS     00063SL09XZ1
FDE Capable: Not Capable
FDE Enable: Disable
Secured: Unsecured
Locked: Unlocked
Foreign State: None
Device Speed: Unknown
Link Speed: 3.0Gb/s
Media Type: Hard Disk Device

Enclosure Device ID: 252
Slot Number: 2
Device Id: 6
Sequence Number: 2
Media Error Count: 0
Other Error Count: 0
Predictive Failure Count: 0
Last Predictive Failure Event Seq Number: 0
PD Type: SAS
Raw Size: 558.911 GB [0x45dd2fb0 Sectors]
Non Coerced Size: 558.411 GB [0x45cd2fb0 Sectors]
Coerced Size: 557.861 GB [0x45bb9000 Sectors]
Firmware state: Hotspare
SAS Address(0): 0x5000c500056c65f5
SAS Address(1): 0x0
Connected Port Number: 2(path0)
Inquiry Data: SEAGATE ST3600057SS     00063SL09EVP
FDE Capable: Not Capable
FDE Enable: Disable
Secured: Unsecured
Locked: Unlocked
Foreign State: None
Device Speed: Unknown
Link Speed: 3.0Gb/s
Media Type: Hard Disk Device
Hotspare Information:
Type: Dedicated, is revertible
Array #: 0


Exit Code: 0x00

Результаты выполнения команды MegaCli -EncInfo -aALL

Код: Выделить всё

# MegaCli -EncInfo -aALL

    Number of enclosures on adapter 0 -- 1

    Enclosure 0:
    Device ID                     : 252
    Number of Slots               : 8
    Number of Power Supplies      : 0
    Number of Fans                : 0
    Number of Temperature Sensors : 0
    Number of Alarms              : 0
    Number of SIM Modules         : 1
    Number of Physical Drives     : 3
    Status                        : Normal
    Position                      : Unavailable
    Connector Name                : Unavailable
    Partner Device Id             : 65535


Exit Code: 0x00

[Alex Keda]

http://www.nico.schottelius.org/docs/fr ... onitoring/

надо на своих помучать всё это хозяйство
у меня вся коллекция на серверах есть - и мегарейды, и циссы, и адаптеки...

[Александр Фролов]

Попробовал устанавливать MegaCli из портов на FreeBSD 8.0 и 7.2, результат такой же. Т.е. информацию о всех физических дисках списком выдает, а по отдельности извлечь не могу(
Получается, что если в зеркале с HotSpare вылетит один диск, я не смогу подготовить этот диск к извлечению для замены, и придется останавливать сервер, чтобы делать все через БИОС контроллера?

[Alex Keda]

юзайте cciss
там всё само происходит.
просто вынул старый и вставил новый - контроллер сам всё сделает

[Mox]

Угу.... ставила я уже hpacucli....
Он почему-то в упор не хочит видеть мой контроллер...

FreeBSD 7.0
Smart Array P400i

этот проект умер стопицот лет назад, дстаточно глянуть в зависимости. Там двое разработчиков (индусы?) просто исчезли куда-то. Оттуда же была еще пара неплохих утил.

можно и smartmontools поюзать...

[weec]

юзайте cciss
там всё само происходит.
просто вынул старый и вставил новый - контроллер сам всё сделает

adaptec, 3ware, lsi это тоже умеют

[Alex Keda]

фиг
триварь, например, с 9000 серии умеет. до неё - тока руками
адаптеков таких же - тоже пачками попадалась
про LSI вообще промолчу - ненависть сплошная...

из всего что юзал - проще всего и понятней - именно на cciss

[weec]

ок, я лишь добавлю к своему посту, что имел в виду лишь контроллеры новые ну и 1-2 летней давности

[Slik]

У меня стоит такой рейд

Код: Выделить всё

da0: <LSILOGIC 1030 IM 1000> Fixed Direct Access SCSI-2 device

так он светится в /var/log/messages, делаю вывод команды pciconf -lv | grep -A5 LSI получаю

Код: Выделить всё

 vendor     = 'LSI Logic (Was: Symbios Logic, NCR)'
    device     = 'LSI53C1020/1030 PCI-X to Ultra320 SCSI Controller'
    class      = mass storage
    subclass   = SCSI

ищу утилиту для мониторинга, в портах ничего подходящего для моего рейда нету

Код: Выделить всё

make search key='LSI Logic'
Port:   amrstat-20070216
Path:   /usr/ports/sysutils/amrstat
Info:   Utility for LSI Logic's MegaRAID RAID controllers
Maint:  jkim@FreeBSD.org
B-deps:
R-deps:
WWW:    http://lists.freebsd.org/pipermail/freebsd-scsi/2006-February/002294.html

Port:   megarc-1.51
Path:   /usr/ports/sysutils/megarc
Info:   LSI Logic's MegaRAID controlling software
Maint:  gerrit.beine@gmx.de
B-deps:
R-deps:
WWW:    http://www.lsilogic.com/products/megaraid/

Может у кого то завалялась какая то утилитка для мотиторинга, хотелось бы пересобрать рейд удаленно, последний раз в логах наткнулся на такую запись

Код: Выделить всё

May 21 13:23:09 kernel: mpt0:vol0(mpt0:0:0): RAID-1 - Degraded
May 21 13:23:09 kernel: mpt0:vol0(mpt0:0:0): Status ( Enabled )
May 21 13:23:09 kernel: (mpt0:vol0:0): Physical (mpt0:0:0:0), Pass-thru (mpt0:1:0:0)
May 21 13:23:09 kernel: (mpt0:vol0:0): Online

[Alex Keda]

а что - те что в портах не подошли?

[Slik]

а что - те что в портах не подошли?

нет не подошли к сожалению, пол дня гуглил, ничего подходящего не нашел.

[djan]

в для монитогинга вот такой штуки

Код: Выделить всё

Raid controllers:
#sysinfo storage
Generated by SysInfo v1.0.1 by Daniel Gerzo

Storage information

Available hard drives:
da0: <ICP Host Drive   #0 > Fixed Direct Access SCSI-2 device

Raid controllers:
iir0:
vendor='Intel Corporation'
device='Storage RAID Controller (01af8086)'

подскажите, что есть?

[kestrel]

Для IBM ServerRAID есть утилита ipsstat и её модификация ipsmon. Кроме них в Freebsd эти raid нечем мониторить.

Это, возможно, для старых моделей. У меня IBM ServeRAID-8k, его ipsstat не понимает:

Код: Выделить всё

# ./ipsstat /dev/aac0
ipsstat main/865
IPS_USER_CMD (get adaptor info) ioctl failed, Invalid argument

Зато `pciconf -lv` показал, что это на самом деле "Adaptec AAC-RAID (Rocket)". А раз так, то для него подошёл sysutils/arcconf.

[Micklosh]

хе-хе, в версиях фри более 7.0 ,
есть предложение юзать для mfi0 - mfiutil ,
для da0 - mptutil .
Там почти всё нужное есть.

[playnet]

хе-хе, в версиях фри более 7.0 ,
есть предложение юзать для mfi0 - mfiutil ,
для da0 - mptutil .
Там почти всё нужное есть.

Спасибо огромное за mfiutil! Я уже отчаялся найти нормальную рулилку.. megacli ругается
** Port marked as IGNORE: sysutils/megacli:
requires 32-bit libraries installed under /usr/lib32
megarc тоже не ставился... С офсайта MegaCli64 скачал - он один раз систему в 9 трап уложил...
Осталось только понять, как показать температуру дисков и в идеале их смарт. Через кли -
/root/megacli/MegaCli64 -PDList -aALL
И там статус есть запущен, остановлен (шпиндель), температура...
И контроллер умеет мигать лампочкой диска, из биоса точно.. А как это утилитами делать?
Адаптер 2108, детектится как

Код: Выделить всё

# mfiutil show adapter
mfi0 Adapter:
    Product Name: Supermicro SMC2108
   Serial Number:
        Firmware: 12.12.0-0036
     RAID Levels: JBOD, RAID0, RAID1, RAID5, RAID6, RAID10, RAID50
  Battery Backup: not present
           NVRAM: 32K
  Onboard Memory: 512M
  Minimum Stripe: 8K
  Maximum Stripe: 1M

А, да.. И как настроить автоматический аларм на выход дисков из строя?

[playnet]

Подскажите, пожалуйста, какие параметры мне указывать для команды «MegaCli -PDInfo -PhysDrv [E:S] –aALL», чтобы посмотреть информацию о физических дисках.
Спасибо!

Код: Выделить всё

# /root/megacli/MegaCli -PDInfo -PhysDrv \[252:1\] -aALL

Enclosure Device ID: 252
Slot Number: 1
Enclosure position: 0
Device Id: 12
Sequence Number: 2
Media Error Count: 0
Other Error Count: 3
Predictive Failure Count: 0
Last Predictive Failure Event Seq Number: 0
PD Type: SAS
Raw Size: 136.732 GB [0x11177330 Sectors]
Non Coerced Size: 136.232 GB [0x11077330 Sectors]
Coerced Size: 135.972 GB [0x10ff2000 Sectors]
Firmware state: Hotspare, Spun Up
SAS Address(0): 0x5000c50032217b85
SAS Address(1): 0x0
Connected Port Number: 1(path0)
Inquiry Data: SEAGATE ST9146803SS     00066SD2BDB1
FDE Capable: Not Capable
FDE Enable: Disable
Secured: Unsecured
Locked: Unlocked
Needs EKM Attention: No
Foreign State: None
Device Speed: 6.0Gb/s
Link Speed: 6.0Gb/s
Media Type: Hard Disk Device
Drive:  Not Certified
Drive Temperature :30C (86.00 F)


Hotspare Information:
Type: Dedicated, is revertible
Array #: 1


Exit Code: 0x00

[nitrokamera]

Господа, подскажите нубу можно ли организовать e-mail оповещение при RAID IS DEGRADED?
Может у кого-то есть готовое решение (скрипт)?
P.S. HP DL120 G5 (HP Embedded SATA RAID)

[manefesto]

Код: Выделить всё

val=<тут проверяем на degrade>
if [ val eq degrade ] then
echo 'alarm,degrade'| sendmail -t -i -f admin@yourserv.com admin@admin.ru
fi

[icechieff]

А я смотрю статус так:
atacontrol status ar0

[Atmel]

Закачал фирменную утилиту MegaCli. Проверяю все подряд команды, и все без проблем, пока не дошел до определения информации о физических дисках.

Пытаюсь выдать команду:

Код: Выделить всё

MegaCli -PDInfo -PhysDrv [E:S] -aALL

Не получается задать значения E и S для этой команды. На любые значения, которые я пробовал, выдает

Код: Выделить всё

#MegaCli -PDInfo -PhysDrv [252:0] -aALL
MegaCli: No match.

Подскажите, пожалуйста, какие параметры мне указывать для команды «MegaCli -PDInfo -PhysDrv [E:S] –aALL», чтобы посмотреть информацию о физических дисках.

Если необходимо посмотреть конкретный диск, то не нужно употреблять опцию -aALL:

Код: Выделить всё

MegaCli64 -PDInfo -PhysDrv [252:2] -a0

где -a0 - адрес слота PCI-E ( в данном случае он 0, как это бывает обычно). Попробуйте, получилось?

[Atmel]

юзайте cciss
там всё само происходит.
просто вынул старый и вставил новый - контроллер сам всё сделает

adaptec, 3ware, lsi это тоже умеют

LSI не умеет. И поэтому соглашусь с этим мнением:

про LSI вообще промолчу - ненависть сплошная...

Документация из рук вон какая плохая, в мануале по веббиосу полторы команды по Cli, находишь инфу по управлению на козьих тропах, у сторонних источников. Нет их и в мануале на сам алаптер (юзаю 9260, черт меня дернул связаться с LSI, лучше бы логисты смогли разыскать в продаже 3вару, как я и планировал сначала).

[Atmel]

Кстати, набрел на этот форум в связи с поиском решения проблемы со странным отпаданием дисков. Почему-то на определенных слотах периодически диски выпадают в офлайн (точнее, становятся красными, как неподсоединенные), хотя никаких погрешностей в физических контактах нет. Фирмвара попыток обнаружить диск вновь "присоединенный" диск не делает, это нужно делать вручную, а потом вводить его в онлайн и ребилдить. На удаленном объекте, к которому к тому же нет доступа (режимное учреждение) это просто труба. Причем после замены диска та же история. Для временного решения проблемы просто отрубил проблемные каналы. Не пойму в чем дело, после сборки серверов они тестировались в течении недели и никаких проблем не обнаруживал. Может быть, дело в питании (упсы еще не установлены, а на объекте идут монтажные работы, иногда сварка и резка)? Но почему всегда на каждом из серверов это происходит на одном и том же слоте?
Диски, кстати, 3-х терабайтные (сигейты). Один из двух, которые купили на замену, оказался бракованным. Но опять-таки - до транспортировки на объект все работало!

[pim]

Вот еще информация по настройке web-интерфейса для Areca и утилитам командной строки: http://petrenco.com.

[guest_o]

Кстати, набрел на этот форум в связи с поиском решения проблемы со странным отпаданием дисков. Почему-то на определенных слотах периодически диски выпадают в офлайн (точнее, становятся красными, как неподсоединенные), хотя никаких погрешностей в физических контактах нет. Фирмвара попыток обнаружить диск вновь "присоединенный" диск не делает, это нужно делать вручную, а потом вводить его в онлайн и ребилдить. На удаленном объекте, к которому к тому же нет доступа (режимное учреждение) это просто труба. Причем после замены диска та же история. Для временного решения проблемы просто отрубил проблемные каналы. Не пойму в чем дело, после сборки серверов они тестировались в течении недели и никаких проблем не обнаруживал. Может быть, дело в питании (упсы еще не установлены, а на объекте идут монтажные работы, иногда сварка и резка)? Но почему всегда на каждом из серверов это происходит на одном и том же слоте?
Диски, кстати, 3-х терабайтные (сигейты). Один из двух, которые купили на замену, оказался бракованным. Но опять-таки - до транспортировки на объект все работало!

Загугли про punctured stripe. Это старая багофича делловских контроллеров, тянется ещё с PERC3, и вот до H700, только сегодня очередной отвал винтов произошёл. Насколько я понял, лечения не существует, кроме как забэкапить всё, снести массив, и с нуля создать его заново. Для верности ещё я бы порекомендовал пройтись по всем винтам из бывшего массива с помощью dd, тупо записать нулями всю поверхность диска.

Подробности можно покурить тут.