forum.lissyara.su

Не бойся, когда ты один. Бойся, когда ты ноль.
https://forum.lissyara.su/

FreeBSD: Мониторинг RAID из командной строки (CLI)

https://forum.lissyara.su/viewtopic.php?f=8&t=17197

Страница 1 из 4

FreeBSD: Мониторинг RAID из командной строки (CLI)

Добавлено: 2009-04-13 23:11:51
mvalery
По совету администраторов открываю тему для обсуждения чем и как мониторить RAID из командной строки.
Тема очень больная. Сервера под нагрузкой. Часто очень далеко. При этом довольно часто необходимо определить состояние RAID контроллеров, логических и физических дисков RAID массивов. А так же получать всякую дополнительную информацию, выполнять сервисные операции над массивами и т.п. Все это не прерывая работу.
Для начала я написал статью http://www.lissyara.su/?id=1925 по мониторингу RAID от компаний AMCC 3ware, HighPoint, Dell (Perc 5/i и PERC 6/i) и LSI (MegaRAID SAS 8408E и SAS1078).

Кроме того, в процессе обсуждения с Raven2000 всплыла еще одна группа RAID, которые в FreeBSD известны как /dev/amr.
К этой группе относятся RAID типа Dell Perc и LSI MegaRAID. Полный список можно получить в справке:

Код: Выделить всё

# man 4 amr
Есть предположение (не проверял), что тот тип RAID управляются утилитой из порта linux-megamgr:

Код: Выделить всё

# cd /usr/ports/sysutils/linux-megamgr/ && make install clean

Re: FreeBSD: Мониторинг RAID из командной строки (CLI)

Добавлено: 2009-04-14 4:56:01
AV
Для мониторинга Dell PERC/6[ie] и LSI 8[78]xx городить эмуляцию linux не нужно - можно пользоваться утилитой от LSI:
Mega CLI FreeBSD (MegaRAID Release 3.6) ver 4.0.11

Качается с сайта lsi.com.

Возможно и с PERC 5[ei] и LSI84xx работает, надо проверить.

--
AV

Re: FreeBSD: Мониторинг RAID из командной строки (CLI)

Добавлено: 2009-04-14 8:18:44
GreenX
По моему, заметка будет не полной без Areca(Tekram)
1. Установка клиента командной строки (работает как в интеактивном режиме так и обычно)

Код: Выделить всё

cd /usr/ports/sysutils/areca-cli && make install clean
2. Информация о температуре

Код: Выделить всё

#areca-cli hw info
The Hardware Monitor Information
===========================================
Fan#1 Speed (RPM)   : 2079
HDD #1  Temp.       : 38
HDD #2  Temp.       : 39
HDD #3  Temp.       : 38
HDD #4  Temp.       : 38
===========================================
GuiErrMsg<0x00>: Success.
3. Информационные сообщения

Код: Выделить всё

#areca-cli event info
Date-Time               Device              Event Type	       
===============================================================================
2009-04-11  12:59:02    H/W MONITOR         Raid Powered On
2009-03-10  10:47:05    SW API Interface    API Log In
2009-03-06  14:53:09    H/W MONITOR         Fan#1 Failed    
2009-03-06  14:52:59    H/W MONITOR         Fan#1 Failed Recovered
2009-03-06  14:49:29    H/W MONITOR         Fan#1 Failed    
2009-03-06  14:49:19    H/W MONITOR         Raid Powered On
2009-01-30  14:43:27    H/W MONITOR         Raid Powered On
2009-01-30  14:36:37    H/W MONITOR         Raid Powered On
...
Кроме того, очистить логи (clear).
4. Информация о рейдах

Код: Выделить всё

#areca-cli rsf info
 #  Name             Disks TotalCap  FreeCap DiskChannels       State          
===============================================================================
 1  Raid Set # 00        4  640.0GB    0.0GB 1234               Normal
===============================================================================
GuiErrMsg<0x00>: Success.
Кроме того, можно (create|delete|expand|activate|createhs|deletehs) создать, удалить, растянуть, сделать активным, подключить|отключить hotspare диск.
5. Информация о томах

Код: Выделить всё

#areca-cli vsf info
 # Name             Raid# Level   Capacity Ch/Id/Lun  State                    
===============================================================================
 1 ARC-1110-VOL#00    1   Raid5    480.0GB 00/00/00   Normal
===============================================================================
GuiErrMsg<0x00>: Success.
Кроме того, можно (create|delete|modify|check|stopcheck) создать,удалить,модифицировать(мигрировать),запустить/остановить проверку.
6. Информация о дисках

Код: Выделить всё

#areca-cli disk info
 #   ModelName        Serial#          FirmRev     Capacity  State
===============================================================================
 1   ST3160811AS      5PT0171A         3.AAB        160.0GB  RaidSet Member(1)
 2   ST3160811AS      5PT008JP         3.AAB        160.0GB  RaidSet Member(1)
 3   ST3160811AS      5PT00V2B         3.AAB        160.0GB  RaidSet Member(1)
 4   ST3160811AS      5PT016F3         3.AAB        160.0GB  RaidSet Member(1)
===============================================================================
GuiErrMsg<0x00>: Success.
Кроме того, возможно посмотреть информацию SMART или запустить тесты.
7. Информация о системе

Код: Выделить всё

#areca-cli sys info
The System Information
===========================================
Main Processor     : 500MHz
CPU ICache Size    : 32KB
CPU DCache Size    : 32KB
System Memory      : 128MB/333MHz
Firmware Version   : V1.41 2006-5-24 
BOOT ROM Version   : V1.41 2006-5-24 
Serial Number      : Y620CAAAAR100895
Controller Name    : ARC-1110
===========================================
GuiErrMsg<0x00>: Success.
Кроме того, возможно обновить фирмваре, изменить пароль, режим работы (raid|jbos), приоритет фоновых задач.
8. Управление сетевыми параметрами (если контроллер с сетевым интерфесом)

Код: Выделить всё

#areca-cli net info
ErrMsg: This Controller Has No Onboard NIC.
Установить в ручную или по dhcp (ipaddr|dhcp).

Кроме того, существуе веб интерфейс обладающий аналогичным функционалом (даже больше) лежит на сайте производителя в портах его нет.

Re: FreeBSD: Мониторинг RAID из командной строки (CLI)

Добавлено: 2009-04-15 8:36:56
Aidaho
а для hp smart array есть, что нибудь?

Re: FreeBSD: Мониторинг RAID из командной строки (CLI)

Добавлено: 2009-04-24 9:40:08
_tango
Aidaho писал(а):а для hp smart array есть, что нибудь?
Присоединяюсь к вопросу.
Кроме cciss_vol_status ничего не нашла.
Но эта утилита выдает крайне скудную информацию.
А мне хотелось бы видеть кроме текущего статуса raid, еще и информацию о физических дисках, входящих в него.
Может кто-нибудь что-нибудь посоветовать? :)

Re: FreeBSD: Мониторинг RAID из командной строки (CLI)

Добавлено: 2009-04-24 12:17:05
zingel

Код: Выделить всё

[root@zingel /usr/ports]# make search key='smart array'
Port:   hpacucli-7.50_2
Path:   /usr/ports/sysutils/hpacucli
Info:   HP ARRAY CONFIGURATION UTILITY for Smart Array RAID cards
Maint:  v.sri.sai.ganesh@hp.com
B-deps: compat4x-i386-5.3_9 compat5x-i386-5.4.0.8_9 localedata-5.4
R-deps: compat4x-i386-5.3_9 compat5x-i386-5.4.0.8_9 localedata-5.4
WWW:
не юзал правда

Re: FreeBSD: Мониторинг RAID из командной строки (CLI)

Добавлено: 2009-04-24 12:42:21
_tango
Угу.... ставила я уже hpacucli....
Он почему-то в упор не хочит видеть мой контроллер... :(

FreeBSD 7.0
Smart Array P400i

Re: FreeBSD: Мониторинг RAID из командной строки (CLI)

Добавлено: 2009-04-24 12:55:10
zingel
я помню да....может его попыркать туда сюда под линукснёй видится?

Re: FreeBSD: Мониторинг RAID из командной строки (CLI)

Добавлено: 2009-04-24 13:32:28
_ tango
Хз видится он под линуксней или нет... я Линукс на этот сервер не ставила..
"попыркать" не могу... :) , сервант боевой. :)

Блин.... чем еще можно вытащить инфу о физических дисках? (типа производитель, модель, емкость, серийный номер)

Re: FreeBSD: Мониторинг RAID из командной строки (CLI)

Добавлено: 2009-04-24 13:34:35
zingel
тащить нужно из биоса контроллера, чем, сложно сказать аналогом dmidecode применительно к самому контроллеру, но рисковать я бы не стал, на тестовой машине если только, попробуй ещё в /dev/mem поглядеть там может быть но не факт

Re: FreeBSD: Мониторинг RAID из командной строки (CLI)

Добавлено: 2009-04-24 14:28:00
shlash
Контроллеры Adaptec - sysutils/arcconf
Проверялось на моделях 3405 и 3805

Код: Выделить всё

# arcconf

  | UCLI |  Adaptec uniform command line interface
  | UCLI |  Version 6.10 (B18359)
  | UCLI |  (C) Adaptec 2003-2008
  | UCLI |  All Rights Reserved

 COPYBACK      | toggles controller copy back mode
 CREATE        | creates a logical device
 DATASCRUB     | toggles the controller background consistency check mode
 DELETE        | deletes one or more logical devices
 FAILOVER      | toggles the controller autotomatic failover mode
 GETCONFIG     | prints controller information
 GETLOGS       | gets controller log information
 GETSTATUS     | displays the status of running tasks
 GETVERSION    | prints version information for all controllers
 IDENTIFY      | blinks LEDS on device(s) connected to a controller
 KEY           | installs a Feature Key onto a controller
 MODIFY        | performs RAID Level Migration or Online Capacity Expansion
 RESCAN        | checks for new or removed drives
 ROMUPDATE     | updates controller firmware
 SETALARM      | controls the controller alarm, if present
 SETCONFIG     | restores the default configuration
 SETCACHE      | adjusts physical or logical device cache mode
 SETNAME       | renames a logical device given its logical device number
 SETPERFORM    | changes adapter settings based on application
 SETPOWER      | power settings for controller or logical device
 SETPRIORITY   | changes specific or global task priority
 SETSTATE      | manually sets the state of a physical or logical device
 TASK          | performs a task such as build/verify on a physical or logical device

Код: Выделить всё

# arcconf getconfig  

 Usage: GETCONFIG <Controller#> [AD | LD [LD#] | PD | [AL]]
 ======================================================    

 Prints controller configuration information.

    Option  AD  : Adapter information only
            LD  : Logical device information only
            LD# : Optionally display information about the specified logical device                                                                             
            PD  : Physical device information only                              
            AL  : All information (optional)

Re: FreeBSD: Мониторинг RAID из командной строки (CLI)

Добавлено: 2009-07-03 23:43:50
andryu
Для IBM ServerRAID есть утилита ipsstat и её модификация ipsmon. Кроме них в Freebsd эти raid нечем мониторить.
http://www.varani.ch/index.php?option=c ... &Itemid=18

Re: FreeBSD: Мониторинг RAID из командной строки (CLI)

Добавлено: 2009-07-04 9:51:42
goldfish
А подскажите, пожалуйста, как точно определить модель контроллера без утилиты?
В dmesg только такое - mpt0: <LSILogic SAS/SATA Adapter>. Хочется точную модель :)
И отреагирует ли ядро параметрами dev.mpt.0.nonoptimal_volumes, если все станет плохо?
Насколько удачная идея мониторить только эти параметры, вместо постоянного запуска утилиты?
FreeBSD 7.2-RELEASE #2
Спасибо :)

Re: FreeBSD: Мониторинг RAID из командной строки (CLI)

Добавлено: 2009-07-04 13:57:26
mvalery
Появилась новая утилита, которая помогает собрать сведения о системе - sysinfo.

Устанавливаем утилиту:
# make -C /usr/ports/sysutils/sysinfo install clean
# rehash

Запускаем:
# sysinfo storage

Читаем:

Код: Выделить всё

Storage information

Available hard drives:
mfid0: <MFI Logical Disk> on mfi0
mfid0: 418176MB (856424448 sectors) RAID volume 'R5' is optimal

Raid controllers:
mfi0:
vendor='LSI Logic (Was: Symbios Logic, NCR)'
device='SAS1078 PCI-X Fusion-MPT SAS'
Название чипа - SAS1078 дает нам дополнительную информацию о контроллере.
Я использую сервер Dell 1950 со встроеннным RAID.
Либо Dell Perc 5/i (чип LSI MegaRAID SAS 8408E) либо Dell PERC 6/i (чип LSI SAS1078)
В моем случае это оказался PERC 6/i.

Тоесть, алгоритм такой:
Определяем какой чип, затем идем на сайт производителя и уточняем название продукта, который использует данный чип.

Re: FreeBSD: Мониторинг RAID из командной строки (CLI)

Добавлено: 2009-07-04 16:02:06
goldfish
Спасибо :)
Вот еще такой вариант нашел:

Код: Выделить всё

[root@freebsd7 ~]# pciconf -lv | grep -A5 LSI
    vendor     = 'LSI Logic (Was: Symbios Logic, NCR)'
    device     = 'LSI53C1020/1030 PCI-X to Ultra320 SCSI Controller'
    class      = mass storage
    subclass   = SCSI

Re: FreeBSD: Мониторинг RAID из командной строки (CLI)

Добавлено: 2009-07-04 16:46:38
mvalery
В своей статье http://www.lissyara.su/?id=1925 я описал три известных мне варианта:
Существует несколько других способов, позволяющие определить характеристики вашего железа.

В частности вы можете:
(1) просмотреть файл /var/run/dmesg.boot:
# less /var/run/dmesg.boot

(2) воспользоваться утилитой dmidecode :
# dmidecode

(3) или утилитой pciconf:
# pciconf -l -cv
Утилита sysinfo пользуется всеми этими способами.

Re: FreeBSD: Мониторинг RAID из командной строки (CLI)

Добавлено: 2009-08-10 17:50:10
rendevor
Всем спасибо за данное обсуждение, помогло очень сильно. От себя хочу добавить, возможно, банальную вещь.
Есть такие рейды, как amr. Тоже MegaRaid только на интелловском чипсете:

Код: Выделить всё

amr0@pci5:0:0:  class=0x010400 card=0x05328086 chip=0x04071000 rev=0x02 hdr=0x00
    vendor     = 'LSI Logic (Was: Symbios Logic, NCR)'
    device     = 'MegaRAID'
    class      = mass storage
    subclass   = RAID

Код: Выделить всё

amr0: <LSILogic MegaRAID 1.53> mem 0xfc6f0000-0xfc6fffff,0xfea80000-0xfeafffff irq 52 at device 0.0 on pci5
amr0: delete logical drives supported by controller
amr0: <LSILogic Intel(R) RAID Controller SRCU42X> Firmware 413E, BIOS H412, 128MB RAM
Так вот, есть утилита - amrstat

Код: Выделить всё

[root@kovu megarc]# amrstat -g
Product                 <Intel(R) RAID Controller SRCU42X>
Firmware                413E
BIOS                    H412
SCSI channels           2
Fibre loops             0
Memory size             128 MB
Battery status          charge done
Logical volume 0:       optimal (136.71 GB, RAID5)
Physical drive 0:0      online
Physical drive 0:1      online
Physical drive 0:2      online
Physical drive 0:3      online
Physical drive 0:4      online

Re: FreeBSD: Мониторинг RAID из командной строки (CLI)

Добавлено: 2009-10-08 15:57:54
rendevor
AV писал(а):Для мониторинга Dell PERC/6[ie] и LSI 8[78]xx городить эмуляцию linux не нужно - можно пользоваться утилитой от LSI:
Mega CLI FreeBSD (MegaRAID Release 3.6) ver 4.0.11

Качается с сайта lsi.com.

Возможно и с PERC 5[ei] и LSI84xx работает, надо проверить.

--
AV
Живет тут

Код: Выделить всё

[root@ahadi ids]# uname -r 
6.3-RELEASE-p2
[root@ahadi ids]# ./MegaCli -v
                                     

      MegaCLI SAS RAID Management Tool  Ver 5.00.13 July 14, 2009

    (c)Copyright 2009, LSI Corporation, All Rights Reserved.

Exit Code: 0x00

Re: FreeBSD: Мониторинг RAID из командной строки (CLI)

Добавлено: 2009-10-11 12:53:15
Alex Keda
у меня сервак при её запуске в ребут уходит =)))

Re: FreeBSD: Мониторинг RAID из командной строки (CLI)

Добавлено: 2009-10-12 19:12:18
rendevor
lissyara писал(а):у меня сервак при её запуске в ребут уходит =)))
Вот так жестоко??? Хм. Может надо порыться на сайте lsi глубже? Сырцов они не дают, значит они напрямую скомпиливают под разные версии библиотек. Или в ядре чего-то нету. :???:

Re: FreeBSD: Мониторинг RAID из командной строки (CLI)

Добавлено: 2009-10-12 22:42:50
Alex Keda
там всё не так просто...
тут в железе ещё тема про этот контроллер валяется - может быть он сам глюкавый...

Re: FreeBSD: Мониторинг RAID из командной строки (CLI)

Добавлено: 2009-10-15 12:48:11
rendevor
lissyara писал(а):там всё не так просто...
тут в железе ещё тема про этот контроллер валяется - может быть он сам глюкавый...
А нет, сорри. Детально форум не изучаю, последних новостей не знаю.

Re: FreeBSD: Мониторинг RAID из командной строки (CLI)

Добавлено: 2009-10-29 22:57:58
goldfish
вот этот ход очень помог,
там линк на рабочую утилиту для LSI и описание
http://subnets.ru/blog/?p=1056

Re: FreeBSD: Мониторинг RAID из командной строки (CLI)

Добавлено: 2009-12-21 10:01:33
savio
У меня amr raid.

Код: Выделить всё

# amrstat
Logical volume 0:       optimal (74.53 GB, RAID1)
Logical volume 1:       optimal (279.46 GB, RAID1)
Logical volume 2:       degraded (232.88 GB, RAID1)
Physical drive 0:0      online
Physical drive 0:1      online
Physical drive 0:2      online
Physical drive 0:3      rebuild
Physical drive 0:4      online
Physical drive 0:5      online
#
А как узнать сколько процентов rebuild уже выполнено?

Re: FreeBSD: Мониторинг RAID из командной строки (CLI)

Добавлено: 2009-12-24 3:20:59
mvalery
1.Приятная новость для тех кто пользуется RAID на чипах LSI.
FreeBSD 8.0 получила встроенную утилиту для мониторинга.

Вот так, например можно получить статус виртуального диска:

Код: Выделить всё

# mfiutil show volumes
Написано, что утилита поддерживает следующие LSI MegaRAID SAS контроллеры:
+o LSI MegaRAID SAS 8408E
+o LSI MegaRAID SAS 8480E
+o LSI MegaRAID SAS 1078
+o Dell PERC5
+o Dell PERC6

2. Для тех кто еще не перешел на 8-ю версию.
Я поставил эксперимент с фирменной утилитой мониторинга от LSI.
Результаты неоднозначные.
По следующей ссылке я скачал "родную" утилиту мониторинга.
http://www.lsi.com/DistributionSystem/A ... egaCLI.zip
Утилита монолитная. Распаковываешь и пользуешься, если сможешь.
У меня есть 2 одинаковых сервера, оснащенных Dell PERC6 (LSI SAS1078).
На одном бежит FreeBSD 7.1-RELEASE-p4 GENERIC amd64 - здесь утилита MegaCli работает нормально
На другом сервере FreeBSD 7.0-RELEASE GENERIC amd64 - утилита запускается, но не дает никакой информации.
Почему - не знаю. Возможно в версии 7.1 обновлен драйвер железа mfi.
Часовой пояс: UTC+03:00
Страница 1 из 4
Powered by phpBB® Forum Software © phpBB Limited
https://www.phpbb.com/