Проблема с zfs

[mykolaq]

Привет!
Есть установленный FreeNAS-9.2.1.8-RELEASE-x64 на сервак с 2мя внутренними дисками и 36 внешних, подключенных через LSI MegaRAID SAS 9280-4i4e (не спрашивайте почему именно этот контроллер). Все 36 дисков в Raid 0 (по отдельности) ( по инструкции http://skeletor.org.ua/?p=3850 ).
Есть два пула, сейчас они в состоянии degraded:

Код: Выделить всё

 NAME                                            STATE     READ WRITE CKSUM
        MainData                                        DEGRADED     0     0     0
          raidz2-0                                      ONLINE       0     0     0
            gptid/e59aa02b-6411-11e4-958c-002590e8bb9e  ONLINE       0     0     0
            gptid/e5e6b1dc-6411-11e4-958c-002590e8bb9e  ONLINE       0     0     0
            gptid/e6362bad-6411-11e4-958c-002590e8bb9e  ONLINE       0     0     0
            gptid/e68340ff-6411-11e4-958c-002590e8bb9e  ONLINE       0     0     0
            gptid/e6d22a15-6411-11e4-958c-002590e8bb9e  ONLINE       0     0     0
            gptid/e71c161d-6411-11e4-958c-002590e8bb9e  ONLINE       0     0     0
            gptid/e76147c7-6411-11e4-958c-002590e8bb9e  ONLINE       0     0     0
            gptid/e7afc172-6411-11e4-958c-002590e8bb9e  ONLINE       0     0     0
            gptid/e7fd1436-6411-11e4-958c-002590e8bb9e  ONLINE       0     0     0
            gptid/e84c91ba-6411-11e4-958c-002590e8bb9e  ONLINE       0     0     0
          raidz2-1                                      DEGRADED     0     0     0
            gptid/e89e5a42-6411-11e4-958c-002590e8bb9e  ONLINE       0     0     0
            gptid/e8f220ba-6411-11e4-958c-002590e8bb9e  ONLINE       0     0     0
            gptid/e948520e-6411-11e4-958c-002590e8bb9e  ONLINE       0     0     0
            gptid/e998d540-6411-11e4-958c-002590e8bb9e  ONLINE       0     0     0
            gptid/e9ec9702-6411-11e4-958c-002590e8bb9e  ONLINE       0     0     0
            gptid/ea3b8926-6411-11e4-958c-002590e8bb9e  ONLINE       0     0     0
            gptid/ea891935-6411-11e4-958c-002590e8bb9e  ONLINE       0     0     0
            18168852208074115215                        UNAVAIL      0     0     0  was /dev/gptid/eada0883-6411-11e4-958c-002590e8bb9e
            gptid/eb2cd53a-6411-11e4-958c-002590e8bb9e  ONLINE       0     0     0
            gptid/eb7ca2ff-6411-11e4-958c-002590e8bb9e  ONLINE       0     0     0
          raidz2-2                                      DEGRADED     0     0     0
            gptid/ebdcf4f4-6411-11e4-958c-002590e8bb9e  ONLINE       0     0     0
            gptid/ec340b46-6411-11e4-958c-002590e8bb9e  ONLINE       0     0     0
            gptid/ec852bcd-6411-11e4-958c-002590e8bb9e  ONLINE       0     0     0
            11500276686699951897                        OFFLINE      0     0     0  was /dev/gptid/ecdd547d-6411-11e4-958c-002590e8bb9e
            gptid/ed3459cf-6411-11e4-958c-002590e8bb9e  ONLINE       0     0     0
            gptid/ed9c7b67-6411-11e4-958c-002590e8bb9e  ONLINE       0     0     0
            gptid/edf4b74a-6411-11e4-958c-002590e8bb9e  ONLINE       0     0     0
            gptid/ee49ff5a-6411-11e4-958c-002590e8bb9e  ONLINE       0     0     0
            gptid/eea155c4-6411-11e4-958c-002590e8bb9e  ONLINE       0     0     0
            gptid/eef8df33-6411-11e4-958c-002590e8bb9e  ONLINE       0     0     0
 
 pool: Mirror
 state: DEGRADED
status: One or more devices could not be opened.  Sufficient replicas exist for
        the pool to continue functioning in a degraded state.
action: Attach the missing device and online it using 'zpool online'.
   see: http://illumos.org/msg/ZFS-8000-2Q
  scan: none requested
config:
 
        NAME                                            STATE     READ WRITE CKSUM
        Mirror                                          DEGRADED     0     0     0
          mirror-0                                      ONLINE       0     0     0
            gptid/4accb0c7-6412-11e4-958c-002590e8bb9e  ONLINE       0     0     0
            gptid/4b1ecbae-6412-11e4-958c-002590e8bb9e  ONLINE       0     0     0
          mirror-1                                      DEGRADED     0     0     0
            gptid/4b7b6298-6412-11e4-958c-002590e8bb9e  ONLINE       0     0     0
            10847201807994614780                        UNAVAIL      0     0     0  was /dev/gptid/4bd07944-6412-11e4-958c-002590e8bb9e
          mirror-2                                      ONLINE       0     0     0
            gptid/4c336b20-6412-11e4-958c-002590e8bb9e  ONLINE       0     0     0
            gptid/4c888550-6412-11e4-958c-002590e8bb9e  ONLINE       0     0     0
 
 

Пробовал replace,offline и online, но это не помогло.
Raid 0 в состоянии Optimal на каждом это диске (смотрел с MegaCli).
Три этих диска система не видит:

Код: Выделить всё

kern.disks: mfid33 mfid32 mfid31 mfid30 mfid29 mfid28 mfid27 mfid26 mfid25 mfid24 mfid23 mfid22 mfid21 mfid20 mfid19 mfid18 mfid17 mfid16 mfid15 mfid14 mfid13 mfid12 mfid11 mfid10 mfid9 mfid8 mfid7 mfid6 mfid5 mfid4 mfid3 mfid2 mfid1 mfid0

Кто-нибудь может посоветовать что еще сделать?

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[snorlov]

Боюсь, что вам никто не посоветует, не оттого что не хотят, просто ответственность большая, хотите пришлю ZFS.Admin.Guide.RU.820-0836.pdf, всего 2 метра. или поищите на просторах инета...

[Electronik]

а что в /var/log/messages ?
и что говорит SMART выпавших дисков?
индикация дисков есть?
как подключены внешние диски, через JBOD?

[Гость]

если я правильно, у пользователя собран один пул из raidz2, один из 3-х зеркал. На каждом из пулов есть недоступные диски. Теперь надо исключить из пула нерабочие диски и внести в пул рабочие.

У себя на фряхе делаю так (у меня простой пул из двух дисков в зеркале, диски подключаю предварительно разметив их по gpt )

Код: Выделить всё

gpart show -l
=>       34  976773101  ada0  GPT  (465G)
         34        128     1  (null)  (64k)
        162    8388608     2  swap0  (4.0G)
    8388770  968384365     3  disk0  (461G)

=>       34  976773101  ada1  GPT  (465G)
         34        128     1  (null)  (64k)
        162    8388608     2  swap1  (4.0G)
    8388770  968384365     3  disk1  (461G)

zpool status
  pool: atom
 state: ONLINE
 config:

	NAME           STATE     READ WRITE CKSUM
	atom           ONLINE       0     0     0
	  mirror-0     ONLINE       0     0     0
	    gpt/disk0  ONLINE       0     0     0
	    gpt/disk1  ONLINE       0     0     0

zpool detach atom /dev/gpt/disk1 - Удаляем нерабочий диск из пула,
размечаю новый диск по gpart аналогично.

zpool attach atom /dev/gpt/disk0(был в пуле) /dev/gpt/disk1(добавляем в пул)

т.к. в пуле несколько зеркал/raidz2 видимо нужно будет указать как-то в какое именно зеркало/raidz необходимо добавить диск. Чтобы не запартачить, лучше предварительно протестировать в виртуалке.

[skeletor]

В первую очередь нужно, что бы они нормально видились рейд-контроллером, то есть, что бы у проблемных дисков был статус firmware: Online

Код: Выделить всё

# MegaCli -PDList -aAll | egrep "Enclosure Device ID:|Slot Number:|Inquiry Data:|Error Count:|state"
Enclosure Device ID: 252
Slot Number: 0
Media Error Count: 0
Other Error Count: 0
Firmware state: Online, Spun Up
...

Если там failed, то можно попробовать выполнить

Код: Выделить всё

# MegaCli -PDOffline -PhysDrv [252:1] -a0
# MegaCli -PDOnline -PhysDrv [252:1] -a0

Но, скорее всего следует заменить (или передёрнуть) диски.