Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Проблемы установки, настройки и работы Правильной Операционной Системы

Модератор: terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Demis » 2016-02-09 0:31:52

Народ, подскажите в какую сторону посмотреть?
Описание достаточно длинное, прошу набраться и терпения.
Есть сервер freebsd 10.2

Код: Выделить всё

uname -a
FreeBSD teo.что-то-там.loc 10.2-RELEASE-p12 FreeBSD 10.2-RELEASE-p12 #0: Fri Feb  5 21:58:32 MSK 2016     
demis@teo.что-то-там.loc:/usr/obj/usr/src/sys/TEO  amd64
Крутится много лет.
На нем достаточно внушительная рабочая файлокопилка на zfs.
часть вывода df -H

Код: Выделить всё

Filesystem                     Size    Used   Avail Capacity  Mounted on
hdd/usr/wf                     6,6T    4,1T    2,5T    62%    /hdd/usr/wf
На zfs собран рейд тип raidz2 из пяти дисков.

Код: Выделить всё

zpool status hdd
  pool: hdd
 state: ONLINE
status: One or more devices has experienced an error resulting in data
        corruption.  Applications may be affected.
action: Restore the file in question if possible.  Otherwise restore the
        entire pool from backup.
   see: http://illumos.org/msg/ZFS-8000-8A
  scan: scrub repaired 0 in 17h34m with 3451 errors on Mon Feb  8 13:52:13 2016
config:

        NAME         STATE     READ WRITE CKSUM
        hdd          ONLINE       0     0     0
          raidz2-0   ONLINE       0     0     0
            mfid1p1  ONLINE       0     0     0
            mfid2p1  ONLINE       0     0     0
            mfid3p1  ONLINE       0     0     0
            mfid4p1  ONLINE       0     0     0
            mfid5p1  ONLINE       0     0     0
        logs
          ada0p5     ONLINE       0     0     0
        cache
          ada0p6     ONLINE       0     0     0

errors: 3452 data errors, use '-v' for a list
Сразу говорю что эти 3452 data errors относятся к одному очень старому снапшоту.
И вроде никак не мешало и не мешает. В онлайне эти файлы есть и доступны.
Но речь не про них.

Собственно проблема: сервер с некоторого момента стал самопроизвольно перезагружаться.
Эмпирическим путем (почти случайным) выявлено:
1. При удалении некоторых папок созданными пользователями происходит kernel panic с естественной перезагрузкой.
2. Вне зависимости от того запущена самба или нет попытка работы с этой папкой под рутом под ssh приводит к kernel panic с естественной

перезагрузкой.
команда ls на папку работает.
команда getfacl на папку работает.
команда setfacl на папку - кернел-паник, перезагрузка.
команда rm -r на папку - кернел-паник, перезагрузка.
В папке можно создать файл и удалить все нормально.
В папке можно создать подпапку и в ней файл и удалить все нормально.
3. на папке немного странные права:

Код: Выделить всё

d---------+ 3 anna  domain users  3 10 дек 10:32 01-Проект
d---------+ 2 anna  domain users  2  8 фев 21:46 02-Текст
Но поменять их никак, setfacl на папку - кернел-паник, перезагрузка.
Скрабинг делался, но ни к чему не привел, все осталось как есть.

Есть некоторая преамбула.
Но прошу не запутаться.
И опять-же не факт, что именно из-за этих действий все ломается.

Всего на сервере 7 дисков, 2 в зеркале системные ufs2, 5 под хранилище zfs.
Работает все на железе супермикры (Model:SYS-6026T-6RF+, MB:X8DTU-6F+, RAM 24Гб DDR3, и два XEON'а).
Изначально в некотором прошлом все начало работать на bsd 8.4.
Было повышение версий до 9.0, до 9.1, до 9.2, до 9.3 по мере прекращения их поддержки.
Повышение делаю обычно примерно за год до окончания поддержки.
Повышение до 9.3 было 02.10.2015

И тут спустя два месяца, а именно 10.12.2015, посетил зверек с голубым мехом.
Сотрудница передвигала папки и сервер пропал в сети.
Консоль показывала, что как только запускается модуль zfs.ko сразу ребут.
И так бескончно по кругу.

Проверка памяти мемтестом86, железа, винчестеров, очень долго, но все - ОК.
Пока суть да дело, отвезли весь сервер в ремонт на поиски источников проблем,
где заодно обновили прошивку для контроллера винчестеров (чип LSI2108 встроенный в мать).
Не сразу (контора реально стояла почти две недели) был найден пост на форуме freebsd.

Суть сводилась к тому, что в 9.3 что-то там поломали и теперь при больших объемах удаления файлов вылетает кернел-паник.
Решение на форуме было только одно - апгрейд до 10.2, т.к. только в ней это дело пофиксили.
https://forums.freebsd.org/threads/kern ... etc.51470/

Ну, апгрейд, так апгрейд. Проапргрейдился, починил zfs, действительно все вроде заработало.
Приходит ко мне та-же сотрудница, перепиши мол данные по работе с ноута на сервер.
Посмотрел примерно 350Гб, по сетке долго, вытащил винчестер,
воткнул в сервер через USB-докстанцию (несколько лет ей пользуюсь проблем с ней не наблюдал),
поставил на копирование.

Примерно на 175Гб копирования сервер перезагрузился... Вот блин.
Ну ладно, fsck -yn, загрузка, докопировал остальное, вроде тоже без проблем.

А дальше, спустя какое-то время она пытается разнести (как выяснилось)
скопированную информацию по другим папкам - кернел-паник, ребут.
Мать - перемать...

Дальше больше, стал проявляться этот эффект у других сотрудников.
Причем реакцию перезагрузки по delete папки тоже поймал не сразу.
Оно как-то выборочно, но не определить, из-за чего именно.

И сначала я грешил на самбу, подтянул ее (обновил т.е.).
Ничего не поменялось, лучше не стало.

И тут я и обнаружил эту странность:
самба-то выключена, а я делаю в ssh или в консоли rm -r /zfs/path/to/my/foder
И снова кернел-паник, ребут.

Код: Выделить всё

kgdb /usr/obj/usr/src/sys/TEO/kernel.debug /var/crash/vmcore.9
Unread portion of the kernel message buffer:
panic: solaris assert: c < (1ULL << 24) >> 9 (0x7fffffffffffff < 0x8000), file: 

/usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/zio.c, line: 270
cpuid = 10
...
(kgdb) backtrace
#0  doadump (textdump=<value optimized out>) at pcpu.h:219
#1  0xffffffff8095e982 in kern_reboot (howto=260) at /usr/src/sys/kern/kern_shutdown.c:451
#2  0xffffffff8095ed65 in vpanic (fmt=<value optimized out>, ap=<value optimized out>) at /usr/src/sys/kern/kern_shutdown.c:758
#3  0xffffffff8095ebf3 in panic (fmt=0x0) at /usr/src/sys/kern/kern_shutdown.c:687
#4  0xffffffff81e0322f in assfail3 (a=<value optimized out>, lv=<value optimized out>, op=<value optimized out>, rv=<value optimized out>, f=<value 

optimized out>,
    l=<value optimized out>) at /usr/src/sys/modules/opensolaris/../../cddl/compat/opensolaris/kern/opensolaris_cmn_err.c:91
#5  0xffffffff81ca9d40 in zio_buf_alloc (size=0) at /usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/zio.c:270
#6  0xffffffff81c2b9f8 in arc_get_data_buf (buf=<value optimized out>) at 

/usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/arc.c:2898
#7  0xffffffff81c2e20a in arc_read (pio=0xfffff801e0450ac8, spa=0xfffff80090d97000, bp=0xfffffe001baf1980, done=0xffffffff81c3a2d0 

<dbuf_read_done>,
    private=0xfffff80415d81000, priority=ZIO_PRIORITY_SYNC_READ, zio_flags=-828757968, arc_flags=0xfffffe06788adfe4, 

zb=0xffffffff81c3a2d0)
    at /usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/arc.c:1551
#8  0xffffffff81c3669c in dbuf_read (db=0xfffff80415d81000, zio=0x0, flags=6) at 

/usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/dbuf.c:573
#9  0xffffffff81c3d8bf in dmu_spill_hold_existing (bonus=0xfffff800439fd380, tag=0x0, dbp=0xfffff802bfab57a8)
    at /usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/dmu.c:333
#10 0xffffffff81c70dd7 in sa_attr_op (hdl=0xfffff802bfab5780, bulk=0xfffffe06788ae148, count=1, data_op=SA_LOOKUP, tx=0x0)
    at /usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/sa.c:310
#11 0xffffffff81c72ffb in sa_lookup (hdl=0xfffff802bfab5780, attr=<value optimized out>, buf=<value optimized out>, buflen=<value optimized out>)
    at /usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/sa.c:1441
#12 0xffffffff81cd4af1 in zfs_freebsd_setattr (ap=<value optimized out>) at 

/usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/zfs_vnops.c:3323
#13 0xffffffff80ed35e1 in VOP_SETATTR_APV (vop=<value optimized out>, a=<value optimized out>) at vnode_if.c:799
#14 0xffffffff80a0baf9 in setfown (td=<value optimized out>, cred=0xfffff80090e2e900, vp=0xfffff804320e71d8, uid=<value optimized out>, 

gid=<value optimized out>)
    at vnode_if.h:335
#15 0xffffffff80a0bcdf in kern_fchownat (td=0xfffff80173c1d000, fd=<value optimized out>, path=<value optimized out>, pathseg=<value optimized 

out>, uid=10001, gid=0,
    flag=<value optimized out>) at /usr/src/sys/kern/vfs_syscalls.c:3008
#16 0xffffffff80a0bbd4 in sys_fchownat (td=<value optimized out>, uap=<value optimized out>) at /usr/src/sys/kern/vfs_syscalls.c:2980
#17 0xffffffff80dab337 in amd64_syscall (td=0xfffff80173c1d000, traced=0) at subr_syscall.c:134
#18 0xffffffff80d90a1b in Xfast_syscall () at /usr/src/sys/amd64/amd64/exception.S:396
#19 0x000000080088db8a in ?? ()
Previous frame inner to this frame (corrupt stack?)
Current language:  auto; currently minimal

Код: Выделить всё

Unread portion of the kernel message buffer:
panic: solaris assert: c < (1ULL << 24) >> 9 (0x7fffffffffffff < 0x8000), file: 

/usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/zio.c, line: 270
cpuid = 15
...
(kgdb) backtrace
#0  doadump (textdump=<value optimized out>) at pcpu.h:219
#1  0xffffffff8095e982 in kern_reboot (howto=260) at /usr/src/sys/kern/kern_shutdown.c:451
#2  0xffffffff8095ed65 in vpanic (fmt=<value optimized out>, ap=<value optimized out>) at /usr/src/sys/kern/kern_shutdown.c:758
#3  0xffffffff8095ebf3 in panic (fmt=0x0) at /usr/src/sys/kern/kern_shutdown.c:687
#4  0xffffffff81e0322f in assfail3 (a=<value optimized out>, lv=<value optimized out>, op=<value optimized out>, rv=<value optimized out>, f=<value 

optimized out>,
    l=<value optimized out>) at /usr/src/sys/modules/opensolaris/../../cddl/compat/opensolaris/kern/opensolaris_cmn_err.c:91
#5  0xffffffff81ca9d40 in zio_buf_alloc (size=0) at /usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/zio.c:270
#6  0xffffffff81c2b9f8 in arc_get_data_buf (buf=<value optimized out>) at 

/usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/arc.c:2898
#7  0xffffffff81c2e20a in arc_read (pio=0xfffff8006fa74ac8, spa=0xfffff8006f65b000, bp=0xfffffe000a053980, done=0xffffffff81c3a2d0 

<dbuf_read_done>,
    private=0xfffff8022e1539a0, priority=ZIO_PRIORITY_SYNC_READ, zio_flags=1155296192, arc_flags=0xfffffe019d6bffe4, 

zb=0xffffffff81c3a2d0)
    at /usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/arc.c:1551
#8  0xffffffff81c3669c in dbuf_read (db=0xfffff8022e1539a0, zio=0x0, flags=6) at 

/usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/dbuf.c:573
#9  0xffffffff81c3d8bf in dmu_spill_hold_existing (bonus=0xfffff8019fee9620, tag=0x0, dbp=0xfffff8022e0b1118)
    at /usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/dmu.c:333
#10 0xffffffff81c70dd7 in sa_attr_op (hdl=0xfffff8022e0b10f0, bulk=0xfffffe019d6c0148, count=1, data_op=SA_LOOKUP, tx=0x0)
    at /usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/sa.c:310
#11 0xffffffff81c72ffb in sa_lookup (hdl=0xfffff8022e0b10f0, attr=<value optimized out>, buf=<value optimized out>, buflen=<value optimized out>)
    at /usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/sa.c:1441
#12 0xffffffff81cd4af1 in zfs_freebsd_setattr (ap=<value optimized out>) at 

/usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/zfs_vnops.c:3323
#13 0xffffffff80ed35e1 in VOP_SETATTR_APV (vop=<value optimized out>, a=<value optimized out>) at vnode_if.c:799
#14 0xffffffff80a0baf9 in setfown (td=<value optimized out>, cred=0xfffff8019f0ba900, vp=0xfffff8019fe81ce8, uid=<value optimized out>, 

gid=<value optimized out>)
    at vnode_if.h:335
#15 0xffffffff80a0bcdf in kern_fchownat (td=0xfffff8006f46c940, fd=<value optimized out>, path=<value optimized out>, pathseg=<value optimized 

out>, uid=10001, gid=0,
    flag=<value optimized out>) at /usr/src/sys/kern/vfs_syscalls.c:3008
#16 0xffffffff80a0bbd4 in sys_fchownat (td=<value optimized out>, uap=<value optimized out>) at /usr/src/sys/kern/vfs_syscalls.c:2980
#17 0xffffffff80dab337 in amd64_syscall (td=0xfffff8006f46c940, traced=0) at subr_syscall.c:134
#18 0xffffffff80d90a1b in Xfast_syscall () at /usr/src/sys/amd64/amd64/exception.S:396
#19 0x000000080088db8a in ?? ()
Previous frame inner to this frame (corrupt stack?)
Current language:  auto; currently minimal

Код: Выделить всё

Unread portion of the kernel message buffer:
panic: solaris assert: c < (1ULL << 24) >> 9 (0x7fffffffffffff < 0x8000), file: 

/usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/zio.c, line: 270
cpuid = 5
...

(kgdb) backtrace
#0  doadump (textdump=<value optimized out>) at pcpu.h:219
#1  0xffffffff8095e982 in kern_reboot (howto=260) at /usr/src/sys/kern/kern_shutdown.c:451
#2  0xffffffff8095ed65 in vpanic (fmt=<value optimized out>, ap=<value optimized out>) at /usr/src/sys/kern/kern_shutdown.c:758
#3  0xffffffff8095ebf3 in panic (fmt=0x0) at /usr/src/sys/kern/kern_shutdown.c:687
#4  0xffffffff81e0322f in assfail3 (a=<value optimized out>, lv=<value optimized out>, op=<value optimized out>, rv=<value optimized out>, f=<value 

optimized out>,
    l=<value optimized out>) at /usr/src/sys/modules/opensolaris/../../cddl/compat/opensolaris/kern/opensolaris_cmn_err.c:91
#5  0xffffffff81ca9d40 in zio_buf_alloc (size=0) at /usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/zio.c:270
#6  0xffffffff81c2b9f8 in arc_get_data_buf (buf=<value optimized out>) at 

/usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/arc.c:2898
#7  0xffffffff81c2e20a in arc_read (pio=0xfffff8006f7a2000, spa=0xfffff8006f6c7000, bp=0xfffffe0019256980, done=0xffffffff81c3a2d0 

<dbuf_read_done>,
    private=0xfffff802d908e380, priority=ZIO_PRIORITY_SYNC_READ, zio_flags=-1445655811, arc_flags=0xfffffe019d8a7344, 

zb=0xffffffff81c3a2d0)
    at /usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/arc.c:1551
#8  0xffffffff81c3669c in dbuf_read (db=0xfffff802d908e380, zio=0x0, flags=6) at 

/usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/dbuf.c:573
#9  0xffffffff81c3d8bf in dmu_spill_hold_existing (bonus=0xfffff802d94d2460, tag=0x0, dbp=0xfffff802d94c7168)
    at /usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/dmu.c:333
#10 0xffffffff81c70dd7 in sa_attr_op (hdl=0xfffff802d94c7140, bulk=0xfffffe019d8a74a8, count=1, data_op=SA_LOOKUP, tx=0x0)
    at /usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/sa.c:310
#11 0xffffffff81c72ffb in sa_lookup (hdl=0xfffff802d94c7140, attr=<value optimized out>, buf=<value optimized out>, buflen=<value optimized out>)
    at /usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/sa.c:1441
#12 0xffffffff81cbc82a in zfs_rmnode (zp=0xfffff802d94d8b80) at 

/usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/zfs_dir.c:633
#13 0xffffffff81cda58e in zfs_freebsd_reclaim (ap=<value optimized out>) at 

/usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/zfs_vnops.c:6569
#14 0xffffffff80ed4a67 in VOP_RECLAIM_APV (vop=<value optimized out>, a=<value optimized out>) at vnode_if.c:2019
#15 0xffffffff80a02824 in vgonel (vp=0xfffff802d94f71d8) at vnode_if.h:830
#16 0xffffffff80a02cb9 in vrecycle (vp=0xfffff802d94f71d8) at /usr/src/sys/kern/vfs_subr.c:2703
#17 0xffffffff81cda52d in zfs_freebsd_inactive (ap=<value optimized out>) at 

/usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/zfs_vnops.c:6540
#18 0xffffffff80ed4957 in VOP_INACTIVE_APV (vop=<value optimized out>, a=<value optimized out>) at vnode_if.c:1953
#19 0xffffffff80a015f2 in vinactive (vp=0xfffff802d94f71d8, td=0xfffff801156df4a0) at vnode_if.h:807
#20 0xffffffff80a019e2 in vputx (vp=0xfffff802d94f71d8, func=2) at /usr/src/sys/kern/vfs_subr.c:2306
#21 0xffffffff80a1007e in vn_close (vp=0xfffff802d94f71d8, flags=<value optimized out>, file_cred=0xfffff801affb0b00, td=0xfffff801156df4a0)
    at /usr/src/sys/kern/vfs_vnops.c:435
#22 0xffffffff80a0eeb8 in vn_closefile (fp=0xfffff8006f593730, td=0xfffff801156df4a0) at /usr/src/sys/kern/vfs_vnops.c:1566
#23 0xffffffff809140d9 in _fdrop (fp=0xfffff8006f593730, td=0x0) at file.h:343
#24 0xffffffff8091697e in closef (fp=<value optimized out>, td=<value optimized out>) at /usr/src/sys/kern/kern_descrip.c:2338
#25 0xffffffff80914488 in closefp (fdp=0xfffff80086a2e800, fd=<value optimized out>, fp=0xfffff8006f593730, td=0xfffff801156df4a0, 

holdleaders=<value optimized out>)
    at /usr/src/sys/kern/kern_descrip.c:1194
#26 0xffffffff80dab337 in amd64_syscall (td=0xfffff801156df4a0, traced=0) at subr_syscall.c:134
#27 0xffffffff80d90a1b in Xfast_syscall () at /usr/src/sys/amd64/amd64/exception.S:396
#28 0x00000008055aaf9a in ?? ()
Previous frame inner to this frame (corrupt stack?)
Current language:  auto; currently minimal
в /usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/zio.c, line: 270
(т.е. /usr/src/sys/cddl/contrib/opensolaris/uts/common/fs/zfs/zio.c)
есть VERIFY3U(c, <, SPA_MAXBLOCKSIZE >> SPA_MINBLOCKSHIFT);

Стал смотреть

Код: Выделить всё

sysctl -a|grep vm.kmem
vm.kmem_map_free: 24286150656
vm.kmem_map_size: 764858368
vm.kmem_size_scale: 1
vm.kmem_size_max: 1319413950874
vm.kmem_size_min: 0
vm.kmem_zmax: 65536
vm.kmem_size: 25051009024

sysctl -a|grep vfs.zfs.arc_max
vfs.zfs.arc_max: 8589934592

sysctl -a | grep vfs.zfs.vdev.cache.size
vfs.zfs.vdev.cache.size: 838860800 
(0.78125 Гб)

sysctl -a | grep vm.kmem_size_max
vm.kmem_size_max: 1319413950874
(Это-же 1.228Гб)
Попробовал поиграть ee /boot/loader.conf
vm.kmem_size_max="4000M"

Кроме дикого торможения вплоть до заморозки системы ни к чему не приводит.
Убрал нафиг.

Что делать дальше не понимаю...
Возвращаемся к вопросу: подскажите в какую сторону посмотреть?

Много букав получилось, сорри.
Но так просто и не опишешь.

С уважением,
Demis.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Neus » 2016-02-09 9:22:52

Demis писал(а): logs
          ada0p5     ONLINE       0     0     0
        cache
          ada0p6     ONLINE       0     0     0
что это за диски, SSD?
сколько оперативки на сервере?

Отправлено спустя 12 минут 25 секунд:
сорри, просмотрел спецификацию железа - 24г :)
выключи из пула лог с кэшем, грохни проблемный снепшот, и попробуй повторить свои действия с файлами

snorlov
подполковник
Сообщения: 3927
Зарегистрирован: 2008-09-04 11:51:25
Откуда: Санкт-Петербург

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение snorlov » 2016-02-09 9:38:25

Приведи все-таки

Код: Выделить всё

zpool status hdd -v
, хочется взглянуть на эти ошибки...

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Neus » 2016-02-09 10:07:35

ядро не GENERIC.
на GENERIC проблема проявляется?

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Demis » 2016-02-09 10:30:43

Neus писал(а): что это за диски, SSD?
сколько оперативки на сервере?
2Neus,
Диск SSD
ada0: <KINGSTON SVP100S264G CJRA0202> ATA8-ACS SATA 2.x device
ada0: Serial Number 808S107OTESZ
ada0: 300.000MB/s transfers (SATA 2.x, UDMA5, PIO 8192bytes)
ada0: 61057MB (125045424 512 byte sectors: 16H 63S/T 16383C)

Отключить конечно могу, но еще в декабре делал такую попытку.
Они (logs & cache) спокойно сносятся и вводятся снова.

Только результат не меняется.
Единственное это то, что
Demis писал(а): 10.2-RELEASE-p12
в пятницу обновился, м.б. и поможет.
Ок. Попробую еще раз.

Отправлено спустя 4 минуты 59 секунд:
Neus писал(а): ядро не GENERIC.
Все, что добавлено в GENERIC (ну имя идента тоже, собственно изменено):

Код: Выделить всё

#
options         IPDIVERT
options         IPFIREWALL
#options                IPFIREWALL_FORWARD
options         IPFIREWALL_NAT
options         IPFIREWALL_VERBOSE
options         IPFIREWALL_VERBOSE_LIMIT=10
options         DUMMYNET
options         HZ=1000
options         IPSEC
options         LIBALIAS
options         NETGRAPH
options         NETGRAPH_ETHER
options         NETGRAPH_SOCKET
options         NETGRAPH_TEE
options         NETGRAPH_MPPC_ENCRYPTION
#
device          crypto
device          smbus
options         GEOM_ELI
options         TEKEN_UTF8
##############################
Отправлено спустя 3 минуты 59 секунд:
snorlov писал(а): хочется взглянуть на эти ошибки...
Тут все вроде банально zpool status -vx :

Код: Выделить всё

errors: Permanent errors have been detected in the following files:

        hdd/usr/wf@2014-02-12-12-2:/Новая папка (2)/Конкурсная документация Ген.план Павлово.doc
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/Балтийская неделя/фото Выборг/f93e453f56ee.jpg
        hdd/usr/wf@2014-02-12-12-2:/free-sa-report.2011-04-01.tgz.gz
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/Стенд/подложки/Untitled-11++.tif
        hdd/usr/wf@2014-02-12-12-2:/Текстовый документ1.txt
        hdd/usr/wf@2014-02-12-12-2:/Текстовый документ2.txt
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/Презентация/Схемки/БН/Река.gif
        hdd/usr/wf@2014-02-12-12-2:/text2.txt
        hdd/usr/wf@2014-02-12-12-2:/text1 text1.txt
        hdd/usr/wf@2014-02-12-12-2:/text2 text2.txt
        hdd/usr/wf@2014-02-12-12-2:/Новая папка/text1.txt
        hdd/usr/wf@2014-02-12-12-2:/Новая папка/text1 text1.txt
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/Презентация/Схемки/БН/УО-жилье1.tif
        hdd/usr/wf@2014-02-12-12-2:/Новая папка/text2.txt
        hdd/usr/wf@2014-02-12-12-2:/Новая папка/text2 text2.txt
        hdd/usr/wf@2014-02-12-12-2:/Новая папка/Текстовый документ1.txt
        hdd/usr/wf@2014-02-12-12-2:/Новая папка/Текстовый документ2.txt
        hdd/usr/wf@2014-02-12-12-2:/Новая папка/free-sa-report.2011-04-01.tgz.gz
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/Подготовка/Backup_of_Визитка.cdr
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/Презентация/область.files/preview.wmf
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/Подготовка/Визитка.cdr
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/Подготовка/лазерная резка и гравировка/priseART_XL.doc
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/Подготовка/лазерная резка и гравировка/Лазерный центр прайс-лист - лазерная гравировка и маркировка, цена лазерной маркировки и гравировки за единицу изделия.mht
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/Презентация/область.files/slide0003_image005.png
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/Подготовка/лазерная резка и гравировка/A-servis/price_frez.xls
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/Подготовка/лазерная резка и гравировка/A-servis/price_handprint.xls
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/Подготовка/лазерная резка и гравировка/A-servis/price_lazer.xls
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/Подготовка/лазерная резка и гравировка/A-servis/price_plenka_pe4at.xls
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/Подготовка/пакет предприятия/Прил. 5.1  условия для сторонних строителей.doc
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/Подготовка/пакет предприятия/Прил. 5.2 Контроль тех. документации (самострой).doc
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/Подготовка/пакет предприятия/Форма 5 - Эксклюзивный стенд.doc
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ссылки/1_eartlight-6-4.avi
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/~WRL0786.tmp
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/текст.doc
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/Государственный заказ Ленинградской области/Материал/VIZ/обработка/CLOUDS3.JPG
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/Государственный заказ Ленинградской области/Материал/Рабочая-главная/~ps13B.tmp
        hdd/usr/wf@2014-02-12-12-2:/READ_ME.txt
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/Стенд/Копия Ле Корбюзье.wbk
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/Государственный заказ Ленинградской области/Материал/VIZ/обработка/P7020082.JPG
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/Балтийская неделя/Общая схема/pdf/Z_A_проекты текущие_Всеволожский район_05-Транспортная схема_01-Рабочая_Транспортная схема_уо.pdf
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/Стенд/Резервная_копия_текст_b.cdr
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/Арх_ежегодник 2009-2010/pic/Открытое акционерное общество.doc
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/Стенд/текст_b.cdr
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/Балтийская неделя/Thumbs.db
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/Стенд/Образы/1112414677.jpg
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/Стенд/Образы/1229804278.gif
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/Стенд/Образы/1pingvin.jpg
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/Стенд/Образы/2d5b2a651ac4.jpg
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/Стенд/Образы/3-43-2.png
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/Презентация/Дубровка/ОП.jpg
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/Стенд/Образы/74951_1.jpg
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/Балтийская неделя/Старое/Копия Рисунок2-2.jpg
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/Стенд/Образы/getfull.jpg
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/Балтийская неделя/Старое/макет2_.dwg
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/Презентация/Схемки/усл дел.tif
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/Презентация/Схемки/усл пром.tif
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/Буклет/буклет.doc
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/Балтийская неделя/фото Выборг/39393.jpg
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ГОСЗАКАЗ 2009/Стенд/Печать/Техт.cdr
        hdd/usr/wf@2014-02-12-12-2:/A_проекты текущие/_ВЫСТАВКИ/ЛЕНЭКСПО_2010/ПЛАНШЕТЫ.cdr

snorlov
подполковник
Сообщения: 3927
Зарегистрирован: 2008-09-04 11:51:25
Откуда: Санкт-Петербург

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение snorlov » 2016-02-09 11:57:56

Ну и зачем этот снапшот держать, кстати может у вас из-за него банально места не хватает...

Код: Выделить всё

zfs list -t snapshot

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Demis » 2016-02-09 12:29:37

Neus писал(а): выключи из пула лог с кэшем
Выключил и logs и cache

Код: Выделить всё

zpool remove hdd ada0p5
zpool remove hdd ada0p6
сделал rehash, подождал час, снова rehash.
пробую rm -r ... эффект сохранился.

Код: Выделить всё

zpool status hdd
  pool: hdd
 state: ONLINE
status: One or more devices has experienced an error resulting in data
        corruption.  Applications may be affected.
action: Restore the file in question if possible.  Otherwise restore the
        entire pool from backup.
   see: http://illumos.org/msg/ZFS-8000-8A
  scan: scrub repaired 0 in 17h34m with 3451 errors on Mon Feb  8 13:52:13 2016
config:

        NAME         STATE     READ WRITE CKSUM
        hdd          ONLINE       0     0     0
          raidz2-0   ONLINE       0     0     0
            mfid1p1  ONLINE       0     0     0
            mfid2p1  ONLINE       0     0     0
            mfid3p1  ONLINE       0     0     0
            mfid4p1  ONLINE       0     0     0
            mfid5p1  ONLINE       0     0     0

errors: 3452 data errors, use '-v' for a list
А как правильно грохнуть проблемные ссылки?
Например:

Код: Выделить всё

ls "/hdd/usr/wf/.zfs/snapshot/2014-02-12-12-2/Текстовый документ1.txt"
-rw-rw----  1 administrator  domain users  16 26 апр  2013 /hdd/usr/wf/.zfs/snapshot/2014-02-12-12-2/Текстовый документ1.txt
Делаю:

Код: Выделить всё

rm "/hdd/usr/wf/.zfs/snapshot/2014-02-12-12-2/Текстовый документ1.txt"
override rw-rw----  administrator/domain users uarch for /hdd/usr/wf/.zfs/snapshot/2014-02-12-12-2/Текстовый документ1.txt? y
Получаю:

Код: Выделить всё

rm: /hdd/usr/wf/.zfs/snapshot/2014-02-12-12-2/Текстовый документ1.txt: Read-only file system
Напомню, что в снапшоте rm не приводит к перезагрузке.
Ну по крайне мере еще не наткнулся на такой файл или каталог.
Просто не понимаю как их (проблемных) всех вычислить.

Отправлено спустя 15 минут 15 секунд:
snorlov писал(а): zfs list -t snapshot
/usr/local/bin/zfs-snapshot-mgmt
Стоит и работает вроде исправно:

Код: Выделить всё

NAME                                 USED  AVAIL  REFER  MOUNTPOINT
hdd@2014-02-12-12                       0      -   270K  -
hdd@2014-02-12-12-2                     0      -   270K  -
hdd/usr@2014-02-12-12-2              199K      -   270K  -
hdd/usr@auto-2016-02-08_23.00        142K      -   432G  -
hdd/usr/wf@2014-02-12-12-2           541M      -  1,25T  -
hdd/usr/wf@2014-04-23_22.22.06--1m   550M      -  1,25T  -
hdd/usr/wf@auto-2015-11-11_14.00     106M      -  3,41T  -
hdd/usr/wf@auto-2015-11-11_17.00    75,3M      -  3,41T  -
hdd/usr/wf@auto-2015-11-11_20.00     132M      -  3,41T  -
hdd/usr/wf@auto-2015-11-11_23.00    2,27M      -  3,41T  -
hdd/usr/wf@auto-2015-11-12_02.00    1,57M      -  3,41T  -
hdd/usr/wf@auto-2015-11-12_05.00     312K      -  3,41T  -
hdd/usr/wf@auto-2015-11-12_08.00     312K      -  3,41T  -
hdd/usr/wf@auto-2015-11-12_11.00    47,6M      -  3,41T  -
hdd/usr/wf@auto-2015-11-12_14.00     102M      -  3,41T  -
hdd/usr/wf@auto-2015-11-12_17.00    52,3M      -  3,41T  -
hdd/usr/wf@auto-2015-11-12_20.00    24,8M      -  3,42T  -
hdd/usr/wf@auto-2015-11-12_23.00     483K      -  3,42T  -
hdd/usr/wf@auto-2015-11-13_02.00     398K      -  3,42T  -
hdd/usr/wf@auto-2015-11-13_05.00     241K      -  3,42T  -
hdd/usr/wf@auto-2015-11-13_08.00     241K      -  3,42T  -
hdd/usr/wf@auto-2015-11-13_11.00    41,8M      -  3,42T  -
hdd/usr/wf@auto-2015-11-13_14.00     222M      -  3,42T  -
hdd/usr/wf@auto-2015-11-13_17.00     305M      -  3,42T  -
hdd/usr/wf@auto-2015-11-13_20.00    7,27M      -  3,42T  -
hdd/usr/wf@auto-2015-11-13_23.00     284K      -  3,42T  -
hdd/usr/wf@auto-2015-11-14_02.00     284K      -  3,42T  -
hdd/usr/wf@auto-2015-11-14_05.00     284K      -  3,42T  -
hdd/usr/wf@auto-2015-11-14_08.00     284K      -  3,42T  -
hdd/usr/wf@auto-2015-11-14_11.00     284K      -  3,42T  -
hdd/usr/wf@auto-2015-11-14_14.00     724K      -  3,42T  -
hdd/usr/wf@auto-2015-11-14_17.00     952K      -  3,42T  -
hdd/usr/wf@auto-2015-11-14_20.00     497K      -  3,42T  -
hdd/usr/wf@auto-2015-11-14_23.00     412K      -  3,42T  -
hdd/usr/wf@auto-2015-11-15_02.00     412K      -  3,42T  -
hdd/usr/wf@auto-2015-11-15_05.00     298K      -  3,42T  -
hdd/usr/wf@auto-2015-11-15_08.00     298K      -  3,42T  -
hdd/usr/wf@auto-2015-11-15_11.00     298K      -  3,42T  -
hdd/usr/wf@auto-2015-11-15_14.00     298K      -  3,42T  -
hdd/usr/wf@auto-2015-11-15_17.00    1,32M      -  3,42T  -
hdd/usr/wf@auto-2015-11-15_20.00     298K      -  3,42T  -
hdd/usr/wf@auto-2015-11-15_23.00     298K      -  3,42T  -
hdd/usr/wf@auto-2015-11-16_02.00     369K      -  3,42T  -
hdd/usr/wf@auto-2015-11-16_05.00     142K      -  3,42T  -
hdd/usr/wf@auto-2015-11-16_08.00     142K      -  3,42T  -
hdd/usr/wf@auto-2015-11-16_11.00    53,0M      -  3,42T  -
hdd/usr/wf@auto-2015-11-16_14.00    97,9M      -  3,42T  -
hdd/usr/wf@auto-2015-11-16_17.00    96,2M      -  3,42T  -
hdd/usr/wf@auto-2015-11-16_20.00    29,2M      -  3,43T  -
hdd/usr/wf@auto-2015-11-16_23.00    2,16M      -  3,43T  -
hdd/usr/wf@auto-2015-11-17_02.00    12,0M      -  3,43T  -
hdd/usr/wf@auto-2015-11-17_05.00     284K      -  3,43T  -
hdd/usr/wf@auto-2015-11-17_08.00     270K      -  3,43T  -
hdd/usr/wf@auto-2015-11-17_11.00    56,8M      -  3,43T  -
hdd/usr/wf@auto-2015-11-17_14.00     112M      -  3,43T  -
hdd/usr/wf@auto-2015-11-17_17.00    78,8M      -  3,43T  -
hdd/usr/wf@auto-2015-11-17_20.00    43,1M      -  3,43T  -
hdd/usr/wf@auto-2015-11-17_23.00     213K      -  3,43T  -
hdd/usr/wf@auto-2015-11-18_02.00     199K      -  3,43T  -
hdd/usr/wf@auto-2015-11-18_05.00     213K      -  3,43T  -
hdd/usr/wf@auto-2015-11-18_08.00     213K      -  3,43T  -
hdd/usr/wf@auto-2015-11-18_11.00    84,1M      -  3,43T  -
hdd/usr/wf@auto-2015-11-18_14.00     159M      -  3,43T  -
hdd/usr/wf@auto-2015-11-18_17.00    92,8M      -  3,43T  -
hdd/usr/wf@auto-2015-11-18_20.00    2,54M      -  3,43T  -
hdd/usr/wf@auto-2015-11-18_23.00     369K      -  3,43T  -
hdd/usr/wf@auto-2015-11-19_02.00     369K      -  3,43T  -
hdd/usr/wf@auto-2015-11-19_05.00     369K      -  3,43T  -
hdd/usr/wf@auto-2015-11-19_08.00     369K      -  3,43T  -
hdd/usr/wf@auto-2015-11-19_11.00    86,1M      -  3,43T  -
hdd/usr/wf@auto-2015-11-19_14.00    70,5M      -  3,43T  -
hdd/usr/wf@auto-2015-11-19_17.00     107M      -  3,43T  -
hdd/usr/wf@auto-2015-11-20_08.00    73,3M      -  3,43T  -
hdd/usr/wf@auto-2015-11-20_11.00    40,0M      -  3,43T  -
hdd/usr/wf@auto-2015-11-20_14.00    93,5M      -  3,43T  -
hdd/usr/wf@auto-2015-11-20_17.00     122M      -  3,44T  -
hdd/usr/wf@auto-2015-11-20_20.00    5,24M      -  3,44T  -
hdd/usr/wf@auto-2015-11-20_23.00     369K      -  3,44T  -
hdd/usr/wf@auto-2015-11-21_02.00     369K      -  3,44T  -
hdd/usr/wf@auto-2015-11-21_05.00     369K      -  3,44T  -
hdd/usr/wf@auto-2015-11-21_08.00     369K      -  3,44T  -
hdd/usr/wf@auto-2015-11-21_11.00     369K      -  3,44T  -
hdd/usr/wf@auto-2015-11-21_14.00     369K      -  3,44T  -
hdd/usr/wf@auto-2015-11-21_17.00    1,46M      -  3,44T  -
hdd/usr/wf@auto-2015-11-21_20.00     369K      -  3,44T  -
hdd/usr/wf@auto-2015-11-21_23.00     369K      -  3,44T  -
hdd/usr/wf@auto-2015-11-22_02.00     369K      -  3,44T  -
hdd/usr/wf@auto-2015-11-22_05.00     369K      -  3,44T  -
hdd/usr/wf@auto-2015-11-22_08.00     369K      -  3,44T  -
hdd/usr/wf@auto-2015-11-22_11.00    8,13M      -  3,44T  -
hdd/usr/wf@auto-2015-11-22_14.00     298K      -  3,44T  -
hdd/usr/wf@auto-2015-11-22_17.00     298K      -  3,44T  -
hdd/usr/wf@auto-2015-11-22_20.00     369K      -  3,44T  -
hdd/usr/wf@auto-2015-11-22_23.00     369K      -  3,44T  -
hdd/usr/wf@auto-2015-11-23_02.00     298K      -  3,44T  -
hdd/usr/wf@auto-2015-11-23_05.00     170K      -  3,44T  -
hdd/usr/wf@auto-2015-11-23_08.00     170K      -  3,44T  -
hdd/usr/wf@auto-2015-11-23_11.00    45,1M      -  3,44T  -
hdd/usr/wf@auto-2015-11-23_14.00     108M      -  3,44T  -
hdd/usr/wf@auto-2015-11-23_17.00     116M      -  3,44T  -
hdd/usr/wf@auto-2015-11-23_20.00    9,15M      -  3,44T  -
hdd/usr/wf@auto-2015-11-23_23.00    1,12M      -  3,44T  -
hdd/usr/wf@auto-2015-11-24_02.00    2,83M      -  3,44T  -
hdd/usr/wf@auto-2015-11-24_05.00        0      -  3,44T  -
hdd/usr/wf@auto-2015-11-24_08.00        0      -  3,44T  -
hdd/usr/wf@auto-2015-11-24_11.00    67,4M      -  3,44T  -
hdd/usr/wf@auto-2015-11-24_14.00     226M      -  3,44T  -
hdd/usr/wf@auto-2015-11-24_17.00    93,6M      -  3,44T  -
hdd/usr/wf@auto-2015-11-24_20.00    6,39M      -  3,44T  -
hdd/usr/wf@auto-2015-11-24_23.00     781K      -  3,44T  -
hdd/usr/wf@auto-2015-11-25_02.00    1,66M      -  3,44T  -
hdd/usr/wf@auto-2015-11-25_05.00    6,48M      -  3,44T  -
hdd/usr/wf@auto-2015-11-25_08.00    2,46M      -  3,44T  -
hdd/usr/wf@auto-2015-11-25_11.00    68,6M      -  3,44T  -
hdd/usr/wf@auto-2015-11-25_14.00     112M      -  3,44T  -
hdd/usr/wf@auto-2015-11-25_17.00    42,3M      -  3,44T  -
hdd/usr/wf@auto-2015-11-25_20.00    1,32M      -  3,44T  -
hdd/usr/wf@auto-2015-11-25_23.00     327K      -  3,44T  -
hdd/usr/wf@auto-2015-11-26_02.00    1,55M      -  3,44T  -
hdd/usr/wf@auto-2015-11-26_05.00     213K      -  3,44T  -
hdd/usr/wf@auto-2015-11-26_08.00     213K      -  3,44T  -
hdd/usr/wf@auto-2015-11-26_11.00    53,5M      -  3,45T  -
hdd/usr/wf@auto-2015-11-26_14.00     102M      -  3,45T  -
hdd/usr/wf@auto-2015-11-26_17.00    84,6M      -  3,45T  -
hdd/usr/wf@auto-2015-11-26_20.00    30,9M      -  3,45T  -
hdd/usr/wf@auto-2015-11-26_23.00     298K      -  3,45T  -
hdd/usr/wf@auto-2015-11-27_02.00     298K      -  3,45T  -
hdd/usr/wf@auto-2015-11-27_05.00     298K      -  3,45T  -
hdd/usr/wf@auto-2015-11-27_08.00     298K      -  3,45T  -
hdd/usr/wf@auto-2015-11-27_11.00    45,2M      -  3,45T  -
hdd/usr/wf@auto-2015-11-27_14.00    85,4M      -  3,45T  -
hdd/usr/wf@auto-2015-11-27_17.00    63,0M      -  3,45T  -
hdd/usr/wf@auto-2015-11-27_20.00    11,8M      -  3,45T  -
hdd/usr/wf@auto-2015-11-27_23.00     355K      -  3,45T  -
hdd/usr/wf@auto-2015-11-28_02.00     355K      -  3,45T  -
hdd/usr/wf@auto-2015-11-28_05.00     284K      -  3,45T  -
hdd/usr/wf@auto-2015-11-28_08.00     284K      -  3,45T  -
hdd/usr/wf@auto-2015-11-28_11.00     284K      -  3,45T  -
hdd/usr/wf@auto-2015-11-28_14.00     341K      -  3,45T  -
hdd/usr/wf@auto-2015-11-28_17.00    1,46M      -  3,45T  -
hdd/usr/wf@auto-2015-11-28_20.00     355K      -  3,45T  -
hdd/usr/wf@auto-2015-11-28_23.00     355K      -  3,45T  -
hdd/usr/wf@auto-2015-11-29_02.00     355K      -  3,45T  -
hdd/usr/wf@auto-2015-11-29_05.00     284K      -  3,45T  -
hdd/usr/wf@auto-2015-11-29_08.00     284K      -  3,45T  -
hdd/usr/wf@auto-2015-11-29_11.00     284K      -  3,45T  -
hdd/usr/wf@auto-2015-11-29_14.00     284K      -  3,45T  -
hdd/usr/wf@auto-2015-11-29_17.00    1,25M      -  3,45T  -
hdd/usr/wf@auto-2015-11-29_20.00     383K      -  3,45T  -
hdd/usr/wf@auto-2015-11-29_23.00     483K      -  3,45T  -
hdd/usr/wf@auto-2015-11-30_02.00     582K      -  3,45T  -
hdd/usr/wf@auto-2015-11-30_05.00     170K      -  3,45T  -
hdd/usr/wf@auto-2015-11-30_08.00     170K      -  3,45T  -
hdd/usr/wf@auto-2015-11-30_11.00    45,8M      -  3,45T  -
hdd/usr/wf@auto-2015-11-30_14.00    53,3M      -  3,45T  -
hdd/usr/wf@auto-2015-11-30_17.00    51,9M      -  3,45T  -
hdd/usr/wf@auto-2015-11-30_20.00    5,75M      -  3,45T  -
hdd/usr/wf@auto-2015-11-30_23.00     625K      -  3,45T  -
hdd/usr/wf@auto-2015-12-01_02.00    1,26M      -  3,45T  -
hdd/usr/wf@auto-2015-12-01_05.00     170K      -  3,45T  -
hdd/usr/wf@auto-2015-12-01_08.00     170K      -  3,45T  -
hdd/usr/wf@auto-2015-12-01_11.00     428M      -  3,45T  -
hdd/usr/wf@auto-2015-12-01_14.00     137M      -  3,46T  -
hdd/usr/wf@auto-2015-12-01_17.00    97,7M      -  3,47T  -
hdd/usr/wf@auto-2015-12-01_20.00    22,1M      -  3,47T  -
hdd/usr/wf@auto-2015-12-01_23.00    1,26M      -  3,47T  -
hdd/usr/wf@auto-2015-12-02_02.00    2,66M      -  3,47T  -
hdd/usr/wf@auto-2015-12-02_05.00     170K      -  3,47T  -
hdd/usr/wf@auto-2015-12-02_08.00     170K      -  3,47T  -
hdd/usr/wf@auto-2015-12-02_11.00     105M      -  3,47T  -
hdd/usr/wf@auto-2015-12-02_14.00     132M      -  3,48T  -
hdd/usr/wf@auto-2015-12-02_17.00    78,2M      -  3,48T  -
hdd/usr/wf@auto-2015-12-02_20.00    86,4M      -  3,48T  -
hdd/usr/wf@auto-2015-12-02_23.00     224M      -  3,48T  -
hdd/usr/wf@auto-2015-12-03_02.00    42,1M      -  3,48T  -
hdd/usr/wf@auto-2015-12-03_05.00     256K      -  3,48T  -
hdd/usr/wf@auto-2015-12-03_08.00     256K      -  3,48T  -
hdd/usr/wf@auto-2015-12-03_11.00     115M      -  3,48T  -
hdd/usr/wf@auto-2015-12-03_14.00     223M      -  3,54T  -
hdd/usr/wf@auto-2015-12-03_17.00    70,2M      -  3,54T  -
hdd/usr/wf@auto-2015-12-03_20.00    4,63M      -  3,55T  -
hdd/usr/wf@auto-2015-12-03_23.00     256K      -  3,55T  -
hdd/usr/wf@auto-2015-12-04_02.00     256K      -  3,55T  -
hdd/usr/wf@auto-2015-12-04_05.00     256K      -  3,55T  -
hdd/usr/wf@auto-2015-12-04_08.00     256K      -  3,55T  -
hdd/usr/wf@auto-2015-12-04_11.00    47,7M      -  3,55T  -
hdd/usr/wf@auto-2015-12-04_14.00    63,3M      -  3,55T  -
hdd/usr/wf@auto-2015-12-04_17.00     147M      -  3,55T  -
hdd/usr/wf@auto-2015-12-04_20.00    4,79M      -  3,55T  -
hdd/usr/wf@auto-2015-12-04_23.00     369K      -  3,55T  -
hdd/usr/wf@auto-2015-12-05_02.00     426K      -  3,55T  -
hdd/usr/wf@auto-2015-12-05_05.00     298K      -  3,55T  -
hdd/usr/wf@auto-2015-12-05_08.00     298K      -  3,55T  -
hdd/usr/wf@auto-2015-12-05_11.00     298K      -  3,55T  -
hdd/usr/wf@auto-2015-12-05_14.00     298K      -  3,55T  -
hdd/usr/wf@auto-2015-12-05_17.00     412K      -  3,55T  -
hdd/usr/wf@auto-2015-12-05_20.00     511K      -  3,55T  -
hdd/usr/wf@auto-2015-12-05_23.00     298K      -  3,55T  -
hdd/usr/wf@auto-2015-12-06_02.00     298K      -  3,55T  -
hdd/usr/wf@auto-2015-12-06_05.00     298K      -  3,55T  -
hdd/usr/wf@auto-2015-12-06_08.00     298K      -  3,55T  -
hdd/usr/wf@auto-2015-12-06_11.00     298K      -  3,55T  -
hdd/usr/wf@auto-2015-12-06_14.00     298K      -  3,55T  -
hdd/usr/wf@auto-2015-12-06_17.00     298K      -  3,55T  -
hdd/usr/wf@auto-2015-12-06_20.00     298K      -  3,55T  -
hdd/usr/wf@auto-2015-12-06_23.00     298K      -  3,55T  -
hdd/usr/wf@auto-2015-12-07_02.00     241K      -  3,55T  -
hdd/usr/wf@auto-2015-12-07_05.00        0      -  3,55T  -
hdd/usr/wf@auto-2015-12-07_08.00        0      -  3,55T  -
hdd/usr/wf@auto-2015-12-07_11.00    66,3M      -  3,55T  -
hdd/usr/wf@auto-2015-12-07_14.00     150M      -  3,55T  -
hdd/usr/wf@auto-2015-12-07_17.00    91,9M      -  3,55T  -
hdd/usr/wf@auto-2015-12-07_20.00    1,78M      -  3,55T  -
hdd/usr/wf@auto-2015-12-07_23.00     824K      -  3,55T  -
hdd/usr/wf@auto-2015-12-08_02.00    5,10M      -  3,55T  -
hdd/usr/wf@auto-2015-12-08_05.00     185K      -  3,55T  -
hdd/usr/wf@auto-2015-12-08_08.00     185K      -  3,55T  -
hdd/usr/wf@auto-2015-12-08_11.00    74,2M      -  3,55T  -
hdd/usr/wf@auto-2015-12-08_14.00     113M      -  3,55T  -
hdd/usr/wf@auto-2015-12-08_17.00    59,0M      -  3,66T  -
hdd/usr/wf@auto-2015-12-08_20.00    10,5M      -  3,66T  -
hdd/usr/wf@auto-2015-12-08_23.00    4,51M      -  3,66T  -
hdd/usr/wf@auto-2015-12-09_02.00    10,4M      -  3,66T  -
hdd/usr/wf@auto-2015-12-09_05.00     298K      -  3,66T  -
hdd/usr/wf@auto-2015-12-09_08.00     298K      -  3,66T  -
hdd/usr/wf@auto-2015-12-09_11.00     252M      -  3,67T  -
hdd/usr/wf@auto-2015-12-09_14.00    94,4M      -  3,67T  -
hdd/usr/wf@auto-2015-12-09_17.00     108M      -  3,67T  -
hdd/usr/wf@auto-2015-12-09_20.00    22,9M      -  3,67T  -
hdd/usr/wf@auto-2015-12-09_23.00     369K      -  3,67T  -
hdd/usr/wf@auto-2015-12-10_02.00     369K      -  3,67T  -
hdd/usr/wf@auto-2015-12-10_05.00     369K      -  3,67T  -
hdd/usr/wf@auto-2015-12-10_08.00     369K      -  3,67T  -
hdd/usr/wf@auto-2015-12-21_08.00     152M      -  3,67T  -
hdd/usr/wf@auto-2015-12-21_11.00     157M      -  3,67T  -
hdd/usr/wf@auto-2015-12-21_14.00     567M      -  3,67T  -
hdd/usr/wf@auto-2015-12-21_17.00    1,34G      -  3,67T  -
hdd/usr/wf@auto-2015-12-21_20.00     323M      -  3,67T  -
hdd/usr/wf@auto-2015-12-21_23.00    4,94M      -  3,67T  -
hdd/usr/wf@auto-2015-12-22_02.00    5,58M      -  3,67T  -
hdd/usr/wf@auto-2015-12-22_05.00     241K      -  3,67T  -
hdd/usr/wf@auto-2015-12-22_08.00     241K      -  3,67T  -
hdd/usr/wf@auto-2015-12-22_11.00    22,1M      -  3,67T  -
hdd/usr/wf@auto-2015-12-22_14.00    53,1M      -  3,67T  -
hdd/usr/wf@auto-2015-12-22_17.00     642M      -  3,68T  -
hdd/usr/wf@auto-2015-12-22_20.00    26,8M      -  3,68T  -
hdd/usr/wf@auto-2015-12-22_23.00     312K      -  3,68T  -
hdd/usr/wf@auto-2015-12-23_02.00     312K      -  3,68T  -
hdd/usr/wf@auto-2015-12-23_05.00     312K      -  3,68T  -
hdd/usr/wf@auto-2015-12-23_08.00     312K      -  3,68T  -
hdd/usr/wf@auto-2015-12-23_11.00    34,1M      -  3,68T  -
hdd/usr/wf@auto-2015-12-23_14.00    67,4M      -  3,68T  -
hdd/usr/wf@auto-2015-12-23_17.00    36,3M      -  3,69T  -
hdd/usr/wf@auto-2015-12-23_20.00    8,99M      -  3,69T  -
hdd/usr/wf@auto-2015-12-23_23.00    1,81M      -  3,69T  -
hdd/usr/wf@auto-2015-12-24_02.00    1,54M      -  3,69T  -
hdd/usr/wf@auto-2015-12-24_05.00     256K      -  3,69T  -
hdd/usr/wf@auto-2015-12-24_08.00     256K      -  3,69T  -
hdd/usr/wf@auto-2015-12-24_11.00    47,1M      -  3,69T  -
hdd/usr/wf@auto-2015-12-24_14.00    57,2M      -  3,69T  -
hdd/usr/wf@auto-2015-12-24_17.00    97,4M      -  3,69T  -
hdd/usr/wf@auto-2015-12-24_20.00    53,0M      -  3,69T  -
hdd/usr/wf@auto-2015-12-24_23.00    25,0M      -  3,69T  -
hdd/usr/wf@auto-2015-12-25_02.00    35,8M      -  3,69T  -
hdd/usr/wf@auto-2015-12-25_05.00    9,16M      -  3,69T  -
hdd/usr/wf@auto-2015-12-25_08.00    1,60M      -  3,69T  -
hdd/usr/wf@auto-2015-12-25_11.00     642M      -  3,69T  -
hdd/usr/wf@auto-2015-12-25_14.00     879M      -  3,69T  -
hdd/usr/wf@auto-2015-12-25_17.00     364M      -  3,69T  -
hdd/usr/wf@auto-2015-12-25_20.00    13,2M      -  3,69T  -
hdd/usr/wf@auto-2015-12-25_23.00    1,25M      -  3,69T  -
hdd/usr/wf@auto-2015-12-26_02.00    1,65M      -  3,69T  -
hdd/usr/wf@auto-2015-12-26_05.00     554K      -  3,69T  -
hdd/usr/wf@auto-2015-12-26_08.00     554K      -  3,69T  -
hdd/usr/wf@auto-2015-12-26_11.00     554K      -  3,69T  -
hdd/usr/wf@auto-2015-12-26_14.00     554K      -  3,69T  -
hdd/usr/wf@auto-2015-12-26_17.00     554K      -  3,69T  -
hdd/usr/wf@auto-2015-12-26_20.00     554K      -  3,69T  -
hdd/usr/wf@auto-2015-12-26_23.00    1,11M      -  3,69T  -
hdd/usr/wf@auto-2015-12-27_02.00    9,25M      -  3,69T  -
hdd/usr/wf@auto-2015-12-27_05.00     554K      -  3,69T  -
hdd/usr/wf@auto-2015-12-27_08.00     554K      -  3,69T  -
hdd/usr/wf@auto-2015-12-27_11.00     554K      -  3,69T  -
hdd/usr/wf@auto-2015-12-27_14.00     554K      -  3,69T  -
hdd/usr/wf@auto-2015-12-27_17.00    12,9M      -  3,69T  -
hdd/usr/wf@auto-2015-12-27_20.00    10,2M      -  3,69T  -
hdd/usr/wf@auto-2015-12-27_23.00    4,30M      -  3,69T  -
hdd/usr/wf@auto-2015-12-28_02.00    5,77M      -  3,69T  -
hdd/usr/wf@auto-2015-12-28_05.00     156K      -  3,69T  -
hdd/usr/wf@auto-2015-12-28_08.00     156K      -  3,69T  -
hdd/usr/wf@auto-2015-12-28_11.00    24,9M      -  3,69T  -
hdd/usr/wf@auto-2015-12-28_14.00    86,0M      -  3,69T  -
hdd/usr/wf@auto-2015-12-28_17.00     276M      -  3,69T  -
hdd/usr/wf@auto-2015-12-28_20.00    49,7M      -  3,70T  -
hdd/usr/wf@auto-2015-12-28_23.00    12,1M      -  3,70T  -
hdd/usr/wf@auto-2015-12-29_02.00    16,9M      -  3,70T  -
hdd/usr/wf@auto-2015-12-29_05.00     170K      -  3,70T  -
hdd/usr/wf@auto-2015-12-29_08.00     170K      -  3,70T  -
hdd/usr/wf@auto-2015-12-29_11.00    46,0M      -  3,70T  -
hdd/usr/wf@auto-2015-12-29_14.00    64,0M      -  3,70T  -
hdd/usr/wf@auto-2015-12-29_17.00    49,2M      -  3,70T  -
hdd/usr/wf@auto-2015-12-29_20.00    49,0M      -  3,70T  -
hdd/usr/wf@auto-2015-12-29_23.00     241K      -  3,70T  -
hdd/usr/wf@auto-2015-12-30_02.00     241K      -  3,70T  -
hdd/usr/wf@auto-2015-12-30_05.00     241K      -  3,70T  -
hdd/usr/wf@auto-2015-12-30_08.00     241K      -  3,70T  -
hdd/usr/wf@auto-2015-12-30_11.00    13,8M      -  3,70T  -
hdd/usr/wf@auto-2015-12-30_14.00    48,3M      -  3,70T  -
hdd/usr/wf@auto-2015-12-30_17.00     327K      -  3,70T  -
hdd/usr/wf@auto-2015-12-30_20.00     256K      -  3,70T  -
hdd/usr/wf@auto-2015-12-30_23.00     256K      -  3,70T  -
hdd/usr/wf@auto-2015-12-31_02.00     256K      -  3,70T  -
hdd/usr/wf@auto-2015-12-31_05.00     256K      -  3,70T  -
hdd/usr/wf@auto-2015-12-31_08.00     256K      -  3,70T  -
hdd/usr/wf@auto-2015-12-31_11.00     256K      -  3,70T  -
hdd/usr/wf@auto-2015-12-31_14.00     540K      -  3,70T  -
hdd/usr/wf@auto-2015-12-31_17.00     511K      -  3,70T  -
hdd/usr/wf@auto-2015-12-31_20.00     341K      -  3,70T  -
hdd/usr/wf@auto-2015-12-31_23.00     341K      -  3,70T  -
hdd/usr/wf@auto-2016-01-01_02.00     341K      -  3,70T  -
hdd/usr/wf@auto-2016-01-01_05.00     270K      -  3,70T  -
hdd/usr/wf@auto-2016-01-01_08.00     270K      -  3,70T  -
hdd/usr/wf@auto-2016-01-01_11.00     270K      -  3,70T  -
hdd/usr/wf@auto-2016-01-01_14.00     270K      -  3,70T  -
hdd/usr/wf@auto-2016-01-01_17.00     270K      -  3,70T  -
hdd/usr/wf@auto-2016-01-01_20.00     270K      -  3,70T  -
hdd/usr/wf@auto-2016-01-01_23.00     270K      -  3,70T  -
hdd/usr/wf@auto-2016-01-02_02.00     270K      -  3,70T  -
hdd/usr/wf@auto-2016-01-02_05.00     270K      -  3,70T  -
hdd/usr/wf@auto-2016-01-02_08.00     270K      -  3,70T  -
hdd/usr/wf@auto-2016-01-02_11.00     270K      -  3,70T  -
hdd/usr/wf@auto-2016-01-02_14.00     270K      -  3,70T  -
hdd/usr/wf@auto-2016-01-02_17.00     270K      -  3,70T  -
hdd/usr/wf@auto-2016-01-02_20.00     270K      -  3,70T  -
hdd/usr/wf@auto-2016-01-02_23.00     270K      -  3,70T  -
hdd/usr/wf@auto-2016-01-03_02.00     270K      -  3,70T  -
hdd/usr/wf@auto-2016-01-03_05.00     270K      -  3,70T  -
hdd/usr/wf@auto-2016-01-03_08.00     270K      -  3,70T  -
hdd/usr/wf@auto-2016-01-03_11.00     270K      -  3,70T  -
hdd/usr/wf@auto-2016-01-03_14.00     270K      -  3,70T  -
hdd/usr/wf@auto-2016-01-03_17.00     270K      -  3,70T  -
hdd/usr/wf@auto-2016-01-03_20.00     270K      -  3,70T  -
hdd/usr/wf@auto-2016-01-03_23.00     270K      -  3,70T  -
hdd/usr/wf@auto-2016-01-04_02.00     355K      -  3,70T  -
hdd/usr/wf@auto-2016-01-04_05.00     156K      -  3,70T  -
hdd/usr/wf@auto-2016-01-04_08.00     156K      -  3,70T  -
hdd/usr/wf@auto-2016-01-04_11.00     185K      -  3,70T  -
hdd/usr/wf@auto-2016-01-04_14.00     156K      -  3,70T  -
hdd/usr/wf@auto-2016-01-04_17.00     156K      -  3,70T  -
hdd/usr/wf@auto-2016-01-04_20.00     156K      -  3,70T  -
hdd/usr/wf@auto-2016-01-04_23.00     156K      -  3,70T  -
hdd/usr/wf@auto-2016-01-05_02.00     156K      -  3,70T  -
hdd/usr/wf@auto-2016-01-05_05.00     156K      -  3,70T  -
hdd/usr/wf@auto-2016-01-05_08.00     156K      -  3,70T  -
hdd/usr/wf@auto-2016-01-05_11.00     156K      -  3,70T  -
hdd/usr/wf@auto-2016-01-05_14.00     156K      -  3,70T  -
hdd/usr/wf@auto-2016-01-05_17.00    1,37M      -  3,70T  -
hdd/usr/wf@auto-2016-01-05_20.00     412K      -  3,72T  -
hdd/usr/wf@auto-2016-01-05_23.00     156K      -  3,72T  -
hdd/usr/wf@auto-2016-01-06_02.00     156K      -  3,72T  -
hdd/usr/wf@auto-2016-01-06_05.00     156K      -  3,72T  -
hdd/usr/wf@auto-2016-01-06_08.00     156K      -  3,72T  -
hdd/usr/wf@auto-2016-01-06_11.00     156K      -  3,72T  -
hdd/usr/wf@auto-2016-01-06_14.00     156K      -  3,72T  -
hdd/usr/wf@auto-2016-01-06_17.00     156K      -  3,72T  -
hdd/usr/wf@auto-2016-01-06_20.00     156K      -  3,72T  -
hdd/usr/wf@auto-2016-01-06_23.00     256K      -  3,72T  -
hdd/usr/wf@auto-2016-01-07_02.00     256K      -  3,72T  -
hdd/usr/wf@auto-2016-01-07_05.00     213K      -  3,72T  -
hdd/usr/wf@auto-2016-01-07_08.00     213K      -  3,72T  -
hdd/usr/wf@auto-2016-01-07_11.00     213K      -  3,72T  -
hdd/usr/wf@auto-2016-01-07_14.00     213K      -  3,72T  -
hdd/usr/wf@auto-2016-01-07_17.00     213K      -  3,72T  -
hdd/usr/wf@auto-2016-01-07_20.00     213K      -  3,72T  -
hdd/usr/wf@auto-2016-01-07_23.00     213K      -  3,72T  -
hdd/usr/wf@auto-2016-01-08_02.00     213K      -  3,72T  -
hdd/usr/wf@auto-2016-01-08_05.00     213K      -  3,72T  -
hdd/usr/wf@auto-2016-01-08_08.00     213K      -  3,72T  -
hdd/usr/wf@auto-2016-01-08_11.00     213K      -  3,72T  -
hdd/usr/wf@auto-2016-01-08_14.00     213K      -  3,72T  -
hdd/usr/wf@auto-2016-01-08_17.00     213K      -  3,72T  -
hdd/usr/wf@auto-2016-01-08_20.00     213K      -  3,72T  -
hdd/usr/wf@auto-2016-01-08_23.00     213K      -  3,72T  -
hdd/usr/wf@auto-2016-01-09_02.00     724K      -  3,72T  -
hdd/usr/wf@auto-2016-01-09_05.00     213K      -  3,72T  -
hdd/usr/wf@auto-2016-01-09_08.00     213K      -  3,72T  -
hdd/usr/wf@auto-2016-01-09_11.00     454K      -  3,72T  -
hdd/usr/wf@auto-2016-01-09_14.00     454K      -  3,72T  -
hdd/usr/wf@auto-2016-01-09_17.00     632K      -  3,72T  -
hdd/usr/wf@auto-2016-01-09_20.00     270K      -  3,72T  -
hdd/usr/wf@auto-2016-01-09_23.00     270K      -  3,72T  -
hdd/usr/wf@auto-2016-01-10_02.00     270K      -  3,72T  -
hdd/usr/wf@auto-2016-01-10_05.00     213K      -  3,72T  -
hdd/usr/wf@auto-2016-01-10_08.00     213K      -  3,72T  -
hdd/usr/wf@auto-2016-01-10_11.00     213K      -  3,72T  -
hdd/usr/wf@auto-2016-01-10_14.00     213K      -  3,72T  -
hdd/usr/wf@auto-2016-01-10_17.00     227K      -  3,72T  -
hdd/usr/wf@auto-2016-01-10_20.00     256K      -  3,72T  -
hdd/usr/wf@auto-2016-01-10_23.00     270K      -  3,72T  -
hdd/usr/wf@auto-2016-01-11_02.00     270K      -  3,72T  -
hdd/usr/wf@auto-2016-01-11_05.00     156K      -  3,72T  -
hdd/usr/wf@auto-2016-01-11_08.00     156K      -  3,72T  -
hdd/usr/wf@auto-2016-01-11_11.00    64,3M      -  3,72T  -
hdd/usr/wf@auto-2016-01-11_14.00    68,6M      -  3,72T  -
hdd/usr/wf@auto-2016-01-11_17.00    39,9M      -  3,72T  -
hdd/usr/wf@auto-2016-01-11_20.00    5,38M      -  3,72T  -
hdd/usr/wf@auto-2016-01-11_23.00     156K      -  3,72T  -
hdd/usr/wf@auto-2016-01-12_02.00     156K      -  3,72T  -
hdd/usr/wf@auto-2016-01-12_05.00     156K      -  3,72T  -
hdd/usr/wf@auto-2016-01-12_08.00     156K      -  3,72T  -
hdd/usr/wf@auto-2016-01-12_11.00    26,6M      -  3,72T  -
hdd/usr/wf@auto-2016-01-12_14.00    39,1M      -  3,72T  -
hdd/usr/wf@auto-2016-01-12_17.00    46,2M      -  3,72T  -
hdd/usr/wf@auto-2016-01-12_20.00    1,37M      -  3,72T  -
hdd/usr/wf@auto-2016-01-12_23.00     739K      -  3,72T  -
hdd/usr/wf@auto-2016-01-13_02.00    2,86M      -  3,72T  -
hdd/usr/wf@auto-2016-01-13_05.00     156K      -  3,72T  -
hdd/usr/wf@auto-2016-01-13_08.00     156K      -  3,72T  -
hdd/usr/wf@auto-2016-01-13_11.00    54,1M      -  3,72T  -
hdd/usr/wf@auto-2016-01-13_14.00    77,7M      -  3,72T  -
hdd/usr/wf@auto-2016-01-13_17.00    77,2M      -  3,73T  -
hdd/usr/wf@auto-2016-01-13_20.00    3,19M      -  3,73T  -
hdd/usr/wf@auto-2016-01-13_23.00    1,41M      -  3,73T  -
hdd/usr/wf@auto-2016-01-14_02.00    2,89M      -  3,73T  -
hdd/usr/wf@auto-2016-01-14_05.00     156K      -  3,73T  -
hdd/usr/wf@auto-2016-01-14_08.00     156K      -  3,73T  -
hdd/usr/wf@auto-2016-01-14_11.00    43,8M      -  3,73T  -
hdd/usr/wf@auto-2016-01-14_14.00    84,3M      -  3,73T  -
hdd/usr/wf@auto-2016-01-14_17.00    44,1M      -  3,73T  -
hdd/usr/wf@auto-2016-01-14_20.00    15,9M      -  3,73T  -
hdd/usr/wf@auto-2016-01-14_23.00    4,06M      -  3,73T  -
hdd/usr/wf@auto-2016-01-15_02.00    5,19M      -  3,73T  -
hdd/usr/wf@auto-2016-01-15_05.00     199K      -  3,73T  -
hdd/usr/wf@auto-2016-01-15_08.00     199K      -  3,73T  -
hdd/usr/wf@auto-2016-01-15_11.00    86,1M      -  3,73T  -
hdd/usr/wf@auto-2016-01-15_14.00     156M      -  3,73T  -
hdd/usr/wf@auto-2016-01-15_20.00    1,48M      -  3,73T  -
hdd/usr/wf@auto-2016-01-15_23.00     426K      -  3,73T  -
hdd/usr/wf@auto-2016-01-16_02.00    4,55M      -  3,73T  -
hdd/usr/wf@auto-2016-01-16_05.00     227K      -  3,73T  -
hdd/usr/wf@auto-2016-01-16_08.00     227K      -  3,73T  -
hdd/usr/wf@auto-2016-01-16_11.00     227K      -  3,73T  -
hdd/usr/wf@auto-2016-01-16_14.00     227K      -  3,73T  -
hdd/usr/wf@auto-2016-01-16_17.00     227K      -  3,73T  -
hdd/usr/wf@auto-2016-01-16_20.00     284K      -  3,73T  -
hdd/usr/wf@auto-2016-01-16_23.00     227K      -  3,73T  -
hdd/usr/wf@auto-2016-01-17_02.00     227K      -  3,73T  -
hdd/usr/wf@auto-2016-01-17_05.00     227K      -  3,73T  -
hdd/usr/wf@auto-2016-01-17_08.00     227K      -  3,73T  -
hdd/usr/wf@auto-2016-01-17_11.00     227K      -  3,73T  -
hdd/usr/wf@auto-2016-01-17_14.00     227K      -  3,73T  -
hdd/usr/wf@auto-2016-01-17_17.00     227K      -  3,73T  -
hdd/usr/wf@auto-2016-01-17_20.00     227K      -  3,73T  -
hdd/usr/wf@auto-2016-01-17_23.00     227K      -  3,73T  -
hdd/usr/wf@auto-2016-01-18_02.00     185K      -  3,73T  -
hdd/usr/wf@auto-2016-01-18_05.00        0      -  3,73T  -
hdd/usr/wf@auto-2016-01-18_08.00        0      -  3,73T  -
hdd/usr/wf@auto-2016-01-18_11.00    38,6M      -  3,73T  -
hdd/usr/wf@auto-2016-01-18_14.00    45,9M      -  3,73T  -
hdd/usr/wf@auto-2016-01-18_17.00    27,5M      -  3,73T  -
hdd/usr/wf@auto-2016-01-18_20.00    9,47M      -  3,73T  -
hdd/usr/wf@auto-2016-01-18_23.00     909K      -  3,73T  -
hdd/usr/wf@auto-2016-01-19_02.00    1,98M      -  3,73T  -
hdd/usr/wf@auto-2016-01-19_05.00     199K      -  3,73T  -
hdd/usr/wf@auto-2016-01-19_08.00     199K      -  3,73T  -
hdd/usr/wf@auto-2016-01-19_11.00    96,8M      -  3,73T  -
hdd/usr/wf@auto-2016-01-19_14.00     631M      -  3,73T  -
hdd/usr/wf@auto-2016-01-19_17.00     635M      -  3,73T  -
hdd/usr/wf@auto-2016-01-19_20.00     627M      -  3,73T  -
hdd/usr/wf@auto-2016-01-19_23.00     627M      -  3,73T  -
hdd/usr/wf@auto-2016-01-20_02.00     627M      -  3,73T  -
hdd/usr/wf@auto-2016-01-20_05.00     627M      -  3,73T  -
hdd/usr/wf@auto-2016-01-20_08.00     627M      -  3,73T  -
hdd/usr/wf@auto-2016-01-20_11.00    99,7M      -  3,73T  -
hdd/usr/wf@auto-2016-01-20_14.00    51,4M      -  3,73T  -
hdd/usr/wf@auto-2016-01-20_17.00    21,3M      -  3,73T  -
hdd/usr/wf@auto-2016-01-20_20.00    2,59M      -  3,73T  -
hdd/usr/wf@auto-2016-01-20_23.00     597K      -  3,73T  -
hdd/usr/wf@auto-2016-01-21_02.00    2,73M      -  3,73T  -
hdd/usr/wf@auto-2016-01-21_05.00     312K      -  3,73T  -
hdd/usr/wf@auto-2016-01-21_08.00     312K      -  3,73T  -
hdd/usr/wf@auto-2016-01-21_11.00    28,7M      -  3,73T  -
hdd/usr/wf@auto-2016-01-21_14.00    59,7M      -  3,73T  -
hdd/usr/wf@auto-2016-01-21_17.00    94,0M      -  3,74T  -
hdd/usr/wf@auto-2016-01-21_20.00    11,4M      -  3,74T  -
hdd/usr/wf@auto-2016-01-21_23.00     469K      -  3,74T  -
hdd/usr/wf@auto-2016-01-22_02.00     469K      -  3,74T  -
hdd/usr/wf@auto-2016-01-22_05.00     312K      -  3,74T  -
hdd/usr/wf@auto-2016-01-22_08.00     312K      -  3,74T  -
hdd/usr/wf@auto-2016-01-22_11.00    23,5M      -  3,74T  -
hdd/usr/wf@auto-2016-01-22_14.00    23,8M      -  3,74T  -
hdd/usr/wf@auto-2016-01-22_17.00    24,4M      -  3,74T  -
hdd/usr/wf@auto-2016-01-22_20.00    13,5M      -  3,74T  -
hdd/usr/wf@auto-2016-01-22_23.00     341K      -  3,74T  -
hdd/usr/wf@auto-2016-01-23_02.00     383K      -  3,74T  -
hdd/usr/wf@auto-2016-01-23_05.00     298K      -  3,74T  -
hdd/usr/wf@auto-2016-01-23_08.00     298K      -  3,74T  -
hdd/usr/wf@auto-2016-01-23_11.00     298K      -  3,74T  -
hdd/usr/wf@auto-2016-01-23_14.00    3,83M      -  3,74T  -
hdd/usr/wf@auto-2016-01-23_17.00    2,24M      -  3,74T  -
hdd/usr/wf@auto-2016-01-23_20.00    2,29M      -  3,74T  -
hdd/usr/wf@auto-2016-01-23_23.00     412K      -  3,74T  -
hdd/usr/wf@auto-2016-01-24_02.00     412K      -  3,74T  -
hdd/usr/wf@auto-2016-01-24_05.00     312K      -  3,74T  -
hdd/usr/wf@auto-2016-01-24_08.00     312K      -  3,74T  -
hdd/usr/wf@auto-2016-01-24_11.00     312K      -  3,74T  -
hdd/usr/wf@auto-2016-01-24_14.00     312K      -  3,74T  -
hdd/usr/wf@auto-2016-01-24_17.00    5,18M      -  3,74T  -
hdd/usr/wf@auto-2016-01-24_20.00     256K      -  3,74T  -
hdd/usr/wf@auto-2016-01-24_23.00     256K      -  3,74T  -
hdd/usr/wf@auto-2016-01-25_02.00     227K      -  3,74T  -
hdd/usr/wf@auto-2016-01-25_05.00        0      -  3,74T  -
hdd/usr/wf@auto-2016-01-25_08.00        0      -  3,74T  -
hdd/usr/wf@auto-2016-01-25_11.00    23,0M      -  3,74T  -
hdd/usr/wf@auto-2016-01-25_14.00    46,4M      -  3,74T  -
hdd/usr/wf@auto-2016-01-25_17.00    64,2M      -  3,74T  -
hdd/usr/wf@auto-2016-01-25_20.00    3,89M      -  3,74T  -
hdd/usr/wf@auto-2016-01-25_23.00     739K      -  3,74T  -
hdd/usr/wf@auto-2016-01-26_02.00    1,11M      -  3,74T  -
hdd/usr/wf@auto-2016-01-26_05.00     213K      -  3,74T  -
hdd/usr/wf@auto-2016-01-26_08.00     213K      -  3,74T  -
hdd/usr/wf@auto-2016-01-26_11.00    29,5M      -  3,74T  -
hdd/usr/wf@auto-2016-01-26_14.00    38,2M      -  3,74T  -
hdd/usr/wf@auto-2016-01-26_17.00    65,1M      -  3,74T  -
hdd/usr/wf@auto-2016-01-26_20.00    2,09M      -  3,74T  -
hdd/usr/wf@auto-2016-01-26_23.00     270K      -  3,74T  -
hdd/usr/wf@auto-2016-01-27_02.00     383K      -  3,74T  -
hdd/usr/wf@auto-2016-01-27_05.00     213K      -  3,74T  -
hdd/usr/wf@auto-2016-01-27_08.00     213K      -  3,74T  -
hdd/usr/wf@auto-2016-01-27_11.00    74,9M      -  3,74T  -
hdd/usr/wf@auto-2016-01-27_14.00     123M      -  3,74T  -
hdd/usr/wf@auto-2016-01-27_17.00    54,1M      -  3,74T  -
hdd/usr/wf@auto-2016-01-27_20.00    1,47M      -  3,74T  -
hdd/usr/wf@auto-2016-01-27_23.00     454K      -  3,74T  -
hdd/usr/wf@auto-2016-01-28_02.00     767K      -  3,74T  -
hdd/usr/wf@auto-2016-01-28_05.00     213K      -  3,74T  -
hdd/usr/wf@auto-2016-01-28_08.00     213K      -  3,74T  -
hdd/usr/wf@auto-2016-01-28_11.00    30,5M      -  3,74T  -
hdd/usr/wf@auto-2016-01-28_14.00    34,2M      -  3,74T  -
hdd/usr/wf@auto-2016-01-28_17.00    74,6M      -  3,74T  -
hdd/usr/wf@auto-2016-01-28_20.00    4,26M      -  3,75T  -
hdd/usr/wf@auto-2016-01-28_23.00    3,21M      -  3,75T  -
hdd/usr/wf@auto-2016-01-29_02.00    9,74M      -  3,75T  -
hdd/usr/wf@auto-2016-01-29_05.00    1023K      -  3,75T  -
hdd/usr/wf@auto-2016-01-29_08.00    1008K      -  3,75T  -
hdd/usr/wf@auto-2016-01-29_11.00    20,5M      -  3,75T  -
hdd/usr/wf@auto-2016-01-29_14.00    21,2M      -  3,75T  -
hdd/usr/wf@auto-2016-01-29_17.00    22,0M      -  3,75T  -
hdd/usr/wf@auto-2016-01-29_20.00    3,43M      -  3,75T  -
hdd/usr/wf@auto-2016-01-29_23.00        0      -  3,75T  -
hdd/usr/wf@auto-2016-01-30_02.00        0      -  3,75T  -
hdd/usr/wf@auto-2016-01-30_05.00        0      -  3,75T  -
hdd/usr/wf@auto-2016-01-30_08.00        0      -  3,75T  -
hdd/usr/wf@auto-2016-01-30_11.00        0      -  3,75T  -
hdd/usr/wf@auto-2016-01-30_14.00    1016K      -  3,75T  -
hdd/usr/wf@auto-2016-01-30_17.00    1,55M      -  3,75T  -
hdd/usr/wf@auto-2016-01-30_20.00     582K      -  3,75T  -
hdd/usr/wf@auto-2016-01-30_23.00     568K      -  3,75T  -
hdd/usr/wf@auto-2016-01-31_02.00     327K      -  3,75T  -
hdd/usr/wf@auto-2016-01-31_05.00        0      -  3,75T  -
hdd/usr/wf@auto-2016-01-31_08.00        0      -  3,75T  -
hdd/usr/wf@auto-2016-01-31_11.00        0      -  3,75T  -
hdd/usr/wf@auto-2016-01-31_14.00     241K      -  3,75T  -
hdd/usr/wf@auto-2016-01-31_17.00     312K      -  3,75T  -
hdd/usr/wf@auto-2016-01-31_20.00     589K      -  3,75T  -
hdd/usr/wf@auto-2016-01-31_23.00     589K      -  3,75T  -
hdd/usr/wf@auto-2016-02-01_02.00    2,64M      -  3,75T  -
hdd/usr/wf@auto-2016-02-01_05.00        0      -  3,75T  -
hdd/usr/wf@auto-2016-02-01_08.00        0      -  3,75T  -
hdd/usr/wf@auto-2016-02-01_11.00    39,8M      -  3,75T  -
hdd/usr/wf@auto-2016-02-01_14.00    46,9M      -  3,75T  -
hdd/usr/wf@auto-2016-02-01_17.00    49,7M      -  3,75T  -
hdd/usr/wf@auto-2016-02-01_20.00    20,6M      -  3,75T  -
hdd/usr/wf@auto-2016-02-01_23.00     966K      -  3,75T  -
hdd/usr/wf@auto-2016-02-02_02.00    1,72M      -  3,75T  -
hdd/usr/wf@auto-2016-02-02_05.00     156K      -  3,75T  -
hdd/usr/wf@auto-2016-02-02_08.00     156K      -  3,75T  -
hdd/usr/wf@auto-2016-02-02_11.00     259M      -  3,75T  -
hdd/usr/wf@auto-2016-02-02_14.00    56,4M      -  3,75T  -
hdd/usr/wf@auto-2016-02-02_17.00    43,2M      -  3,75T  -
hdd/usr/wf@auto-2016-02-02_20.00    2,57M      -  3,75T  -
hdd/usr/wf@auto-2016-02-02_23.00     213K      -  3,75T  -
hdd/usr/wf@auto-2016-02-03_02.00     213K      -  3,75T  -
hdd/usr/wf@auto-2016-02-03_05.00     213K      -  3,75T  -
hdd/usr/wf@auto-2016-02-03_08.00     213K      -  3,75T  -
hdd/usr/wf@auto-2016-02-03_11.00    75,6M      -  3,75T  -
hdd/usr/wf@auto-2016-02-03_14.00    1,57G      -  3,76T  -
hdd/usr/wf@auto-2016-02-03_17.00     129M      -  3,76T  -
hdd/usr/wf@auto-2016-02-03_20.00    78,8M      -  3,76T  -
hdd/usr/wf@auto-2016-02-03_23.00     256K      -  3,76T  -
hdd/usr/wf@auto-2016-02-04_02.00     256K      -  3,76T  -
hdd/usr/wf@auto-2016-02-04_05.00     256K      -  3,76T  -
hdd/usr/wf@auto-2016-02-04_08.00     256K      -  3,76T  -
hdd/usr/wf@auto-2016-02-04_11.00     135M      -  3,76T  -
hdd/usr/wf@auto-2016-02-04_14.00    85,0M      -  3,76T  -
hdd/usr/wf@auto-2016-02-04_17.00     117M      -  3,76T  -
hdd/usr/wf@auto-2016-02-04_20.00    16,1M      -  3,76T  -
hdd/usr/wf@auto-2016-02-04_23.00     298K      -  3,76T  -
hdd/usr/wf@auto-2016-02-05_02.00     298K      -  3,76T  -
hdd/usr/wf@auto-2016-02-05_11.00    11,8M      -  3,76T  -
hdd/usr/wf@auto-2016-02-05_14.00    41,0M      -  3,76T  -
hdd/usr/wf@auto-2016-02-05_17.00    57,1M      -  3,76T  -
hdd/usr/wf@auto-2016-02-05_20.00    2,76M      -  3,76T  -
hdd/usr/wf@auto-2016-02-06_17.00     526K      -  3,76T  -
hdd/usr/wf@auto-2016-02-06_20.00     653K      -  3,76T  -
hdd/usr/wf@auto-2016-02-07_14.00     597K      -  3,76T  -
hdd/usr/wf@auto-2016-02-07_17.00     526K      -  3,76T  -
hdd/usr/wf@auto-2016-02-07_20.00     526K      -  3,76T  -
hdd/usr/wf@auto-2016-02-08_17.00     111M      -  3,76T  -
hdd/usr/wf@auto-2016-02-08_20.00    16,9M      -  3,76T  -
hdd/usr/wf@auto-2016-02-08_23.00     966K      -  3,76T  -
hdd/usr/wf@auto-2016-02-09_00.30     170K      -  3,76T  -
hdd/usr/wf@auto-2016-02-09_01.00     170K      -  3,76T  -
hdd/usr/wf@auto-2016-02-09_01.30     170K      -  3,76T  -
hdd/usr/wf@auto-2016-02-09_02.00     170K      -  3,76T  -
hdd/usr/wf@auto-2016-02-09_02.30     170K      -  3,76T  -
hdd/usr/wf@auto-2016-02-09_03.00     170K      -  3,76T  -
hdd/usr/wf@auto-2016-02-09_03.30     170K      -  3,76T  -
hdd/usr/wf@auto-2016-02-09_04.00     170K      -  3,76T  -
hdd/usr/wf@auto-2016-02-09_04.30     170K      -  3,76T  -
hdd/usr/wf@auto-2016-02-09_05.00     170K      -  3,76T  -
hdd/usr/wf@auto-2016-02-09_05.30     170K      -  3,76T  -
hdd/usr/wf@auto-2016-02-09_06.00     170K      -  3,76T  -
hdd/usr/wf@auto-2016-02-09_06.30     170K      -  3,76T  -
hdd/usr/wf@auto-2016-02-09_07.00     170K      -  3,76T  -
hdd/usr/wf@auto-2016-02-09_07.30     170K      -  3,76T  -
hdd/usr/wf@auto-2016-02-09_08.00     170K      -  3,76T  -
hdd/usr/wf@auto-2016-02-09_08.30     170K      -  3,76T  -
hdd/usr/wf@auto-2016-02-09_09.00     937K      -  3,76T  -
hdd/usr/wf@auto-2016-02-09_09.30    2,79M      -  3,76T  -
hdd/usr/wf@auto-2016-02-09_10.00    15,9M      -  3,76T  -
hdd/usr/wf@auto-2016-02-09_10.30    4,07M      -  3,76T  -
hdd/usr/wf@auto-2016-02-09_11.00    3,04M      -  3,76T  -
hdd/usr/wf@auto-2016-02-09_11.10    4,80M      -  3,76T  -
hdd/usr/wf@auto-2016-02-09_11.20    4,20M      -  3,76T  -
hdd/usr/wf@auto-2016-02-09_11.30    12,9M      -  3,76T  -
hdd/usr/wf@auto-2016-02-09_11.40    6,87M      -  3,76T  -
hdd/usr/wf@auto-2016-02-09_12.00    7,76M      -  3,76T  -
hdd/usr/wf@auto-2016-02-09_12.10    9,34M      -  3,76T  -
hdd/usr/wf@auto-2016-02-09_12.20    2,47M      -  3,76T  -

snorlov
подполковник
Сообщения: 3927
Зарегистрирован: 2008-09-04 11:51:25
Откуда: Санкт-Петербург

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение snorlov » 2016-02-09 12:42:24

А нужен ли вам этот снапшот, если нет, то юзать надо

Код: Выделить всё

zfs destroy <имя снашота>
удалится правда весь снапшот, но он же очень старый...
Ну и зачем вам столько снапшотов...
Кроме всего прочего,

Код: Выделить всё

 zpool scrub hdd
делали?

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Neus » 2016-02-09 12:52:51

ааа.. так это не просто файлопомойка..
зачем же все яйца в одну корзину наложил :)

в связи с этим несколько вопросов:
с ядром GENERIC проблема остается ?
сделать из этого серванта только файлопомойку (желательно на OmniOS+napp-it), а инет прибамбасы вынести на отдельный девайс реально?
зачем на нем slog и l2arc, у тебя там субд еще крутится? кстати сей ssd для целей slog не катит.
грохнуть этот древний снэпшот никак?

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Demis » 2016-02-09 13:48:04

snorlov писал(а): zfs destroy <имя снашота>
Да я так и сделал, нашел неплохую статью где это было описано:
http://www.shirrma.ru/2014/11/zfs-freebsd.html
Когда сделал:

Код: Выделить всё

zfs destroy hdd@2014-02-12-12
Измнения отразились примерно через 30 мин.
Сейчас сделал

Код: Выделить всё

zfs destroy hdd@2014-02-12-12-2
Жду.
Скраб делал, написано об этом в первом посте.
Если посмотреть
Demis писал(а): scan: scrub repaired 0 in 17h34m with 3451 errors on Mon Feb 8 13:52:13 2016
Там видно 17 с лишним часов.
После удаления буду делать еще, но результат обычно долгий.

snorlov
подполковник
Сообщения: 3927
Зарегистрирован: 2008-09-04 11:51:25
Откуда: Санкт-Петербург

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение snorlov » 2016-02-09 14:12:38

И все-таки зачем вам столько снапшотов, они ведь полезны, когда надо откатиться, причем полностью, и второе, их обычно клонируют и с этого клона делают бэкап,

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Demis » 2016-02-09 14:17:52

Neus писал(а): зачем же все яйца в одну корзину наложил
Не совсем понимаю что значит ВСЕ.
По факту, когда изначально все создавалось, то все делалось от генерика.
Когда все было придумано и отстроено, то следующим этапом был ipfw2, первоначально тестировалось через kldload.
Когда все заработало как надо, был вкомпилирован.
Аналогично, тоже самое с GEOM_ELI.
Так-же с IPSEC и графом, и т.д.
И впрочем проблем не вызывало.
Надо наверное попробовать загрузиться с сд и подгрузить пул, посмотреть что будет.
Наткнулся на несколько интересных публикаций по zfs вроде все-равно надо тюнить loader.conf
http://www.mail-archive.com/zfs-discuss ... 34497.html
https://forums.freebsd.org/threads/solv ... che.45136/
https://www.freebsd.org/doc/faq/all-about-zfs.html
Задал вопрос Ельсюкову, но пока как в танке.
Физических сетей несколько, да и логических тоже.
Это картины на кухне не меняет.
Если загрузиться в монопольном режиме (не путать с однопользовательским), то эффект сохраняется.
Базы на этом сервере нет.
Те базы, которые есть, с ним никак не связаны.

По поводу места, опять-же:
Demis писал(а): Filesystem Size Used Avail Capacity Mounted on
hdd/usr/wf 6,6T 4,1T 2,5T 62% /hdd/usr/wf
Т.е. вроде-как его не мало.

Отправлено спустя 1 минуту 57 секунд:
snorlov писал(а): И все-таки зачем вам столько снапшотов, они ведь полезны, когда надо откатиться, причем полностью, и второе, их обычно клонируют и с этого клона делают бэкап
В принципе не проблема причесать, но вряд-ли отсюда ноги растут.

snorlov
подполковник
Сообщения: 3927
Зарегистрирован: 2008-09-04 11:51:25
Откуда: Санкт-Петербург

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение snorlov » 2016-02-09 15:10:20

Ну как вам сказать, на обслуживание снапшотов тоже ресурсы нужны, у меня правда была ошибка в метаданных, scrub не помог, ибп у меня тогда упал, и все вылечилось созданием снапшота, его архивированием на другом носителе, после чего пул пересоздавался и восстанавливался с архивированного снапшота, причем оказалось, что надо было физически удалить старые метаданные, просто удалить пул и заново его создать не помогало, ошибки возвращались.

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Demis » 2016-02-09 18:50:04

snorlov писал(а): просто удалить пул и заново его создать не помогало, ошибки возвращались.
Круто.
А я вот что вспоминаю:
Примерно два года назад, а наверное это собственно
Demis писал(а): hdd/usr/wf@2014-02-12-12-2
У меня нечто подобное приключилось.
Только скорее всего накануне этой даты 2014-02-12-12-2.
Но тогда данных было меньше, и все удалось "отлить" на винчестер в сторонку, пересоздать пул и потом вернуть все назад.
Ну, в общем, примерно по Вашему пути.
Однако возникает вопрос: доколе?
В чем причина такого поведения системы?
Хотя может это и просто совпадения...

Отправлено спустя 5 минут 11 секунд:
И вот свеженький (утренний) дамп:

Код: Выделить всё

GNU gdb 6.1.1 [FreeBSD]
Copyright 2004 Free Software Foundation, Inc.
GDB is free software, covered by the GNU General Public License, and you are
welcome to change it and/or distribute copies of it under certain conditions.
Type "show copying" to see the conditions.
There is absolutely no warranty for GDB.  Type "show warranty" for details.
This GDB was configured as "amd64-marcel-freebsd"...

Unread portion of the kernel message buffer:
panic: solaris assert: c < (1ULL << 24) >> 9 (0x7fffffffffffff < 0x8000), file: /usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/zio.c, line: 270
cpuid = 8
KDB: stack backtrace:
#0 0xffffffff8099b170 at kdb_backtrace+0x60
#1 0xffffffff8095ed26 at vpanic+0x126
#2 0xffffffff8095ebf3 at panic+0x43
#3 0xffffffff81e0322f at assfail3+0x2f
#4 0xffffffff81ca9d40 at zio_buf_alloc+0x50
#5 0xffffffff81c2b999 at arc_get_data_buf+0x2f9
#6 0xffffffff81c2e20a at arc_read+0x1ea
#7 0xffffffff81c3669c at dbuf_read+0x6ac
#8 0xffffffff81c3d8bf at dmu_spill_hold_existing+0xbf
#9 0xffffffff81c70dd7 at sa_attr_op+0x167
#10 0xffffffff81c72ffb at sa_lookup+0x4b
#11 0xffffffff81cbc82a at zfs_rmnode+0x2ba
#12 0xffffffff81cda58e at zfs_freebsd_reclaim+0x4e
#13 0xffffffff80ed4a67 at VOP_RECLAIM_APV+0xa7
#14 0xffffffff80a02824 at vgonel+0x1b4
#15 0xffffffff80a02cb9 at vrecycle+0x59
#16 0xffffffff81cda52d at zfs_freebsd_inactive+0xd
#17 0xffffffff80ed4957 at VOP_INACTIVE_APV+0xa7
Uptime: 15h4m51s
Dumping 4084 out of 24542 MB:..1%..11%..21%..31%..41%..51%..61%..71%..81%..91%

Reading symbols from /boot/kernel/if_lagg.ko.symbols...done.
Loaded symbols for /boot/kernel/if_lagg.ko.symbols
Reading symbols from /boot/kernel/aio.ko.symbols...done.
Loaded symbols for /boot/kernel/aio.ko.symbols
Reading symbols from /boot/kernel/ichsmb.ko.symbols...done.
Loaded symbols for /boot/kernel/ichsmb.ko.symbols
Reading symbols from /boot/kernel/ipmi.ko.symbols...done.
Loaded symbols for /boot/kernel/ipmi.ko.symbols
Reading symbols from /boot/kernel/zfs.ko.symbols...done.
Loaded symbols for /boot/kernel/zfs.ko.symbols
Reading symbols from /boot/kernel/opensolaris.ko.symbols...done.
Loaded symbols for /boot/kernel/opensolaris.ko.symbols
Reading symbols from /boot/kernel/ums.ko.symbols...done.
Loaded symbols for /boot/kernel/ums.ko.symbols
Reading symbols from /boot/kernel/smbfs.ko.symbols...done.
Loaded symbols for /boot/kernel/smbfs.ko.symbols
Reading symbols from /boot/kernel/libiconv.ko.symbols...done.
Loaded symbols for /boot/kernel/libiconv.ko.symbols
Reading symbols from /boot/kernel/libmchain.ko.symbols...done.
Loaded symbols for /boot/kernel/libmchain.ko.symbols
#0  doadump (textdump=<value optimized out>) at pcpu.h:219
219     pcpu.h: No such file or directory.
        in pcpu.h
(kgdb) backtrace
#0  doadump (textdump=<value optimized out>) at pcpu.h:219
#1  0xffffffff8095e982 in kern_reboot (howto=260) at /usr/src/sys/kern/kern_shutdown.c:451
#2  0xffffffff8095ed65 in vpanic (fmt=<value optimized out>, ap=<value optimized out>) at /usr/src/sys/kern/kern_shutdown.c:758
#3  0xffffffff8095ebf3 in panic (fmt=0x0) at /usr/src/sys/kern/kern_shutdown.c:687
#4  0xffffffff81e0322f in assfail3 (a=<value optimized out>, lv=<value optimized out>, op=<value optimized out>, rv=<value optimized out>, f=<value optimized out>,
    l=<value optimized out>) at /usr/src/sys/modules/opensolaris/../../cddl/compat/opensolaris/kern/opensolaris_cmn_err.c:91
#5  0xffffffff81ca9d40 in zio_buf_alloc (size=0) at /usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/zio.c:270
#6  0xffffffff81c2b999 in arc_get_data_buf (buf=<value optimized out>) at /usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/arc.c:2931
#7  0xffffffff81c2e20a in arc_read (pio=0xfffff80256fed398, spa=0xfffff800a404b000, bp=0xfffffe0009a61980, done=0xffffffff81c3a2d0 <dbuf_read_done>,
    private=0xfffff80054c9a1c0, priority=ZIO_PRIORITY_SYNC_READ, zio_flags=961995969, arc_flags=0xfffffe0678a713c4, zb=0xffffffff81c3a2d0)
    at /usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/arc.c:1551
#8  0xffffffff81c3669c in dbuf_read (db=0xfffff80054c9a1c0, zio=0x0, flags=6) at /usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/dbuf.c:573
#9  0xffffffff81c3d8bf in dmu_spill_hold_existing (bonus=0xfffff801ebf8e000, tag=0x0, dbp=0xfffff80488b21c08)
    at /usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/dmu.c:333
#10 0xffffffff81c70dd7 in sa_attr_op (hdl=0xfffff80488b21be0, bulk=0xfffffe0678a71528, count=1, data_op=SA_LOOKUP, tx=0x0)
    at /usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/sa.c:310
#11 0xffffffff81c72ffb in sa_lookup (hdl=0xfffff80488b21be0, attr=<value optimized out>, buf=<value optimized out>, buflen=<value optimized out>)
    at /usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/sa.c:1441
#12 0xffffffff81cbc82a in zfs_rmnode (zp=0xfffff8029a06f8a0) at /usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/zfs_dir.c:633
#13 0xffffffff81cda58e in zfs_freebsd_reclaim (ap=<value optimized out>) at /usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/zfs_vnops.c:6569
#14 0xffffffff80ed4a67 in VOP_RECLAIM_APV (vop=<value optimized out>, a=<value optimized out>) at vnode_if.c:2019
#15 0xffffffff80a02824 in vgonel (vp=0xfffff80332844b10) at vnode_if.h:830
#16 0xffffffff80a02cb9 in vrecycle (vp=0xfffff80332844b10) at /usr/src/sys/kern/vfs_subr.c:2703
#17 0xffffffff81cda52d in zfs_freebsd_inactive (ap=<value optimized out>) at /usr/src/sys/modules/zfs/../../cddl/contrib/opensolaris/uts/common/fs/zfs/zfs_vnops.c:6540
#18 0xffffffff80ed4957 in VOP_INACTIVE_APV (vop=<value optimized out>, a=<value optimized out>) at vnode_if.c:1953
#19 0xffffffff80a015f2 in vinactive (vp=0xfffff80332844b10, td=0xfffff80283a1a4a0) at vnode_if.h:807
#20 0xffffffff80a019e2 in vputx (vp=0xfffff80332844b10, func=2) at /usr/src/sys/kern/vfs_subr.c:2306
#21 0xffffffff80a0a28e in kern_rmdirat (td=<value optimized out>, fd=<value optimized out>, path=<value optimized out>, pathseg=<value optimized out>)
    at /usr/src/sys/kern/vfs_syscalls.c:3842
#22 0xffffffff80dab337 in amd64_syscall (td=0xfffff80283a1a4a0, traced=0) at subr_syscall.c:134
#23 0xffffffff80d90a1b in Xfast_syscall () at /usr/src/sys/amd64/amd64/exception.S:396
#24 0x00000008008914ea in ?? ()
Previous frame inner to this frame (corrupt stack?)
Current language:  auto; currently minimal
Отправлено спустя 2 часа 19 минут 4 секунды:
Просьба, посмотрите повнимательнее линк
http://www.mail-archive.com/zfs-discuss ... 34674.html

Там есть формула расчета памяти RAM под L2ARC

Код: Выделить всё

> Is there a guideline in which relation L2ARC size should be to RAM?
Approximately 200 bytes per record. I use the following example:
        Suppose we use a Seagate LP 2 TByte disk for the L2ARC
                + Disk has 3,907,029,168 512 byte sectors, guaranteed
                + Workload uses 8 kByte fixed record size
        RAM needed for arc_buf_hdr entries
                + Need = ~(3,907,029,168 - 9,232) * 200 / 16 = ~48 GBytes
Don't underestimate the RAM needed for large L2ARCs
 -- richard
Если я правильно понимаю, то для 3Tb винта нужно 48 GBytes физической рамы.
Соответственно если у меня где-то 7,7Tb (а по физике 13Tb), то моих 24Gb ох как мало...
Правильно???

И если правильно это как-то тюнится?
Или единственный выход RAM добавлять?

Отправлено спустя 14 минут 36 секунд:
Еще такую вещь почитал:
http://docs.oracle.com/cd/E19253-01/820 ... index.html
Там есть "Таблица 6–1 Описание системных свойств ZFS" и в ней есть "secondarycache"

Код: Выделить всё

secondarycache 
 Строка 
 off 
 Управляет содержимым для кэширования в L2ARC. Возможными значениями являются all, none и metadata. При установке на all выполняется кэширование данных пользователя и метаданных. При установке на none кэширование данных пользователя и метаданных не выполняется. При установке на metadata выполняется кэширование только метаданных. По умолчанию установлено значение all. 
 
Мои текущие настройки zfs get all hdd/usr/wf :

Код: Выделить всё

NAME        PROPERTY              VALUE                      SOURCE
hdd/usr/wf  type                  filesystem                 -
hdd/usr/wf  creation              сб мар  2  1:31 2013  -
hdd/usr/wf  used                  3,80T                      -
hdd/usr/wf  available             3,59T                      -
hdd/usr/wf  referenced            3,77T                      -
hdd/usr/wf  compressratio         1.00x                      -
hdd/usr/wf  mounted               yes                        -
hdd/usr/wf  quota                 none                       default
hdd/usr/wf  reservation           none                       default
hdd/usr/wf  recordsize            128K                       default
hdd/usr/wf  mountpoint            /hdd/usr/wf                default
hdd/usr/wf  sharenfs              off                        default
hdd/usr/wf  checksum              fletcher4                  inherited from hdd
hdd/usr/wf  compression           off                        default
hdd/usr/wf  atime                 on                         default
hdd/usr/wf  devices               on                         default
hdd/usr/wf  exec                  on                         default
hdd/usr/wf  setuid                on                         default
hdd/usr/wf  readonly              off                        default
hdd/usr/wf  jailed                off                        default
hdd/usr/wf  snapdir               hidden                     default
hdd/usr/wf  aclmode               passthrough                local
hdd/usr/wf  aclinherit            passthrough                local
hdd/usr/wf  canmount              on                         default
hdd/usr/wf  xattr                 off                        temporary
hdd/usr/wf  copies                1                          default
hdd/usr/wf  version               5                          -
hdd/usr/wf  utf8only              off                        -
hdd/usr/wf  normalization         none                       -
hdd/usr/wf  casesensitivity       sensitive                  -
hdd/usr/wf  vscan                 off                        default
hdd/usr/wf  nbmand                off                        default
hdd/usr/wf  sharesmb              off                        local
hdd/usr/wf  refquota              none                       default
hdd/usr/wf  refreservation        none                       default
hdd/usr/wf  primarycache          all                        default
hdd/usr/wf  secondarycache        all                        default
hdd/usr/wf  usedbysnapshots       33,3G                      -
hdd/usr/wf  usedbydataset         3,77T                      -
hdd/usr/wf  usedbychildren        0                          -
hdd/usr/wf  usedbyrefreservation  0                          -
hdd/usr/wf  logbias               latency                    default
hdd/usr/wf  dedup                 off                        default
hdd/usr/wf  mlslabel                                         -
hdd/usr/wf  sync                  standard                   default
hdd/usr/wf  refcompressratio      1.00x                      -
hdd/usr/wf  written               27,8M                      -
hdd/usr/wf  logicalused           3,75T                      -
hdd/usr/wf  logicalreferenced     3,74T                      -
hdd/usr/wf  volmode               default                    default
hdd/usr/wf  filesystem_limit      none                       default
hdd/usr/wf  snapshot_limit        none                       default
hdd/usr/wf  filesystem_count      none                       default
hdd/usr/wf  snapshot_count        none                       default
hdd/usr/wf  redundant_metadata    all                        default
Получается L2ARC (это secondarycache) включен и ему тесно?
Есть соображения?

Отправлено спустя 15 минут 12 секунд:
И кстати там в таблице отдельная колонка есть "Значение по умолчанию" в ней прописано "off", однако в колонке "описание" написано "По умолчанию установлено значение all".
Я один так вижу?
Чему верить?
Помимо L2ARC есть и параметр ARC (primarycache)

Код: Выделить всё

primarycache 
 Строка 
 off 
 Управляет содержимым для кэширования в ARC. Возможными значениями являются all, none и metadata. При установке на all выполняется кэширование данных пользователя и метаданных. При установке на none кэширование данных пользователя и метаданных не выполняется. При установке на metadata выполняется кэширование только метаданных. По умолчанию установлено значение all. 
 
С ним такие-же вопросы...

Отправлено спустя 16 минут 26 секунд:
Еще дополнение zfs-stats -a :

Код: Выделить всё

------------------------------------------------------------------------
ZFS Subsystem Report                            Tue Feb  9 18:46:20 2016
------------------------------------------------------------------------

System Information:

        Kernel Version:                         1002000 (osreldate)
        Hardware Platform:                      amd64
        Processor Architecture:                 amd64

        ZFS Storage pool Version:               5000
        ZFS Filesystem Version:                 5

FreeBSD 10.2-RELEASE-p12 #0: Fri Feb 5 21:58:32 MSK 2016 demis
18:46  up  6:55, 1 user, load averages: 0,68 0,61 0,49

------------------------------------------------------------------------

System Memory:

        16.45%  3.84    GiB Active,     2.96%   708.23  MiB Inact
        44.70%  10.43   GiB Wired,      0.00%   12.00   KiB Cache
        35.89%  8.37    GiB Free,       0.00%   0 Gap

        Real Installed:                         24.00   GiB
        Real Available:                 99.86%  23.97   GiB
        Real Managed:                   97.34%  23.33   GiB

        Logical Total:                          24.00   GiB
        Logical Used:                   62.23%  14.94   GiB
        Logical Free:                   37.77%  9.06    GiB

Kernel Memory:                                  359.45  MiB
        Data:                           92.61%  332.89  MiB
        Text:                           7.39%   26.56   MiB

Kernel Memory Map:                              23.33   GiB
        Size:                           31.91%  7.45    GiB
        Free:                           68.09%  15.88   GiB

------------------------------------------------------------------------

ARC Summary: (HEALTHY)
        Memory Throttle Count:                  0

ARC Misc:
        Deleted:                                45.45k
        Recycle Misses:                         42.57k
        Mutex Misses:                           2
        Evict Skips:                            1.09m

ARC Size:                               43.64%  3.49    GiB
        Target Size: (Adaptive)         44.03%  3.52    GiB
        Min Size (Hard Limit):          12.50%  1.00    GiB
        Max Size (High Water):          8:1     8.00    GiB

ARC Size Breakdown:
        Recently Used Cache Size:       93.03%  3.28    GiB
        Frequently Used Cache Size:     6.97%   251.28  MiB

ARC Hash Breakdown:
        Elements Max:                           284.68k
        Elements Current:               100.00% 284.68k
        Collisions:                             28.29k
        Chain Max:                              3
        Chains:                                 9.23k

------------------------------------------------------------------------

ARC Efficiency:                                 14.09m
        Cache Hit Ratio:                96.36%  13.58m
        Cache Miss Ratio:               3.64%   512.36k
        Actual Hit Ratio:               91.31%  12.87m

        Data Demand Efficiency:         99.90%  8.19m
        Data Prefetch Efficiency:       9.78%   29.75k

        CACHE HITS BY CACHE LIST:
          Anonymously Used:             4.85%   659.12k
          Most Recently Used:           14.95%  2.03m
          Most Frequently Used:         79.81%  10.84m
          Most Recently Used Ghost:     0.23%   31.22k
          Most Frequently Used Ghost:   0.16%   21.89k

        CACHE HITS BY DATA TYPE:
          Demand Data:                  60.24%  8.18m
          Prefetch Data:                0.02%   2.91k
          Demand Metadata:              34.29%  4.66m
          Prefetch Metadata:            5.45%   740.20k

        CACHE MISSES BY DATA TYPE:
          Demand Data:                  1.64%   8.38k
          Prefetch Data:                5.24%   26.84k
          Demand Metadata:              35.26%  180.68k
          Prefetch Metadata:            57.86%  296.46k

------------------------------------------------------------------------

L2ARC is disabled

------------------------------------------------------------------------

File-Level Prefetch: (HEALTHY)

DMU Efficiency:                                 37.37m
        Hit Ratio:                      83.49%  31.20m
        Miss Ratio:                     16.51%  6.17m

        Colinear:                               6.17m
          Hit Ratio:                    0.03%   2.02k
          Miss Ratio:                   99.97%  6.17m

        Stride:                                 31.06m
          Hit Ratio:                    99.98%  31.05m
          Miss Ratio:                   0.02%   5.25k

DMU Misc:
        Reclaim:                                6.17m
          Successes:                    0.67%   41.49k
          Failures:                     99.33%  6.13m

        Streams:                                151.69k
          +Resets:                      0.10%   150
          -Resets:                      99.90%  151.54k
          Bogus:                                0

------------------------------------------------------------------------

VDEV Cache Summary:                             2.07m
        Hit Ratio:                      42.03%  870.11k
        Miss Ratio:                     47.06%  974.36k
        Delegations:                    10.91%  225.87k

------------------------------------------------------------------------

ZFS Tunables (sysctl):
        kern.maxusers                           1869
        vm.kmem_size                            25051009024
        vm.kmem_size_scale                      1
        vm.kmem_size_min                        0
        vm.kmem_size_max                        1319413950874
        vfs.zfs.trim.max_interval               1
        vfs.zfs.trim.timeout                    30
        vfs.zfs.trim.txg_delay                  32
        vfs.zfs.trim.enabled                    1
        vfs.zfs.vol.unmap_enabled               1
        vfs.zfs.vol.mode                        1
        vfs.zfs.version.zpl                     5
        vfs.zfs.version.spa                     5000
        vfs.zfs.version.acl                     1
        vfs.zfs.version.ioctl                   4
        vfs.zfs.debug                           0
        vfs.zfs.super_owner                     0
        vfs.zfs.sync_pass_rewrite               2
        vfs.zfs.sync_pass_dont_compress         5
        vfs.zfs.sync_pass_deferred_free         2
        vfs.zfs.zio.exclude_metadata            0
        vfs.zfs.zio.use_uma                     1
        vfs.zfs.cache_flush_disable             1
        vfs.zfs.zil_replay_disable              0
        vfs.zfs.min_auto_ashift                 9
        vfs.zfs.max_auto_ashift                 13
        vfs.zfs.vdev.trim_max_pending           10000
        vfs.zfs.vdev.bio_delete_disable         0
        vfs.zfs.vdev.bio_flush_disable          0
        vfs.zfs.vdev.write_gap_limit            4096
        vfs.zfs.vdev.read_gap_limit             32768
        vfs.zfs.vdev.aggregation_limit          131072
        vfs.zfs.vdev.trim_max_active            64
        vfs.zfs.vdev.trim_min_active            1
        vfs.zfs.vdev.scrub_max_active           2
        vfs.zfs.vdev.scrub_min_active           1
        vfs.zfs.vdev.async_write_max_active     10
        vfs.zfs.vdev.async_write_min_active     1
        vfs.zfs.vdev.async_read_max_active      3
        vfs.zfs.vdev.async_read_min_active      1
        vfs.zfs.vdev.sync_write_max_active      10
        vfs.zfs.vdev.sync_write_min_active      10
        vfs.zfs.vdev.sync_read_max_active       10
        vfs.zfs.vdev.sync_read_min_active       10
        vfs.zfs.vdev.max_active                 1000
        vfs.zfs.vdev.async_write_active_max_dirty_percent60
        vfs.zfs.vdev.async_write_active_min_dirty_percent30
        vfs.zfs.vdev.mirror.non_rotating_seek_inc1
        vfs.zfs.vdev.mirror.non_rotating_inc    0
        vfs.zfs.vdev.mirror.rotating_seek_offset1048576
        vfs.zfs.vdev.mirror.rotating_seek_inc   5
        vfs.zfs.vdev.mirror.rotating_inc        0
        vfs.zfs.vdev.trim_on_init               1
        vfs.zfs.vdev.cache.bshift               16
        vfs.zfs.vdev.cache.size                 838860800
        vfs.zfs.vdev.cache.max                  16384
        vfs.zfs.vdev.metaslabs_per_vdev         200
        vfs.zfs.txg.timeout                     5
        vfs.zfs.space_map_blksz                 4096
        vfs.zfs.spa_slop_shift                  5
        vfs.zfs.spa_asize_inflation             24
        vfs.zfs.deadman_enabled                 1
        vfs.zfs.deadman_checktime_ms            5000
        vfs.zfs.deadman_synctime_ms             1000000
        vfs.zfs.recover                         0
        vfs.zfs.spa_load_verify_data            1
        vfs.zfs.spa_load_verify_metadata        1
        vfs.zfs.spa_load_verify_maxinflight     10000
        vfs.zfs.check_hostid                    1
        vfs.zfs.mg_fragmentation_threshold      85
        vfs.zfs.mg_noalloc_threshold            0
        vfs.zfs.condense_pct                    200
        vfs.zfs.metaslab.bias_enabled           1
        vfs.zfs.metaslab.lba_weighting_enabled  1
        vfs.zfs.metaslab.fragmentation_factor_enabled1
        vfs.zfs.metaslab.preload_enabled        1
        vfs.zfs.metaslab.preload_limit          3
        vfs.zfs.metaslab.unload_delay           8
        vfs.zfs.metaslab.load_pct               50
        vfs.zfs.metaslab.min_alloc_size         33554432
        vfs.zfs.metaslab.df_free_pct            4
        vfs.zfs.metaslab.df_alloc_threshold     131072
        vfs.zfs.metaslab.debug_unload           0
        vfs.zfs.metaslab.debug_load             0
        vfs.zfs.metaslab.fragmentation_threshold70
        vfs.zfs.metaslab.gang_bang              16777217
        vfs.zfs.free_max_blocks                 -1
        vfs.zfs.no_scrub_prefetch               0
        vfs.zfs.no_scrub_io                     0
        vfs.zfs.resilver_min_time_ms            3000
        vfs.zfs.free_min_time_ms                1000
        vfs.zfs.scan_min_time_ms                1000
        vfs.zfs.scan_idle                       50
        vfs.zfs.scrub_delay                     4
        vfs.zfs.resilver_delay                  2
        vfs.zfs.top_maxinflight                 32
        vfs.zfs.zfetch.array_rd_sz              1048576
        vfs.zfs.zfetch.block_cap                256
        vfs.zfs.zfetch.min_sec_reap             2
        vfs.zfs.zfetch.max_streams              8
        vfs.zfs.prefetch_disable                0
        vfs.zfs.delay_scale                     500000
        vfs.zfs.delay_min_dirty_percent         60
        vfs.zfs.dirty_data_sync                 67108864
        vfs.zfs.dirty_data_max_percent          10
        vfs.zfs.dirty_data_max_max              4294967296
        vfs.zfs.dirty_data_max                  2573457817
        vfs.zfs.max_recordsize                  1048576
        vfs.zfs.mdcomp_disable                  0
        vfs.zfs.nopwrite_enabled                1
        vfs.zfs.dedup.prefetch                  1
        vfs.zfs.l2c_only_size                   0
        vfs.zfs.mfu_ghost_data_lsize            921929216
        vfs.zfs.mfu_ghost_metadata_lsize        1590426624
        vfs.zfs.mfu_ghost_size                  2512355840
        vfs.zfs.mfu_data_lsize                  734397440
        vfs.zfs.mfu_metadata_lsize              278528
        vfs.zfs.mfu_size                        805088768
        vfs.zfs.mru_ghost_data_lsize            649250304
        vfs.zfs.mru_ghost_metadata_lsize        152124416
        vfs.zfs.mru_ghost_size                  801374720
        vfs.zfs.mru_data_lsize                  593586176
        vfs.zfs.mru_metadata_lsize              1797098496
        vfs.zfs.mru_size                        2573912576
        vfs.zfs.anon_data_lsize                 0
        vfs.zfs.anon_metadata_lsize             0
        vfs.zfs.anon_size                       4212736
        vfs.zfs.l2arc_norw                      1
        vfs.zfs.l2arc_feed_again                1
        vfs.zfs.l2arc_noprefetch                0
        vfs.zfs.l2arc_feed_min_ms               200
        vfs.zfs.l2arc_feed_secs                 1
        vfs.zfs.l2arc_headroom                  2
        vfs.zfs.l2arc_write_boost               8388608
        vfs.zfs.l2arc_write_max                 8388608
        vfs.zfs.arc_meta_limit                  2147483648
        vfs.zfs.arc_free_target                 42449
        vfs.zfs.arc_shrink_shift                5
        vfs.zfs.arc_average_blocksize           8192
        vfs.zfs.arc_min                         1073741824
        vfs.zfs.arc_max                         8589934592
------------------------------------------------------------------------
Какого при всем написаном про мой L2ARC в диагностике пишется "L2ARC is disabled" ???

Отправлено спустя 20 секунд:
Еще дополнение zfs-stats -a :

Код: Выделить всё

------------------------------------------------------------------------
ZFS Subsystem Report                            Tue Feb  9 18:46:20 2016
------------------------------------------------------------------------

System Information:

        Kernel Version:                         1002000 (osreldate)
        Hardware Platform:                      amd64
        Processor Architecture:                 amd64

        ZFS Storage pool Version:               5000
        ZFS Filesystem Version:                 5

FreeBSD 10.2-RELEASE-p12 #0: Fri Feb 5 21:58:32 MSK 2016 demis
18:46  up  6:55, 1 user, load averages: 0,68 0,61 0,49

------------------------------------------------------------------------

System Memory:

        16.45%  3.84    GiB Active,     2.96%   708.23  MiB Inact
        44.70%  10.43   GiB Wired,      0.00%   12.00   KiB Cache
        35.89%  8.37    GiB Free,       0.00%   0 Gap

        Real Installed:                         24.00   GiB
        Real Available:                 99.86%  23.97   GiB
        Real Managed:                   97.34%  23.33   GiB

        Logical Total:                          24.00   GiB
        Logical Used:                   62.23%  14.94   GiB
        Logical Free:                   37.77%  9.06    GiB

Kernel Memory:                                  359.45  MiB
        Data:                           92.61%  332.89  MiB
        Text:                           7.39%   26.56   MiB

Kernel Memory Map:                              23.33   GiB
        Size:                           31.91%  7.45    GiB
        Free:                           68.09%  15.88   GiB

------------------------------------------------------------------------

ARC Summary: (HEALTHY)
        Memory Throttle Count:                  0

ARC Misc:
        Deleted:                                45.45k
        Recycle Misses:                         42.57k
        Mutex Misses:                           2
        Evict Skips:                            1.09m

ARC Size:                               43.64%  3.49    GiB
        Target Size: (Adaptive)         44.03%  3.52    GiB
        Min Size (Hard Limit):          12.50%  1.00    GiB
        Max Size (High Water):          8:1     8.00    GiB

ARC Size Breakdown:
        Recently Used Cache Size:       93.03%  3.28    GiB
        Frequently Used Cache Size:     6.97%   251.28  MiB

ARC Hash Breakdown:
        Elements Max:                           284.68k
        Elements Current:               100.00% 284.68k
        Collisions:                             28.29k
        Chain Max:                              3
        Chains:                                 9.23k

------------------------------------------------------------------------

ARC Efficiency:                                 14.09m
        Cache Hit Ratio:                96.36%  13.58m
        Cache Miss Ratio:               3.64%   512.36k
        Actual Hit Ratio:               91.31%  12.87m

        Data Demand Efficiency:         99.90%  8.19m
        Data Prefetch Efficiency:       9.78%   29.75k

        CACHE HITS BY CACHE LIST:
          Anonymously Used:             4.85%   659.12k
          Most Recently Used:           14.95%  2.03m
          Most Frequently Used:         79.81%  10.84m
          Most Recently Used Ghost:     0.23%   31.22k
          Most Frequently Used Ghost:   0.16%   21.89k

        CACHE HITS BY DATA TYPE:
          Demand Data:                  60.24%  8.18m
          Prefetch Data:                0.02%   2.91k
          Demand Metadata:              34.29%  4.66m
          Prefetch Metadata:            5.45%   740.20k

        CACHE MISSES BY DATA TYPE:
          Demand Data:                  1.64%   8.38k
          Prefetch Data:                5.24%   26.84k
          Demand Metadata:              35.26%  180.68k
          Prefetch Metadata:            57.86%  296.46k

------------------------------------------------------------------------

L2ARC is disabled

------------------------------------------------------------------------

File-Level Prefetch: (HEALTHY)

DMU Efficiency:                                 37.37m
        Hit Ratio:                      83.49%  31.20m
        Miss Ratio:                     16.51%  6.17m

        Colinear:                               6.17m
          Hit Ratio:                    0.03%   2.02k
          Miss Ratio:                   99.97%  6.17m

        Stride:                                 31.06m
          Hit Ratio:                    99.98%  31.05m
          Miss Ratio:                   0.02%   5.25k

DMU Misc:
        Reclaim:                                6.17m
          Successes:                    0.67%   41.49k
          Failures:                     99.33%  6.13m

        Streams:                                151.69k
          +Resets:                      0.10%   150
          -Resets:                      99.90%  151.54k
          Bogus:                                0

------------------------------------------------------------------------

VDEV Cache Summary:                             2.07m
        Hit Ratio:                      42.03%  870.11k
        Miss Ratio:                     47.06%  974.36k
        Delegations:                    10.91%  225.87k

------------------------------------------------------------------------

ZFS Tunables (sysctl):
        kern.maxusers                           1869
        vm.kmem_size                            25051009024
        vm.kmem_size_scale                      1
        vm.kmem_size_min                        0
        vm.kmem_size_max                        1319413950874
        vfs.zfs.trim.max_interval               1
        vfs.zfs.trim.timeout                    30
        vfs.zfs.trim.txg_delay                  32
        vfs.zfs.trim.enabled                    1
        vfs.zfs.vol.unmap_enabled               1
        vfs.zfs.vol.mode                        1
        vfs.zfs.version.zpl                     5
        vfs.zfs.version.spa                     5000
        vfs.zfs.version.acl                     1
        vfs.zfs.version.ioctl                   4
        vfs.zfs.debug                           0
        vfs.zfs.super_owner                     0
        vfs.zfs.sync_pass_rewrite               2
        vfs.zfs.sync_pass_dont_compress         5
        vfs.zfs.sync_pass_deferred_free         2
        vfs.zfs.zio.exclude_metadata            0
        vfs.zfs.zio.use_uma                     1
        vfs.zfs.cache_flush_disable             1
        vfs.zfs.zil_replay_disable              0
        vfs.zfs.min_auto_ashift                 9
        vfs.zfs.max_auto_ashift                 13
        vfs.zfs.vdev.trim_max_pending           10000
        vfs.zfs.vdev.bio_delete_disable         0
        vfs.zfs.vdev.bio_flush_disable          0
        vfs.zfs.vdev.write_gap_limit            4096
        vfs.zfs.vdev.read_gap_limit             32768
        vfs.zfs.vdev.aggregation_limit          131072
        vfs.zfs.vdev.trim_max_active            64
        vfs.zfs.vdev.trim_min_active            1
        vfs.zfs.vdev.scrub_max_active           2
        vfs.zfs.vdev.scrub_min_active           1
        vfs.zfs.vdev.async_write_max_active     10
        vfs.zfs.vdev.async_write_min_active     1
        vfs.zfs.vdev.async_read_max_active      3
        vfs.zfs.vdev.async_read_min_active      1
        vfs.zfs.vdev.sync_write_max_active      10
        vfs.zfs.vdev.sync_write_min_active      10
        vfs.zfs.vdev.sync_read_max_active       10
        vfs.zfs.vdev.sync_read_min_active       10
        vfs.zfs.vdev.max_active                 1000
        vfs.zfs.vdev.async_write_active_max_dirty_percent60
        vfs.zfs.vdev.async_write_active_min_dirty_percent30
        vfs.zfs.vdev.mirror.non_rotating_seek_inc1
        vfs.zfs.vdev.mirror.non_rotating_inc    0
        vfs.zfs.vdev.mirror.rotating_seek_offset1048576
        vfs.zfs.vdev.mirror.rotating_seek_inc   5
        vfs.zfs.vdev.mirror.rotating_inc        0
        vfs.zfs.vdev.trim_on_init               1
        vfs.zfs.vdev.cache.bshift               16
        vfs.zfs.vdev.cache.size                 838860800
        vfs.zfs.vdev.cache.max                  16384
        vfs.zfs.vdev.metaslabs_per_vdev         200
        vfs.zfs.txg.timeout                     5
        vfs.zfs.space_map_blksz                 4096
        vfs.zfs.spa_slop_shift                  5
        vfs.zfs.spa_asize_inflation             24
        vfs.zfs.deadman_enabled                 1
        vfs.zfs.deadman_checktime_ms            5000
        vfs.zfs.deadman_synctime_ms             1000000
        vfs.zfs.recover                         0
        vfs.zfs.spa_load_verify_data            1
        vfs.zfs.spa_load_verify_metadata        1
        vfs.zfs.spa_load_verify_maxinflight     10000
        vfs.zfs.check_hostid                    1
        vfs.zfs.mg_fragmentation_threshold      85
        vfs.zfs.mg_noalloc_threshold            0
        vfs.zfs.condense_pct                    200
        vfs.zfs.metaslab.bias_enabled           1
        vfs.zfs.metaslab.lba_weighting_enabled  1
        vfs.zfs.metaslab.fragmentation_factor_enabled1
        vfs.zfs.metaslab.preload_enabled        1
        vfs.zfs.metaslab.preload_limit          3
        vfs.zfs.metaslab.unload_delay           8
        vfs.zfs.metaslab.load_pct               50
        vfs.zfs.metaslab.min_alloc_size         33554432
        vfs.zfs.metaslab.df_free_pct            4
        vfs.zfs.metaslab.df_alloc_threshold     131072
        vfs.zfs.metaslab.debug_unload           0
        vfs.zfs.metaslab.debug_load             0
        vfs.zfs.metaslab.fragmentation_threshold70
        vfs.zfs.metaslab.gang_bang              16777217
        vfs.zfs.free_max_blocks                 -1
        vfs.zfs.no_scrub_prefetch               0
        vfs.zfs.no_scrub_io                     0
        vfs.zfs.resilver_min_time_ms            3000
        vfs.zfs.free_min_time_ms                1000
        vfs.zfs.scan_min_time_ms                1000
        vfs.zfs.scan_idle                       50
        vfs.zfs.scrub_delay                     4
        vfs.zfs.resilver_delay                  2
        vfs.zfs.top_maxinflight                 32
        vfs.zfs.zfetch.array_rd_sz              1048576
        vfs.zfs.zfetch.block_cap                256
        vfs.zfs.zfetch.min_sec_reap             2
        vfs.zfs.zfetch.max_streams              8
        vfs.zfs.prefetch_disable                0
        vfs.zfs.delay_scale                     500000
        vfs.zfs.delay_min_dirty_percent         60
        vfs.zfs.dirty_data_sync                 67108864
        vfs.zfs.dirty_data_max_percent          10
        vfs.zfs.dirty_data_max_max              4294967296
        vfs.zfs.dirty_data_max                  2573457817
        vfs.zfs.max_recordsize                  1048576
        vfs.zfs.mdcomp_disable                  0
        vfs.zfs.nopwrite_enabled                1
        vfs.zfs.dedup.prefetch                  1
        vfs.zfs.l2c_only_size                   0
        vfs.zfs.mfu_ghost_data_lsize            921929216
        vfs.zfs.mfu_ghost_metadata_lsize        1590426624
        vfs.zfs.mfu_ghost_size                  2512355840
        vfs.zfs.mfu_data_lsize                  734397440
        vfs.zfs.mfu_metadata_lsize              278528
        vfs.zfs.mfu_size                        805088768
        vfs.zfs.mru_ghost_data_lsize            649250304
        vfs.zfs.mru_ghost_metadata_lsize        152124416
        vfs.zfs.mru_ghost_size                  801374720
        vfs.zfs.mru_data_lsize                  593586176
        vfs.zfs.mru_metadata_lsize              1797098496
        vfs.zfs.mru_size                        2573912576
        vfs.zfs.anon_data_lsize                 0
        vfs.zfs.anon_metadata_lsize             0
        vfs.zfs.anon_size                       4212736
        vfs.zfs.l2arc_norw                      1
        vfs.zfs.l2arc_feed_again                1
        vfs.zfs.l2arc_noprefetch                0
        vfs.zfs.l2arc_feed_min_ms               200
        vfs.zfs.l2arc_feed_secs                 1
        vfs.zfs.l2arc_headroom                  2
        vfs.zfs.l2arc_write_boost               8388608
        vfs.zfs.l2arc_write_max                 8388608
        vfs.zfs.arc_meta_limit                  2147483648
        vfs.zfs.arc_free_target                 42449
        vfs.zfs.arc_shrink_shift                5
        vfs.zfs.arc_average_blocksize           8192
        vfs.zfs.arc_min                         1073741824
        vfs.zfs.arc_max                         8589934592
------------------------------------------------------------------------
Какого при всем написаном про мой L2ARC в диагностике пишется "L2ARC is disabled" ???


Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Demis » 2016-02-09 19:10:27

Neus писал(а): Память ЕСС ?
Вроде ДА. Уточню.

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Neus » 2016-02-09 20:11:11

Про l2arc не правильно понял
Там речь идёт о размере самого л2, а не пула к которому его прицепили, и сколько примерно его метаданные сожрут места в arc. Чувак видимо прикололся, написав пример для размера л2 в 3 тб.
А вот чувак из сана, совершенно правильно написал в какой случае от л2 будет профит.
У вашего проблемного датасета можно вообще поставить primarycache=metadata, compression=lz4, atime=off.

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Demis » 2016-02-09 23:01:19

Neus писал(а):Про l2arc не правильно понял
Там речь идёт о размере самого л2, а не пула к которому его прицепили, и сколько примерно его метаданные сожрут места в arc. Чувак видимо прикололся, написав пример для размера л2 в 3 тб.
А вот чувак из сана, совершенно правильно написал в какой случае от л2 будет профит.
У вашего проблемного датасета можно вообще поставить primarycache=metadata, compression=lz4, atime=off.
Точно. Ты прав.
А primarycache включил, насчет компрессии и даты, я их сознательно не включал, изначально.
Я тут нарыл еще одного приколиста http://lists.omniti.com/pipermail/omnio ... 5-July.txt
У него там датасет 108 Тб (немного не в тему), но прикольно

Код: Выделить всё

### After mounting in readonly mode
  pool: zvol00
 state: ONLINE
status: The pool is formatted using a legacy on-disk format.  The pool can
        still be used, but some features are unavailable.
action: Upgrade the pool using 'zpool upgrade'.  Once this is done, the
        pool will no longer be accessible on software that does not
support feature
        flags.
  scan: scrub in progress since Sat Jul 11 11:00:02 2015
    2.24G scanned out of 69.5T at 1/s, (scan is slow, no estimated time)
    0 repaired, 0.00% done
config:

        NAME                       STATE     READ WRITE CKSUM
        zvol00                     ONLINE       0     0     0
          raidz2-0                 ONLINE       0     0     0
            c4t5000CCA01A91D6F9d0  ONLINE       0     0     0
            c4t5000CCA01A9D4B6Dd0  ONLINE       0     0     0
            c4t5000CCA01A9ED1A9d0  ONLINE       0     0     0
            c4t5000CCA01A9ED311d0  ONLINE       0     0     0
            c4t5000CCA01A9ED345d0  ONLINE       0     0     0
            c4t5000CCA01A9EDD21d0  ONLINE       0     0     0
          raidz2-1                 ONLINE       0     0     0
            c4t5000CCA01A9EE1D1d0  ONLINE       0     0     0
            c4t5000CCA01A9EE3D9d0  ONLINE       0     0     0
            c4t5000CCA01A9F6659d0  ONLINE       0     0     0
            c4t5000CCA01A9F69C5d0  ONLINE       0     0     0
            c4t5000CCA01A9F81A9d0  ONLINE       0     0     0
            c4t5000CCA01AA139CDd0  ONLINE       0     0     0
          raidz2-2                 ONLINE       0     0     0
            c4t5000CCA01AA139D9d0  ONLINE       0     0     0
            c4t5000CCA01AA1CEE9d0  ONLINE       0     0     0
            c4t5000CCA01AA387C9d0  ONLINE       0     0     0
            c4t5000CCA01AA38A89d0  ONLINE       0     0     0
            c4t5000CCA01AA38A91d0  ONLINE       0     0     0
            c4t5000CCA01AA38A95d0  ONLINE       0     0     0
          raidz2-3                 ONLINE       0     0     0
            c5t5000CCA01A9F69F5d0  ONLINE       0     0     0
            c5t5000CCA01A9F816Dd0  ONLINE       0     0     0
            c5t5000CCA01AA389F1d0  ONLINE       0     0     0
            c5t5000CCA01AA38A4Dd0  ONLINE       0     0     0
            c5t5000CCA01AA38A61d0  ONLINE       0     0     0
            c5t5000CCA01AA390F1d0  ONLINE       0     0     0
          raidz2-5                 ONLINE       0     0     0
            c2t5000CCA02490EC4Dd0  ONLINE       0     0     0
            c2t5000CCA02490ED7Dd0  ONLINE       0     0     0
            c2t5000CCA02490EE79d0  ONLINE       0     0     0
            c2t5000CCA02490F0B1d0  ONLINE       0     0     0
            c2t5000CCA02490F271d0  ONLINE       0     0     0
            c2t5000CCA02490F865d0  ONLINE       0     0     0
          raidz2-6                 ONLINE       0     0     0
            c2t5000CCA02490EDB5d0  ONLINE       0     0     0
            c2t5000CCA02490F0D1d0  ONLINE       0     0     0
            c2t5000CCA02490F2F9d0  ONLINE       0     0     0
            c2t5000CCA02490F66Dd0  ONLINE       0     0     0
            c2t5000CCA0249CB6A9d0  ONLINE       0     0     0
            c2t5000CCA0249CB6D9d0  ONLINE       0     0     0
        logs
          mirror-4                 ONLINE       0     0     0
            c4t5000A72A3003CBAAd0  ONLINE       0     0     0
            c4t5000A72A300737B5d0  ONLINE       0     0     0
        cache
          c4t5000A72A3006BD31d0    ONLINE       0     0     0
          c4t5000A72A3006BD37d0    ONLINE       0     0     0


zvol00  size                           108T                           -
zvol00  capacity                       64%                            -
zvol00  altroot                        -
default
zvol00  health                         ONLINE                         -
zvol00  guid                           15199497356660648465           local
zvol00  version                        28                             local
zvol00  bootfs                         -
default
zvol00  delegation                     on
default
zvol00  autoreplace                    on                             local
zvol00  cachefile                      -
default
zvol00  failmode                       continue                       local
zvol00  listsnapshots                  off
default
zvol00  autoexpand                     off
default
zvol00  dedupditto                     0
default
zvol00  dedupratio                     1.00x                          -
zvol00  free                           39.0T                          -
zvol00  allocated                      69.5T                          -
zvol00  readonly                       on                             -
zvol00  comment                        -
default
zvol00  expandsize                     -                              -
zvol00  freeing                        0                              local
zvol00  fragmentation                  0%                             -
zvol00  leaked                         0                              local
zvol00  feature at async_destroy          disabled                       local
zvol00  feature at empty_bpobj            disabled                       local
zvol00  feature at lz4_compress           disabled                       local
zvol00  feature at multi_vdev_crash_dump  disabled                       local
zvol00  feature at spacemap_histogram     disabled                       local
zvol00  feature at enabled_txg            disabled                       local
zvol00  feature at hole_birth             disabled                       local
zvol00  feature at extensible_dataset     disabled                       local
zvol00  feature at embedded_data          disabled                       local
zvol00  feature at bookmarks              disabled                       local
zvol00  feature at filesystem_limits      disabled                       local
zvol00  feature at large_blocks           disabled                       local
У него немного другая проблема была, собственно сам ZIL.
К утру, надеюсь, у меня доскрабится, буду смотреть дальше.

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Demis » 2016-02-10 9:42:59

snorlov писал(а):А нужен ли вам этот снапшот, если нет, то юзать надо

Код: Выделить всё

zfs destroy <имя снашота>
удалится правда весь снапшот, но он же очень старый...
Ну и зачем вам столько снапшотов...
Кроме всего прочего,

Код: Выделить всё

 zpool scrub hdd
делали?
Докладываю, сегодня утром скрабинг завершился.
Сервер был перезагружен.
Эффект сохранился.
После этого были введены в /boot/loader.conf параметры:

Код: Выделить всё

vm.kmem_size="7920M"
vm.kmem_size_max="7920M"
vfs.zfs.arc_max="960M"
vfs.zfs.vdev.cache.size="120M"
Почему именно такие?
https://wiki.freebsd.org/ZFSTuningGuide
На этой страничке есть раздел для i386, подчеркиваю именно i386.
У меня естественно amd64, но я решил так - если у меня какие-то проблемы с памятью, то попробуем задать их руками.
Естественно я видел и читал там раздел для amd64, где написано

Код: Выделить всё

amd64
NOTE (gcooper): this blanket statement is far from true 100% of the time, depending on how the system with ZFS is being used.
FreeBSD 7.2+ has improved kernel memory allocation strategy and no tuning may be necessary on systems with more than 2 GB of RAM. 
Тем не менее в примере на сайте были даны цифры при 1Гб памяти, я просто умножил на мои 24.
Перезагрузка, эффект сохранился.
А теперь самое интересное, правда не вериться что эффект может быть именно из-за этого, но косяк похоже реальный.
Смотрим zpool status -vx hdd :

Код: Выделить всё

  pool: hdd
 state: ONLINE
status: One or more devices has experienced an error resulting in data
        corruption.  Applications may be affected.
action: Restore the file in question if possible.  Otherwise restore the
        entire pool from backup.
   see: http://illumos.org/msg/ZFS-8000-8A
  scan: scrub repaired 0 in 10h44m with 0 errors on Wed Feb 10 04:48:51 2016
config:

        NAME         STATE     READ WRITE CKSUM
        hdd          ONLINE       0     0     0
          raidz2-0   ONLINE       0     0     0
            mfid1p1  ONLINE       0     0     0
            mfid2p1  ONLINE       0     0     0
            mfid3p1  ONLINE       0     0     0
            mfid4p1  ONLINE       0     0     0
            mfid5p1  ONLINE       0     0     0

errors: Permanent errors have been detected in the following files:

        <0x3033>:<0x48fa>
И речь я веду про этот егог <0x3033>:<0x48fa>
Как это лечится?

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Neus » 2016-02-10 9:54:10

Demis писал(а): У него там датасет 108 Тб (немного не в тему), но прикольно
вполне разумный баланс иопс/отказоустойчивость/объем
на днях сравнивал на 4-х дисках raid0/raid10/raidz1/raidz2 иопсы
получилось 100/75.5/62.3/59 в процентах от raid0
Demis писал(а): А primarycache включил, насчет компрессии и даты, я их сознательно не включал, изначально.
сомневаюсь в целесообразности полностью кэшировать самба-шары
компрессия выключена по-умолчанию, а atime включена (а надо бы наоборот :) )

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Demis » 2016-02-10 10:33:44

Demis писал(а):
Neus писал(а): Память ЕСС ?
Вроде ДА. Уточню.
Отвечаю по памяти:
Память KVR1333D3E9S/4G - DDR3, 1333MHz, ECC, CL9, X8, 1.5V, Unbuffered, DIMM
Шесть планок.

Отправлено спустя 20 минут 24 секунды:
Neus писал(а):
Demis писал(а): У него там датасет 108 Тб (немного не в тему), но прикольно
вполне разумный баланс иопс/отказоустойчивость/объем
на днях сравнивал на 4-х дисках raid0/raid10/raidz1/raidz2 иопсы
получилось 100/75.5/62.3/59 в процентах от raid0
Demis писал(а): А primarycache включил, насчет компрессии и даты, я их сознательно не включал, изначально.
сомневаюсь в целесообразности полностью кэшировать самба-шары
компрессия выключена по-умолчанию, а atime включена (а надо бы наоборот :) )
Спорить особо не буду, но мне думается, что такие моменты вряд-ли повлияют на такое поведение системы как у меня.
К тому-же, как я писал в монопольном режиме самба не запущена, сеть тоже, а эффект есть.
Могу конечно, каким-то гипотетическим путем, предположить что "что-то" пролезло через самбу (в результате каких-то ошибок в неких стеках памяти) и повредило zfs, но по моему это слишком конспирологически.
Скорее где-то банальность. Но где?
vmstat -z :

Код: Выделить всё

ITEM                   SIZE  LIMIT     USED     FREE      REQ FAIL SLEEP

UMA Kegs:               384,      0,     240,       0,     240,   0,   0
UMA Zones:             2688,      0,     240,       0,     240,   0,   0
UMA Slabs:               80,      0,   41404,      46,   45527,   0,   0
UMA RCntSlabs:           88,      0,    6566,       4,    6566,   0,   0
UMA Hash:               256,      0,      81,      24,     104,   0,   0
4 Bucket:                32,      0,    1754,    6371,  124852,   0,   0
6 Bucket:                48,      0,     397,    6492,  168440,   0,   0
8 Bucket:                64,      0,     286,    5294,   99886,  11,   0
12 Bucket:               96,      0,     311,    2067,   12677,   0,   0
16 Bucket:              128,      0,     264,    2123,    7622,   0,   0
32 Bucket:              256,      0,     430,    1115,   66017,  56,   0
64 Bucket:              512,      0,     957,     691,   21057,46763,   0
128 Bucket:            1024,      0,     390,     294,   13018,   0,   0
256 Bucket:            2048,      0,     554,     100,   12254, 273,   0
vmem btag:               56,      0,   63883,    1863,   64522, 464,   0
VM OBJECT:              256,      0,   11893,     797,   48933,   0,   0
RADIX NODE:             144,      0,  101685,   36069,  592733,   0,   0
MAP:                    240,      0,       3,      61,       3,   0,   0
KMAP ENTRY:             128,      0,       8,     395,       8,   0,   0
MAP ENTRY:              128,      0,   14275,    2744,  154721,   0,   0
VMSPACE:                448,      0,      55,     413,    2379,   0,   0
fakepg:                 104,      0,       0,       0,       0,   0,   0
mt_zone:               4112,      0,     392,       0,     392,   0,   0
16:                      16,      0,    9615,    1931,  383789,   0,   0
32:                      32,      0,    4182,    3693,  146870,   0,   0
64:                      64,      0,   74133,    6343, 1690325,   0,   0
128:                    128,      0,   50348,    2042, 3992993,   0,   0
256:                    256,      0,   72029,     931,  712217,   0,   0
512:                    512,      0,     838,     850,  370012,   0,   0
1024:                  1024,      0,    1468,     456,   52822,   0,   0
2048:                  2048,      0,     154,     102,    3761,   0,   0
4096:                  4096,      0,    6121,      24,  101959,   0,   0
8192:                  8192,      0,      43,      23,    5174,   0,   0
16384:                16384,      0,      18,      17,    1971,   0,   0
32768:                32768,      0,      22,      11,    1514,   0,   0
65536:                65536,      0,      19,       6,     521,   0,   0
64 pcpu:                  8,      0,    2792,    1560,    2792,   0,   0
SLEEPQUEUE:              80,      0,     676,    1587,     676,   0,   0
Files:                   80,      0,     992,    2008,   75660,   0,   0
rl_entry:                40,      0,     219,    3881,     219,   0,   0
TURNSTILE:              136,      0,     676,     624,     676,   0,   0
umtx pi:                 96,      0,       0,       0,       0,   0,   0
MAC labels:              40,      0,       0,       0,       0,   0,   0
PROC:                  1256,      0,      75,     168,    2399,   0,   0
THREAD:                1176,      0,     602,      73,     785,   0,   0
cpuset:                  72,      0,     355,     525,     532,   0,   0
audit_record:          1248,      0,       0,       0,       0,   0,   0
mbuf_packet:            256, 3244035,       0,   12903,   62453,   0,   0
mbuf:                   256, 3244035,   24590,    4012, 3743012,   0,   0
mbuf_cluster:          2048, 4194304,   12903,       7,   12903,   0,   0
mbuf_jumbo_page:       4096, 253440,       0,     111,  738372,   0,   0
mbuf_jumbo_9k:         9216,  75093,   24570,     284,  513720,   0,   0
mbuf_jumbo_16k:       16384,  42240,       0,       0,       0,   0,   0
mbuf_ext_refcnt:          4,      0,       0,       0,       0,   0,   0
NetGraph items:          72,   4123,       0,     279,       2,   0,   0
NetGraph data items:     72,    527,       0,       0,       0,   0,   0
DMAR_MAP_ENTRY:         120,      0,       0,       0,       0,   0,   0
g_bio:                  248,      0,       0,    2640, 2295373,   0,   0
ttyinq:                 160,      0,     180,     995,    1647,   0,   0
ttyoutq:                256,      0,      95,    1015,     853,   0,   0
ata_request:            336,      0,       0,       0,       0,   0,   0
nvme_request:           128,      0,       0,       0,       0,   0,   0
cryptop:                 88,      0,       0,       0,       0,   0,   0
cryptodesc:              72,      0,       0,       0,       0,   0,   0
vtnet_tx_hdr:            24,      0,       0,       0,       0,   0,   0
FPU_save_area:          512,      0,       0,       0,       0,   0,   0
VNODE:                  472,      0,   53520,     192,   53814,   0,   0
VNODEPOLL:              112,      0,    1959,    1296,    1966,   0,   0
BUF TRIE:               144,      0,    3793,  102155,   24422,   0,   0
S VFS Cache:            108,      0,   39458,    1072,   42270,   0,   0
STS VFS Cache:          148,      0,       0,       0,       0,   0,   0
L VFS Cache:            328,      0,   15524,     232,   17084,   0,   0
LTS VFS Cache:          368,      0,       0,       0,       0,   0,   0
NAMEI:                 1024,      0,       0,     224,  678495,   0,   0
NCLNODE:                528,      0,       0,       0,       0,   0,   0
DIRHASH:               1024,      0,     155,      69,     155,   0,   0
AIO:                    208,      0,       0,       0,       0,   0,   0
AIOP:                    32,      0,       0,       0,       0,   0,   0
AIOCB:                  728,      0,       0,       0,       0,   0,   0
AIOL:                   128,      0,       0,       0,       0,   0,   0
AIOLIO:                 272,      0,       0,       0,       0,   0,   0
Mountpoints:            816,      0,      16,      49,      17,   0,   0
pipe:                   744,      0,      30,     230,    1283,   0,   0
procdesc:               128,      0,       0,       0,       0,   0,   0
ksiginfo:               112,      0,     219,    2406,    4032,   0,   0
itimer:                 352,      0,       0,       0,       0,   0,   0
KNOTE:                  128,      0,     515,    2120,   11809,   0,   0
socket:                 696, 785360,     206,     184,    7531,   0,   0
unpcb:                  240, 785360,     104,     872,    6729,   0,   0
ipq:                     56, 131137,       0,       0,       0,   0,   0
udp_inpcb:              392, 785360,      40,     430,     552,   0,   0
udpcb:                   24, 785401,      40,    4135,     552,   0,   0
tcp_inpcb:              392, 785360,      59,     351,      82,   0,   0
tcpcb:                 1032, 785361,      59,      94,      82,   0,   0
tcptw:                   88,  27810,       0,     270,       7,   0,   0
syncache:               160,  15375,       0,     325,      16,   0,   0
hostcache:              136,  15370,       2,     143,       2,   0,   0
sackhole:                32,      0,       0,     375,       3,   0,   0
tcpreass:                40, 262200,       0,       0,       0,   0,   0
sctp_ep:               1424, 785360,       0,       0,       0,   0,   0
sctp_asoc:             2416,  40000,       0,       0,       0,   0,   0
sctp_laddr:              48,  80012,       0,     581,       3,   0,   0
sctp_raddr:             728,  80000,       0,       0,       0,   0,   0
sctp_chunk:             136, 400026,       0,       0,       0,   0,   0
sctp_readq:             104, 400026,       0,       0,       0,   0,   0
sctp_stream_msg_out:    104, 400026,       0,       0,       0,   0,   0
sctp_asconf:             40, 400000,       0,       0,       0,   0,   0
sctp_asconf_ack:         48, 400060,       0,       0,       0,   0,   0
udplite_inpcb:          392, 785360,       0,       0,       0,   0,   0
ripcb:                  392, 785360,       1,     469,     159,   0,   0
rtentry:                200,      0,      13,     427,      13,   0,   0
IPFW dynamic rule:      120,   4125,       0,       0,       0,   0,   0
divcb:                  392, 785360,       0,       0,       0,   0,   0
selfd:                   56,      0,     314,    4798, 4083152,   0,   0
SWAPMETA:               288, 3057990,       0,       0,       0,   0,   0
FFS inode:              176,      0,    1377,     581,    1648,   0,   0
FFS1 dinode:            128,      0,       0,       0,       0,   0,   0
FFS2 dinode:            256,      0,    1377,     588,    1648,   0,   0
taskq_zone:              48,      0,       0,    3818,    1565,   0,   0
range_seg_cache:         64,      0,   25368,   12080,  135338,   0,   0
zio_cache:              920,      0,      16,    2272, 1744281,   0,   0
zio_link_cache:          48,      0,       0,    7138, 1638611,   0,   0
zio_buf_512:            512,      0,   57969,     351,   60874,   0,   0
zio_data_buf_512:       512,      0,       0,     352,     170,   0,   0
zio_buf_1024:          1024,      0,      99,     281,    2582,   0,   0
zio_data_buf_1024:     1024,      0,       0,     120,      29,   0,   0
zio_buf_1536:          1536,      0,      28,     134,     177,   0,   0
zio_data_buf_1536:     1536,      0,       0,      18,       2,   0,   0
zio_buf_2048:          2048,      0,      28,      82,    2081,   0,   0
zio_data_buf_2048:     2048,      0,       0,       6,       2,   0,   0
zio_buf_2560:          2560,      0,      13,      62,     945,   0,   0
zio_data_buf_2560:     2560,      0,       0,       3,       1,   0,   0
zio_buf_3072:          3072,      0,       5,      58,     381,   0,   0
zio_data_buf_3072:     3072,      0,       0,       0,       0,   0,   0
zio_buf_3584:          3584,      0,       5,      63,     294,   0,   0
zio_data_buf_3584:     3584,      0,       0,       0,       0,   0,   0
zio_buf_4096:          4096,      0,      91,    1132,  252120,   0,   0
zio_data_buf_4096:     4096,      0,       0,      24,      24,   0,   0
zio_buf_5120:          5120,      0,       9,     104,    1542,   0,   0
zio_data_buf_5120:     5120,      0,       0,       1,       4,   0,   0
zio_buf_6144:          6144,      0,       3,      28,     141,   0,   0
zio_data_buf_6144:     6144,      0,       0,       2,       3,   0,   0
zio_buf_7168:          7168,      0,       1,      12,      20,   0,   0
zio_data_buf_7168:     7168,      0,       0,       0,       0,   0,   0
zio_buf_8192:          8192,      0,       4,     180,   20008,   0,   0
zio_data_buf_8192:     8192,      0,       0,       3,       3,   0,   0
zio_buf_10240:        10240,      0,      13,      17,     110,   0,   0
zio_data_buf_10240:   10240,      0,       0,       0,       0,   0,   0
zio_buf_12288:        12288,      0,       1,     289,   10183,   0,   0
zio_data_buf_12288:   12288,      0,       0,       2,       2,   0,   0
zio_buf_14336:        14336,      0,       4,       2,       7,   0,   0
zio_data_buf_14336:   14336,      0,       0,       0,       0,   0,   0
zio_buf_16384:        16384,      0,   10943,    1437,   44646,   0,   0
zio_data_buf_16384:   16384,      0,       0,       1,       1,   0,   0
zio_buf_20480:        20480,      0,       3,      63,    3992,   0,   0
zio_data_buf_20480:   20480,      0,       0,       5,       9,   0,   0
zio_buf_24576:        24576,      0,       2,      24,    2292,   0,   0
zio_data_buf_24576:   24576,      0,       0,       0,       0,   0,   0
zio_buf_28672:        28672,      0,       0,     251,    2092,   0,   0
zio_data_buf_28672:   28672,      0,       0,       5,       8,   0,   0
zio_buf_32768:        32768,      0,       1,      52,    1132,   0,   0
zio_data_buf_32768:   32768,      0,       0,       9,      20,   0,   0
zio_buf_40960:        40960,      0,       1,     325,    7289,   0,   0
zio_data_buf_40960:   40960,      0,       0,      12,      55,   0,   0
zio_buf_49152:        49152,      0,       1,     209,  324572,   0,   0
zio_data_buf_49152:   49152,      0,       0,       9,      17,   0,   0
zio_buf_57344:        57344,      0,       0,      22,     386,   0,   0
zio_data_buf_57344:   57344,      0,       0,       7,      22,   0,   0
zio_buf_65536:        65536,      0,    9605,      58,   26193,   0,   0
zio_data_buf_65536:   65536,      0,       0,      10,      64,   0,   0
zio_buf_81920:        81920,      0,       0,      25,     208,   0,   0
zio_data_buf_81920:   81920,      0,       0,       7,      13,   0,   0
zio_buf_98304:        98304,      0,       0,      26,     460,   0,   0
zio_data_buf_98304:   98304,      0,       0,       8,      18,   0,   0
zio_buf_114688:      114688,      0,       0,      19,     104,   0,   0
zio_data_buf_114688: 114688,      0,       0,       3,       5,   0,   0
zio_buf_131072:      131072,      0,      56,     703,    2611,   0,   0
zio_data_buf_131072: 131072,      0,       0,     115,  161919,   0,   0
zio_buf_163840:      163840,      0,       0,       0,       0,   0,   0
zio_data_buf_163840: 163840,      0,       0,       0,       0,   0,   0
zio_buf_196608:      196608,      0,       0,       0,       0,   0,   0
zio_data_buf_196608: 196608,      0,       0,       0,       0,   0,   0
zio_buf_229376:      229376,      0,       0,       0,       0,   0,   0
zio_data_buf_229376: 229376,      0,       0,       0,       0,   0,   0
zio_buf_262144:      262144,      0,       0,       0,       0,   0,   0
zio_data_buf_262144: 262144,      0,       0,       0,       0,   0,   0
zio_buf_327680:      327680,      0,       0,       0,       0,   0,   0
zio_data_buf_327680: 327680,      0,       0,       0,       0,   0,   0
zio_buf_393216:      393216,      0,       0,       0,       0,   0,   0
zio_data_buf_393216: 393216,      0,       0,       0,       0,   0,   0
zio_buf_458752:      458752,      0,       0,       0,       0,   0,   0
zio_data_buf_458752: 458752,      0,       0,       0,       0,   0,   0
zio_buf_524288:      524288,      0,       0,       0,       0,   0,   0
zio_data_buf_524288: 524288,      0,       0,       0,       0,   0,   0
zio_buf_655360:      655360,      0,       0,       0,       0,   0,   0
zio_data_buf_655360: 655360,      0,       0,       0,       0,   0,   0
zio_buf_786432:      786432,      0,       0,       0,       0,   0,   0
zio_data_buf_786432: 786432,      0,       0,       0,       0,   0,   0
zio_buf_917504:      917504,      0,       0,       0,       0,   0,   0
zio_data_buf_917504: 917504,      0,       0,       0,       0,   0,   0
zio_buf_1048576:     1048576,      0,       0,       0,       0,   0,   0
zio_data_buf_1048576: 1048576,      0,       0,       0,       0,   0,   0
zio_buf_1310720:     1310720,      0,       0,       0,       0,   0,   0
zio_data_buf_1310720: 1310720,      0,       0,       0,       0,   0,   0
zio_buf_1572864:     1572864,      0,       0,       0,       0,   0,   0
zio_data_buf_1572864: 1572864,      0,       0,       0,       0,   0,   0
zio_buf_1835008:     1835008,      0,       0,       0,       0,   0,   0
zio_data_buf_1835008: 1835008,      0,       0,       0,       0,   0,   0
zio_buf_2097152:     2097152,      0,       0,       0,       0,   0,   0
zio_data_buf_2097152: 2097152,      0,       0,       0,       0,   0,   0
zio_buf_2621440:     2621440,      0,       0,       0,       0,   0,   0
zio_data_buf_2621440: 2621440,      0,       0,       0,       0,   0,   0
zio_buf_3145728:     3145728,      0,       0,       0,       0,   0,   0
zio_data_buf_3145728: 3145728,      0,       0,       0,       0,   0,   0
zio_buf_3670016:     3670016,      0,       0,       0,       0,   0,   0
zio_data_buf_3670016: 3670016,      0,       0,       0,       0,   0,   0
zio_buf_4194304:     4194304,      0,       0,       0,       0,   0,   0
zio_data_buf_4194304: 4194304,      0,       0,       0,       0,   0,   0
zio_buf_5242880:     5242880,      0,       0,       0,       0,   0,   0
zio_data_buf_5242880: 5242880,      0,       0,       0,       0,   0,   0
zio_buf_6291456:     6291456,      0,       0,       0,       0,   0,   0
zio_data_buf_6291456: 6291456,      0,       0,       0,       0,   0,   0
zio_buf_7340032:     7340032,      0,       0,       0,       0,   0,   0
zio_data_buf_7340032: 7340032,      0,       0,       0,       0,   0,   0
zio_buf_8388608:     8388608,      0,       0,       0,       0,   0,   0
zio_data_buf_8388608: 8388608,      0,       0,       0,       0,   0,   0
zio_buf_10485760:    10485760,      0,       0,       0,       0,   0,   0
zio_data_buf_10485760: 10485760,      0,       0,       0,       0,   0,   0
zio_buf_12582912:    12582912,      0,       0,       0,       0,   0,   0
zio_data_buf_12582912: 12582912,      0,       0,       0,       0,   0,   0
zio_buf_14680064:    14680064,      0,       0,       0,       0,   0,   0
zio_data_buf_14680064: 14680064,      0,       0,       0,       0,   0,   0
zio_buf_16777216:    16777216,      0,       0,       0,       0,   0,   0
zio_data_buf_16777216: 16777216,      0,       0,       0,       0,   0,   0
lz4_ctx:              16384,      0,       0,      29,   25166,   0,   0
sa_cache:                80,      0,   52049,     951,   52058,   0,   0
dnode_t:                752,      0,   52498,     102,   52921,   0,   0
dmu_buf_impl_t:         224,      0,   65707,     729,  240513,   0,   0
arc_buf_hdr_t:          216,      0,   30214,     530,  193697,   0,   0
arc_buf_t:               72,      0,   16953,    3837,  198227,   0,   0
zil_lwb_cache:          192,      0,       1,     259,       8,   0,   0
zfs_znode_cache:        368,      0,   52049,     271,   52058,   0,   0
Еще заметил, после установки параметров в /boot/loader.conf сегодня,
что

Код: Выделить всё

sysctl vm.kmem_size_max
vm.kmem_size_max: 8304721920
т.е. 7.734375 гигабайт
Что вроде как правильнее чем было ранее:

Код: Выделить всё

sysctl vm.kmem_size_max
vm.kmem_size_max: 1319413950874
т.е. 1228.799997712 гигабайт
Еще комментарий, я некоторое время назад (неделю примерно) взял скрипт опубликованный на
https://wiki.freebsd.org/ZFSTuningGuide
Запихнул его в крон с выводом в файл.
Там накопилось несколько тысяч строк, но я в них ничего сверх необычного не увидел.
Если интересует - выложу.

snorlov
подполковник
Сообщения: 3927
Зарегистрирован: 2008-09-04 11:51:25
Откуда: Санкт-Петербург

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение snorlov » 2016-02-10 11:25:21

Demis писал(а): Смотрим zpool status -vx hdd :

Код: Выделить всё

  pool: hdd
 state: ONLINE
status: One or more devices has experienced an error resulting in data
        corruption.  Applications may be affected.
action: Restore the file in question if possible.  Otherwise restore the
        entire pool from backup.
   see: http://illumos.org/msg/ZFS-8000-8A
  scan: scrub repaired 0 in 10h44m with 0 errors on Wed Feb 10 04:48:51 2016
config:

        NAME         STATE     READ WRITE CKSUM
        hdd          ONLINE       0     0     0
          raidz2-0   ONLINE       0     0     0
            mfid1p1  ONLINE       0     0     0
            mfid2p1  ONLINE       0     0     0
            mfid3p1  ONLINE       0     0     0
            mfid4p1  ONLINE       0     0     0
            mfid5p1  ONLINE       0     0     0

errors: Permanent errors have been detected in the following files:

        <0x3033>:<0x48fa>
И речь я веду про этот егог <0x3033>:<0x48fa>
Как это лечится?
Вот это и у меня было, как я его решил уже рассказал...

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Demis » 2016-02-10 12:58:52

snorlov писал(а): Вот это и у меня было, как я его решил уже рассказал...
Блин пипец...
Хорошо, порассуждаем:
Там выше я приводил пример про 108 тер у дяди.
Куда он будет в таком случае это копировать?
И это не самый крупный институтский пример, есть и 1000 раз крупнее.
Думаю, что разработчики zfs должны были такие моменты учесть закладывая масштабируемость и размеры системы.
Ну представим себе, что в сетевых случаях организации пулов возникнет такая ошибка, и что?
Народ будет носиться по городам и везде из бекапов восстанавливаться?
Сомневаюсь я в этом...
М.б. мы просто не понимаем/не знаем как с этим бороться в силу относительной новоиспеченности продукта
(но за десяток лет наверное многие болячки были обдуманы и уже решены).
Далее, в моем случае по последнему zpool status -vx hdd мы видим:
snorlov писал(а): action: Restore the file in question if possible. Otherwise restore the
entire pool from backup.
see: http://illumos.org/msg/ZFS-8000-8A
Т.е. нам нежно пишут восстановите файл если это возможно иначе восстанавливайте пул из бекапа.
Т.е. вариант с бекапом итак уже ясен.
Но что они имеют ввиду про восстановление файла?
Т.е. типа не так все плохо?
М.б. указанный
Demis писал(а): errors: Permanent errors have been detected in the following files:

<0x3033>:<0x48fa>
это некий inod и по нему можно вычислить этот файл.
Причем ведь и инод может оказаться в снапшоте...

Отправлено спустя 53 минуты 51 секунду:
Demis писал(а):
snorlov писал(а): Вот это и у меня было, как я его решил уже рассказал...
Блин пипец...
Хорошо, порассуждаем:
Там выше я приводил пример про 108 тер у дяди.
Куда он будет в таком случае это копировать?
И это не самый крупный институтский пример, есть и 1000 раз крупнее.
Думаю, что разработчики zfs должны были такие моменты учесть закладывая масштабируемость и размеры системы.
Ну представим себе, что в сетевых случаях организации пулов возникнет такая ошибка, и что?
Народ будет носиться по городам и везде из бекапов восстанавливаться?
Сомневаюсь я в этом...
М.б. мы просто не понимаем/не знаем как с этим бороться в силу относительной новоиспеченности продукта
(но за десяток лет наверное многие болячки были обдуманы и уже решены).
Далее, в моем случае по последнему zpool status -vx hdd мы видим:
snorlov писал(а): action: Restore the file in question if possible. Otherwise restore the
entire pool from backup.
see: http://illumos.org/msg/ZFS-8000-8A
Т.е. нам нежно пишут восстановите файл если это возможно иначе восстанавливайте пул из бекапа.
Т.е. вариант с бекапом итак уже ясен.
Но что они имеют ввиду про восстановление файла?
Т.е. типа не так все плохо?
М.б. указанный
Demis писал(а): errors: Permanent errors have been detected in the following files:

<0x3033>:<0x48fa>
это некий inod и по нему можно вычислить этот файл.
Причем ведь и инод может оказаться в снапшоте...
Внимательно читаю:
http://docs.oracle.com/cd/E19253-01/820 ... index.html

Код: Выделить всё

Если преобразование номера объекта в путь к файлу невозможно по причине ошибки или отсутствия реального связанного пути к файлу, как в случае с dnode_t, отображается имя набора данных, а затем номер объекта. Пример:

monkey/dnode:<0x0> 

При повреждении объекта в наборе объектов метаданных (MOS) отображается специальный тег <metadata>, а затем номер объекта.
При повреждении в каталоге или метаданных файла единственным решением является перемещение файла в какое-либо другое местоположение. Любой файл или каталог можно безопасно переместить в менее удобное местоположение, что обеспечивает восстановление исходного объекта.
Соответственно предполагаю что, в моем случае, 0x3033 это имя пула которого нет, а 0x48fa имя (инод) файла.
Т.е. в любом случае это не ошибка самого пула (его структуры или математики) как такового, но ошибка объекта внутри него.
Но пока это домыслы.

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Neus » 2016-02-10 13:28:40

Demis писал(а):         vfs.zfs.cache_flush_disable             1
вот откуда растут ноги твоей проблемы

Отправлено спустя 3 минуты 53 секунды:

Код: Выделить всё

zpool status test
  pool: test
 state: ONLINE
  scan: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        test        ONLINE       0     0     0
          mirror-0  ONLINE       0     0     0
            da0     ONLINE       0     0     0
            da1     ONLINE       0     0     0
        logs
          da2       ONLINE       0     0     0
        cache
          da3       ONLINE       0     0     0

errors: No known data errors

Код: Выделить всё

zfs-stats -DL

------------------------------------------------------------------------
ZFS Subsystem Report                            Wed Feb 10 14:20:44 2016
------------------------------------------------------------------------

L2 ARC Summary: (HEALTHY)
        Passed Headroom:                        172.81k
        Tried Lock Failures:                    1.27k
        IO In Progress:                         0
        Low Memory Aborts:                      0
        Free on Write:                          2
        Writes While Full:                      36
        R/W Clashes:                            0
        Bad Checksums:                          0
        IO Errors:                              0
        SPA Mismatch:                           13.78m

L2 ARC Size: (Adaptive)                         793.63  MiB
        Header Size:                    0.00%   0

L2 ARC Breakdown:                               791.69k
        Hit Ratio:                      0.00%   0
        Miss Ratio:                     100.00% 791.69k
        Feeds:                                  8.78k

L2 ARC Buffer:
        Bytes Scanned:                          565.10  GiB
        Buffer Iterations:                      8.78k
        List Iterations:                        561.70k
        NULL List Iterations:                   0

L2 ARC Writes:
        Writes Sent:                    100.00% 479

------------------------------------------------------------------------

VDEV cache is disabled

------------------------------------------------------------------------
а у меня почему-то кэш на дисках отключен.. видимо контроллер выключил :)

Отправлено спустя 6 минут :
https://habrahabr.ru/post/160943/

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Странная проблема с zfs и samba 4.2, хотя в самбе-ли дело?

Непрочитанное сообщение Demis » 2016-02-10 15:23:33

Neus писал(а): видимо контроллер выключил
кто его знает, м.б.
Угу, уже несколько раз перечитывал...
Neus писал(а): vfs.zfs.cache_flush_disable 1
Да блин косяк, я его вчера вечером только заметил.
Запустил скраб в 18:00
А сам принялся конфиги разбирать в 3001 раз.
И нашел, закоментарил:

Код: Выделить всё

# zfs
# https://forums.freebsd.org/threads/zfs-nfs-performance-improve-by-disabling-zfs-cache_flush_disable.30856/
# disable BIO flushes
# disables metadata sync mode and uses async I/O without flushes
# ONLY USE FOR PERFORMANCE TESTING
# commented 2016-02-09-21-10
# vfs.zfs.cache_flush_disable=1
#
Сегодня утром перед перезагрузкой shutdown -r now сделал rehash, так на всякий случай.
В любом случае, до перезагрузки и во время скрабинга действовал старый параметр.
Однако после перезагрузки уже действовал новый.
Т.е. на момент тестирования проблемы (я начала, перегрузился, потом проверял, так чтобы железно все наместах было...),
параметр был гарантированно установлен.
И сейчас он действует.
Меня кстати другой параметр волнует, я никак не могу вкурить его, это vfs.zfs.prefetch_disable
Дело в том, что по ссылке https://www.freebsd.org/doc/handbook/zfs-advanced.html
написано:

Код: Выделить всё

vfs.zfs.prefetch_disable - Disable prefetch. A value of 0 is enabled and 1 is disabled. The default is 0, unless the system has less than 4 GB of RAM. Prefetch works by reading larger blocks than were requested into the ARC in hopes that the data will be needed soon. If the workload has a large number of random reads, disabling prefetch may actually improve performance by reducing unnecessary reads. This value can be adjusted at any time with sysctl(8).
И меня клинит, вроде как звучит как prefetch_disable.
Т.е. если считать логически, оный имеет в названии _disable (т.е. запрещение) , то дав ему 1 я его активирую.
Однако в тексте написано:

Код: Выделить всё

A value of 0 is enabled and 1 is disabled
т.е. наоброт.
В общем, казнить нельзя помиловать, какой-то...
Причем я по форумам полазил, а там кто во что горазд, и так примеры пишут и так...