ZFS: Куда делось место?

[gilgameshfreedom]

Всем доброго времени суток!

Я использую ZFS в качестве корневой файловой системы на FreeBSD машине. Вот как это выглядит:

Код: Выделить всё

blackbird# uname -srm
FreeBSD 8.2-RELEASE-p1 amd64
blackbird# zpool list zfsroot
NAME      SIZE   USED  AVAIL    CAP  HEALTH  ALTROOT
zfsroot   460G   453G  7.19G    98%  ONLINE  -
blackbird# zpool status -v zfsroot
  pool: zfsroot
 state: ONLINE
 scrub: scrub completed after 8h0m with 0 errors on Sat Nov 19 00:42:04 2011
config:

	NAME           STATE     READ WRITE CKSUM
	zfsroot        ONLINE       0     0     0
	  gpt/zfsroot  ONLINE       0     0     0

errors: No known data errors
blackbird# gpart show              
=>       34  976770988  ad4  GPT  (466G)
         34        128    1  freebsd-boot  (64K)
        162    8388608    2  freebsd-swap  (4.0G)
    8388770  968382252    3  freebsd-zfs  (462G)

blackbird# zfs list -r zfsroot
NAME                  USED  AVAIL  REFER  MOUNTPOINT
zfsroot               453G      0  29.4G  legacy
zfsroot/backup        125G      0    25K  /backup
zfsroot/backup/mail   125G      0   125G  /backup/mail
zfsroot/tmp          10.7M      0  10.7M  /tmp
zfsroot/usr           298G      0   298G  /usr
zfsroot/usr/home      232M      0   232M  /usr/home
zfsroot/var           171M      0   710K  /var
zfsroot/var/db        170M      0   170M  /var/db
blackbird# zpool upgrade -v
This system is currently running ZFS pool version 14.

Как видно из выше-приведенного пул с именем zfsroot, размером в 460G отдан целиком под основную систему и почти полностью заполнен. Также видно, что 298G приходится на /usr. Однако вот, что говорит du:

Код: Выделить всё

blackbird# du -h -d 1 /usr
 21M	/usr/libexec
 83K	/usr/libdata
 67M	/usr/lib
 43M	/usr/share
547M	/usr/src
4.8G	/usr/local
 36M	/usr/bin
 55M	/usr/lib32
474M	/usr/ports
232M	/usr/home
106M	/usr/doc
 17M	/usr/include
1.5K	/usr/pool
262K	/usr/games
 21M	/usr/sbin
6.4G	/usr

Как видно на самом деле используются 6.4G. Вот полный набор опций для zfsroot/usr и его потомка zfsroot/usr/home:

Код: Выделить всё

blackbird# zfs get -r all zfsroot/usr
NAME              PROPERTY              VALUE                                                           SOURCE
zfsroot/usr       type                  filesystem                                                      -
zfsroot/usr       creation              Tue Dec  1 22:35 2009                                           -
zfsroot/usr       used                  298G                                                            -
zfsroot/usr       available             0                                                               -
zfsroot/usr       referenced            298G                                                            -
zfsroot/usr       compressratio         1.00x                                                           -
zfsroot/usr       mounted               yes                                                             -
zfsroot/usr       quota                 none                                                            default
zfsroot/usr       reservation           none                                                            default
zfsroot/usr       recordsize            128K                                                            default
zfsroot/usr       mountpoint            /usr                                                            local
zfsroot/usr       sharenfs              -alldirs -maproot=root -network 10.110.0.0 -mask=255.255.255.0  local
zfsroot/usr       checksum              on                                                              default
zfsroot/usr       compression           off                                                             default
zfsroot/usr       atime                 on                                                              default
zfsroot/usr       devices               on                                                              default
zfsroot/usr       exec                  on                                                              default
zfsroot/usr       setuid                on                                                              default
zfsroot/usr       readonly              off                                                             inherited from zfsroot
zfsroot/usr       jailed                off                                                             default
zfsroot/usr       snapdir               hidden                                                          default
zfsroot/usr       aclmode               groupmask                                                       default
zfsroot/usr       aclinherit            restricted                                                      default
zfsroot/usr       canmount              on                                                              default
zfsroot/usr       shareiscsi            off                                                             default
zfsroot/usr       xattr                 off                                                             temporary
zfsroot/usr       copies                1                                                               default
zfsroot/usr       version               3                                                               -
zfsroot/usr       utf8only              off                                                             -
zfsroot/usr       normalization         none                                                            -
zfsroot/usr       casesensitivity       sensitive                                                       -
zfsroot/usr       vscan                 off                                                             default
zfsroot/usr       nbmand                off                                                             default
zfsroot/usr       sharesmb              off                                                             default
zfsroot/usr       refquota              none                                                            default
zfsroot/usr       refreservation        none                                                            default
zfsroot/usr       primarycache          all                                                             default
zfsroot/usr       secondarycache        all                                                             default
zfsroot/usr       usedbysnapshots       0                                                               -
zfsroot/usr       usedbydataset         298G                                                            -
zfsroot/usr       usedbychildren        232M                                                            -
zfsroot/usr       usedbyrefreservation  0                                                               -
zfsroot/usr/home  type                  filesystem                                                      -
zfsroot/usr/home  creation              Tue Dec  1 22:35 2009                                           -
zfsroot/usr/home  used                  232M                                                            -
zfsroot/usr/home  available             0                                                               -
zfsroot/usr/home  referenced            232M                                                            -
zfsroot/usr/home  compressratio         1.00x                                                           -
zfsroot/usr/home  mounted               yes                                                             -
zfsroot/usr/home  quota                 none                                                            default
zfsroot/usr/home  reservation           none                                                            default
zfsroot/usr/home  recordsize            128K                                                            default
zfsroot/usr/home  mountpoint            /usr/home                                                       inherited from zfsroot/usr
zfsroot/usr/home  sharenfs              -alldirs -maproot=root -network 10.110.0.0 -mask=255.255.255.0  inherited from zfsroot/usr
zfsroot/usr/home  checksum              on                                                              default
zfsroot/usr/home  compression           off                                                             default
zfsroot/usr/home  atime                 on                                                              default
zfsroot/usr/home  devices               on                                                              default
zfsroot/usr/home  exec                  on                                                              default
zfsroot/usr/home  setuid                on                                                              default
zfsroot/usr/home  readonly              off                                                             inherited from zfsroot
zfsroot/usr/home  jailed                off                                                             default
zfsroot/usr/home  snapdir               hidden                                                          default
zfsroot/usr/home  aclmode               groupmask                                                       default
zfsroot/usr/home  aclinherit            restricted                                                      default
zfsroot/usr/home  canmount              on                                                              default
zfsroot/usr/home  shareiscsi            off                                                             default
zfsroot/usr/home  xattr                 off                                                             temporary
zfsroot/usr/home  copies                1                                                               default
zfsroot/usr/home  version               3                                                               -
zfsroot/usr/home  utf8only              off                                                             -
zfsroot/usr/home  normalization         none                                                            -
zfsroot/usr/home  casesensitivity       sensitive                                                       -
zfsroot/usr/home  vscan                 off                                                             default
zfsroot/usr/home  nbmand                off                                                             default
zfsroot/usr/home  sharesmb              off                                                             default
zfsroot/usr/home  refquota              none                                                            default
zfsroot/usr/home  refreservation        none                                                            default
zfsroot/usr/home  primarycache          all                                                             default
zfsroot/usr/home  secondarycache        all                                                             default
zfsroot/usr/home  usedbysnapshots       0                                                               -
zfsroot/usr/home  usedbydataset         232M                                                            -
zfsroot/usr/home  usedbychildren        0                                                               -
zfsroot/usr/home  usedbyrefreservation  0                                                               -

Как видно copies=1, а reservation=none. У кого-нибудь есть какие-нибудь идеи, куда могло деться место?

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Electronik]

не совсем понимаю как работает ZFS, но на UFS у меня была проблема когда место пропало из-за поломки ФС, fsck помог. а как на zfs не знаю.

[gilgameshfreedom]

не совсем понимаю как работает ZFS, но на UFS у меня была проблема когда место пропало из-за поломки ФС, fsck помог. а как на zfs не знаю.

ZFS устроена так, что fsck ей не нужен. Есть команда zpool scrub, но она лишь проверяет соответствие блоку данных и хеш-значению. Как мне кажется, проблема глубже.

[bu7cher]

Код: Выделить всё

# zfs list -t snapshot

[gilgameshfreedom]

Код: Выделить всё

# zfs list -t snapshot

На этом пуле ни один из датасетов не имеет снэпшотов.

Код: Выделить всё

blackbird# zfs list -r -t snapshot zfsroot
no datasets available

[manefesto]

хитрая софтина съела все место.
я такое наблюдал с apache

[gilgameshfreedom]

хитрая софтина съела все место.
я такое наблюдал с apache

Ну апача в основной системе у меня нет. Все равно, если бы какая-нибудь софтина съела все место, то du выдал бы не 6.4G, а 298G.

[терминус_]

а что показывает

Код: Выделить всё

df -h

?

[manefesto]

а что есть то ?
убери все из rc.conf и ребутни, потом ищи виновника

[gilgameshfreedom]

UPDATE 1. Вывод команды zdb:

Код: Выделить всё

blackbird# zdb zfsroot 
    version=14
    name='zfsroot'
    state=0
    txg=1050017
    pool_guid=1668191870567397353
    hostid=683106265
    hostname='blackbird.csu.ru'
    vdev_tree
        type='root'
        id=0
        guid=1668191870567397353
        children[0]
                type='disk'
                id=0
                guid=17571323841444070802
                path='/dev/gpt/zfsroot'
                whole_disk=0
                metaslab_array=23
                metaslab_shift=32
                ashift=9
                asize=495806840832
                is_log=0
Uberblock

	magic = 0000000000bab10c
	version = 14
	txg = 3140278
	guid_sum = 792771638301916539
	timestamp = 1321874456 UTC = Mon Nov 21 17:20:56 2011

Dataset mos [META], ID 0, cr_txg 4, 33.1M, 182 objects
Dataset zfsroot/usr/home [ZPL], ID 49, cr_txg 93, 232M, 1668 objects
Dataset zfsroot/usr [ZPL], ID 37, cr_txg 89, 298G, 217071 objects
Dataset zfsroot/backup/mail [ZPL], ID 80, cr_txg 1914787, 125G, 2331156 objects
Dataset zfsroot/backup [ZPL], ID 68, cr_txg 1410190, 25.0K, 4 objects
Dataset zfsroot/tmp [ZPL], ID 43, cr_txg 91, 10.7M, 2462 objects
Dataset zfsroot/var/db [ZPL], ID 55, cr_txg 95, 170M, 23341 objects
Dataset zfsroot/var [ZPL], ID 31, cr_txg 87, 710K, 191 objects
Dataset zfsroot [ZPL], ID 16, cr_txg 1, 29.4G, 59409 objects

UPDATE 2. Полный вывод df -h:

Код: Выделить всё

blackbird# df -h
Filesystem               Size    Used   Avail Capacity  Mounted on
zfsroot                   29G     29G    1.1M   100%    /
devfs                    1.0K    1.0K      0B   100%    /dev
zfsroot/backup           1.1M     25K    1.1M     2%    /backup
zfsroot/backup/mail      125G    125G    1.1M   100%    /backup/mail
pool                     264G    625M    263G     0%    /pool
pool/jails               270G    6.6G    263G     2%    /pool/jails
pool/jails/corpmail      288G     25G    263G     9%    /pool/jails/corpmail
pool/jails/ldap          263G    107M    263G     0%    /pool/jails/ldap
pool/jails/ldap1         263G    146M    263G     0%    /pool/jails/ldap1
pool/jails/ldap2         263G     98M    263G     0%    /pool/jails/ldap2
pool/jails/ldapproxy     263G    101M    263G     0%    /pool/jails/ldapproxy
pool/jails/ldapproxy2    264G    324M    263G     0%    /pool/jails/ldapproxy2
pool/jails/mail          342G     79G    263G    23%    /pool/jails/mail
pool/jails/nms           267G    4.1G    263G     2%    /pool/jails/nms
pool/jails/ntp           263G     18K    263G     0%    /pool/jails/ntp
pool/jails/radius        264G    411M    263G     0%    /pool/jails/radius
pool/jails/redmine       266G    3.0G    263G     1%    /pool/jails/redmine
pool/jails/shell         267G    3.4G    263G     1%    /pool/jails/shell
pool/jails/webcorp       264G    1.1G    263G     0%    /pool/jails/webcorp
pool/jails/webmail       278G     14G    263G     5%    /pool/jails/webmail
zfsroot/tmp               12M     11M    1.1M    91%    /tmp
zfsroot/usr              298G    298G    1.1M   100%    /usr
zfsroot/usr/home         233M    232M    1.1M   100%    /usr/home
zfsroot/var              1.8M    743K    1.1M    39%    /var
zfsroot/var/db           171M    170M    1.1M    99%    /var/db
/pool/jails/basejail     270G    6.6G    263G     2%    /pool/jails/ldap2/basejail
devfs                    1.0K    1.0K      0B   100%    /pool/jails/ldap2/dev
fdescfs                  1.0K    1.0K      0B   100%    /pool/jails/ldap2/dev/fd
procfs                   4.0K    4.0K      0B   100%    /pool/jails/ldap2/proc
/pool/jails/basejail     270G    6.6G    263G     2%    /pool/jails/ldap1/basejail
devfs                    1.0K    1.0K      0B   100%    /pool/jails/ldap1/dev
fdescfs                  1.0K    1.0K      0B   100%    /pool/jails/ldap1/dev/fd
procfs                   4.0K    4.0K      0B   100%    /pool/jails/ldap1/proc
/pool/jails/basejail     270G    6.6G    263G     2%    /pool/jails/ldapproxy/basejail
devfs                    1.0K    1.0K      0B   100%    /pool/jails/ldapproxy/dev
fdescfs                  1.0K    1.0K      0B   100%    /pool/jails/ldapproxy/dev/fd
procfs                   4.0K    4.0K      0B   100%    /pool/jails/ldapproxy/proc
/pool/jails/basejail     270G    6.6G    263G     2%    /pool/jails/mail/basejail
devfs                    1.0K    1.0K      0B   100%    /pool/jails/mail/dev
fdescfs                  1.0K    1.0K      0B   100%    /pool/jails/mail/dev/fd
procfs                   4.0K    4.0K      0B   100%    /pool/jails/mail/proc
/pool/jails/basejail     270G    6.6G    263G     2%    /pool/jails/webmail/basejail
devfs                    1.0K    1.0K      0B   100%    /pool/jails/webmail/dev
fdescfs                  1.0K    1.0K      0B   100%    /pool/jails/webmail/dev/fd
procfs                   4.0K    4.0K      0B   100%    /pool/jails/webmail/proc
/pool/jails/basejail     270G    6.6G    263G     2%    /pool/jails/shell/basejail
devfs                    1.0K    1.0K      0B   100%    /pool/jails/shell/dev
fdescfs                  1.0K    1.0K      0B   100%    /pool/jails/shell/dev/fd
procfs                   4.0K    4.0K      0B   100%    /pool/jails/shell/proc
/pool/jails/basejail     270G    6.6G    263G     2%    /pool/jails/redmine/basejail
devfs                    1.0K    1.0K      0B   100%    /pool/jails/redmine/dev
fdescfs                  1.0K    1.0K      0B   100%    /pool/jails/redmine/dev/fd
procfs                   4.0K    4.0K      0B   100%    /pool/jails/redmine/proc
/pool/jails/basejail     270G    6.6G    263G     2%    /pool/jails/radius/basejail
devfs                    1.0K    1.0K      0B   100%    /pool/jails/radius/dev
fdescfs                  1.0K    1.0K      0B   100%    /pool/jails/radius/dev/fd
procfs                   4.0K    4.0K      0B   100%    /pool/jails/radius/proc
/pool/jails/basejail     270G    6.6G    263G     2%    /pool/jails/corpmail/basejail
devfs                    1.0K    1.0K      0B   100%    /pool/jails/corpmail/dev
fdescfs                  1.0K    1.0K      0B   100%    /pool/jails/corpmail/dev/fd
procfs                   4.0K    4.0K      0B   100%    /pool/jails/corpmail/proc

UPDATE 3. Перезагружал систему, предварительно убрав из rc.conf все, кроме zfs_enable="YES". Тем не менее, проблема не решилась.

UPDATE 4. Хотел обновить версию пула на саму себя (14->14), одакно, согласно man zpool, версию пула можно только увеличивать.

[gilgameshfreedom]

Удалил в директории /root файл размером около 24G. Теперь картина такая:

Код: Выделить всё

blackbird# zpool list zfsroot
NAME      SIZE   USED  AVAIL    CAP  HEALTH  ALTROOT
zfsroot   460G   429G  31.3G    93%  ONLINE  -
blackbird# zfs list -r zfsroot   
NAME                  USED  AVAIL  REFER  MOUNTPOINT
zfsroot               429G  24.1G  5.31G  legacy
zfsroot/backup        125G  24.1G    25K  /backup
zfsroot/backup/mail   125G  24.1G   125G  /backup/mail
zfsroot/tmp          10.7M  24.1G  10.7M  /tmp
zfsroot/usr           298G  2.08G   298G  /usr
zfsroot/usr/home      232M  2.08G   232M  /usr/home
zfsroot/var           171M  24.1G   746K  /var
zfsroot/var/db        170M  24.1G   170M  /var/db

Какая-то магия. С учетом того, что в ZFS устранена концепция раздела и каждом датасету доступно абсолютно все пространство пула, мы видим, что датасету zfsroot/usr и его потомку zfsroot/usr/home доступно всего лишь 2.08G пула. Такое ощущение, что zfsroot/usr живет собственной жизнью.

[gilgameshfreedom]

Прошу прощения, насчет магии я погоричился. Просто на датасет zfsroot/usr была независимо от меня установлена квота в 300G. Тем не менее, вопрос исчезнувшего пространства в /usr остается открытым.

[gilgameshfreedom]

Чертовщина все-таки есть. Ночью, 2.08G места, что осталось датасету zfsroot/usr были изчерпаны. Если бы не квота в 300G, датасет бы поглотил, как мне кажется, все оставшееся пространство пула. Я решил провести небольшое расследование и выяснить, на каких именно папках и каталогах было обновлено время (modification time). Результаты привели меня в /usr/local/fsbackup/cache. Вот его содержимое:

Код: Выделить всё

blackbird# ls -l 
total 7081530
-rw-r--r--  1 root  wheel  17597015261184 Nov 22 02:00 .hash
-rw-r--r--  1 root  wheel           16384 Jun  6 02:02 .hash.last
-rw-r--r--  1 root  wheel            4096 Nov 22 13:00 .hash.swp
-rw-r--r--  1 root  wheel               0 Oct  3 02:01 bb_csu_ru.del
-rw-r--r--  1 root  wheel          155648 Nov 22 01:56 bb_csu_ru.dir
-rw-r--r--  1 root  wheel         1302528 Nov 22 02:00 bb_csu_ru.list
-rw-r--r--  1 root  wheel         1404928 Nov 22 01:59 bb_csu_ru.lsize

Хмм... Кажется файл .hash имеет неприлично большой размер. Попробуем глянуть в человеко-читаемой форме:

Код: Выделить всё

blackbird# ls -lh
total 7081530
-rw-r--r--  1 root  wheel    16T Nov 22 02:00 .hash
-rw-r--r--  1 root  wheel    16K Jun  6 02:02 .hash.last
-rw-r--r--  1 root  wheel   4.0K Nov 22 13:00 .hash.swp
-rw-r--r--  1 root  wheel     0B Oct  3 02:01 bb_csu_ru.del
-rw-r--r--  1 root  wheel   152K Nov 22 01:56 bb_csu_ru.dir
-rw-r--r--  1 root  wheel   1.2M Nov 22 02:00 bb_csu_ru.list
-rw-r--r--  1 root  wheel   1.3M Nov 22 01:59 bb_csu_ru.lsize

16Т Мать моя женщина, да как так файл .hash может занимать файл в 16Т на пуле, размером в 460G. Решил глянуть на этот файл:

Код: Выделить всё

blackbird# cat .hash | xxd | less
0000000: 0000 0000 0000 0000 0000 0000 0000 0000  ................
0000010: 0000 0000 0000 0000 0000 0000 0000 0000  ................
0000020: 0000 0000 0000 0000 0000 0000 0000 0000  ................
0000030: 0000 0000 0000 0000 0000 0000 0000 0000  ................
0000040: 0000 0000 0000 0000 0000 0000 0000 0000  ................
0000050: 0000 0000 0000 0000 0000 0000 0000 0000  ................
0000060: 0000 0000 0000 0000 0000 0000 0000 0000  ................
0000070: 0000 0000 0000 0000 0000 0000 0000 0000  ................
0000080: 0000 0000 0000 0000 0000 0000 0000 0000  ................
0000090: 0000 0000 0000 0000 0000 0000 0000 0000  ................
00000a0: 0000 0000 0000 0000 0000 0000 0000 0000  ................
00000b0: 0000 0000 0000 0000 0000 0000 0000 0000  ................
00000c0: 0000 0000 0000 0000 0000 0000 0000 0000  ................
00000d0: 0000 0000 0000 0000 0000 0000 0000 0000  ................
00000e0: 0000 0000 0000 0000 0000 0000 0000 0000  ................
00000f0: 0000 0000 0000 0000 0000 0000 0000 0000  ................
0000100: 0000 0000 0000 0000 0000 0000 0000 0000  ................
0000110: 0000 0000 0000 0000 0000 0000 0000 0000  ................
0000120: 0000 0000 0000 0000 0000 0000 0000 0000  ................
0000130: 0000 0000 0000 0000 0000 0000 0000 0000  ................
0000140: 0000 0000 0000 0000 0000 0000 0000 0000  ................

Думаю, что дальше смотреть на этот файл не имеет смысла. Но, что же скажет du в текущем каталоге.

Код: Выделить всё

blackbird# du -sh .
6.8G	.

Итак, 16T, которых точно не могло быть на пуле размером в 460G, превратилось в 6.8G согласно du. zfs же по прежнему считает, что за датасетом zfsroot/usr остается 300G. Файл я этот не долго думая удалил. Но, что самое веселое, после удаления файла, все осталось практически также:

Код: Выделить всё

blackbird# zfs list -r zfsroot
NAME                  USED  AVAIL  REFER  MOUNTPOINT
zfsroot               434G  18.3G  5.37G  legacy
zfsroot/backup        129G  18.3G    25K  /backup
zfsroot/backup/mail   129G  18.3G   129G  /backup/mail
zfsroot/tmp          10.7M  18.3G  10.7M  /tmp
zfsroot/usr           300G  18.3G   300G  /usr
zfsroot/usr/home      140M  18.3G   140M  /usr/home
zfsroot/var           171M  18.3G   770K  /var
zfsroot/var/db        170M  18.3G   170M  /var/db
blackbird# du -h -d 1 /usr 
 21M	/usr/libexec
 83K	/usr/libdata
 67M	/usr/lib
 43M	/usr/share
547M	/usr/src
112M	/usr/local
 36M	/usr/bin
 55M	/usr/lib32
485M	/usr/ports
140M	/usr/home
106M	/usr/doc
 17M	/usr/include
262K	/usr/games
 21M	/usr/sbin
1.6G	/usr

Буду дальше выяснять в чем дело. На крайний случай попытаюсь уничтожить датасет zfsroot/usr и заново создать.

[bu7cher]

16Т - обычный файл с дырками.
Скорее всего у вас какое-то приложение открывает файл, удаляет его и пешет на диск.
Передите в однопользовательский режим, проверьте занимаемое место. Ещё можно посмотреть в procstat -f

[gilgameshfreedom]

16Т - обычный файл с дырками.
Скорее всего у вас какое-то приложение открывает файл, удаляет его и пешет на диск.
Передите в однопользовательский режим, проверьте занимаемое место. Ещё можно посмотреть в procstat -f

В однопользовательском режиме такая же картина. Еще проверил возможную ситуацию, когда потерянное место находится в /home, который скрыт примонтированным zfsroot/usr/home, однако там ничего нет.

[gilgameshfreedom]

В общем, с причиной исчезновения места я так и не разобрался, но разобрался с последствиями:

Код: Выделить всё

[gilgamesh@blackbird ~]$ zfs list -r zfsroot
NAME                  USED  AVAIL  REFER  MOUNTPOINT
zfsroot               138G   315G  7.08G  legacy
zfsroot/backup        130G   315G    25K  /backup
zfsroot/backup/mail   130G   315G   130G  /backup/mail
zfsroot/tmp          10.7M   315G  10.7M  /tmp
zfsroot/var           172M   315G  1.38M  /var
zfsroot/var/db        170M   315G   170M  /var/db

/usr теперь принадлежит корневому датасету zfsroot, а zfsroot/usr и zfsroot/usr/home уничтожены. Потерянные 300G вернулись. Есть подозрение, что fsbackup все-таки отчасти виновен в исчезновании места, так что мною будет проведена соответствующая проверка.

[burder]

а ZFS своими снапшотами не могла забрать место.
Это чисто моя догадка,zfs место забрала под свой служебные нужды.

[gilgameshfreedom]

а ZFS своими снапшотами не могла забрать место.
Это чисто моя догадка,zfs место забрала под свой служебные нужды.

Нет, про снапшоты я уже писал (см. выше) . Навряд-ли zfs могла забрать чуть менее 300G под служебные расходы из пула размером 460G. Хотя всякое бывает.