ZFS в read-only при заполнении до 100%

[iZEN]

Не знаю, что и предположить, но два пула ZFS с различными носителями одномоментно стали read-only при заполнении до 100%.
Команды "zfs destroy" для освобождения места и "scrub" пулов отрабатывают без ошибок, но после экспорта/импорта/перезагрузки компьютера ничего не меняется.

Пример такого пула:

Код: Выделить всё

> zfs list
NAME                     USED  AVAIL  REFER  MOUNTPOINT
...
store                   1,13T      0  42,6K  /store
store/archive           49,4M      0  49,3M  /store/archive
store/audiobooks        11,7G      0  11,7G  /store/audiobooks
store/books             21,5G      0  21,5G  /store/books
store/igor              72,0G      0  72,0G  /usr/home/igor.old
store/music              330G      0   330G  /store/music
store/video              725G      0   725G  /store/video

Свойства:

Код: Выделить всё

% zpool get all store
NAME   PROPERTY                       VALUE                          SOURCE
store  size                           1.73T                          -
store  capacity                       98%                            -
store  altroot                        -                              default
store  health                         ONLINE                         -
store  guid                           15495778482204196047           default
store  version                        -                              default
store  bootfs                         -                              default
store  delegation                     on                             default
store  autoreplace                    off                            default
store  cachefile                      -                              default
store  failmode                       wait                           default
store  listsnapshots                  off                            default
store  autoexpand                     off                            default
store  dedupditto                     0                              default
store  dedupratio                     1.00x                          -
store  free                           35.4G                          -
store  allocated                      1.70T                          -
store  readonly                       off                            -
store  comment                        -                              default
store  expandsize                     0                              -
store  freeing                        0                              default
store  leaked                         0                              default
store  feature@async_destroy          enabled                        local
store  feature@empty_bpobj            active                         local
store  feature@lz4_compress           active                         local
store  feature@multi_vdev_crash_dump  enabled                        local
store  feature@spacemap_histogram     active                         local
store  feature@enabled_txg            active                         local
store  feature@hole_birth             active                         local
store  feature@extensible_dataset     enabled                        local
store  feature@embedded_data          active                         local
store  feature@bookmarks              enabled                        local
store  feature@filesystem_limits      enabled                        local

% zpool upgrade store
This system supports ZFS pool feature flags.

Pool 'store' already has all supported features enabled.

Система новая:

Код: Выделить всё

% uname -a
FreeBSD evita.fire 10.0-STABLE FreeBSD 10.0-STABLE #1 r269124: Sat Jul 26 21:27:35 VOLT 2014     root@evita.fire:/usr/obj/usr/src/sys/EVITA  amd64

Всё читается, но записать в файловые системы пула ничего нельзя. Проблема возникла после вчерашнего обновления системы.

Соображения?

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[snorlov]

А снапшоты делал? Они ведь тоже место занимают...

Код: Выделить всё

zfs list -t snapshot

[f_andrey]

http://lmgtfy.com/?q=zfs+full+delete

Я НИКОГДА НЕ БУДУ ЗАПОЛНЯТЬ POOL БОЛЕЕ ЧЕМ НА 80%!!!111... Распечатать покрупнее и повесить на видном месте

[iZEN]

А снапшоты делал? Они ведь тоже место занимают...

Снапшоты места занимают немного — под сотню килобайт, так как информация в данном пуле меняется редко. В другом пуле снапшотов вообще нет.

[iZEN]

http://lmgtfy.com/?q=zfs+full+delete

Я НИКОГДА НЕ БУДУ ЗАПОЛНЯТЬ POOL БОЛЕЕ ЧЕМ НА 80%!!!111... Распечатать покрупнее и повесить на видном месте

Удалил крупный файл, как здесь написано: http://www.surlyjake.com/blog/2010/01/1 ... on-device/

Сделал экспорт/импорт пула.

Бесполезно.

Я НИКОГДА НЕ БУДУ ЗАПОЛНЯТЬ POOL БОЛЕЕ ЧЕМ НА 80%!!!111... Распечатать покрупнее и повесить на видном месте

До этого всё работало под 100% на протяжении нескольких месяцев или даже лет. Проблем не было.

[f_andrey]

Удалил крупный файл, как здесь написано:

Так сработало, статус занятого места поменялся? Может мало удалил?
Что кажут

Код: Выделить всё

# zpool status
# zpool list

До этого всё работало под 100% на протяжении нескольких месяцев или даже лет. Проблем не было.

Ну и там где идёт строительство или подвешен кран, тоже можно некоторое время гулять, но говорят очень не рекомендуется.

[iZEN]

Удалил крупный файл, как здесь написано:

Так сработало, статус занятого места поменялся? Может мало удалил?
Что кажут

Код: Выделить всё

# zpool status
# zpool list

errors: No known data errors
FREE
17,3G
35,4G

Говорю же: удаление крупных файлов (забитие их через dd или cp -f /dev/null), удаление файловых систем со всем их содержимым ничего не даёт — новые файлы нельзя создать, старые файлы нельзя изменить и удалить с помощью rm. Нужные права выставлены. Свободное место несколько гигабайт.

[f_andrey]

А теперь давай помедленнее и комплексно диагностику ещё раз в полном объёме, а то сначала вон там речь про террабайты, теперь Гб, очень сложно в угадайку и экстрасенса играть

[iZEN]

Код: Выделить всё

> zfs list store
NAME    USED  AVAIL  REFER  MOUNTPOINT
store  1,13T      0  42,6K  /store
> zpool list store
NAME    SIZE  ALLOC   FREE    CAP  DEDUP  HEALTH  ALTROOT
store  1,73T  1,70T  35,4G    98%  1.00x  ONLINE  -

Код: Выделить всё

> zfs list selena
NAME     USED  AVAIL  REFER  MOUNTPOINT
selena   574G      0  28,5K  none
> zpool list selena
NAME     SIZE  ALLOC   FREE    CAP  DEDUP  HEALTH  ALTROOT
selena   592G   575G  17,3G    97%  1.00x  ONLINE  -

[f_andrey]

Ну так вот же AVAIL 0, я бы предложил продолжать удалять, пока значение хотя бы не изменится, в идеале хотя бы процентов 10 от ёмкости

[iZEN]

Ну так вот же AVAIL 0, я бы предложил продолжать удалять, пока значение хотя бы не изменится, в идеале хотя бы процентов 10 от ёмкости

Один пул пришёл в себя.

[iZEN]

Другой пул тоже пришёл в себя.

Опытным путём выяснено: предельное значение 96% заполненности пула.

Пул объёмом 592G будет рабочим, пока на нём остаётся 19,4G свободного пространства.
Пул объёмом 1,73T будет рабочим, пока на нём остаётся 55,4G свободного пространства.

[gonzo111]

Пул объёмом 592G будет рабочим, пока на нём остаётся 19,4G свободного пространства.
Пул объёмом 1,73T будет рабочим, пока на нём остаётся 55,4G свободного пространства.

звучит как бред, возможно не хватает каких то буферов под кеш, проверь настройки

у меня есть веник вместе с ОС на на нем же под 500гб под торенты, постоянно что-то ставлю в очередь закачки и часто пул забивается до нуля (тоесть рут и прочие точки монтирования в zfs) и пашет так недельку, иногда от такой радости падает самба, но всегда можно было зайти и освободить место...