Страница 1 из 1

Объем шифрованного ZFS пула.

Добавлено: 2018-01-28 20:39:18
kharkov_max
Добрый день.

Понадобилось создать шифрованное файлохранилище ...
Система freebsd11 stable на zfs.
Решил использовать zvol и geli.

Создал шифрованный пул crpl на 7.6 Тб , забил его через dd нулями, в результате теряю ~ 2.2 Тб от 7.6
При чем не понятно когда место закончится ....
Создавал так:

Код: Выделить всё

zfs create -V 7800g -o compression=off -o dedup=off -o sync=disabled -o volblocksize=4k zroot/crvl
dd if=/dev/random of=/usr/home/crpkey bs=128 count=1
geli init -P -s 4096 -K /usr/home/crpkey -e AES-XTS -l 128 /dev/zvol/zroot/crvl
geli attach -p -k /usr/home/crpkey /dev/zvol/zroot/crvl
zpool create crpl /dev/zvol/zroot/crvl.eli
zfs set mountpoint=/files crpl
Состояние системы после dd ниже:

Код: Выделить всё

>geli list
Geom name: zvol/zroot/crvl.eli
State: ACTIVE
EncryptionAlgorithm: AES-XTS
KeyLength: 128
Crypto: software
Version: 7
UsedKey: 0
Flags: NONE
KeysAllocated: 1950
KeysTotal: 1950
Providers:
1. Name: zvol/zroot/crvl.eli
   Mediasize: 8375186223104 (7.6T)
   Sectorsize: 4096
   Mode: r1w1e1
Consumers:
1. Name: zvol/zroot/crvl
   Mediasize: 8375186227200 (7.6T)
   Sectorsize: 512
   Stripesize: 4096
   Stripeoffset: 0
   Mode: r1w1e1

Код: Выделить всё

> zpool list  
NAME    SIZE  ALLOC   FREE  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT
crpl   7,56T  5,17T  2,39T         -     0%    68%  1.00x  ONLINE  -
zroot  10,8T  10,5T   346G         -     3%    96%  1.00x  ONLINE  -

Код: Выделить всё

> df -h
Filesystem            Size    Used   Avail Capacity  Mounted on
zroot/ROOT/default    4,6G    4,6G      0B   100%    /
devfs                 1,0K    1,0K      0B   100%    /dev
/dev/md0              828K    8,0K    756K     1%    /ramdrive
zroot/tmp             256K    256K      0B   100%    /tmp
zroot/usr/home        268K    268K      0B   100%    /usr/home
zroot/usr/ports       2,1G    2,1G      0B   100%    /usr/ports
zroot/usr/src         1,6G    1,6G      0B   100%    /usr/src
zroot/var/audit       141K    141K      0B   100%    /var/audit
zroot/var/crash       141K    141K      0B   100%    /var/crash
zroot/var/log         435K    435K      0B   100%    /var/log
zroot/var/mail        160K    160K      0B   100%    /var/mail
zroot/var/tmp         141K    141K      0B   100%    /var/tmp
zroot                 141K    141K      0B   100%    /zroot
tmpfs                  20M    8,0K     20M     0%    /tmp
crpl                  7,3T    5,2T    2,2T    71%    /files

Код: Выделить всё

>zfs list
NAME                 USED  AVAIL  REFER  MOUNTPOINT
zroot               8,37T      0   141K  /zroot
zroot/ROOT          4,63G      0   141K  none
zroot/ROOT/default  4,63G      0  4,63G  /
zroot/crvl          8,36T      0  8,36T  -
zroot/tmp            256K      0   256K  /tmp
zroot/usr           3,67G      0   141K  /usr
zroot/usr/home       268K      0   268K  /usr/home
zroot/usr/ports     2,05G      0  2,05G  /usr/ports
zroot/usr/src       1,62G      0  1,62G  /usr/src
zroot/var           1,13M      0   141K  /var
zroot/var/audit      141K      0   141K  /var/audit
zroot/var/crash      141K      0   141K  /var/crash
zroot/var/log        435K      0   435K  /var/log
zroot/var/mail       160K      0   160K  /var/mail
zroot/var/tmp        141K      0   141K  /var/tmp
1. Как видно, создавал новый пул размером zfs create -V 7800g, а zfs list после dd показывает что zroot/crvl 8,36T
Т.е. новый пул вылез за заранее заданный размер в 7.8 Тб, а я так не хочу ... Место в основной системе должно гарантированно остаться.
Почему так ?

2. Как видно из всех вывода df свободно еще 2.2Тб, а zfs list показывает что свободного места нет и его реально нет, на всей дисковой системе сервера ...
Почему так ? Ушло на криптование ?

Как видно из geli list, проверку целосности данных, за счет чего уменьшается объем данных в geli, я не включал.
Или оно включено по умолчанию и что бы его не использовать необходимо отключать опцией ? (в мане не нашел ...)

Объем шифрованного ZFS пула.

Добавлено: 2018-01-28 21:30:59
BirdGovorun
То-же не понял почему так.
Насколько помню разделы для шифрования нужно выделять при установке системы.
Если выделять потом, то что-то не так получается (у меня так и было)
Была такая задача на действующей системе FreeBSD-11.0 ZFSMirror, пробовал fusefs-encfs неасилил, какой-то бред всё время выходит.
Создал виртуальный диск (mdconfig) и натравил на него geli, файлопомойку зашифровал, монтирую папки samba в /md0.eli
вот уже пол-года без проблем работает.
Для информации: для клеток то-же нужно выделять раздел при установки системы если после, то снапшот на клетку не работает.

Объем шифрованного ZFS пула.

Добавлено: 2018-01-29 7:45:56
Neus
kharkov_max писал(а): 2. Как видно из всех вывода df свободно еще 2.2Тб, а zfs list показывает что свободного места нет и его реально нет, на всей дисковой системе сервера ...
т.е. в /files ничего нельзя записать?

Объем шифрованного ZFS пула.

Добавлено: 2018-01-29 12:19:24
kharkov_max
Neus писал(а):
kharkov_max писал(а): 2. Как видно из всех вывода df свободно еще 2.2Тб, а zfs list показывает что свободного места нет и его реально нет, на всей дисковой системе сервера ...
т.е. в /files ничего нельзя записать?
Так точно.
Это уже моя 3я попытка создать правильный шифрованный пул. Без шифрования такого эффекта нет.

Отправлено спустя 1 час 39 минут :
На данный момент развалил пул, geli и zvol. т.к. система не давала ни чего сделать ... нет места ...
Есть у кого нить соображения ?

Может поверх zvol и geli закатать UFS ?

Отправлено спустя 5 минут 4 секунды:
На данный момент развалил пул, geli и zvol. т.к. система не давала ни чего сделать ... нет места ...
Есть у кого нить соображения ?

Может поверх zvol и geli закатать UFS ?

Объем шифрованного ZFS пула.

Добавлено: 2018-01-30 16:59:19
Demis
Может все дело в этом cat /head/UPDATING

Код: Выделить всё

20171214:
       r362593 broke ZFS + GELI support for reasons unknown. However,
       it also broke ZFS support generally, so GELI has been turned off
       by default as the lesser evil in r326857. If you boot off ZFS and/or
       GELI, it might not be a good time to update.