На UFS2 меньше объём диска, чем на NTFS

[LeNiN]

Решил перевести файловый сервер с Win 2003 на FreeBSD 6.2 i386, сохранил данные с жёстких дисков на другие, отформатировал в UFS2, начал закачивать сохранённые файлы обратно на свежеформатированные диски, а они все не влезают. Специально заранее сделал

Код: Выделить всё

tunefs -m 0

Поставил жёсткий диск с UFS на Win XP, запустил Partition Magic 8.05 - думал, может сами жёсткие диски отличаются по объёму - есть немного, но разница около 100 "физических" секторов. В результате, на таком же жёстком, но с NTFS доступно чуть более 320 000 000 000 байт - 298 Гб, а с UFS2:

Код: Выделить всё

Server1# df -h /dev/ad4s1a
Filesystem     Size    Used   Avail Capacity  Mounted on
/dev/ad4s1a    289G    289G     13M   100%    /ST3201

Server1# fdisk ad4
******* Working on device /dev/ad4 *******
parameters extracted from in-core disklabel are:
cylinders=620181 heads=16 sectors/track=63 (1008 blks/cyl)

Figures below won't work with BIOS for partitions not in cyl 1
parameters to be used for BIOS calculations are:
cylinders=620181 heads=16 sectors/track=63 (1008 blks/cyl)

Media sector size is 512
Warning: BIOS sector numbering starts with sector 1
Information from DOS bootblock is:
The data for partition 1 is:
sysid 165 (0xa5),(FreeBSD/NetBSD/386BSD)
    start 63, size 625142385 (305245 Meg), flag 80 (active)
        beg: cyl 0/ head 1/ sector 1;
        end: cyl 660/ head 15/ sector 63
The data for partition 2 is:
<UNUSED>
The data for partition 3 is:
<UNUSED>
The data for partition 4 is:
<UNUSED>

Server1# bsdlabel ad4s1
# /dev/ad4s1:
8 partitions:
#        size   offset    fstype   [fsize bsize bps/cpg]
  a: 625142369       16    4.2BSD     2048 16384 28552
  c: 625142385        0    unused        0     0         # "raw" part, don't edit

Server1# tunefs -p /dev/ad4s1a
tunefs: ACLs: (-a)                                         disabled
tunefs: MAC multilabel: (-l)                               disabled
tunefs: soft updates: (-n)                                 disabled
tunefs: maximum blocks per file in a cylinder group: (-e)  2048
tunefs: average file size: (-f)                            3000000
tunefs: average number of files in a directory: (-s)       64
tunefs: minimum percentage of free space: (-m)             0%
tunefs: optimization preference: (-o)                      space
tunefs: volume label: (-L)                                 ST3201

т.е. fdisk и bsdlabel показывают полный объём, 625 142 369 секторов = 320 072 892 928 байт, а вот df - уже меньший, и через samba тоже доступно 309 796 141 843 байт. Это недостаток файловой системы? Или я чего не так сделал...

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[manefesto]

странно....но покажи

Код: Выделить всё

df  /dev/ad4s1a

[LeNiN]

странно....но покажи

Код: Выделить всё

df  /dev/ad4s1a

Код: Выделить всё

Server1# df /dev/ad4s1a
Filesystem  1K-blocks      Used Avail Capacity  Mounted on
/dev/ad4s1a 302732038 302719006 13032   100%    /ST3201

[manefesto]

помнится мне тут на форуме писал один человек, что у него не правильно отображается количество оставшегося места. Сошлись на том что система некое количество места резервирует под суперблок.

[LeNiN]

помнится мне тут на форуме писал один человек, что у него не правильно отображается количество оставшегося места. Сошлись на том что система некое количество места резервирует под суперблок.

Так ведь тут меньше не свободного, а места вообще. df пишет 1K-blocks = 302732038, т.е. ~309 997 606 912 байт, на 10 гигабайт меньше, чем должно быть. Думаю, может разбивку диска сделал неправильно? А как проверить, что осталось свободное место после файловой системы? Разбивку делал по статье Удаленное разбиение HDD, с помощью

Код: Выделить всё

fdisk -u /dev/ad4
bsdlabel -w /dev/ad4s1
newfs -U /dev/ad4s1a

(может, где не так написал, но смысл такой)

[manefesto]

а разбить через sysinstall вера не позволяет ?

[LeNiN]

а разбить через sysinstall вера не позволяет ?

После той статьи - да.
Но если будет нужно, можно будет и через него. Может, посмотришь сколько у тебя показывает через fdisk, bsdlabel и суммарно в df ? Если у всех такая ситуация, то наверно и через sysinstall будет бесполезно. Отпишитесь, пожалуйста, кому не лень, у кого какие различия.

[manefesto]

Код: Выделить всё

|manefesto@manefesto| ~/>swapinfo
Device          1K-blocks     Used    Avail Capacity
/dev/ad0s1b        253912        0   253912     0%
|manefesto@manefesto| ~/>df
Filesystem  1K-blocks    Used  Avail Capacity  Mounted on
/dev/ad0s1a   1783918 1205116 436090    73%    /
devfs               1       1      0   100%    /dev
|manefesto@manefesto| ~/>fdisk
******* Working on device /dev/ad0 *******
parameters extracted from in-core disklabel are:
cylinders=4161 heads=16 sectors/track=63 (1008 blks/cyl)

Figures below won't work with BIOS for partitions not in cyl 1
parameters to be used for BIOS calculations are:
cylinders=4161 heads=16 sectors/track=63 (1008 blks/cyl)

Media sector size is 512
Warning: BIOS sector numbering starts with sector 1
Information from DOS bootblock is:
The data for partition 1 is:
sysid 165 (0xa5),(FreeBSD/NetBSD/386BSD)
    start 63, size 4194225 (2047 Meg), flag 80 (active)
        beg: cyl 0/ head 1/ sector 1;
        end: cyl 1023/ head 15/ sector 63
The data for partition 2 is:
<UNUSED>
The data for partition 3 is:
<UNUSED>
The data for partition 4 is:
<UNUSED>
|manefesto@manefesto| ~/>bsdlabel /dev/ad0s1
# /dev/ad0s1:
8 partitions:
#        size   offset    fstype   [fsize bsize bps/cpg]
  a:  3686400        0    4.2BSD     2048 16384 28552
  b:   507825  3686400      swap
  c:  4194225        0    unused        0     0         # "raw" part, don't edit

[LeNiN]

Итак, подсчитаем:
fdisk: partition 1 = 4194225 секторов * 512 = 2 147 443 200 байт.

bsdlabel: a = 3686400 секторов * 512 = 1 887 436 800 байт
bsdlabel: b = 507825 секторов * 512 = 260 006 400 байт
bsdlabel: всего 2 147 443 200 байт.

swapinfo: 253912 1K-blocks * 1024 = 260 005 888 байт
df: 1783918 1K-blocks * 1024 = 1 826 732 032 байт

Видно, что swap почти не уменьшается, а вот ad0s1a меньше на 60 704 768 байт, т.е. те самые 3.2 %
Результат аналогичен.
Жду , чего скажет lissyara...

[Alex Keda]

хто здеся?

[manefesto]

хто здеся?

жжошь

[Alex Keda]

думаю, дело в самой структуре UFS.
За отсутствие фрагментации пи прочия приходиться платить.
Такчто - забей.
Три процента - не та цифра за которую стоит воевать.

[LeNiN]

думаю, дело в самой структуре UFS.
За отсутствие фрагментации пи прочия приходиться платить.
Такчто - забей.
Три процента - не та цифра за которую стоит воевать.

Всё же воевать есть за что... 3% кажется малой цифрой, но вот терять на каждом жёстком 10-15 Гб совершенно впустую не хочется - сервер предназначается для хранения видео, пользователи сами записывать ничего не могут, всё закачено заранее, поэтому фрагментация и так должна отсутствовать как таковая.
В результате экспериментов выяснил, что потери кажется напрямую зависят от количества "super-block backups", а это количество зависит от -b block-size, -f frag-size и версии файловой системы. Вот получившаяся таблица:

Код: Выделить всё

FS   block-size   frag-size   lost
UFS2     16384      2048     3,15%
UFS1     16384      2048     1,58%
UFS2     65536      8192     0,79%
UFS1     65536      8192     0,40%
UFS2     65536     65536     0,10%
UFS1     65536     65536     0,05%

Может, можно уменьшить количество "super-block backups" или вообще не делать копии, не меняя -b и -f?

[dikens3]

Может, можно уменьшить количество "super-block backups" или вообще не делать копии, не меняя -b и -f?

Нельзя.
http://www.lissyara.su/?id=1530

[LeNiN]

Может, можно уменьшить количество "super-block backups" или вообще не делать копии, не меняя -b и -f?

Нельзя.
http://www.lissyara.su/?id=1530

Спасибо, думаю что вопрос исчерпан, все довольны, особенно я!
Может, кому пригодится.

[Vadim]

хто здеся?

жжошь

Причём жёстко.

Пля.

Код: Выделить всё

man newfs
-------
-m free-space
             The percentage of space reserved from normal users; the minimum
             free space threshold.  The default value used is defined by
             MINFREE from <ufs/ffs/fs.h>, currently 8%.  See tunefs(8) for
             more details on how to set this option.
-------

Это я к чему. Это не бага, это фича. UFS резервирует определённый процент места под нужды рута. На случай переполнения. Не чудо увидеть отрицательные значения свободного места на FS.

[LeNiN]

Это я к чему. Это не бага, это фича. UFS резервирует определённый процент места под нужды рута. На случай переполнения. Не чудо увидеть отрицательные значения свободного места на FS.

Если внимательно посмотреть, то я заранее везде выставлял

Код: Выделить всё

tunefs: minimum percentage of free space: (-m)             0%

так что эта тема закрыта изначально.
Я не спорю, что сохранять "super-block backups" это прикольно. Но количество сохранений, к сожалению, отдельно указать нигде нельзя. Это, видимо, для fsck, чтобы тот мог автоматически восстанавливать суперблок, независимо от настроек пользователя. Всё зависит только от block-size и frag-size, и fsck автоматически высчитывает расположение копий суперблока.