поддержка lzma/xz в libarchive в FreeBSD 8-current

[Гость]

По дефолту она выключена. Чтобы ее включить нужна библиотека lzma, коя доступна в порте archivers/lzmautils-devel.

патчик для включения lzma в libarchive и tar, а также в /rescue-версии tar:
ftp://ftp.lissyara.su/users/Guest/lzma_libarchive.diff

Код: Выделить всё

$ tar czf src_head.tar.gz --exclude .svn dist/freebsd
$ tar cjf src_head.tar.bz2 --exclude .svn dist/freebsd
$ tar cJf src_head.tar.xz --exclude .svn dist/freebsd

$ du -shI.svn dist/freebsd src_head.tar.*
309M    dist/freebsd
108M    src_head.tar.gz
 84M    src_head.tar.bz2
 71M    src_head.tar.xz

ps, новость боян, но все же

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Alex Keda]

сильно прибавит в компрессии?

[Гость]

сильно прибавит в компрессии?

столько же, сколько и 7zip.

Библиотека liblzma под LGPLv2.1 - основное препятствие к включению в базовую систему FreeBSD.

[Alex Keda]

тогда ф топку

[paradox]

сильно прибавит в компрессии?

84M src_head.tar.bz2
71M src_head.tar.xz

[f_andrey]

.

А в gz2 пожми.

[paradox]

а что такое gz2 ?
ну ждем когда гость пожмет
но думаю он будет больше чем даже bz2

[f_andrey]

а что такое gz2 ?
ну ждем когда гость пожмет
но думаю он будет больше чем даже bz2

Именно bz2 я и имел в виду

[paradox]

так bz2 больше чем xz

[Alex Keda]

время компресси для обоих методов огласите, пожалуйста.

[Гость]

dmesg - http://pastebin.ca/1417163

compression:

Код: Выделить всё

     7z - 216.75s user 7.93s system 70% cpu 5:19.77 total
 tar.xz - 264.63s user 5.33s system 70% cpu 6:20.58 total
tar.bz2 -  59.50s user 4.52s system 45% cpu 2:21.16 total
 tar.gz -  23.57s user 4.48s system 25% cpu 1:51.44 total

decompression:

Код: Выделить всё

     7z -  6.38s user 0.11s system 99% cpu  6.495 total
 tar.xz -  6.16s user 0.12s system 99% cpu  6.284 total
tar.bz2 - 12.39s user 0.05s system 99% cpu 12.460 total
 tar.gz -  1.79s user 0.10s system 99% cpu  1.905 total

могу собрать более подробную статистику, если скажете что поставить в TIMEFMT (zshparam(1))

[Alex Keda]

ну и нафиг оно нужно при таких расходах процесорного времени?
оно тоже не резиновое, даже в наш век гигагерцов и квадров
если может жать многопоточно - то куда не шло, а если нет - ф топку.

[ProFTP]

тесты какие-то кривые!

запаковывает долго и грузит сильно!
прикол в том что оно быстрее распаковывает (архиватор), если FreeBSD ставить из пакетов, то установка с этим архиватором будет в 2-4 раза быстрее (примерно)

[paradox]

не народ я с вас фигею
а что вы хотите?
что бы хорошо запаковать нужно хорошо проанализировать составить словарь или еще чего то там

[Alex Keda]

не народ я с вас фигею
а что вы хотите?
что бы хорошо запаковать нужно хорошо проанализировать составить словарь или еще чего то там

хотим быстро и чтоб жало хорошо )
по мне так gzip рулит.

[paradox]

ты ж говорил bz2 рулит
уже gzip
какой ты не постоянный)))

[f_andrey]

какой ты не постоянный)))

Так лис же

[Alex Keda]

ну так - для сжатия - bzip, для времени gip
а ждать по часу я не согласный. долго очень.
лучше бы многопоточность сделали. цены б ему не было тогда

[ProFTP]

этот архиватор впортах был давно?
он что не работал, в ядре не было поддержке?

[terminus]

Гость ведь написал - там патч который добавляет к системным утилитам поддержку библиотеки LZMA (ключик J для tar). Вот и все.

[Гость]

упс, с размером я напортачил. Забыл, что у мя включена компрессия lzjb в zfs, и du(1) по дефолту будет отображать сжатый размер, если не указать опцию `-A'. Правда на уже сжате файлы это не повлияло.

Код: Выделить всё

$ du -AshI.svn dist/freebsd src_head*
464M    dist/freebsd
484M    src_head.tar
 71M    src_head.tar.xz
 84M    src_head.tar.bz2
133M    src_head.tar.gz
173M    src_head.tar.Z
166M    src_head.tar.lzo

ну так - для сжатия - bzip, для времени gip =)

lzma жмет лучше и расжимает быстрее чем bzip2, а lzo жмет/расжимает быстрее чем gzip.

Код: Выделить всё

gzip (default):     22.39s user 0.20s system 90% cpu 24.974 total
compress (default): 11.03s user 0.58s system 97% cpu 11.931 total
lzop (default):      2.97s user 0.23s system 80% cpu  3.981 total

gzip (fast):         8.46s user 0.24s system 96% cpu  9.025 total
compress (fast):     9.53s user 0.71s system 94% cpu 10.814 total
lzop (fast):         2.86s user 0.22s system 71% cpu  4.276 total

zlib и bzlib просто *пока* более распространенные чем lzma. К тому же сама либа lzma (из xz-utils) находится под LGPLv2... впрочем, 13 апреля часть кода библиотеки ушла в public domain.

лучше бы многопоточность сделали. цены б ему не было тогда

ну зачатки многопотчности там есть - опция --threads к xz(1). Только че-то оно у мя не хочет кодировать в несколько ниток.

[Alex Keda]

тогда топка отменяется