Страница 1 из 1
поддержка lzma/xz в libarchive в FreeBSD 8-current
Добавлено: 2009-05-02 16:36:26
Гость
По дефолту она выключена. Чтобы ее включить нужна библиотека lzma, коя доступна в порте archivers/lzmautils-devel.
патчик для включения lzma в libarchive и tar, а также в /rescue-версии tar:
ftp://ftp.lissyara.su/users/Guest/lzma_libarchive.diff
Код: Выделить всё
$ tar czf src_head.tar.gz --exclude .svn dist/freebsd
$ tar cjf src_head.tar.bz2 --exclude .svn dist/freebsd
$ tar cJf src_head.tar.xz --exclude .svn dist/freebsd
$ du -shI.svn dist/freebsd src_head.tar.*
309M dist/freebsd
108M src_head.tar.gz
84M src_head.tar.bz2
71M src_head.tar.xz
ps, новость боян, но все же
Re: поддержка lzma/xz в libarchive в FreeBSD 8-current
Добавлено: 2009-05-05 16:59:56
Alex Keda
сильно прибавит в компрессии?
Re: поддержка lzma/xz в libarchive в FreeBSD 8-current
Добавлено: 2009-05-07 4:46:02
Гость
lissyara писал(а):сильно прибавит в компрессии?
столько же, сколько и 7zip.
Библиотека liblzma под LGPLv2.1 - основное препятствие к включению в базовую систему FreeBSD.
Re: поддержка lzma/xz в libarchive в FreeBSD 8-current
Добавлено: 2009-05-07 22:54:23
Alex Keda
тогда ф топку
Re: поддержка lzma/xz в libarchive в FreeBSD 8-current
Добавлено: 2009-05-07 23:00:12
paradox
lissyara писал(а):сильно прибавит в компрессии?
84M src_head.tar.bz2
71M src_head.tar.xz
Re: поддержка lzma/xz в libarchive в FreeBSD 8-current
Добавлено: 2009-05-07 23:30:29
f_andrey
paradox писал(а):.
А в gz2 пожми.
Re: поддержка lzma/xz в libarchive в FreeBSD 8-current
Добавлено: 2009-05-07 23:34:31
paradox
а что такое gz2 ?
ну ждем когда гость пожмет
но думаю он будет больше чем даже bz2
Re: поддержка lzma/xz в libarchive в FreeBSD 8-current
Добавлено: 2009-05-07 23:41:39
f_andrey
paradox писал(а):а что такое gz2 ?
ну ждем когда гость пожмет
но думаю он будет больше чем даже bz2
Именно bz2 я и имел в виду
Re: поддержка lzma/xz в libarchive в FreeBSD 8-current
Добавлено: 2009-05-07 23:45:33
paradox
так bz2 больше чем xz
Re: поддержка lzma/xz в libarchive в FreeBSD 8-current
Добавлено: 2009-05-08 21:27:45
Alex Keda
время компресси для обоих методов огласите, пожалуйста.
Re: поддержка lzma/xz в libarchive в FreeBSD 8-current
Добавлено: 2009-05-09 10:07:04
Гость
dmesg -
http://pastebin.ca/1417163
compression:
Код: Выделить всё
7z - 216.75s user 7.93s system 70% cpu 5:19.77 total
tar.xz - 264.63s user 5.33s system 70% cpu 6:20.58 total
tar.bz2 - 59.50s user 4.52s system 45% cpu 2:21.16 total
tar.gz - 23.57s user 4.48s system 25% cpu 1:51.44 total
decompression:
Код: Выделить всё
7z - 6.38s user 0.11s system 99% cpu 6.495 total
tar.xz - 6.16s user 0.12s system 99% cpu 6.284 total
tar.bz2 - 12.39s user 0.05s system 99% cpu 12.460 total
tar.gz - 1.79s user 0.10s system 99% cpu 1.905 total
могу собрать более подробную статистику, если скажете что поставить в
TIMEFMT (zshparam(1))
Re: поддержка lzma/xz в libarchive в FreeBSD 8-current
Добавлено: 2009-05-09 17:50:16
Alex Keda
ну и нафиг оно нужно при таких расходах процесорного времени?
оно тоже не резиновое, даже в наш век гигагерцов и квадров
если может жать многопоточно - то куда не шло, а если нет - ф топку.
Re: поддержка lzma/xz в libarchive в FreeBSD 8-current
Добавлено: 2009-05-09 19:05:06
ProFTP
тесты какие-то кривые!
запаковывает долго и грузит сильно!
прикол в том что оно быстрее распаковывает (архиватор), если FreeBSD ставить из пакетов, то установка с этим архиватором будет в 2-4 раза быстрее (примерно)
Re: поддержка lzma/xz в libarchive в FreeBSD 8-current
Добавлено: 2009-05-09 19:11:44
paradox
не народ я с вас фигею
а что вы хотите?
что бы хорошо запаковать нужно хорошо проанализировать составить словарь или еще чего то там
Re: поддержка lzma/xz в libarchive в FreeBSD 8-current
Добавлено: 2009-05-09 19:33:29
Alex Keda
paradox писал(а):не народ я с вас фигею
а что вы хотите?
что бы хорошо запаковать нужно хорошо проанализировать составить словарь или еще чего то там
хотим быстро и чтоб жало хорошо
)
по мне так gzip рулит.
Re: поддержка lzma/xz в libarchive в FreeBSD 8-current
Добавлено: 2009-05-09 19:43:52
paradox
ты ж говорил bz2 рулит
уже gzip
какой ты не постоянный)))
Re: поддержка lzma/xz в libarchive в FreeBSD 8-current
Добавлено: 2009-05-09 19:50:42
f_andrey
paradox писал(а):какой ты не постоянный)))
Так лис же
Re: поддержка lzma/xz в libarchive в FreeBSD 8-current
Добавлено: 2009-05-09 19:59:42
Alex Keda
ну так - для сжатия - bzip, для времени gip
а ждать по часу я не согласный. долго очень.
лучше бы многопоточность сделали. цены б ему не было тогда
Re: поддержка lzma/xz в libarchive в FreeBSD 8-current
Добавлено: 2009-05-09 23:06:42
ProFTP
этот архиватор впортах был давно?
он что не работал, в ядре не было поддержке?
Re: поддержка lzma/xz в libarchive в FreeBSD 8-current
Добавлено: 2009-05-10 0:22:42
terminus
Гость ведь написал - там патч который добавляет к системным утилитам поддержку библиотеки LZMA (ключик J для tar). Вот и все.
Re: поддержка lzma/xz в libarchive в FreeBSD 8-current
Добавлено: 2009-05-10 4:56:08
Гость
упс, с размером я напортачил. Забыл, что у мя включена компрессия lzjb в zfs, и du(1) по дефолту будет отображать сжатый размер, если не указать опцию `-A'. Правда на уже сжате файлы это не повлияло.
Код: Выделить всё
$ du -AshI.svn dist/freebsd src_head*
464M dist/freebsd
484M src_head.tar
71M src_head.tar.xz
84M src_head.tar.bz2
133M src_head.tar.gz
173M src_head.tar.Z
166M src_head.tar.lzo
lissyara писал(а):ну так - для сжатия - bzip, для времени gip =)
lzma жмет лучше и расжимает быстрее чем bzip2, а lzo жмет/расжимает быстрее чем gzip.
Код: Выделить всё
gzip (default): 22.39s user 0.20s system 90% cpu 24.974 total
compress (default): 11.03s user 0.58s system 97% cpu 11.931 total
lzop (default): 2.97s user 0.23s system 80% cpu 3.981 total
gzip (fast): 8.46s user 0.24s system 96% cpu 9.025 total
compress (fast): 9.53s user 0.71s system 94% cpu 10.814 total
lzop (fast): 2.86s user 0.22s system 71% cpu 4.276 total
zlib и bzlib просто
*пока* более распространенные чем lzma. К тому же сама либа lzma (из xz-utils) находится под LGPLv2... впрочем, 13 апреля часть кода библиотеки ушла в public domain.
lissyara писал(а):лучше бы многопоточность сделали. цены б ему не было тогда
ну зачатки многопотчности там есть - опция --threads к xz(1). Только че-то оно у мя не хочет кодировать в несколько ниток.
Re: поддержка lzma/xz в libarchive в FreeBSD 8-current
Добавлено: 2009-05-10 7:46:26
Alex Keda
тогда топка отменяется