поддержка lzma/xz в libarchive в FreeBSD 8-current

Обсуждение всяких разных новостей.
Гость
проходил мимо

поддержка lzma/xz в libarchive в FreeBSD 8-current

Непрочитанное сообщение Гость » 2009-05-02 16:36:26

По дефолту она выключена. Чтобы ее включить нужна библиотека lzma, коя доступна в порте archivers/lzmautils-devel.

патчик для включения lzma в libarchive и tar, а также в /rescue-версии tar:
ftp://ftp.lissyara.su/users/Guest/lzma_libarchive.diff

Код: Выделить всё

$ tar czf src_head.tar.gz --exclude .svn dist/freebsd
$ tar cjf src_head.tar.bz2 --exclude .svn dist/freebsd
$ tar cJf src_head.tar.xz --exclude .svn dist/freebsd

$ du -shI.svn dist/freebsd src_head.tar.*
309M    dist/freebsd
108M    src_head.tar.gz
 84M    src_head.tar.bz2
 71M    src_head.tar.xz
ps, новость боян, но все же

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35303
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: поддержка lzma/xz в libarchive в FreeBSD 8-current

Непрочитанное сообщение Alex Keda » 2009-05-05 16:59:56

сильно прибавит в компрессии?
Убей их всех! Бог потом рассортирует...

Гость
проходил мимо

Re: поддержка lzma/xz в libarchive в FreeBSD 8-current

Непрочитанное сообщение Гость » 2009-05-07 4:46:02

lissyara писал(а):сильно прибавит в компрессии?
столько же, сколько и 7zip.

Библиотека liblzma под LGPLv2.1 - основное препятствие к включению в базовую систему FreeBSD.

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35303
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: поддержка lzma/xz в libarchive в FreeBSD 8-current

Непрочитанное сообщение Alex Keda » 2009-05-07 22:54:23

тогда ф топку
Убей их всех! Бог потом рассортирует...

paradox
проходил мимо
Сообщения: 11620
Зарегистрирован: 2008-02-21 18:15:41

Re: поддержка lzma/xz в libarchive в FreeBSD 8-current

Непрочитанное сообщение paradox » 2009-05-07 23:00:12

lissyara писал(а):сильно прибавит в компрессии?
84M src_head.tar.bz2
71M src_head.tar.xz
Последний раз редактировалось paradox 2009-05-07 23:33:51, всего редактировалось 1 раз.
Причина: цифра не туда перенеслась(((

Аватара пользователя
f_andrey
майор
Сообщения: 2651
Зарегистрирован: 2007-12-26 1:22:58
Откуда: СПб
Контактная информация:

Re: поддержка lzma/xz в libarchive в FreeBSD 8-current

Непрочитанное сообщение f_andrey » 2009-05-07 23:30:29

paradox писал(а):.
А в gz2 пожми.
Если ваша тема перенесена, то смотри http://forum.lissyara.su/viewtopic.php?f=1&t=32308

paradox
проходил мимо
Сообщения: 11620
Зарегистрирован: 2008-02-21 18:15:41

Re: поддержка lzma/xz в libarchive в FreeBSD 8-current

Непрочитанное сообщение paradox » 2009-05-07 23:34:31

а что такое gz2 ?
ну ждем когда гость пожмет
но думаю он будет больше чем даже bz2

Аватара пользователя
f_andrey
майор
Сообщения: 2651
Зарегистрирован: 2007-12-26 1:22:58
Откуда: СПб
Контактная информация:

Re: поддержка lzma/xz в libarchive в FreeBSD 8-current

Непрочитанное сообщение f_andrey » 2009-05-07 23:41:39

paradox писал(а):а что такое gz2 ?
ну ждем когда гость пожмет
но думаю он будет больше чем даже bz2
Именно bz2 я и имел в виду :)
Если ваша тема перенесена, то смотри http://forum.lissyara.su/viewtopic.php?f=1&t=32308

paradox
проходил мимо
Сообщения: 11620
Зарегистрирован: 2008-02-21 18:15:41

Re: поддержка lzma/xz в libarchive в FreeBSD 8-current

Непрочитанное сообщение paradox » 2009-05-07 23:45:33

так bz2 больше чем xz

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35303
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: поддержка lzma/xz в libarchive в FreeBSD 8-current

Непрочитанное сообщение Alex Keda » 2009-05-08 21:27:45

время компресси для обоих методов огласите, пожалуйста.
Убей их всех! Бог потом рассортирует...

Гость
проходил мимо

Re: поддержка lzma/xz в libarchive в FreeBSD 8-current

Непрочитанное сообщение Гость » 2009-05-09 10:07:04

dmesg - http://pastebin.ca/1417163

compression:

Код: Выделить всё

     7z - 216.75s user 7.93s system 70% cpu 5:19.77 total
 tar.xz - 264.63s user 5.33s system 70% cpu 6:20.58 total
tar.bz2 -  59.50s user 4.52s system 45% cpu 2:21.16 total
 tar.gz -  23.57s user 4.48s system 25% cpu 1:51.44 total
decompression:

Код: Выделить всё

     7z -  6.38s user 0.11s system 99% cpu  6.495 total
 tar.xz -  6.16s user 0.12s system 99% cpu  6.284 total
tar.bz2 - 12.39s user 0.05s system 99% cpu 12.460 total
 tar.gz -  1.79s user 0.10s system 99% cpu  1.905 total
могу собрать более подробную статистику, если скажете что поставить в TIMEFMT (zshparam(1))

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35303
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: поддержка lzma/xz в libarchive в FreeBSD 8-current

Непрочитанное сообщение Alex Keda » 2009-05-09 17:50:16

ну и нафиг оно нужно при таких расходах процесорного времени?
оно тоже не резиновое, даже в наш век гигагерцов и квадров
если может жать многопоточно - то куда не шло, а если нет - ф топку.
Убей их всех! Бог потом рассортирует...

Аватара пользователя
ProFTP
подполковник
Сообщения: 3388
Зарегистрирован: 2008-04-13 1:50:04
Откуда: %&й
Контактная информация:

Re: поддержка lzma/xz в libarchive в FreeBSD 8-current

Непрочитанное сообщение ProFTP » 2009-05-09 19:05:06

тесты какие-то кривые!

запаковывает долго и грузит сильно!
прикол в том что оно быстрее распаковывает (архиватор), если FreeBSD ставить из пакетов, то установка с этим архиватором будет в 2-4 раза быстрее (примерно)
Pеrl FAQ
perl -e 'print join"",map $$_[rand@$_],([0..9,'a'..'z','A'..'Z'])x30'
ИзображениеИзображение

paradox
проходил мимо
Сообщения: 11620
Зарегистрирован: 2008-02-21 18:15:41

Re: поддержка lzma/xz в libarchive в FreeBSD 8-current

Непрочитанное сообщение paradox » 2009-05-09 19:11:44

не народ я с вас фигею
а что вы хотите?
что бы хорошо запаковать нужно хорошо проанализировать составить словарь или еще чего то там

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35303
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: поддержка lzma/xz в libarchive в FreeBSD 8-current

Непрочитанное сообщение Alex Keda » 2009-05-09 19:33:29

paradox писал(а):не народ я с вас фигею
а что вы хотите?
что бы хорошо запаковать нужно хорошо проанализировать составить словарь или еще чего то там
хотим быстро и чтоб жало хорошо =))
по мне так gzip рулит.
Убей их всех! Бог потом рассортирует...

paradox
проходил мимо
Сообщения: 11620
Зарегистрирован: 2008-02-21 18:15:41

Re: поддержка lzma/xz в libarchive в FreeBSD 8-current

Непрочитанное сообщение paradox » 2009-05-09 19:43:52

ты ж говорил bz2 рулит
уже gzip
какой ты не постоянный)))

Аватара пользователя
f_andrey
майор
Сообщения: 2651
Зарегистрирован: 2007-12-26 1:22:58
Откуда: СПб
Контактная информация:

Re: поддержка lzma/xz в libarchive в FreeBSD 8-current

Непрочитанное сообщение f_andrey » 2009-05-09 19:50:42

paradox писал(а):какой ты не постоянный)))
Так лис же :ROFL:
Если ваша тема перенесена, то смотри http://forum.lissyara.su/viewtopic.php?f=1&t=32308

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35303
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: поддержка lzma/xz в libarchive в FreeBSD 8-current

Непрочитанное сообщение Alex Keda » 2009-05-09 19:59:42

ну так - для сжатия - bzip, для времени gip =)
а ждать по часу я не согласный. долго очень.
лучше бы многопоточность сделали. цены б ему не было тогда
Убей их всех! Бог потом рассортирует...

Аватара пользователя
ProFTP
подполковник
Сообщения: 3388
Зарегистрирован: 2008-04-13 1:50:04
Откуда: %&й
Контактная информация:

Re: поддержка lzma/xz в libarchive в FreeBSD 8-current

Непрочитанное сообщение ProFTP » 2009-05-09 23:06:42

этот архиватор впортах был давно?
он что не работал, в ядре не было поддержке?
Pеrl FAQ
perl -e 'print join"",map $$_[rand@$_],([0..9,'a'..'z','A'..'Z'])x30'
ИзображениеИзображение

Аватара пользователя
terminus
майор
Сообщения: 2305
Зарегистрирован: 2007-10-29 11:27:35
Откуда: Рига

Re: поддержка lzma/xz в libarchive в FreeBSD 8-current

Непрочитанное сообщение terminus » 2009-05-10 0:22:42

Гость ведь написал - там патч который добавляет к системным утилитам поддержку библиотеки LZMA (ключик J для tar). Вот и все. :pardon:
Модель: AST-PM-105/0044; Тип: Универсальный, ремонтный; Название: Терминус; Род повреждения: Распад функций; Выводы: Сдать на слом.

Гость
проходил мимо

Re: поддержка lzma/xz в libarchive в FreeBSD 8-current

Непрочитанное сообщение Гость » 2009-05-10 4:56:08

упс, с размером я напортачил. Забыл, что у мя включена компрессия lzjb в zfs, и du(1) по дефолту будет отображать сжатый размер, если не указать опцию `-A'. Правда на уже сжате файлы это не повлияло.

Код: Выделить всё

$ du -AshI.svn dist/freebsd src_head*
464M    dist/freebsd
484M    src_head.tar
 71M    src_head.tar.xz
 84M    src_head.tar.bz2
133M    src_head.tar.gz
173M    src_head.tar.Z
166M    src_head.tar.lzo
lissyara писал(а):ну так - для сжатия - bzip, для времени gip =)
lzma жмет лучше и расжимает быстрее чем bzip2, а lzo жмет/расжимает быстрее чем gzip.

Код: Выделить всё

gzip (default):     22.39s user 0.20s system 90% cpu 24.974 total
compress (default): 11.03s user 0.58s system 97% cpu 11.931 total
lzop (default):      2.97s user 0.23s system 80% cpu  3.981 total

gzip (fast):         8.46s user 0.24s system 96% cpu  9.025 total
compress (fast):     9.53s user 0.71s system 94% cpu 10.814 total
lzop (fast):         2.86s user 0.22s system 71% cpu  4.276 total
zlib и bzlib просто *пока* более распространенные чем lzma. К тому же сама либа lzma (из xz-utils) находится под LGPLv2... впрочем, 13 апреля часть кода библиотеки ушла в public domain.
lissyara писал(а):лучше бы многопоточность сделали. цены б ему не было тогда
ну зачатки многопотчности там есть - опция --threads к xz(1). Только че-то оно у мя не хочет кодировать в несколько ниток.

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35303
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: поддержка lzma/xz в libarchive в FreeBSD 8-current

Непрочитанное сообщение Alex Keda » 2009-05-10 7:46:26

тогда топка отменяется =)
Убей их всех! Бог потом рассортирует...