150Гиг запихнуть в архив

Проблемы с установкой, настройкой и работой системных и сетевых программ.

Модераторы: GRooVE, alexco

Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
bagas
лейтенант
Сообщения: 922
Зарегистрирован: 2010-08-18 19:49:01
Откуда: Воронеж
Контактная информация:

150Гиг запихнуть в архив

Непрочитанное сообщение bagas » 2014-06-30 14:31:15

Добрый день.
Возникла интересная ситуация, на одной из систем пытаюсь за бэкапить директорию сайта.
Директория сайта весит 125-130гиг.
При бэкапе с помощью tar, расходуется вся память, примерно 110гиг.
Система подвисает.
Может есть какое-то ограничение для тара.
Подскажи как или чем лучше бэкапить такие большие объемы?
Что бы ты не делал , жизнь слишком коротка!
Блог о BSD системах.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
Electronik
капитан
Сообщения: 1593
Зарегистрирован: 2008-11-15 17:32:56
Откуда: Минск
Контактная информация:

Re: 150Гиг запихнуть в архив

Непрочитанное сообщение Electronik » 2014-06-30 15:04:35

ух тыж, а чего там на 130 гиг?
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог

Аватара пользователя
bagas
лейтенант
Сообщения: 922
Зарегистрирован: 2010-08-18 19:49:01
Откуда: Воронеж
Контактная информация:

Re: 150Гиг запихнуть в архив

Непрочитанное сообщение bagas » 2014-06-30 15:24:11

Electronik писал(а):ух тыж, а чего там на 130 гиг?
фото и всякая лабуда.
Что бы ты не делал , жизнь слишком коротка!
Блог о BSD системах.

Аватара пользователя
Electronik
капитан
Сообщения: 1593
Зарегистрирован: 2008-11-15 17:32:56
Откуда: Минск
Контактная информация:

Re: 150Гиг запихнуть в архив

Непрочитанное сообщение Electronik » 2014-06-30 15:28:32

а если попробовать через rsync?
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог

Аватара пользователя
bagas
лейтенант
Сообщения: 922
Зарегистрирован: 2010-08-18 19:49:01
Откуда: Воронеж
Контактная информация:

Re: 150Гиг запихнуть в архив

Непрочитанное сообщение bagas » 2014-06-30 16:04:13

Electronik писал(а):а если попробовать через rsync?
рсинком была такая мысля, но на другой стороне, куда сливаю бэкап находится простое фтп хранилище.
в дальнейшем планируется под эти нужды взять отдельный бэкап сервер.
Пока читаю про lzo архивирование.
Что бы ты не делал , жизнь слишком коротка!
Блог о BSD системах.

Аватара пользователя
f_andrey
майор
Сообщения: 2651
Зарегистрирован: 2007-12-26 1:22:58
Откуда: СПб
Контактная информация:

Re: 150Гиг запихнуть в архив

Непрочитанное сообщение f_andrey » 2014-06-30 17:22:42

Ну вопервых, у тара есть как бы куча опций и он поддерживает различные методы упаковки, а так же бывает разным, ну и вы смотрели что в мире деется http://igtfy.com/?q=tar%2Bmemory%2Blimit ?
Про lzo, оно конечно круто, но если не изменяет склероз, как раз при паковке оченно любит ресурсы, ну и надеюсь вы понимаете, что меньше жрём ресурсов - дольше работаем?
Если ваша тема перенесена, то смотри http://forum.lissyara.su/viewtopic.php?f=1&t=32308

Аватара пользователя
bagas
лейтенант
Сообщения: 922
Зарегистрирован: 2010-08-18 19:49:01
Откуда: Воронеж
Контактная информация:

Re: 150Гиг запихнуть в архив

Непрочитанное сообщение bagas » 2014-06-30 18:15:39

f_andrey писал(а):Ну вопервых, у тара есть как бы куча опций и он поддерживает различные методы упаковки, а так же бывает разным, ну и вы смотрели что в мире деется http://igtfy.com/?q=tar%2Bmemory%2Blimit ?
Про lzo, оно конечно круто, но если не изменяет склероз, как раз при паковке оченно любит ресурсы, ну и надеюсь вы понимаете, что меньше жрём ресурсов - дольше работаем?
Что долше рабоать будет, не вопрос, пусть.
Про lzo, если lzo больше будет создавать нагрузку на проц, то пофиг, оперативки маловато 128Гиг ) .
Что бы ты не делал , жизнь слишком коротка!
Блог о BSD системах.

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35462
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: 150Гиг запихнуть в архив

Непрочитанное сообщение Alex Keda » 2014-07-02 13:52:10

у меня каждый день создаётся архив на 200 гиг
обычный тар, с обычными опциями про создание.
рамы на тазике всего 8
--
сдаётся мне - вы куда-то не туда его покласть пытаетесь
Убей их всех! Бог потом рассортирует...

Аватара пользователя
bagas
лейтенант
Сообщения: 922
Зарегистрирован: 2010-08-18 19:49:01
Откуда: Воронеж
Контактная информация:

Re: 150Гиг запихнуть в архив

Непрочитанное сообщение bagas » 2014-07-02 14:05:54

Alex Keda писал(а):у меня каждый день создаётся архив на 200 гиг
обычный тар, с обычными опциями про создание.
рамы на тазике всего 8
--
сдаётся мне - вы куда-то не туда его покласть пытаетесь
Решил вывести бэкап на отдельный сервер.
С начало, рсинком передать на сервер бэкапов, а после уже на вторичном сервере сделать бэкап.
Что бы ты не делал , жизнь слишком коротка!
Блог о BSD системах.

Гость
проходил мимо

Re: 150Гиг запихнуть в архив

Непрочитанное сообщение Гость » 2014-07-02 16:44:54

Йех! молодо-зелено!
Что -- пройтись простейшим скриптом по всем веб-директориям того сервера, где сайты лежат, и упаковать по-отдельности каждый сайт -- религия не позволяет? ;)

Аватара пользователя
bagas
лейтенант
Сообщения: 922
Зарегистрирован: 2010-08-18 19:49:01
Откуда: Воронеж
Контактная информация:

Re: 150Гиг запихнуть в архив

Непрочитанное сообщение bagas » 2014-07-02 16:59:55

Гость писал(а):Йех! молодо-зелено!
Что -- пройтись простейшим скриптом по всем веб-директориям того сервера, где сайты лежат, и упаковать по-отдельности каждый сайт -- религия не позволяет? ;)
Неа.
Сайт/проект один!
Что бы ты не делал , жизнь слишком коротка!
Блог о BSD системах.

Bayerische
капитан
Сообщения: 1820
Зарегистрирован: 2010-12-25 20:41:50
Откуда: Хлебная столица

Re: 150Гиг запихнуть в архив

Непрочитанное сообщение Bayerische » 2014-07-02 20:13:51

Не верю, что нельзя побить на директории.
Пусть один проект, будет пачка архивов в одной директории для бэкапа.

Аватара пользователя
bagas
лейтенант
Сообщения: 922
Зарегистрирован: 2010-08-18 19:49:01
Откуда: Воронеж
Контактная информация:

Re: 150Гиг запихнуть в архив

Непрочитанное сообщение bagas » 2014-07-02 20:22:59

Bayerische писал(а):Не верю, что нельзя побить на директории.
Пусть один проект, будет пачка архивов в одной директории для бэкапа.
Это не удобно, проще вывести бэкап на отдельный сервер и пусть он там делается хоть весь день, главное что бы сделался.
Что бы ты не делал , жизнь слишком коротка!
Блог о BSD системах.

snorlov
подполковник
Сообщения: 3927
Зарегистрирован: 2008-09-04 11:51:25
Откуда: Санкт-Петербург

Re: 150Гиг запихнуть в архив

Непрочитанное сообщение snorlov » 2014-07-02 20:56:56

А система то какая? У приятеля сервер на zfs, директория порядка 120 гиг, имеет 3-и последовательных снапшота, сегодня-вчера-позавчера, снапшот директории создается за 3-и минуты, может и больше но не больше 10 минут точно, после чего созданный снапшот передается на другой сервак, где тоже zfs минут за 45, при этом нагрузка на сервак сравнительно небольшая, после чего тот сервак этот снапшот у себя восстанавливает и затем бэкапит...

Bayerische
капитан
Сообщения: 1820
Зарегистрирован: 2010-12-25 20:41:50
Откуда: Хлебная столица

Re: 150Гиг запихнуть в архив

Непрочитанное сообщение Bayerische » 2014-07-03 7:10:14

Это не удобно
В чём именно неудобство?
Предлагаю разбивку делать автоматом, чтобы было удобно.
А в каком виде лежить этот бэкап — вопрос не первостепенной важности, однако, несколькол файлов разумного размера всегда лучше, чем один большой. Ибо большой и размещать труднее, и перемещать, и распаковывать, и в случае сбоя он повредится с большей вероятностью.

Аватара пользователя
bagas
лейтенант
Сообщения: 922
Зарегистрирован: 2010-08-18 19:49:01
Откуда: Воронеж
Контактная информация:

Re: 150Гиг запихнуть в архив

Непрочитанное сообщение bagas » 2014-07-03 7:46:16

bagas писал(а):
Bayerische писал(а):Не верю, что нельзя побить на директории.
Пусть один проект, будет пачка архивов в одной директории для бэкапа.
Это не удобно, проще вывести бэкап на отдельный сервер и пусть он там делается хоть весь день, главное что бы сделался.
Система фря 10 с последними обновлениями, файловая система уфс2.

Код: Выделить всё

А система то какая? У приятеля сервер на zfs, директория порядка 120 гиг, имеет 3-и последовательных снапшота, сегодня-вчера-позавчера, снапшот директории создается за 3-и минуты, может и больше но не больше 10 минут точно, после чего созданный снапшот передается на другой сервак, где тоже zfs минут за 45, при этом нагрузка на сервак сравнительно небольшая, после чего тот сервак этот снапшот у себя восстанавливает и затем бэкапит...
Это не велосепед, а самокат какой-то получается! )))
Ну не хочется дробить.
К примеру если меня не будет на месте, то они меня просто за тюкает по телефону как восстановить.
Что бы ты не делал , жизнь слишком коротка!
Блог о BSD системах.

snorlov
подполковник
Сообщения: 3927
Зарегистрирован: 2008-09-04 11:51:25
Откуда: Санкт-Петербург

Re: 150Гиг запихнуть в архив

Непрочитанное сообщение snorlov » 2014-07-03 8:48:52

bagas писал(а):
bagas писал(а): Это не удобно, проще вывести бэкап на отдельный сервер и пусть он там делается хоть весь день, главное что бы сделался.
Система фря 10 с последними обновлениями, файловая система уфс2.

Код: Выделить всё

А система то какая? У приятеля сервер на zfs, директория порядка 120 гиг, имеет 3-и последовательных снапшота, сегодня-вчера-позавчера, снапшот директории создается за 3-и минуты, может и больше но не больше 10 минут точно, после чего созданный снапшот передается на другой сервак, где тоже zfs минут за 45, при этом нагрузка на сервак сравнительно небольшая, после чего тот сервак этот снапшот у себя восстанавливает и затем бэкапит...
Это не велосепед, а самокат какой-то получается! )))
Ну не хочется дробить.
К примеру если меня не будет на месте, то они меня просто за тюкает по телефону как восстановить.
В некотором смысле да, но
1. zfs более устойчива чем ufs
2. снапшоты можно гонять как туда так и обратно
да, 2-а самописных скрипта, зато восстановить можно тупым копированием с одного сервера на другой ...
Кстати я архив понимаю, как совокупность копий, а не одну копию...

Bayerische
капитан
Сообщения: 1820
Зарегистрирован: 2010-12-25 20:41:50
Откуда: Хлебная столица

Re: 150Гиг запихнуть в архив

Непрочитанное сообщение Bayerische » 2014-07-03 8:49:34

К примеру если меня не будет на месте, то они меня просто за тюкает по телефону как восстановить.
IMHO, проблема на ровном месте.
Распаковать все архивы в одну точку! Проще паренной репы!
Структура директорий восстановится.
Зато надёжнее!

Аватара пользователя
bagas
лейтенант
Сообщения: 922
Зарегистрирован: 2010-08-18 19:49:01
Откуда: Воронеж
Контактная информация:

Re: 150Гиг запихнуть в архив

Непрочитанное сообщение bagas » 2014-07-03 9:09:47

Ну, хз.
Пока думаю, все равно бэкап будем выводить на другой сервер.

Код: Выделить всё

1. zfs более устойчива чем ufs
А к чему она более устойчивая?
Что бы ты не делал , жизнь слишком коротка!
Блог о BSD системах.

snorlov
подполковник
Сообщения: 3927
Зарегистрирован: 2008-09-04 11:51:25
Откуда: Санкт-Петербург

Re: 150Гиг запихнуть в архив

Непрочитанное сообщение snorlov » 2014-07-03 9:54:43

bagas писал(а):Ну, хз.
Пока думаю, все равно бэкап будем выводить на другой сервер.

Код: Выделить всё

1. zfs более устойчива чем ufs
А к чему она более устойчивая?
Время восстановления у нее меньшее чем у ufs, что при использовании дисков большого размера бывает критично, но в основном юзаю из-за снапшотов, уж больно легко их делать, пересылать, восстанавливать, клонировать...


Гость
проходил мимо

Re: 150Гиг запихнуть в архив

Непрочитанное сообщение Гость » 2014-07-03 16:16:54

зы. а коли етот исходняк по сути файлопомойка... с порнухой (коя как известно не сжиматеся!) тоды накуяж её в тар суавть! -- тоды rsync и с песнями! ;)

Аватара пользователя
bagas
лейтенант
Сообщения: 922
Зарегистрирован: 2010-08-18 19:49:01
Откуда: Воронеж
Контактная информация:

Re: 150Гиг запихнуть в архив

Непрочитанное сообщение bagas » 2014-07-03 16:21:32

Гость писал(а):зы. а коли етот исходняк по сути файлопомойка... с порнухой (коя как известно не сжиматеся!) тоды накуяж её в тар суавть! -- тоды rsync и с песнями! ;)
Не порнуха.
Проект по видео чату, фотографий очень много.
Что бы ты не делал , жизнь слишком коротка!
Блог о BSD системах.

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35462
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: 150Гиг запихнуть в архив

Непрочитанное сообщение Alex Keda » 2014-07-03 23:41:20

Bayerische писал(а):
Это не удобно
В чём именно неудобство?
Предлагаю разбивку делать автоматом, чтобы было удобно.
А в каком виде лежить этот бэкап — вопрос не первостепенной важности, однако, несколькол файлов разумного размера всегда лучше, чем один большой. Ибо большой и размещать труднее, и перемещать, и распаковывать, и в случае сбоя он повредится с большей вероятностью.
+100500
на позатой неделе восстанавливал свои сотни гигабайт - случайно не в той директории набрал

Код: Выделить всё

rm -rf *
=)))
благо на rm сделан альяс "rm -i" - увидел что не то чё-то удаляется нажал контрол-с
однако /boot etc bin и т.п. успели улететь в топку...
4 или 5 часов ресторил, чтоб достать файлы которые были в etc
остальное с дистра подёргал за 5 минут...

маленький архив - быстрей развернётся
Убей их всех! Бог потом рассортирует...

Гость
проходил мимо

Re: 150Гиг запихнуть в архив

Непрочитанное сообщение Гость » 2014-07-05 13:09:20

> Проект по видео чату, фотографий очень много
> Предлагаю разбивку делать автоматом, чтобы было удобно
хм... тоды наверно есть смысл юзать Lsyncd: https://code.google.com/p/lsyncd/
more info: http://habrahabr.ru/post/132098/%20%C2%A0/

Note: там описан правда вариант установки для ubuntu, однако, автором расписано всё честно и с учётом практики: подводных камней. Однако, Lsyncd униварсальный инструмент:
1. "Building Lsyncd is a straightforward standard process for Unix packages": https://github.com/axkibe/lsyncd/wiki/L ... -Compiling
2. inotify: "Примечание: FreeBSD и соответственно Mac OS X поддерживают аналог inotify под названием kqueue. Для получения дополнительной информации на компьютере под управлением FreeBSD введите man 2 kqueue: http://www.ibm.com/developerworks/ru/li ... index.html

offtopic > Не порнуха < маленькая подъё*ка ;) /offtopic