Страница 1 из 1

150Гиг запихнуть в архив

Добавлено: 2014-06-30 14:31:15
bagas
Добрый день.
Возникла интересная ситуация, на одной из систем пытаюсь за бэкапить директорию сайта.
Директория сайта весит 125-130гиг.
При бэкапе с помощью tar, расходуется вся память, примерно 110гиг.
Система подвисает.
Может есть какое-то ограничение для тара.
Подскажи как или чем лучше бэкапить такие большие объемы?

Re: 150Гиг запихнуть в архив

Добавлено: 2014-06-30 15:04:35
Electronik
ух тыж, а чего там на 130 гиг?

Re: 150Гиг запихнуть в архив

Добавлено: 2014-06-30 15:24:11
bagas
Electronik писал(а):ух тыж, а чего там на 130 гиг?
фото и всякая лабуда.

Re: 150Гиг запихнуть в архив

Добавлено: 2014-06-30 15:28:32
Electronik
а если попробовать через rsync?

Re: 150Гиг запихнуть в архив

Добавлено: 2014-06-30 16:04:13
bagas
Electronik писал(а):а если попробовать через rsync?
рсинком была такая мысля, но на другой стороне, куда сливаю бэкап находится простое фтп хранилище.
в дальнейшем планируется под эти нужды взять отдельный бэкап сервер.
Пока читаю про lzo архивирование.

Re: 150Гиг запихнуть в архив

Добавлено: 2014-06-30 17:22:42
f_andrey
Ну вопервых, у тара есть как бы куча опций и он поддерживает различные методы упаковки, а так же бывает разным, ну и вы смотрели что в мире деется http://igtfy.com/?q=tar%2Bmemory%2Blimit ?
Про lzo, оно конечно круто, но если не изменяет склероз, как раз при паковке оченно любит ресурсы, ну и надеюсь вы понимаете, что меньше жрём ресурсов - дольше работаем?

Re: 150Гиг запихнуть в архив

Добавлено: 2014-06-30 18:15:39
bagas
f_andrey писал(а):Ну вопервых, у тара есть как бы куча опций и он поддерживает различные методы упаковки, а так же бывает разным, ну и вы смотрели что в мире деется http://igtfy.com/?q=tar%2Bmemory%2Blimit ?
Про lzo, оно конечно круто, но если не изменяет склероз, как раз при паковке оченно любит ресурсы, ну и надеюсь вы понимаете, что меньше жрём ресурсов - дольше работаем?
Что долше рабоать будет, не вопрос, пусть.
Про lzo, если lzo больше будет создавать нагрузку на проц, то пофиг, оперативки маловато 128Гиг ) .

Re: 150Гиг запихнуть в архив

Добавлено: 2014-07-02 13:52:10
Alex Keda
у меня каждый день создаётся архив на 200 гиг
обычный тар, с обычными опциями про создание.
рамы на тазике всего 8
--
сдаётся мне - вы куда-то не туда его покласть пытаетесь

Re: 150Гиг запихнуть в архив

Добавлено: 2014-07-02 14:05:54
bagas
Alex Keda писал(а):у меня каждый день создаётся архив на 200 гиг
обычный тар, с обычными опциями про создание.
рамы на тазике всего 8
--
сдаётся мне - вы куда-то не туда его покласть пытаетесь
Решил вывести бэкап на отдельный сервер.
С начало, рсинком передать на сервер бэкапов, а после уже на вторичном сервере сделать бэкап.

Re: 150Гиг запихнуть в архив

Добавлено: 2014-07-02 16:44:54
Гость
Йех! молодо-зелено!
Что -- пройтись простейшим скриптом по всем веб-директориям того сервера, где сайты лежат, и упаковать по-отдельности каждый сайт -- религия не позволяет? ;)

Re: 150Гиг запихнуть в архив

Добавлено: 2014-07-02 16:59:55
bagas
Гость писал(а):Йех! молодо-зелено!
Что -- пройтись простейшим скриптом по всем веб-директориям того сервера, где сайты лежат, и упаковать по-отдельности каждый сайт -- религия не позволяет? ;)
Неа.
Сайт/проект один!

Re: 150Гиг запихнуть в архив

Добавлено: 2014-07-02 20:13:51
Bayerische
Не верю, что нельзя побить на директории.
Пусть один проект, будет пачка архивов в одной директории для бэкапа.

Re: 150Гиг запихнуть в архив

Добавлено: 2014-07-02 20:22:59
bagas
Bayerische писал(а):Не верю, что нельзя побить на директории.
Пусть один проект, будет пачка архивов в одной директории для бэкапа.
Это не удобно, проще вывести бэкап на отдельный сервер и пусть он там делается хоть весь день, главное что бы сделался.

Re: 150Гиг запихнуть в архив

Добавлено: 2014-07-02 20:56:56
snorlov
А система то какая? У приятеля сервер на zfs, директория порядка 120 гиг, имеет 3-и последовательных снапшота, сегодня-вчера-позавчера, снапшот директории создается за 3-и минуты, может и больше но не больше 10 минут точно, после чего созданный снапшот передается на другой сервак, где тоже zfs минут за 45, при этом нагрузка на сервак сравнительно небольшая, после чего тот сервак этот снапшот у себя восстанавливает и затем бэкапит...

Re: 150Гиг запихнуть в архив

Добавлено: 2014-07-03 7:10:14
Bayerische
Это не удобно
В чём именно неудобство?
Предлагаю разбивку делать автоматом, чтобы было удобно.
А в каком виде лежить этот бэкап — вопрос не первостепенной важности, однако, несколькол файлов разумного размера всегда лучше, чем один большой. Ибо большой и размещать труднее, и перемещать, и распаковывать, и в случае сбоя он повредится с большей вероятностью.

Re: 150Гиг запихнуть в архив

Добавлено: 2014-07-03 7:46:16
bagas
bagas писал(а):
Bayerische писал(а):Не верю, что нельзя побить на директории.
Пусть один проект, будет пачка архивов в одной директории для бэкапа.
Это не удобно, проще вывести бэкап на отдельный сервер и пусть он там делается хоть весь день, главное что бы сделался.
Система фря 10 с последними обновлениями, файловая система уфс2.

Код: Выделить всё

А система то какая? У приятеля сервер на zfs, директория порядка 120 гиг, имеет 3-и последовательных снапшота, сегодня-вчера-позавчера, снапшот директории создается за 3-и минуты, может и больше но не больше 10 минут точно, после чего созданный снапшот передается на другой сервак, где тоже zfs минут за 45, при этом нагрузка на сервак сравнительно небольшая, после чего тот сервак этот снапшот у себя восстанавливает и затем бэкапит...
Это не велосепед, а самокат какой-то получается! )))
Ну не хочется дробить.
К примеру если меня не будет на месте, то они меня просто за тюкает по телефону как восстановить.

Re: 150Гиг запихнуть в архив

Добавлено: 2014-07-03 8:48:52
snorlov
bagas писал(а):
bagas писал(а): Это не удобно, проще вывести бэкап на отдельный сервер и пусть он там делается хоть весь день, главное что бы сделался.
Система фря 10 с последними обновлениями, файловая система уфс2.

Код: Выделить всё

А система то какая? У приятеля сервер на zfs, директория порядка 120 гиг, имеет 3-и последовательных снапшота, сегодня-вчера-позавчера, снапшот директории создается за 3-и минуты, может и больше но не больше 10 минут точно, после чего созданный снапшот передается на другой сервак, где тоже zfs минут за 45, при этом нагрузка на сервак сравнительно небольшая, после чего тот сервак этот снапшот у себя восстанавливает и затем бэкапит...
Это не велосепед, а самокат какой-то получается! )))
Ну не хочется дробить.
К примеру если меня не будет на месте, то они меня просто за тюкает по телефону как восстановить.
В некотором смысле да, но
1. zfs более устойчива чем ufs
2. снапшоты можно гонять как туда так и обратно
да, 2-а самописных скрипта, зато восстановить можно тупым копированием с одного сервера на другой ...
Кстати я архив понимаю, как совокупность копий, а не одну копию...

Re: 150Гиг запихнуть в архив

Добавлено: 2014-07-03 8:49:34
Bayerische
К примеру если меня не будет на месте, то они меня просто за тюкает по телефону как восстановить.
IMHO, проблема на ровном месте.
Распаковать все архивы в одну точку! Проще паренной репы!
Структура директорий восстановится.
Зато надёжнее!

Re: 150Гиг запихнуть в архив

Добавлено: 2014-07-03 9:09:47
bagas
Ну, хз.
Пока думаю, все равно бэкап будем выводить на другой сервер.

Код: Выделить всё

1. zfs более устойчива чем ufs
А к чему она более устойчивая?

Re: 150Гиг запихнуть в архив

Добавлено: 2014-07-03 9:54:43
snorlov
bagas писал(а):Ну, хз.
Пока думаю, все равно бэкап будем выводить на другой сервер.

Код: Выделить всё

1. zfs более устойчива чем ufs
А к чему она более устойчивая?
Время восстановления у нее меньшее чем у ufs, что при использовании дисков большого размера бывает критично, но в основном юзаю из-за снапшотов, уж больно легко их делать, пересылать, восстанавливать, клонировать...

Re: 150Гиг запихнуть в архив

Добавлено: 2014-07-03 16:06:18
Гость
snorlov +1

Re: 150Гиг запихнуть в архив

Добавлено: 2014-07-03 16:16:54
Гость
зы. а коли етот исходняк по сути файлопомойка... с порнухой (коя как известно не сжиматеся!) тоды накуяж её в тар суавть! -- тоды rsync и с песнями! ;)

Re: 150Гиг запихнуть в архив

Добавлено: 2014-07-03 16:21:32
bagas
Гость писал(а):зы. а коли етот исходняк по сути файлопомойка... с порнухой (коя как известно не сжиматеся!) тоды накуяж её в тар суавть! -- тоды rsync и с песнями! ;)
Не порнуха.
Проект по видео чату, фотографий очень много.

Re: 150Гиг запихнуть в архив

Добавлено: 2014-07-03 23:41:20
Alex Keda
Bayerische писал(а):
Это не удобно
В чём именно неудобство?
Предлагаю разбивку делать автоматом, чтобы было удобно.
А в каком виде лежить этот бэкап — вопрос не первостепенной важности, однако, несколькол файлов разумного размера всегда лучше, чем один большой. Ибо большой и размещать труднее, и перемещать, и распаковывать, и в случае сбоя он повредится с большей вероятностью.
+100500
на позатой неделе восстанавливал свои сотни гигабайт - случайно не в той директории набрал

Код: Выделить всё

rm -rf *
=)))
благо на rm сделан альяс "rm -i" - увидел что не то чё-то удаляется нажал контрол-с
однако /boot etc bin и т.п. успели улететь в топку...
4 или 5 часов ресторил, чтоб достать файлы которые были в etc
остальное с дистра подёргал за 5 минут...

маленький архив - быстрей развернётся

Re: 150Гиг запихнуть в архив

Добавлено: 2014-07-05 13:09:20
Гость
> Проект по видео чату, фотографий очень много
> Предлагаю разбивку делать автоматом, чтобы было удобно
хм... тоды наверно есть смысл юзать Lsyncd: https://code.google.com/p/lsyncd/
more info: http://habrahabr.ru/post/132098/%20%C2%A0/

Note: там описан правда вариант установки для ubuntu, однако, автором расписано всё честно и с учётом практики: подводных камней. Однако, Lsyncd униварсальный инструмент:
1. "Building Lsyncd is a straightforward standard process for Unix packages": https://github.com/axkibe/lsyncd/wiki/L ... -Compiling
2. inotify: "Примечание: FreeBSD и соответственно Mac OS X поддерживают аналог inotify под названием kqueue. Для получения дополнительной информации на компьютере под управлением FreeBSD введите man 2 kqueue: http://www.ibm.com/developerworks/ru/li ... index.html

offtopic > Не порнуха < маленькая подъё*ка ;) /offtopic