150Гиг запихнуть в архив

[bagas]

Добрый день.
Возникла интересная ситуация, на одной из систем пытаюсь за бэкапить директорию сайта.
Директория сайта весит 125-130гиг.
При бэкапе с помощью tar, расходуется вся память, примерно 110гиг.
Система подвисает.
Может есть какое-то ограничение для тара.
Подскажи как или чем лучше бэкапить такие большие объемы?

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Electronik]

ух тыж, а чего там на 130 гиг?

[bagas]

ух тыж, а чего там на 130 гиг?

фото и всякая лабуда.

[Electronik]

а если попробовать через rsync?

[bagas]

а если попробовать через rsync?

рсинком была такая мысля, но на другой стороне, куда сливаю бэкап находится простое фтп хранилище.
в дальнейшем планируется под эти нужды взять отдельный бэкап сервер.
Пока читаю про lzo архивирование.

[f_andrey]

Ну вопервых, у тара есть как бы куча опций и он поддерживает различные методы упаковки, а так же бывает разным, ну и вы смотрели что в мире деется http://igtfy.com/?q=tar%2Bmemory%2Blimit ?
Про lzo, оно конечно круто, но если не изменяет склероз, как раз при паковке оченно любит ресурсы, ну и надеюсь вы понимаете, что меньше жрём ресурсов - дольше работаем?

[bagas]

Ну вопервых, у тара есть как бы куча опций и он поддерживает различные методы упаковки, а так же бывает разным, ну и вы смотрели что в мире деется http://igtfy.com/?q=tar%2Bmemory%2Blimit ?
Про lzo, оно конечно круто, но если не изменяет склероз, как раз при паковке оченно любит ресурсы, ну и надеюсь вы понимаете, что меньше жрём ресурсов - дольше работаем?

Что долше рабоать будет, не вопрос, пусть.
Про lzo, если lzo больше будет создавать нагрузку на проц, то пофиг, оперативки маловато 128Гиг ) .

[Alex Keda]

у меня каждый день создаётся архив на 200 гиг
обычный тар, с обычными опциями про создание.
рамы на тазике всего 8
--
сдаётся мне - вы куда-то не туда его покласть пытаетесь

[bagas]

у меня каждый день создаётся архив на 200 гиг
обычный тар, с обычными опциями про создание.
рамы на тазике всего 8
--
сдаётся мне - вы куда-то не туда его покласть пытаетесь

Решил вывести бэкап на отдельный сервер.
С начало, рсинком передать на сервер бэкапов, а после уже на вторичном сервере сделать бэкап.

[Гость]

Йех! молодо-зелено!
Что -- пройтись простейшим скриптом по всем веб-директориям того сервера, где сайты лежат, и упаковать по-отдельности каждый сайт -- религия не позволяет?

[bagas]

Йех! молодо-зелено!
Что -- пройтись простейшим скриптом по всем веб-директориям того сервера, где сайты лежат, и упаковать по-отдельности каждый сайт -- религия не позволяет?

Неа.
Сайт/проект один!

[Bayerische]

Не верю, что нельзя побить на директории.
Пусть один проект, будет пачка архивов в одной директории для бэкапа.

[bagas]

Не верю, что нельзя побить на директории.
Пусть один проект, будет пачка архивов в одной директории для бэкапа.

Это не удобно, проще вывести бэкап на отдельный сервер и пусть он там делается хоть весь день, главное что бы сделался.

[snorlov]

А система то какая? У приятеля сервер на zfs, директория порядка 120 гиг, имеет 3-и последовательных снапшота, сегодня-вчера-позавчера, снапшот директории создается за 3-и минуты, может и больше но не больше 10 минут точно, после чего созданный снапшот передается на другой сервак, где тоже zfs минут за 45, при этом нагрузка на сервак сравнительно небольшая, после чего тот сервак этот снапшот у себя восстанавливает и затем бэкапит...

[Bayerische]

Это не удобно

В чём именно неудобство?
Предлагаю разбивку делать автоматом, чтобы было удобно.
А в каком виде лежить этот бэкап — вопрос не первостепенной важности, однако, несколькол файлов разумного размера всегда лучше, чем один большой. Ибо большой и размещать труднее, и перемещать, и распаковывать, и в случае сбоя он повредится с большей вероятностью.

[bagas]

Не верю, что нельзя побить на директории.
Пусть один проект, будет пачка архивов в одной директории для бэкапа.

Это не удобно, проще вывести бэкап на отдельный сервер и пусть он там делается хоть весь день, главное что бы сделался.

Система фря 10 с последними обновлениями, файловая система уфс2.

Код: Выделить всё

А система то какая? У приятеля сервер на zfs, директория порядка 120 гиг, имеет 3-и последовательных снапшота, сегодня-вчера-позавчера, снапшот директории создается за 3-и минуты, может и больше но не больше 10 минут точно, после чего созданный снапшот передается на другой сервак, где тоже zfs минут за 45, при этом нагрузка на сервак сравнительно небольшая, после чего тот сервак этот снапшот у себя восстанавливает и затем бэкапит...

Это не велосепед, а самокат какой-то получается! )))
Ну не хочется дробить.
К примеру если меня не будет на месте, то они меня просто за тюкает по телефону как восстановить.

[snorlov]

Это не удобно, проще вывести бэкап на отдельный сервер и пусть он там делается хоть весь день, главное что бы сделался.

Система фря 10 с последними обновлениями, файловая система уфс2.

Код: Выделить всё

А система то какая? У приятеля сервер на zfs, директория порядка 120 гиг, имеет 3-и последовательных снапшота, сегодня-вчера-позавчера, снапшот директории создается за 3-и минуты, может и больше но не больше 10 минут точно, после чего созданный снапшот передается на другой сервак, где тоже zfs минут за 45, при этом нагрузка на сервак сравнительно небольшая, после чего тот сервак этот снапшот у себя восстанавливает и затем бэкапит...

Это не велосепед, а самокат какой-то получается! )))
Ну не хочется дробить.
К примеру если меня не будет на месте, то они меня просто за тюкает по телефону как восстановить.

В некотором смысле да, но
1. zfs более устойчива чем ufs
2. снапшоты можно гонять как туда так и обратно
да, 2-а самописных скрипта, зато восстановить можно тупым копированием с одного сервера на другой ...
Кстати я архив понимаю, как совокупность копий, а не одну копию...

[Bayerische]

К примеру если меня не будет на месте, то они меня просто за тюкает по телефону как восстановить.

IMHO, проблема на ровном месте.
Распаковать все архивы в одну точку! Проще паренной репы!
Структура директорий восстановится.
Зато надёжнее!

[bagas]

Ну, хз.
Пока думаю, все равно бэкап будем выводить на другой сервер.

Код: Выделить всё

1. zfs более устойчива чем ufs

А к чему она более устойчивая?

[snorlov]

Ну, хз.
Пока думаю, все равно бэкап будем выводить на другой сервер.

Код: Выделить всё

1. zfs более устойчива чем ufs

А к чему она более устойчивая?

Время восстановления у нее меньшее чем у ufs, что при использовании дисков большого размера бывает критично, но в основном юзаю из-за снапшотов, уж больно легко их делать, пересылать, восстанавливать, клонировать...

[Гость]

snorlov +1

[Гость]

зы. а коли етот исходняк по сути файлопомойка... с порнухой (коя как известно не сжиматеся!) тоды накуяж её в тар суавть! -- тоды rsync и с песнями!

[bagas]

зы. а коли етот исходняк по сути файлопомойка... с порнухой (коя как известно не сжиматеся!) тоды накуяж её в тар суавть! -- тоды rsync и с песнями!

Не порнуха.
Проект по видео чату, фотографий очень много.

[Alex Keda]

Это не удобно

В чём именно неудобство?
Предлагаю разбивку делать автоматом, чтобы было удобно.
А в каком виде лежить этот бэкап — вопрос не первостепенной важности, однако, несколькол файлов разумного размера всегда лучше, чем один большой. Ибо большой и размещать труднее, и перемещать, и распаковывать, и в случае сбоя он повредится с большей вероятностью.

+100500
на позатой неделе восстанавливал свои сотни гигабайт - случайно не в той директории набрал

Код: Выделить всё

rm -rf *

))
благо на rm сделан альяс "rm -i" - увидел что не то чё-то удаляется нажал контрол-с
однако /boot etc bin и т.п. успели улететь в топку...
4 или 5 часов ресторил, чтоб достать файлы которые были в etc
остальное с дистра подёргал за 5 минут...

маленький архив - быстрей развернётся

[Гость]

> Проект по видео чату, фотографий очень много
> Предлагаю разбивку делать автоматом, чтобы было удобно
хм... тоды наверно есть смысл юзать Lsyncd: https://code.google.com/p/lsyncd/
more info: http://habrahabr.ru/post/132098/%20%C2%A0/

Note: там описан правда вариант установки для ubuntu, однако, автором расписано всё честно и с учётом практики: подводных камней. Однако, Lsyncd униварсальный инструмент:
1. "Building Lsyncd is a straightforward standard process for Unix packages": https://github.com/axkibe/lsyncd/wiki/L ... -Compiling
2. inotify: "Примечание: FreeBSD и соответственно Mac OS X поддерживают аналог inotify под названием kqueue. Для получения дополнительной информации на компьютере под управлением FreeBSD введите man 2 kqueue: http://www.ibm.com/developerworks/ru/li ... index.html

offtopic > Не порнуха < маленькая подъё*ка /offtopic