Удалённый backup

Проблемы установки, настройки и работы Правильной Операционной Системы

Модератор: terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
zik
мл. сержант
Сообщения: 134
Зарегистрирован: 2007-05-24 21:14:01
Откуда: Одесса
Контактная информация:

Удалённый backup

Непрочитанное сообщение zik » 2007-09-18 18:08:16

Всем здраствуйте.
Стоит такая задача надо сделать бэкап серверов. Хочу сделать так:
1) Сделать полную копию системы, чтоб если полетит жёсткий диск или ещё какае-то напасть просто слить на другой хдд и не парится. Планировал сиспользовать pax , как я обычно делал когда дублировал системы, но оказалось что на многих серверах просто нет места на хдд :( , так что выход вижу только один лить сразу по сети на спецально отведённый сервер, не создавая временный образ на жёстком. Вроде rdump и rrestore подходят для этого, но что-то чтение манов меня не сильно просветило :(

2) Делать например каждые 2 дня бекапы конфигов и пользовательских данных, вроде для этого подходит fsbackup.

Больше всего интересует rdump и rrestore или может возможно на лету поток pax сжимать gzip и заливать по фтп или ссх !?!? С удовольствием расмотрю и другие варианты.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2460 рублей (8 CPU, 8Gb RAM, 2x500Gb HDD, RAID 3ware 9750):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Andy
ст. лейтенант
Сообщения: 1117
Зарегистрирован: 2007-03-04 7:48:58
Откуда: Mytischi

Re: Удалённый backup

Непрочитанное сообщение Andy » 2007-09-18 18:37:37

попробуй тар поюзать через rsh.

Код: Выделить всё

cd /usr
tar -cj --exclude "ports/" -f - . | rsh -l пользователь комп "cat > usr.tbz"
переведенные маны по dump, restore, tar есть у Лиса на сайте
Jul 16 19:37:15 freebsd sshd[4152]: Invalid user idiot from 210.75.200.104

Аватара пользователя
zik
мл. сержант
Сообщения: 134
Зарегистрирован: 2007-05-24 21:14:01
Откуда: Одесса
Контактная информация:

Re: Удалённый backup

Непрочитанное сообщение zik » 2007-09-18 19:59:10

Что-то не получается ...
  • tar -cj --exclude "ports/" -f - . | rsh -l zik 172.16.7.70 "cat > usr.tbz"
    172.16.7.70: Connection refused
Мне впринципе всё равно, а можно и по фтп лить или по ссх просто я незнаю будут ли они читать входной поток ...

Аватара пользователя
zik
мл. сержант
Сообщения: 134
Зарегистрирован: 2007-05-24 21:14:01
Откуда: Одесса
Контактная информация:

Re: Удалённый backup

Непрочитанное сообщение zik » 2007-09-18 22:24:23

Ещё не совсем понял как dump сохраняет на удалённом хосте файлы, он использует NFS ? если нет, то как проходит аутинфикация пользавотеля ?

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35071
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Удалённый backup

Непрочитанное сообщение Alex Keda » 2007-09-18 22:50:01

можно и ssh
Убей их всех! Бог потом рассортирует...

Аватара пользователя
zik
мл. сержант
Сообщения: 134
Зарегистрирован: 2007-05-24 21:14:01
Откуда: Одесса
Контактная информация:

Re: Удалённый backup

Непрочитанное сообщение zik » 2007-09-19 15:39:30

lissyara писал(а):можно и ssh
А если не секрет, то как ? =)
Так, а через какой протокол dump работает ?..

Аватара пользователя
schizoid
подполковник
Сообщения: 3228
Зарегистрирован: 2007-03-03 17:32:31
Откуда: Украина, Чернигов
Контактная информация:

Re: Удалённый backup

Непрочитанное сообщение schizoid » 2007-09-19 15:43:27

по ssh подозреваю, что это scp
ядерный взрыв...смертельно красиво...жаль, что не вечно...

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35071
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Удалённый backup

Непрочитанное сообщение Alex Keda » 2007-09-19 15:50:46

Код: Выделить всё

tar czvf - dir_name | ssh -c blowfish lissyara@hz.server.name dd of=dir_name.tar.gz
Убей их всех! Бог потом рассортирует...

Аватара пользователя
zik
мл. сержант
Сообщения: 134
Зарегистрирован: 2007-05-24 21:14:01
Откуда: Одесса
Контактная информация:

Re: Удалённый backup

Непрочитанное сообщение zik » 2007-09-19 18:41:17

Пробывал
lissyara писал(а):tar czvf - dir_name | ssh -c blowfish lissyara@hz.server.name dd of=dir_name.tar.gz
и пробывал
lissyara писал(а):dump -0u -f - dir_name | gzip -2 | ssh -c blowfish lissyara@hz.server.name dd of=dir_name.gz

По времени быстрее получилось, через дамп. Так что мой выбор остаётся на нём :) Теперь вопросы:
1) Можно как-то ограничить 100 % нагрузку процессора ( обоими способами полностью загрузка была), потому что будет это всё делать на нагруженных серверах и даже ночью нежелательно, чтоб была полная загрузка проца !
2) Сделать, так чтоб при заходе по ссх не спрашивался пароль ? пробывал user:password@machine - всё равно спрашивало :(

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35071
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Удалённый backup

Непрочитанное сообщение Alex Keda » 2007-09-19 21:22:24

про ssh - либо ключи либо в портах expect ищи.
про нагрузку - поставь двухголовые камни.
т.е. - никак.
можно nice поиграть - но это что мёртвому припарки - в данном случае лекарстов - тока вторая башка.
Убей их всех! Бог потом рассортирует...

Аватара пользователя
abanamat
сержант
Сообщения: 255
Зарегистрирован: 2007-03-15 11:24:26
Откуда: Питер
Контактная информация:

Re: Удалённый backup

Непрочитанное сообщение abanamat » 2007-09-19 21:33:23

я по фтп гзипы лью - эффективнее. Правда сетка своя, поэтому за секьюрность нет беспокойства.

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35071
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Удалённый backup

Непрочитанное сообщение Alex Keda » 2007-09-19 21:35:11

а я вот как-то подсел на scp...
очень удобно...
Убей их всех! Бог потом рассортирует...

Аватара пользователя
abanamat
сержант
Сообщения: 255
Зарегистрирован: 2007-03-15 11:24:26
Откуда: Питер
Контактная информация:

Re: Удалённый backup

Непрочитанное сообщение abanamat » 2007-09-19 21:41:33

lissyara писал(а):а я вот как-то подсел на scp...
очень удобно...
а я на скрипты собственного производства - бэкапного сервака пока не имеецо, поэтому перекрестный бэкап конфигов и ценных данных выборочно по фтп..

Аватара пользователя
zik
мл. сержант
Сообщения: 134
Зарегистрирован: 2007-05-24 21:14:01
Откуда: Одесса
Контактная информация:

Re: Удалённый backup

Непрочитанное сообщение zik » 2007-09-20 15:52:46

abanamat писал(а):
lissyara писал(а):а я вот как-то подсел на scp...
очень удобно...
а я на скрипты собственного производства - бэкапного сервака пока не имеецо, поэтому перекрестный бэкап конфигов и ценных данных выборочно по фтп..
А такой вопрос , как перенаправить это по фтп ? :? И что оно меньше будет нагружать проц и по идеи скорость должна увеличится по сети ? или где-то в рассуждениях ошибка )

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35071
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Удалённый backup

Непрочитанное сообщение Alex Keda » 2007-09-20 16:54:01

ну, у меня по scp мегов 10 в секунду льётся.
но и машины не ниже III пня
Убей их всех! Бог потом рассортирует...

Аватара пользователя
abanamat
сержант
Сообщения: 255
Зарегистрирован: 2007-03-15 11:24:26
Откуда: Питер
Контактная информация:

Re: Удалённый backup

Непрочитанное сообщение abanamat » 2007-09-20 20:15:08

zik писал(а):
abanamat писал(а):
lissyara писал(а):а я вот как-то подсел на scp...
очень удобно...
а я на скрипты собственного производства - бэкапного сервака пока не имеецо, поэтому перекрестный бэкап конфигов и ценных данных выборочно по фтп..
А такой вопрос , как перенаправить это по фтп ? :? И что оно меньше будет нагружать проц и по идеи скорость должна увеличится по сети ? или где-то в рассуждениях ошибка )
ну конечно это быстро. но главное - фтп и так на каждой машине имеецо. и не только под фрями. перенаправить? мм.. в баше точно просто. На опеннете поройся - там этот вопрос пару раз в месяц стабильно появляется.

Аватара пользователя
zik
мл. сержант
Сообщения: 134
Зарегистрирован: 2007-05-24 21:14:01
Откуда: Одесса
Контактная информация:

Re: Удалённый backup

Непрочитанное сообщение zik » 2007-09-26 15:43:02

А как сдалать, чтоб бекапились БД мускула, желательно инкрементальным методом и это потом сливалось по фтп. пользуюсь fsback, но он что-то сохраняет мускул на локальную машину, а не копирует по сети вместе с другими файлами на удалённый сервер бэкапов.

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35071
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Удалённый backup

Непрочитанное сообщение Alex Keda » 2007-09-26 17:27:24

ну, инкрементально - не балуюсь, как-то баловался потом собрать из кусков одно не смог :)
можно сделать mydsqldump на удалйнной машине, а потом дифом сравнить два дампа и удалить совпадающие строки :)
как изврашённый вариант :)
Убей их всех! Бог потом рассортирует...

track
рядовой
Сообщения: 36
Зарегистрирован: 2007-10-01 10:35:11
Откуда: николаев
Контактная информация:

Re: Удалённый backup

Непрочитанное сообщение track » 2007-10-05 9:27:34

я на это напоролся на дампе самого большого раздела сервера. пришлось дамп сливать сразу по сети на соседний сервер.
/sbin/dump -0aun -f - /dev/ad4s3e | ssh user@host dd 0f=path_to/file где
- /dev/ad4s3e раздел дамп которого нам нужен,
user пользователь имеющий возможность зайти по ssh на host,
host это машина на которую мы логинимся по ssh,
-0aun это указание делать полный дамп,
-f делать дамп в файл, а не на стриммер,
dd это утилита копирования и конвертации файлов
of= указывает на необходимость писать в файл, а не в стандартный вывод
/path_to/file соответственно путь к файлу готового дампа на host.
пользуйтесь.

paix
лейтенант
Сообщения: 863
Зарегистрирован: 2007-09-24 12:41:05
Откуда: dn.ua
Контактная информация:

Re: Удалённый backup

Непрочитанное сообщение paix » 2007-10-06 9:42:06

Самая распостранненая ошибка при бекапе...- это НЕ тестирирование процесса восстановления данных.

С бекапом конфигов и данных все понятно...

Но вот прозаическая ситуация, на рейде сэекономили, софтварные мирроры(аля гмиррор) тоже не подняли, сервер увезли далеко(!) и пнули в продакшин. ;)
(На сервере пару винтов)

Собственно постановка задачи:
1) чем пациенту можно помоч? ;)
Из расчета на ситуацию, что в один прекрасный(очень!) день, отваливается раздел основного винта, или сам винт..

PS. без шуток ;) Вопрос вполне реальный, причем это живая ситуация. На текущий момент там рсинком зеркалируются конфиги и данные пользователей на другой винт.
В качестве варианта секондари винт, конечно, можно разбить, и удаленно сделать dump\restore, тогда в случае выхода из строя первого винта, можно будет попросить сапорт выбрать при загрузке другой винт. И ,может быть,(!) все даже будет ок ;) Но слишком костыльный вариант... Творчество эксперементов, к сожаленью, ограничено тем что серв далеко и продакшин.
With best wishes, Sergej Kandyla

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35071
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Удалённый backup

Непрочитанное сообщение Alex Keda » 2007-10-06 10:08:16

втрой винт в зеркало.
чё сложного-то?
Убей их всех! Бог потом рассортирует...

reLax
лейтенант
Сообщения: 638
Зарегистрирован: 2007-04-08 5:50:16

Re: Удалённый backup

Непрочитанное сообщение reLax » 2007-10-09 19:57:50

У нас на один сервер даже что-то через mount_smbfs даже бэкапится...БД 1С (сервер под 1С на w2k3)