Резервное копирование для новичков и не только

Простые/общие вопросы по UNIX системам. Спросите здесь, если вы новичок

Модераторы: vadim64, terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
Electronik
капитан
Сообщения: 1593
Зарегистрирован: 2008-11-15 17:32:56
Откуда: Минск
Контактная информация:

Резервное копирование для новичков и не только

Непрочитанное сообщение Electronik » 2011-07-10 1:42:43

Вот и настал тот момент, когда я задумался о нормальном резервном копировании, не просто rar'ить бэкапы БД на разные диски и сервера. А нормально организовать систему резервного копирования. Почитал статьи по Bacula, но что то как то не совсем понятны некоторые параметры конфигов(на каждый сервер должен быть один pool/HDD или разные?), что посоветуете SAMBA+tar.bz2 или допилить Bacula/AMANDA/etc.

И как правильно посчитать необходимое место для бэкапов?
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
Raven2000
-=_UNIX_=-
Сообщения: 4424
Зарегистрирован: 2006-10-29 17:59:13
Откуда: Там, где нас нет.
Контактная информация:

Re: Резервное копирование для новичков и не только

Непрочитанное сообщение Raven2000 » 2011-07-10 10:38:36

На держи http://www.ignix.ru/book/freebsd/daemon/bacula
тебе хватит чтобы все сделать.
==
И не надо извращений с самой.
Если хочешь разобраться... Так иди и разбирайся!
[ igNix.ru | Технология жизни - технологии будущего ] [ Forum.igNix.ru ]

Аватара пользователя
Gendos
лейтенант
Сообщения: 801
Зарегистрирован: 2009-02-18 14:30:39
Откуда: АЗиОПА
Контактная информация:

Re: Резервное копирование для новичков и не только

Непрочитанное сообщение Gendos » 2011-07-10 11:16:07

Новичкам в первую очередь освоить Dump\Restore, потренироватся в виртуалке смогут.
Да как удав! Работаю.

Аватара пользователя
Electronik
капитан
Сообщения: 1593
Зарегистрирован: 2008-11-15 17:32:56
Откуда: Минск
Контактная информация:

Re: Резервное копирование для новичков и не только

Непрочитанное сообщение Electronik » 2011-07-10 12:34:14

2 Raven2000
Спасибо! Пошел курить статью.
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог

Аватара пользователя
Electronik
капитан
Сообщения: 1593
Зарегистрирован: 2008-11-15 17:32:56
Откуда: Минск
Контактная информация:

Re: Резервное копирование для новичков и не только

Непрочитанное сообщение Electronik » 2011-07-11 17:21:14

не понимаю, поля

Код: Выделить всё

PASSWORD
там пароль в открытом виде или в хешированом?

Эти пароли на FD/SD/DIR одинаковые или разные?

у меня просто везде разные и очень длинные

в логе ругается на авторизацию

Код: Выделить всё

11-Jul 17:13 gateway.sushivesla.mn-dir JobId 5: Start Backup JobId 5, Job=pdc_backup-job.2011-07-11_17.13.15_03
11-Jul 17:13 gateway.sushivesla.mn-dir JobId 5: Using Device "backup-disk1"
11-Jul 17:13 gateway.sushivesla.mn-dir JobId 5: Fatal error: Unable to authenticate with File daemon at "pdc.sushivesla.mn:9102". Possible causes:
Passwords or names not the same or
Maximum Concurrent Jobs exceeded on the FD or
FD networking messed up (restart daemon).
Please see http://www.bacula.org/en/rel-manual/Bacula_Freque_Asked_Questi.html#SECTION003760000000000000000 for help.
11-Jul 17:13 gateway.sushivesla.mn-dir JobId 5: Warning: Unexpected Client Job message: 2999 Authentication failed.

11-Jul 17:13 gateway.sushivesla.mn-dir JobId 5: Fatal error: No Job status returned from FD.
11-Jul 17:13 gateway.sushivesla.mn-dir JobId 5: Error: Bacula gateway.sushivesla.mn-dir 5.0.3 (04Aug10): 11-Jul-2011 17:13:23
  Build OS:               amd64-portbld-freebsd8.2 freebsd 8.2-RELEASE
  JobId:                  5
  Job:                    pdc_backup-job.2011-07-11_17.13.15_03
  Backup Level:           Full
  Client:                 "pdc.sushivesla.mn-fd" 
  FileSet:                "pdc-fileset" 2011-07-11 16:11:48
  Pool:                   "pdc-pool" (From Job resource)
  Catalog:                "MyCatalog" (From Client resource)
  Storage:                "File-pdc" (From Job resource)
  Scheduled time:         11-Jul-2011 17:13:13
  Start time:             11-Jul-2011 17:13:17
  End time:               11-Jul-2011 17:13:23
  Elapsed time:           6 secs
  Priority:               4
  FD Files Written:       0
  SD Files Written:       0
  FD Bytes Written:       0 (0 B)
  SD Bytes Written:       0 (0 B)
  Rate:                   0.0 KB/s
  Software Compression:   None
  VSS:                    no
  Encryption:             no
  Accurate:               no
  Volume name(s):         
  Volume Session Id:      1
  Volume Session Time:    1310393566
  Last Volume Bytes:      226 (226 B)
  Non-fatal FD errors:    0
  SD Errors:              0
  FD termination status:  Error
  SD termination status:  Waiting on FD
  Termination:            *** Backup Error ***
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог

Аватара пользователя
Raven2000
-=_UNIX_=-
Сообщения: 4424
Зарегистрирован: 2006-10-29 17:59:13
Откуда: Там, где нас нет.
Контактная информация:

Re: Резервное копирование для новичков и не только

Непрочитанное сообщение Raven2000 » 2011-07-11 19:55:17

В следующий раз по моей статье просьба отписываться в теме форума данной статьи.
А по вопросу для начала можете одинаковые пароли сделать, но они должны быть разными и подходить к своему стораджу. Там чуть хитро можете сделать одинаковые потом измените на 1м сервисе и добейтесь работы, потом на другом и тп.
Если хочешь разобраться... Так иди и разбирайся!
[ igNix.ru | Технология жизни - технологии будущего ] [ Forum.igNix.ru ]

Аватара пользователя
Electronik
капитан
Сообщения: 1593
Зарегистрирован: 2008-11-15 17:32:56
Откуда: Минск
Контактная информация:

Re: Резервное копирование для новичков и не только

Непрочитанное сообщение Electronik » 2011-07-11 21:10:18

так какие пароли TEXT/MD5/SHA*?

P.S.: Зарегился на сайте. Уже большинство на OpenID сидят, регистрация быстро и максимум инфы с профиля, на сайтах без OpenID уже почти и не регистрируюсь.
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог

Аватара пользователя
Raven2000
-=_UNIX_=-
Сообщения: 4424
Зарегистрирован: 2006-10-29 17:59:13
Откуда: Там, где нас нет.
Контактная информация:

Re: Резервное копирование для новичков и не только

Непрочитанное сообщение Raven2000 » 2011-07-11 23:04:06

TEXT
==
Можно подумать и с OpenID =)
Если хочешь разобраться... Так иди и разбирайся!
[ igNix.ru | Технология жизни - технологии будущего ] [ Forum.igNix.ru ]

Eradicator
рядовой
Сообщения: 32
Зарегистрирован: 2008-10-10 15:12:27

Re: Резервное копирование для новичков и не только

Непрочитанное сообщение Eradicator » 2011-07-13 15:39:05

Здравствуйте, коллеги! Давным давно пользую dd для бекапа серваков. Недавно вычитал про метод слива образов на другой сервак по средствам ssh. Мне идея крайне понравилась, давно хотел избавиться от чертовски медленного USB харда. Сегодня захотел клонировать один сервачок и столкнулся с проблемой, что найденная мною статья - не дописана... В ней описан только механизм резервного копирования и не показан процесс развертывания образа через ssh. В общем прошу помощи в поисках обратной функции для:

Код: Выделить всё

dd if=/dev/ad0 conv=sync,noerror bs=64k | gzip -c |ssh -c blowfish user@host "dd of=image.gz bs=64k"
Погуглив поглубже я нашел механизм разворачивания образа с машины на которой образ хранится. Конечно это уже что то, но все равно хочется загрузиться с frenzy, вбить команду и получить клон сервака, а не заморачиваться с поднямием ssh на целевой системе.

Аватара пользователя
Electronik
капитан
Сообщения: 1593
Зарегистрирован: 2008-11-15 17:32:56
Откуда: Минск
Контактная информация:

Re: Резервное копирование для новичков и не только

Непрочитанное сообщение Electronik » 2011-07-13 20:38:50

а почему не sftp?
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог

FiL
ст. лейтенант
Сообщения: 1368
Зарегистрирован: 2010-02-05 0:21:40

Re: Резервное копирование для новичков и не только

Непрочитанное сообщение FiL » 2011-07-14 7:17:39

Eradicator писал(а):Здравствуйте, коллеги! Давным давно пользую dd для бекапа серваков. Недавно вычитал про метод слива образов на другой сервак по средствам ssh. Мне идея крайне понравилась, давно хотел избавиться от чертовски медленного USB харда. Сегодня захотел клонировать один сервачок и столкнулся с проблемой, что найденная мною статья - не дописана... В ней описан только механизм резервного копирования и не показан процесс развертывания образа через ssh. В общем прошу помощи в поисках обратной функции для:

Код: Выделить всё

dd if=/dev/ad0 conv=sync,noerror bs=64k | gzip -c |ssh -c blowfish user@host "dd of=image.gz bs=64k"
Погуглив поглубже я нашел механизм разворачивания образа с машины на которой образ хранится. Конечно это уже что то, но все равно хочется загрузиться с frenzy, вбить команду и получить клон сервака, а не заморачиваться с поднямием ssh на целевой системе.

Код: Выделить всё

ssh -c blowfish user@host "dd if=image.gz bs=64k" | gzip -d | dd of=/dev/ad0 conv=sync,noerror bs=64k
вроде должно быть так. А в чем проблема-то?

Electronik
потому, что sftp в пайп не засунешь. А временно образ положить может не быть куда.

Eradicator
рядовой
Сообщения: 32
Зарегистрирован: 2008-10-10 15:12:27

Re: Резервное копирование для новичков и не только

Непрочитанное сообщение Eradicator » 2011-07-14 8:36:20

Sftp - это хорошо, но хотелось сделать все максимально простыми средствами, без применения дополнительных сервисов. И благодаря господину FiL*у у меня это получилось. Обобщим итоги для будущих поколений:
Создание образа, архивация и загрузка на сервак:

Код: Выделить всё

dd if=/dev/sda conv=sync,noerror bs=64k | gzip -c |ssh -c blowfish user@host "dd of=image.gz bs=64k"
Загрузка образа с сервака, распаковка и разворачивание:

Код: Выделить всё

ssh -c blowfish user@host "dd if=image.gz bs=64k" | gzip -d | sudo dd of=/dev/sda bs=64k
Данные команды полностью верны и проверены мною под линухом. Под фряхой будут другие имена дисков и без sudo. Что же касаемо

Код: Выделить всё

conv=sync,noerror
то в развертывании его использовать не рекомендуется, т.к. данная опция может привести к искажению данных образа записываемого на диск в случае каких либо сетевых сбоев.
Еще раз большое спасибо FiL за помощь. И надеюсь мои изыскания кому-нибудь будут полезны. Удачного дня, коллеги!

Аватара пользователя
Electronik
капитан
Сообщения: 1593
Зарегистрирован: 2008-11-15 17:32:56
Откуда: Минск
Контактная информация:

Re: Резервное копирование для новичков и не только

Непрочитанное сообщение Electronik » 2013-05-15 20:27:44

Сорри за некро-постинг. А что есть из коммерческих систем резервного копирования, с юзерфрендли интерфейсом web или GUI-клиентом?
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог