Статья: система резервного копирования bacula на FreeBSD

Проблемы с установкой, настройкой и работой системных и сетевых программ.

Модераторы: GRooVE, alexco

Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Burner
лейтенант
Сообщения: 693
Зарегистрирован: 2009-06-14 7:02:26

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение Burner » 2010-06-10 9:04:04

antidevil писал(а):Всем привет. Начал юзать бакулу. Интересует ситуация, когда надо восстановить сервер (на FreeBSD) на новый HDD после поломки старого HDD и т.д. Как правильно сделать полный бэкап всей системы и потом его восстановить на новый HDD? Можете поподробнее описать эти процессы.
Планирую для этого полного бэкапа подцепить к серваку второй HDD и на него сливать.

Код: Выделить всё

router# uname -a
FreeBSD router.localhost 8.0-RELEASE FreeBSD 8.0-RELEASE
Сервер выполняет роль маршрутизатора (IPFW, SQUID, VPN). Заранее спасибо!
http://www.bacula.org/5.0.x-manuals/en/ ... 0000000000

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Burner
лейтенант
Сообщения: 693
Зарегистрирован: 2009-06-14 7:02:26

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение Burner » 2010-06-10 11:58:22

кто-нибудь придумал нормальной алгоритм управления томами? Я до сих пор вижу только 2 крайности: на каждый job уникальный volume и потом руками удалять, либо все обезличенно писать в 1 пул с автоименованием и забить на возможность удаления клиентов.

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение princeps » 2010-06-10 20:19:20

А на каждого клиента по тому чем не подходит?
Я пока ещё для себя не решил, как лучше тома разбивать. В бакуловской best practice рекомендуют делать по тому на каждый тип бэкапа - инкрементальный том, дифференциальный и полный.
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

Burner
лейтенант
Сообщения: 693
Зарегистрирован: 2009-06-14 7:02:26

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение Burner » 2010-06-10 21:53:04

princeps писал(а):А на каждого клиента по тому чем не подходит?
а каким образом оно очищаться будет?
princeps писал(а): Я пока ещё для себя не решил, как лучше тома разбивать. В бакуловской best practice рекомендуют делать по тому на каждый тип бэкапа - инкрементальный том, дифференциальный и полный.
я вот тоже не решил, хотя уже больше года с ней работаю. У меня так и есть сейчас 3 пула, на каждый Job отдельный volume. Хочется-то простого:
1) чтобы сразу после удаления клиента из конфигурации можно было вычистить все его бэкапы
2) чтобы при этом количество томов не росло неограниченно.

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение princeps » 2010-06-11 7:58:34

Burner писал(а):а каким образом оно очищаться будет?
В каком смысле очищаться? если надо выкинуть клиента - удаляегь его из базы, потом его volume'ы с винтов.
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

Burner
лейтенант
Сообщения: 693
Зарегистрирован: 2009-06-14 7:02:26

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение Burner » 2010-06-11 9:23:21

princeps писал(а):В каком смысле очищаться? если надо выкинуть клиента - удаляегь его из базы, потом его volume'ы с винтов.
в смысле размер томов будет расти неограниченно

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение princeps » 2010-06-11 13:11:40

ну достигнет объёма раздела и будет резаться тогда.
Можно же вроде ограничить размер тома, разве нет? правда, не помню как.
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

Burner
лейтенант
Сообщения: 693
Зарегистрирован: 2009-06-14 7:02:26

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение Burner » 2010-06-12 2:52:12

princeps писал(а):ну достигнет объёма раздела и будет резаться тогда.
Можно же вроде ограничить размер тома, разве нет? правда, не помню как.
как резаться? бэкапы работать перестанут, и все. Ограничить можно, но куда тогда оно бэкапиться будет, если 1 том на клиента?

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение princeps » 2010-06-12 10:02:36

так мы в этом треде вроде обсасывали эти моменты: http://forum.lissyara.su/viewtopic.php?p=176955#p176955
или я неправильно тебя понимаю?
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

Аватара пользователя
Slik
ефрейтор
Сообщения: 56
Зарегистрирован: 2008-02-07 17:05:38
Откуда: Киев
Контактная информация:

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение Slik » 2010-06-16 16:22:34

Помогите найти косяк, вторые сутки кручу бакулу, все делал для теста по статье, бэкапить начала, пытаюсь восстановить из бэкапа, файлы не восстанавливаются :(

Вот что пишется в лог

Код: Выделить всё

Jun 16 16:07:50 slik45 bacula-dir: backup-dir JobId 33: Bacula backup-dir 5.0.0 (26Jan10): 16-Jun-2010 16:07:50   Build OS:               i386-portbld-freebsd8.0 freebsd 8.0-RELEASE   JobId:                  33   Job:                    RestoreFiles.2010-06-16_16.07.46_23   Restore Client:         dc-fd   Start time:             16-Jun-2010 16:07:48   End time:               16-Jun-2010 16:07:50   Files Expected:         1   Files Restored:         1   Bytes Restored:         1,506,352   Rate:                   753.2 KB/s   FD Errors:              0   FD termination status:  OK   SD termination status:  OK   Termination:            Restore OK

то есть пишет что все восстановило, с bconsole при восстановлении получил такой вывод

Код: Выделить всё

mark cyber_fac.rar
1 file marked.
$ done
Storage "" not found, using Storage "backup-disk1-storage" from MediaType "File".
Bootstrap records written to /var/db/bacula/backup-dir.restore.5.bsr

The job will require the following
   Volume(s)                 Storage(s)                SD Device(s)
===========================================================================

    dc-usr_jails-pool

Volumes marked with "*" are online.


1 file selected to be restored.

Automatically selected Client: dc-fd
Run Restore job
JobName:         RestoreFiles
Bootstrap:       /var/db/bacula/backup-dir.restore.5.bsr
Where:           /mnt/disk1/bacula-restores
Replace:         always
FileSet:         dc-usr_jails-set
Backup Client:   dc-fd
Restore Client:  dc-fd
Storage:         backup-disk1-storage
When:            2010-06-16 16:06:46
Catalog:         default
Priority:        10
Plugin Options:  *None*
OK to run? (yes/mod/no): yes
Job queued. JobId=33
Вроде все хорошо, но что то мне кажется что ему не нравится эта строка

Код: Выделить всё

Storage "" not found, using Storage "backup-disk1-storage" from MediaType "File".
Куда рыть подскажите плиз.

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение princeps » 2010-06-17 20:48:36

Если написала, что восстановила, значит восстановила.
Ты восстановленный файл где ищешь?
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

Аватара пользователя
Slik
ефрейтор
Сообщения: 56
Зарегистрирован: 2008-02-07 17:05:38
Откуда: Киев
Контактная информация:

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение Slik » 2010-06-17 20:56:12

princeps
С этим сегодня разобрался.
Словил еще пару моментов, с виндового клиента не могу восстанавливать бэкапы, постоянно валятся ошибки. И что то не получается прикрутить webacula

Burner
лейтенант
Сообщения: 693
Зарегистрирован: 2009-06-14 7:02:26

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение Burner » 2010-06-17 23:14:24

princeps писал(а):так мы в этом треде вроде обсасывали эти моменты: http://forum.lissyara.su/viewtopic.php?p=176955#p176955
или я неправильно тебя понимаю?
правильно, только решения так и нет
Slik писал(а):princeps
С этим сегодня разобрался.
Словил еще пару моментов, с виндового клиента не могу восстанавливать бэкапы, постоянно валятся ошибки. И что то не получается прикрутить webacula
вы правда думаете, что мы ваши логи телепатически видим?

Аватара пользователя
Slik
ефрейтор
Сообщения: 56
Зарегистрирован: 2008-02-07 17:05:38
Откуда: Киев
Контактная информация:

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение Slik » 2010-06-18 17:42:28

Сорри, вчера лог показать не мог.

Вот лог восстановление с виндового клиента

Код: Выделить всё

Jun 18 16:44:39 slik45 bacula-dir: backup-dir JobId 63: Fatal error: Cannot restore without a bootstrap file. You probably ran a restore job directly. All restore jobs must be run using the restore command.
Jun 18 16:44:39 slik45 bacula-dir: backup-dir JobId 63: Error: Bacula backup-dir 5.0.0 (26Jan10): 18-Jun-2010 16:44:39   Build OS:               i386-portbld-freebsd8.0 freebsd 8.0-RELEASE   JobId:                  63   Job:                    RestoreFiles.2010-06-18_16.26.53_12   Restore Client:         dc-fd   Start time:             18-Jun-2010 16:44:39   End time:               18-Jun-2010 16:44:39   Files Expected:         0   Files Restored:         0   Bytes Restored:         0   Rate:                   0.0 KB/s   FD Errors:              0   FD termination status:     SD termination status:     Termination:            *** Restore Error ***
Jun 18 16:44:39 slik45 bacula-dir: backup-dir JobId 63: Error: Bacula backup-dir 5.0.0 (26Jan10): 18-Jun-2010 16:44:39   Build OS:               i386-portbld-freebsd8.0 freebsd 8.0-RELEASE   JobId:                  63   Job:                    RestoreFiles.2010-06-18_16.26.53_12   Restore Client:         dc-fd   Start time:             18-Jun-2010 16:44:39   End time:               18-Jun-2010 16:44:39   Files Expected:         0   Files Restored:         0   Bytes Restored:         0   Rate:                   0.0 KB/s   FD Errors:              1   FD termination status:     SD termination status:     Termination:            *** Restore Error ***
Ругается на

Код: Выделить всё

Cannot restore without a bootstrap file
Я его указывал, все равно не хочет восстанавливаться.

Вот логи ошибок веб морды бакулы

Код: Выделить всё

2010/06/18 17:38:57 [error] 646#0: *12 FastCGI sent in stderr: "PHP Fatal error:  Uncaught exception 'Zend_Db_Statement_Exception' with message 'SQLSTATE[42S02]: Base table or view not found: 1146 Table 'webbacula.Version' doesn't exist' in /mnt/40/www/webbacula/htdocs/library/Zend/Db/Statement/Pdo.php:238
Stack trace:
#0 /mnt/40/www/webbacula/htdocs/library/Zend/Db/Statement.php(284): Zend_Db_Statement_Pdo->_execute(Array)
#1 /mnt/40/www/webbacula/htdocs/library/Zend/Db/Adapter/Abstract.php(468): Zend_Db_Statement->execute(Array)
#2 /mnt/40/www/webbacula/htdocs/library/Zend/Db/Adapter/Pdo/Abstract.php(238): Zend_Db_Adapter_Abstract->query(Object(Zend_Db_Select), Array)
#3 /mnt/40/www/webbacula/htdocs/library/Zend/Db/Adapter/Abstract.php(799): Zend_Db_Adapter_Pdo_Abstract->query(Object(Zend_Db_Select), Array)
#4 /mnt/40/www/webbacula/htdocs/application/models/Version.php(54): Zend_Db_Adapter_Abstract->fetchOne(Object(Zend_Db_Select))
#5 /mnt/40/www/webbacula/htdocs/application/models/Ve in /mnt/40/www/webbacula/htdocs/library/Zend/Db/Statement/Pdo.php on line 238" while reading response header from upstream, client: 217.76.200.134, server: webbacula, request: "GET /html/ HTTP/1.0", upstream: "fastcgi://unix:/tmp/php-fpm.sock:", host: "webbacula"

Burner
лейтенант
Сообщения: 693
Зарегистрирован: 2009-06-14 7:02:26

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение Burner » 2010-06-19 1:14:00

Slik писал(а): Вот лог восстановление с виндового клиента
и как вы запускаете restore?
Slik писал(а): Вот логи ошибок веб морды бакулы
база не установлена или не настроена

Аватара пользователя
Slik
ефрейтор
Сообщения: 56
Зарегистрирован: 2008-02-07 17:05:38
Откуда: Киев
Контактная информация:

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение Slik » 2010-06-19 22:12:59

Захожу в Jobs, выбираю Restore Files, жму ок. Вот скриншот Изображение

В лог получаю такое

Код: Выделить всё

Jun 19 22:13:12 slik45 bacula-dir: backup-dir JobId 70: Fatal error: Cannot restore without a bootstrap file. You probably ran a restore job directly. All restore jobs must be run using the restore command.
Jun 19 22:13:12 slik45 bacula-dir: backup-dir JobId 70: Error: Bacula backup-dir 5.0.0 (26Jan10): 19-Jun-2010 22:13:12   Build OS:               i386-portbld-freebsd8.0 freebsd 8.0-RELEASE   JobId:                  70   Job:                    RestoreFiles.2010-06-19_22.13.10_38   Restore Client:         dc-fd   Start time:             19-Jun-2010 22:13:12   End time:               19-Jun-2010 22:13:12   Files Expected:         0   Files Restored:         0   Bytes Restored:         0   Rate:                   0.0 KB/s   FD Errors:              0   FD termination status:     SD termination status:     Termination:            *** Restore Error ***
Jun 19 22:13:12 slik45 bacula-dir: backup-dir JobId 70: Error: Bacula backup-dir 5.0.0 (26Jan10): 19-Jun-2010 22:13:12   Build OS:               i386-portbld-freebsd8.0 freebsd 8.0-RELEASE   JobId:                  70   Job:                    RestoreFiles.2010-06-19_22.13.10_38   Restore Client:         dc-fd   Start time:             19-Jun-2010 22:13:12   End time:               19-Jun-2010 22:13:12   Files Expected:         0   Files Restored:         0   Bytes Restored:         0   Rate:                   0.0 KB/s   FD Errors:              1   FD termination status:     SD termination status:     Termination:            *** Restore Error ***

Burner
лейтенант
Сообщения: 693
Зарегистрирован: 2009-06-14 7:02:26

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение Burner » 2010-06-19 23:06:05

Slik писал(а):You probably ran a restore job directly. All restore jobs must be run using the restore command.
вы ведь читаете, что вам пишут?

osipen
рядовой
Сообщения: 38
Зарегистрирован: 2007-12-24 16:29:03

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение osipen » 2010-06-29 16:29:33

Всем привет!
Создал задание на сохранение директории инкрементально 3 раза в месяц и 1 полный раз в месяц. Задача восстановить полный бэкап директории, как это сделать если я восстанавливаю инкрементальное задание то востанавливаются только те файлы которые были изменены?

Burner
лейтенант
Сообщения: 693
Зарегистрирован: 2009-06-14 7:02:26

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение Burner » 2010-06-30 6:12:05

osipen писал(а):если я восстанавливаю инкрементальное задание то востанавливаются только те файлы которые были изменены?
нет

osipen
рядовой
Сообщения: 38
Зарегистрирован: 2007-12-24 16:29:03

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение osipen » 2010-06-30 8:57:30

Что нет?
Вот само задание:

Код: Выделить всё

 Build OS:               x86_64-redhat-linux-gnu redhat
  JobId:                  1123
  Job:                    toster-folders.2010-06-26_01.00.00_25
  Backup Level:           Incremental, since=2010-06-19 04:16:53
вот таким образом я востанавливаю бэкап. Файлов в нем на 7-8 гиг. получается, а должно быть около 300-400 гиг.

Код: Выделить всё

*restore all
Automatically selected Catalog: MyCatalog
Using Catalog "MyCatalog"

First you select one or more JobIds that contain files
to be restored. You will be presented several methods
of specifying the JobIds. Then you will be allowed to
select which files from those JobIds are to be restored.

To select the JobIds, you have the following choices:
     1: List last 20 Jobs run
     2: List Jobs where a given File is saved
     3: Enter list of comma separated JobIds to select
     4: Enter SQL list command
     5: Select the most recent backup for a client
     6: Select backup for a client before a specified time
     7: Enter a list of files to restore
     8: Enter a list of files to restore before a specified time
     9: Find the JobIds of the most recent backup for a client                                                                                               
    10: Find the JobIds for a backup for a client before a specified time                                                                                    
    11: Enter a list of directories to restore for found JobIds                                                                                              
    12: Select full restore to a specified JobId                                                                                                             
    13: Cancel                                                                                                                                               
Select item:  (1-13): 3                                                                                                                                      
Enter JobId(s), comma separated, to restore: 1123                                                                                                            
You have selected the following JobId: 1123                                                                                                                  
                                                                                                                                                             
Building directory tree for JobId(s) 1123 ...  ++++++++++++++++++++++++++++++++++++++++++                                                                    
2,744 files inserted into the tree and marked for extraction.                                                                                                
                                                                                                                                                             
You are now entering file selection mode where you add (mark) and                                                                                            
remove (unmark) files to be restored. No files are initially added, unless                                                                                   
you used the "all" keyword on the command line.                                                                                                              
Enter "done" to leave this mode.                                                                                                                             
                                                                                                                                                             
cwd is: /                                                                                                                                                    
$ mark *
3,219 files marked.                                                                                                                                          
$ done                                                                                                                                                       
Bootstrap records written to /var/lib/bacula/bacula-dir.restore.3.bsr                                                                                        
                                                                                                                                                             
The job will require the following                                                                                                                           
   Volume(s)                 Storage(s)                SD Device(s)
===========================================================================
   
    toster-folders-0159       fs01storage               fs01-storage             

Volumes marked with "*" are online.


3,219 files selected to be restored.

The defined Restore Job resources are:
     1: RestoreFiles
     2: Restore_to_outsider_mnt_restorefs
     3: Restore_to_fs01_data_restore
Select Restore Job (1-3): 3
Defined Clients:
     1: bacula-fd
     2: bi-fd
     3: vm02-fd
     4: vm01-fd
     5: outsider-fd
     6: vm03-fd
     7: titan-fd
     8: noo-noo-fd
     9: devweb01-fd
    10: devsql01-fd
    11: devnmark-fd
    12: toster-fd
    13: fs01-fd
Select the Client (1-13): 13
Run Restore job
JobName:         Restore_to_fs01_data_restore
Bootstrap:       /var/lib/bacula/bacula-dir.restore.3.bsr
Where:           /data/restore
Replace:         always
FileSet:         Full Set
Backup Client:   fs01-fd
Restore Client:  fs01-fd
Storage:         fs01storage
When:            2010-06-30 09:50:35
Catalog:         MyCatalog
Priority:        10
Plugin Options:  *None*
OK to run? (yes/mod/no): 


princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение princeps » 2010-06-30 9:09:24

Это потому что ты выбираешь восстановление по job'ам, то есть только те файлы, которые забэкаплены конкретным заданием. Тогда да, конечно, будут частично восстанавливаться.
На вопрос To select the JobIds, you have the following choices: надо отвечать, скажем, 7. Или 5. Ну или что там тебе больше подходит.
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru


osipen
рядовой
Сообщения: 38
Зарегистрирован: 2007-12-24 16:29:03

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение osipen » 2010-06-30 11:03:41

Еще однин вопрос может тоже глупый.

Задача. Востановить бэкап не на клиента который сохранялся, а на указанный сервер в указанную директорию.

Выбрал пакт 5.

вот задание на востановление:

Код: Выделить всё

Job {
  Name = "Restore_to_fs01_data_restore"
  Type = Restore
  Client = fs01-fd # Именно на этот клиент хочу востановится
  FileSet = "Full Set"
  Storage = fs01storage # В качестве сторежа тоже он
  Pool = Default
  Messages = Standard
  Where = /data/restore # Именно в эту директорию
}
,но почему то

Код: Выделить всё

Run Restore job
JobName:         Restore_to_fs01_data_restore
Bootstrap:       /var/lib/bacula/bacula-dir.restore.3.bsr
Where:           /data/restore
Replace:         always
FileSet:         Full Set
Backup Client:   titan-fd
Restore Client:  titan-fd # клиент выберается не тот.
Storage:         toster-storage
When:            2010-06-30 12:01:34
Catalog:         MyCatalog
Priority:        10
Plugin Options:  *None*
OK to run? (yes/mod/no): 
И в итоге все востанавливается не на fs01 в /data/restore, а titan-fd в /data/restore


osipen
рядовой
Сообщения: 38
Зарегистрирован: 2007-12-24 16:29:03

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение osipen » 2010-06-30 12:30:04

Burner писал(а):команда mod
огромное спасибо!