Статья: система резервного копирования bacula на FreeBSD

[igor-x]

Подскажите пож. какой тип backup нужно задавать чтобы найти в архиве файл удаленный клиентом неделю назад - дифференциальный или инкриментальный?

PS Спасибо за статью, пользуюсь бакулой месяц, замечательная система.

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Burner]

Подскажите пож. какой тип backup нужно задавать чтобы найти в архиве файл удаленный клиентом неделю назад - дифференциальный или инкриментальный?

PS Спасибо за статью, пользуюсь бакулой месяц, замечательная система.

тип бекапа тут нипричем.

[Гость]

а как же работают эти параметры? - после определенного времени стирается инфа о файлах ??

File Retention = 30 days # Период, на протяжении которого в каталоге
# будет храниться инфа о файлах этого клиента
Job Retention = 3 months # То же, только о заданиях этого клиента
AutoPrune = yes # В конце каждого задания удалять из каталога
# данные о файлах и заданиях, срок хранения
# которых истек.
>>тип бекапа тут нипричем.

[sch]

а как же работают эти параметры? - после определенного времени стирается инфа о файлах ??

File Retention = 30 days # Период, на протяжении которого в каталоге
# будет храниться инфа о файлах этого клиента
Job Retention = 3 months # То же, только о заданиях этого клиента
AutoPrune = yes # В конце каждого задания удалять из каталога
# данные о файлах и заданиях, срок хранения
# которых истек.
>>тип бекапа тут нипричем.

job retention - период хранения подробной иформации о заданиях бэкапа в базе каталога. По истечении указанного срока из БД каталога будет удалена детальная информация о том, какие файлы с какого клиента в каком задании были скопированы. Если понадобится воостановить файлы из такого задания -- сначала придется подождать, пока Bacula проведет индексацию тома, в котором лежат нужные файлы, и внесет информацию в каталог.
File retention - та же идея, только в части, касающейся информации о каждом файле.
Смысл этих параметров - в управлении объемом БД каталога.

К твоему первоначальному вопросу:
чтобы архивная копия файла хранилась неделю - надо задавать параметры управления пулом томов, например Volume Retention и Maximum Volume Jobs

[Гость]

job retention - период хранения подробной иформации о заданиях бэкапа в базе каталога. По истечении указанного срока из БД каталога будет удалена детальная информация о том, какие файлы с какого клиента в каком задании были скопированы. Если понадобится воостановить файлы из такого задания -- сначала придется подождать, пока Bacula проведет индексацию тома, в котором лежат нужные файлы, и внесет информацию в каталог.
File retention - та же идея, только в части, касающейся информации о каждом файле.
Смысл этих параметров - в управлении объемом БД каталога.

К твоему первоначальному вопросу:
чтобы архивная копия файла хранилась неделю - надо задавать параметры управления пулом томов, например Volume Retention и Maximum Volume Jobs

тогда есть предложение - написать вторую часть (продолжение) этой статьи , и посвятить ее планированию архивации на бакуле.
и в ней отразить действие отдельных параметров ?

[princeps]

пишите, господа, пишите. И саму статью бы переделать, чтоб бакула не вставал колом, когда весь раздел засрёт, да всё руки не доходят

[yur]

Люди, подскажите такую вещь: есть гигантский файл тома с кучей файлов внутри, есть конфиги бакулы. База с каталогом пала смертью храбрых. Бакула успешно восстановлена и запущена, но с пустым каталогом. Как бакулу научить пристегнуть к себе этот том и произвести с него восстановление?

[princeps]

хрен знает вообще как-то можно, я в документации видел про это.
базу тоже надо было бэкапить.

[yur]

Поиски по интернету привели на эту статью: http://blog.unixstyle.ru/index.php?/arc ... ract8.html. При помощи bextract'a можно распаковать весь том (русские имена при этом извлекаются в utf-8, если стоит другая кодировка в консоли, то их увидим в нечитаемом виде). Помогает наличие bootstrap файла, при помощи него без лишних движений вынимается последняя копия дампа каталога. Так же стало понятно, что каталог лучше тоже бэкапить, бэкапится дамп sql базы, его-то и надо выдёргивать руками при помощи bextract'а. Затем заливаем дамп в sql базу, заводим директора и уже культурно из консоли можно заниматься восстановлением.
Собираюсь у себя внедрить эту чудо - систему, отрабатываю разные ситуации.

[user000]

Здравстуйте интересует такая ситуация когда нужно делать полный бекап не 1-н раз в месяц, а напимер 1 раз в 2-а месяца. Как это прописать, в данной статье полный бекап делается 1 раз в месяц

[Burner]

перечислите месяцы

[princeps]

Точно не скажу, могу дать наводку. Читай вот здесь:
http://www.bacula.org/3.0.x-manuals/en/ ... 0000000000
Можно задавать расписание по месяцам. Например, делать бэкап каждое 2-е число февраля, апреля, июля и т.д.

[user000]

перечислите месяцы


какая разница какие месяцы сам факт делать полный бекап не 1-н раз в месяц, а делать бекап 1 раз в 3-и или 4- месяц вот в чем прикол

[Гость]

Точно не скажу, могу дать наводку. Читай вот здесь:
http://www.bacula.org/3.0.x-manuals/en/ ... 0000000000
Можно задавать расписание по месяцам. Например, делать бэкап каждое 2-е число февраля, апреля, июля и т.д.

Это получается если я хочу делать полный бекап 1 раз в 2-а или 3 месяца то мне необходимо 6 заданий и 6 schedule на полный бекап если бекап делается 1 раз в 2-а месяца и 4 задания и 4 schedule если делать бекап 1 раз в 3- месяца

[princeps]

Это получается если я хочу делать полный бекап 1 раз в 2-а или 3 месяца то мне необходимо 6 заданий и 6 schedule на полный бекап если бекап делается 1 раз в 2-а месяца и 4 задания и 4 schedule если делать бекап 1 раз в 3- месяца

нет, в одном shedule перечислишь, в какие месяцы запускать, и потом к одному заданию этот shedule прикрутишь

[Burner]

перечислите месяцы


какая разница какие месяцы сам факт делать полный бекап не 1-н раз в месяц, а делать бекап 1 раз в 3-и или 4- месяц вот в чем прикол

в расписании перечислить месяцы. Благо их всего 12.

[DrMasik]

Вот возникла проблемка. После выполнения архива Директор завершает свою работу. Это так и должно быть или у меня 2-й день уже руки не от туда расти стали?

[Burner]

не должно быть такого, смотрите логи

[DrMasik]

Вот лог:

bconsole log:
~~~~~~~~~~~~~

Код: Выделить всё

*status
Status available for:
     1: Director
     2: Storage
     3: Client
     4: All
Select daemon type for status (1-4): 1
ldap2.local-dir Version: 3.0.3 (18 October 2009) i386-portbld-freebsd7.2 freebsd 7.2-RELEASE
Daemon started 17-Dec-09 10:14, 0 Jobs run since started.
 Heap: heap=0 smbytes=27,766 max_bytes=28,495 bufs=119 max_bufs=125
No Scheduled Jobs.
====

Running Jobs:
Console connected at 17-Dec-09 10:14
No Jobs running.
====

Terminated Jobs:
 JobId  Level    Files      Bytes   Status   Finished        Name 
====================================================================
     1  Full          0         0   Error    16-Dec-09 12:56 job-testxp
     3  Full        651    134.6 M  OK       16-Dec-09 13:02 job-testxp
     4  Incr          0         0   OK       16-Dec-09 14:30 job-testxp
     5  Incr          0         0   OK       16-Dec-09 14:42 job-testxp
     1  Full        651    134.6 M  OK       16-Dec-09 16:25 job-testxp
     2  Incr          0         0   OK       16-Dec-09 16:35 job-testxp
     3  Incr          0         0   OK       17-Dec-09 09:31 job-testxp
     4  Incr          0         0   OK       17-Dec-09 09:54 job-testxp
     5  Incr          0         0   OK       17-Dec-09 10:09 job-testxp
     6  Incr          0         0   OK       17-Dec-09 10:12 job-testxp

====
*run
Automatically selected Catalog: default
Using Catalog "default"
A job name must be specified.
The defined Job resources are:
     1: job-testxp
     2: Job_restore_windows
Select Job resource (1-2): 1
Run Backup job
JobName:  job-testxp
Level:    Incremental
Client:   testxp-fd
FileSet:  base_backup_of_xp
Pool:     main_pool (From Job resource)
Storage:  Storage_1 (From Job resource)
When:     2009-12-17 10:18:04
Priority: 10
OK to run? (yes/mod/no): y
Job queued. JobId=7

--------------------------------------------------------------------------------------------------------------

#>cat ldap2.local-dir.conmsg

Код: Выделить всё

17-Dec 10:18 ldap2.local-dir JobId 7: Start Backup JobId 7, Job=job-testxp.2009-12-17_10.18.06_03
17-Dec 10:18 ldap2.local-dir JobId 7: Using Device "backup-data1-partition"
17-Dec 10:21 testxp-fd JobId 7: DIR and FD clocks differ by 195 seconds, FD automatically compensating.
17-Dec 10:18 ldap2.local-sd JobId 7: Volume "testxp_1" previously written, moving to end of data.
17-Dec 10:18 ldap2.local-sd JobId 7: Ready to append to end of Volume "testxp_1" size=134886952
17-Dec 10:21 testxp-fd JobId 7: Generate VSS snapshots. Driver="VSS WinXP", Drive(s)="C"
17-Dec 10:21 testxp-fd JobId 7: VSS Writer (BackupComplete): "WMI Writer", State: 0x1 (VSS_WS_STABLE)
17-Dec 10:18 ldap2.local-sd JobId 7: Job write elapsed time = 00:00:18, Transfer rate = 0  bytes/second
17-Dec 10:21 testxp-fd JobId 7: VSS Writer (BackupComplete): "MSDEWriter", State: 0x1 (VSS_WS_STABLE)
17-Dec 10:21 testxp-fd JobId 7: VSS Writer (BackupComplete): "Microsoft Writer (Bootable State)", State: 0x1 (VSS_WS_STABLE)
17-Dec 10:21 testxp-fd JobId 7: VSS Writer (BackupComplete): "Microsoft Writer (Service State)", State: 0x1 (VSS_WS_STABLE)
17-Dec 10:18 ldap2.local-dir JobId 7: Bacula ldap2.local-dir 3.0.3 (18Oct09): 17-Dec-2009 10:18:27
  Build OS:               i386-portbld-freebsd7.2 freebsd 7.2-RELEASE
  JobId:                  7
  Job:                    job-testxp.2009-12-17_10.18.06_03
  Backup Level:           Incremental, since=2009-12-17 10:12:17
  Client:                 "testxp-fd" 3.0.3 (18Oct09) Linux,Cross-compile,Win32
  FileSet:                "base_backup_of_xp" 2009-12-16 16:23:04
  Pool:                   "main_pool" (From Job resource)
  Catalog:                "default" (From Client resource)
  Storage:                "Storage_1" (From Job resource)
  Scheduled time:         17-Dec-2009 10:18:04
  Start time:             17-Dec-2009 10:18:09
  End time:               17-Dec-2009 10:18:27
  Elapsed time:           18 secs
  Priority:               10
  FD Files Written:       0
  SD Files Written:       0
  FD Bytes Written:       0 (0 B)
  SD Bytes Written:       0 (0 B)
  Rate:                   0.0 KB/s
  Software Compression:   None
  VSS:                    yes
  Encryption:             no
  Accurate:               no
  Volume name(s):         
  Volume Session Id:      4
  Volume Session Time:    1261035790
  Last Volume Bytes:      134,887,368 (134.8 MB)
  Non-fatal FD errors:    0
  SD Errors:              0
  FD termination status:  OK
  SD termination status:  OK
  Termination:            Backup OK

17-Dec 10:18 ldap2.local-dir JobId 7: Begin pruning Jobs.
17-Dec 10:18 ldap2.local-dir JobId 7: No Jobs found to prune.
17-Dec 10:18 ldap2.local-dir JobId 7: Begin pruning Files.
17-Dec 10:18 ldap2.local-dir JobId 7: No Files found to prune.
17-Dec 10:18 ldap2.local-dir JobId 7: End auto prune.

--------------------------------------------------------------------------------------------------------------

[DrMasik]

Если выполнить:

Код: Выделить всё

bacula-dir -d 9 -c /usr/local/etc/bacula-dir.conf

То поле выполнения задания вполучаем:

Код: Выделить всё

17-Dec 11:56 ldap2.local-dir: ABORTING due to ERROR in lockmgr.c:65
Mutex lock failure. ERR=Resource deadlock avoided
17-Dec 11:56 ldap2.local-dir: ABORTING due to ERROR in lockmgr.c:65
Mutex lock failure. ERR=Resource deadlock avoided
Dec 17 11:56:20 ldap2 kernel: pid 13504 (bacula-dir), uid 0: exited on signal 4 (core dumped)

[princeps]

А демон storage чем занят в этот момент?

[DrMasik]

А демон storage чем занят в этот момент?

Спокойно скзадывает в файлик архив и после окончания - Директор падает.

Код: Выделить всё

*status
Status available for:
     1: Director
     2: Storage
     3: Client
     4: All
Select daemon type for status (1-4): 2
Automatically selected Storage: Storage_1
Connecting to Storage daemon Storage_1 at ldap2.local:9103

ldap2.local-sd Version: 3.0.3 (18 October 2009) i386-portbld-freebsd7.2 freebsd 7.2-RELEASE
Daemon started 17-Dec-09 09:43, 7 Jobs run since started.
 Heap: heap=0 smbytes=81,083 max_bytes=147,735 bufs=76 max_bufs=94
Sizes: boffset_t=8 size_t=4 int32_t=4 int64_t=8

Running Jobs:
No Jobs running.
====

Jobs waiting to reserve a drive:
====

Terminated Jobs:
 JobId  Level    Files      Bytes   Status   Finished        Name 
===================================================================
     1  Full        651    134.7 M  OK       16-Dec-09 16:25 job-testxp
     2  Incr          0         0   OK       16-Dec-09 16:35 job-testxp
     3  Incr          0         0   OK       17-Dec-09 09:31 job-testxp
     4  Incr          0         0   OK       17-Dec-09 09:54 job-testxp
     5  Incr          0         0   OK       17-Dec-09 10:09 job-testxp
     6  Incr          0         0   OK       17-Dec-09 10:12 job-testxp
     7  Incr          0         0   OK       17-Dec-09 10:18 job-testxp
     8  Incr          0         0   OK       17-Dec-09 10:37 job-testxp
     9  Incr          0         0   OK       17-Dec-09 10:59 job-testxp
    10  Incr          0         0   OK       17-Dec-09 11:56 job-testxp
====

[DrMasik]

Проблема решена установкой версии 2.4.4.

[Burner]

хм у меня 3.0.3 стоит)

[sch]

тоже падает с core dump после успешного завершения задачи - версия 3.0.3
началось примерно неделю назад.

причем на другом сервере эта же версия работает без проблем на 10 заданиях ежедневно