Статья: система резервного копирования bacula на FreeBSD

Проблемы с установкой, настройкой и работой системных и сетевых программ.

Модераторы: GRooVE, alexco

Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение princeps » 2008-09-19 17:21:48

Предыстория такая: нужна была сетевая система резервного копирования. Попробовав amanda, к своему большому сожалению выяснил, что не получается правильно сохранять файлы с русскими именами с виндовых серверов. Решил пойти другим путем и освоить bacula, результаты чего и предлагаю уважаемой публике.
Пару слов о своих субъективных ощущениях от этих двух систем. Лично мне аманда понравилась больше по ряду причин:
1) Это, по сути, надстройка над стандартными dump\tar\restore, мощь и надежность которых хорошо известна.
2) bacula менее соответствует идеологии unix-way, так как кроме своей собственной системы для снятия дампов она использует также свой собственный планировщик, в то время как amanda запускается через проверенный временем и освоенный всеми cron.
3) У бакулы получился жутко громоздкий файл настроек сервера. Пришлось тщательно подумать над его структурой, так как уже после добавления в него четвертого задания на резервирование, без бутылки в нем было не разобраться.
С другой стороны, есть и плюсы:
1) Кросплатформенность. В последней версии аманды, которой пока еще нет в портах, есть, правда, клиент под винду, но неизвестно как он работает с кириллическими именами файлов. В то же время бакула полностью портирована.
2) Разделение бакулы на компоненты очень удобно, когда надо резервировать большую сеть, т.к. можно использовать один директор, и несколько серверов хранения. Наверное, когда у вас 40-50 серверов, это удобство почувствуется :).
В общем, может быть, кому-нибудь пригодится мой опыт по установке этого монстра на фрю. Кому интересно, читаем, ищем косяки:

Как известно, системные администраторы делятся на две категории: тех, кто еще не делает резервные копии, и тех, кто уже делает. Также из собственного опыта я сделал вывод, что при планировании нового сервиса надо в первую очередь думать, куда и как он будет бэкапиться. Выбрать себе систему по вкусу можно, прочитав, например, вот эту статью. Если резервируемых компьютеров больше двух, то стоит, наверное, подумать о сетевой системе резервного копирования, каковой и является bacula, о которой пойдет речь.
Бакула гибкая и мощная система. В моей статье достаточно кратко будет описано только самое необходимое: установка серверной и клиентской части на FreeBSD, резервирование на жесткий диск пары серверов, в т.ч. Windows (я полагаю, что у большинства хоть один вражий сервер да закрался в сеть). Для полноценного использования системы почитайте как минимум те ресурсы, которые я укажу в конце статьи.

Для начала в общих чертах об устройстве бакулы. Она состоит из пяти частей, каждая из которых может быть установлена на отдельном компьютере:
1) директор - собственно самая главная часть, которая координирует действия остальных четырех частей, он же формирует задания на бэкап.
2) сервер хранения - как видно из названия, он занимается хранением резервных копий. В нашем случае будет на одном компьютере с директором.
3) клиент, он же файловый сервер. Устанавливается на резервируемой машине. Получая задание от директора, создает резервную копию и передает ее серверу хранения.
4) Консоль управления - ставится на компьютере администратора. Из названия все понятно.
5) Монитор - позволяет следить за состоянием остальных компонент бакулы. Тоже ставится на комп администратора. Я не буду о нем ничего писать.
В конфигах в качестве адресов компьютеров используются FQDN, так что не должно быть проблем с разрешением имен. Также нельзя использовать localhost.

Чтобы не возникало путаницы, я сразу опишу все участвующие в эксперименте компьютеры. У нас будут задействованы три машины, не считая рабочего места администратора с консолью управления:
1) backup. Это сервер bacula - (FreeBSD 7.0 amd64).Здесь будут стоять директор и сервер хранения.
2) dc - резервируемый сервер - компьютер (FreeBSD 7.0 amd64), на котором мы установим клиентскую часть. На этом компьютере в каталоге /usr/jails крутятся несколько jail'ов, этот каталог полностью и будем резервировать.
3) pdc - файл-сервер под Windows 2000 SP4 с базой семерки 1ски.

Устанавливаем бакулу на сервере:

Код: Выделить всё

backup# cd /usr/ports/sysutils/bacula-server
backup# make install clean
В окошечке выбираем поддержку MySQL и NLS.
Он за собой притащит mysql-client'а. Сервер надо ставить отдельно:

Код: Выделить всё

backup# cd /usr/ports/databases/mysql50-server
backup# make install clean
Настраиваем MySQL сервер, как написано здесь: http://www.lissyara.su/?id=1189.
Запускаем MySQL сервер и проверяем, запустился ли:

Код: Выделить всё

backup# echo 'mysql_enable="YES"' >> /etc/rc.conf
backup# /usr/local/etc/rc.d/mysql-server start
Starting mysql.
backup# sockstat | grep sql
mysql    mysqld     811   10 tcp4   *:3306                *:*
mysql    mysqld     811   12 stream /tmp/mysql.sock
backup#
Теперь в MySQL надо создать базу данных bacula, пользователя bacula и таблицы, где bacula будет хранить свои данные. Для этого в /usr/local/share/bacula есть специальные скрипты:

Код: Выделить всё

backup# /usr/local/share/bacula/grant_mysql_privileges
...
backup# /usr/local/share/bacula/create_mysql_database
Creation of bacula database succeeded.
backup# /usr/local/share/bacula/make_mysql_tables
Creation of Bacula MySQL tables succeeded.
backup#
Создаем каталог, куда будем писать копии и даем к нему доступ бакуле:

Код: Выделить всё

backup# mkdir /mnt/disk1
backup# chown bacula:bacula /mnt/disk1
backup# mount /dev/ad4s1d /mnt/disk1
Обратите внимание, у меня это отдельный раздел. В статье бакула будет настроена таким образом, что старые копии будут удаляться только тогда, когда не станет хватать места под новые. То есть в какой-то момент бэкапы займут раздел целиком, поэтому под это дело нельзя заюзать какой-нибудь /var или /usr.

Настраиваем сервер хранения.
Копируем дефолтовый конфигурационный файл:

Код: Выделить всё

backup# cp /usr/local/etc/bacula-sd.conf.sample /usr/local/etc/bacula-sd.conf
Правим до следующего состояния:

Код: Выделить всё

#
# Конфиг сервера хранения бакулы
#

# Описываем storage server
Storage {
  Name = backup-sd               # Имя
  SDPort = 9103                  # Порт, где будем ждать подключения директора

# Всякая прочая служебная хрень
  WorkingDirectory = "/var/db/bacula"
  Pid Directory = "/var/run"
  Maximum Concurrent Jobs = 20
  Heartbeat Interval = 30 sec    # Без этого параметра у меня сервер сразу после
                                 # запуска задания на выполнение переставал
                                 # отвечать на пинги. Сами задания через раз
                                 # завершались с ошибкой connection reset by peer
}

# Список директоров, которым разрешен доступ к этому серверу хранения
# А нашем случае - один
Director {
  Name = backup-dir        # Имя директора
  Password = "secret"      # Пароль
}

# Определяем устройство, на который будем писать бэкапы. Это может быть лента, dvd, 

или, как в нашем случае, жесткий диск.
Device {
  Name = backup-disk1-device          # Имя
  Media Type = File                   # Здесь указываем, что будем бэкапить на винт
  Archive Device = /mnt/disk1         # Собственно, каталог для бэкапов
  LabelMedia = yes;                   # Разрешить бакуле размечать тома. В моем
                                      # случае он все равно почему-то просил
                                      # размечать вручную
  Random Access = Yes;                #
  AutomaticMount = yes;               # Автоматически монтировать девайс
  RemovableMedia = no;                #

# Здесь описываем, что будем делать с сообщениями сервера хранения
# Будем отправлять их все директору.
Messages {
  Name = Standard
  director = backup-dir = all
}
Теперь настраиваем директор. Копируем файл настроек:

Код: Выделить всё

backup# cp /usr/local/etc/bacula-dir.conf.sample /usr/local/etc/bacula-dir.conf
Предупреждаю: файл получится достаточно громоздким (у меня на бэкап десяти серверов он вышел больше 800 строк), поэтому надо заранее продумать структуру. Особенное внимание стоит уделить системе названий ресурсов, иначе очень легко запутаться.

Код: Выделить всё

#
# Bacula Director Configuration file
#

##################################
# Глобальные настройки директора #
##################################
#
Director {
  Name = backup-dir                   # Имя
  DIRport = 9101                      # Порт, который слушает директор
  QueryFile = "/usr/local/share/bacula/query.sql"
  WorkingDirectory = "/var/db/bacula" # Рабочий каталог
  PidDirectory = "/var/run"           #
  Maximum Concurrent Jobs = 1         # Максимальное количество
                                      # параллельных заданий. Очень не
                                      # рекомендуется одновременно записывать
                                      # несколько заданий в один пул.
  Password = "secret"                 # Пароль для подключения консоли
  Messages = Daemon                   # Набор настроек для отправки сообщений
}

# Дефолтовое задание на восстановление
# Нужно как минимум одно.
Job {
  Name = "RestoreFiles"
  Type = Restore
  Client=dc-fd
  FileSet="dc-usr_jails-set"
  Storage = backup-disk1-storage
  Pool = dc-usr_jails-pool
  Messages = Daemon
  Where = /mnt/disk1/bacula-restores
}

#################################
# Резервирование jail'ов на DC  #
#################################
#
# Определяем задание.
#
Job {
  Name = "dc-usr_jails-job"         # Имя задания
  Type = Backup                     # Тип (backup, restore и т.д.)
  Level = Incremental               # Уровень бэкапа
  Client = dc-fd                    # Имя клиента
# Дальше идут используемые ресурсы, которые будут определены ниже.
  FileSet = "dc-usr_jails-set"      # Набора файлов для сохранения.
  Schedule = "WeeklyCycle-1hrs-sun" # Расписание
  Storage = backup-disk1-storage    # Файловое хранилище
  Messages = Daemon                 # Поведение уведомлений
  Pool = dc-usr_jails-pool          # Пул, куда будем писать бэкапы
  Priority = 10                     # Приоритет. Давая заданиям приоритеты от 1
                                    # 10, можно регулировать последовательность
                                    # выполнения.
 
# А этот хитрый файл позволит вам восстановить копии в случае каких-либо
# проблем с sql-каталогом
  Write Bootstrap = "/var/db/bacula/dc-usr_jails-job.bsr"
}

# Определение списка резервируемых файлов
FileSet {
  Name = "dc-usr_jails-set"        # Имя списка
  Include {
    Options {
      signature = MD5
    }
    File = /usr/jails              # Указываем каталог, который будем бэкапить
  }
}

# Pool - описание набора  устройств хранение
# В каждый пул будет входить несколько томов. Регулировать, в какой конкретно
# том бакула будет писать конкретное задание нельзя. Я хотел, чтобы каждое задание
# у меня писалось в отдельный файл, поэтому на каждый backup job у меня
# будет отдельный пул.
Pool {
  Name = dc-usr_jails-pool            # Имя пула
  Pool Type = Backup                  # Тип пула
  Recycle = yes                       # Автоматически менять тома. Не знаю, нужно
                                      # ли это для бэкапа на винт
  AutoPrune = yes                     # Автоматическое удаление из БД заданий с
                                      # истекшим сроком годности.
  Volume Retention = 365 days         # Срок, по истечении которого тома будут
                                      # удаляться из пула.
}

########################
# Определения клиентов #
########################

# Определение клиента dc
Client {
  Name = dc-fd                     # Имя клиента
  Address = dc.office.local # адрес
  FDPort = 9102                    # Порт, на котором клиент нас ждет
  Catalog = "default"              # Каталог в MySQL
  Password = "secret"              # Пароль к клиенту
  File Retention = 30 days         # Период, на протяжении которого в каталоге
                                   # будет храниться инфа о файлах этого клиента
  Job Retention = 3 months         # То же, только о заданиях этого клиента
  AutoPrune = yes                  # В конце каждого задания удалять из каталога
                                   # данные о файлах и заданиях, срок хранения
                                   # которых истек.
}

######################################
# Определения файловых хранилищ.     #
# По одному на device, определенный  #
# в настройках серверов хранения     #
######################################

# Определение файлового хранилища на первом диске
# сервера backup
Storage {
  Name = backup-disk1-storage          # Имя. Будет использоваться в
                                       # определениях job
  Address = backup.office.local.ru # Адрес сервера хранения. Настоятельно не
                                       # рекоендуется использовать localhost
  SDPort = 9103                        # Порт, где file storage нас ждет
  Password = "secret"                  # Пароль к нему
  Device = backup-disk1-device         # Устройство. Должно быть определено
                                       # в настройках секции Device сервера 

хранения
  Media Type = File                    # Файл, диск, лента и т.д.
}

##########################
# Определения расписаний #
##########################

# Недельное расписание на запуск в час ночи.
# c полными и дифференциальными бэкапами по воскресеньям
# Для серверов, создающих отчеты и с 23 до 24 часов.
# Полный бэкап делается в 1:00 каждое 1-е воскресенье месяца
# Дифференциальный бэкап делается в 1:00 во 2,3,4 и 5 воскресенье месяца
# Инкрементальный бэкап делается в 1:00 с понедельника по субботу.
#
Schedule {
  Name = "WeeklyCycle-1hrs-sun"
  Run = Full 1st sun at 1:00
  Run = Differential 2nd-5th sun at 1:00
  Run = Incremental mon-sat at 1:00
}

###############################
# Другие определения ресурсов #
###############################

# Catalog - описание каталога в БД, где будут храниться данные.
Catalog {
  Name = default # Имя
# Данные для доступа к БД в MySQL. Имя базы, логин и пароль.
  dbname = "bacula"; dbuser = "bacula"; dbpassword = ""
}

# Определение шаблонов сообщений. Я все шлю в syslog. Можно отправлять по почте,
# бакула даже тащит с собой софтинку bsmtp.
Messages {
  Name = Daemon
  syslog = all
}

# Определение пула scratch. Для служебной надобности.
Pool {
  Name = Scratch
  Pool Type = Backup
}
Можно протестировать наши конфигурационные файлы на предмет каких-нибудь ошибок:

Код: Выделить всё

backup# bacula-sd -t -d /usr/local/etc/bacula-sd.conf
backup# backup# bacula-dir -t -d /usr/local/etc/bacula-dir.conf
backup#
Запускаем серверную часть:

Код: Выделить всё

backup# echo 'bacula_dir_enable="YES"' >> /etc/rc.conf
backup# echo 'bacula_sd_enable="YES"' >> /etc/rc.conf
backup# /usr/local/etc/rc.d/bacula-dir start
Starting bacula_dir.
backup# /usr/local/etc/rc.d/bacula-sd start
Starting bacula_sd.
backup# sockstat | grep bacu
bacula   bacula-dir 37450 5  tcp4   *:9101                *:*
bacula   bacula-sd  34267 3  tcp4   *:9103                *:*
backup#
Вроде все нужные порты слушаются.
Теперь идем на компьютер DC и устанавливаем бакула-клиента:

Код: Выделить всё

dc# cd /usr/ports/sysutils/bacula-client
dc# make install clean
В окошечке выбираем NLS.
Как водится, переименовываем конфигурационный файл:

Код: Выделить всё

dc# cp /usr/local/etc/bacula-fd.conf.sample /usr/local/etc/bacula-fd.conf
Правим конфиг:

Код: Выделить всё

#
# Конфа клиентской части бакулы
#

#
# Список директоров, которые могут управлять этим клиентом
#
Director {
  Name = backup-dir
  Password = "secret"
}

#
# Глобальные настройки клиента
#
FileDaemon {
  Name = platform2-fd           # Имя
  FDport = 9102                 # Порт, на котором мы ждем директора

# Всякая служебная информация
  WorkingDirectory = /var/db/bacula
  Pid Directory = /var/run
  Maximum Concurrent Jobs = 20
}

# Сообщения, отправляемые директору
Messages {
  Name = Standard
  director = backup-dir = all, !skipped, !restored
}
Проверяем и запускаем:

Код: Выделить всё

dc# bacula-fd -t -d /usr/local/etc/bacula-fd.conf
dc# echo 'bacula_fd_enable="YES"' >> /etc/rc.conf
dc# /usr/local/etc/rc.d/bacula-fd start
Starting bacula_fd.
dc# sockstat | grep bacu
root     bacula-fd  67621 3  tcp4   *:9102                *:*
Консоль управления, тянется вместе с bacula-client. Если у вас на админском рабочем месте FreeBSD, надо установить клиент. Затем копируем конфиг.

Код: Выделить всё

dc# cp /usr/local/etc/bconsole.conf.sample /usr/local/etc/bconsole.conf
Рихтуем:

Код: Выделить всё

#
# Конфиг консоли
#

Director {
  Name = backup-dir
  DIRport = 9101
  address = backup.office.local.ru
  Password = "secret"
}
Запускается командой bconsole. Если появилась звездочка, значит все ок - у нее такое приглашение командной строки. Можно набрать help, он покажет список команд. Можно также установить консоль управления на рабочую станцию с windows. Скачать можно здесь на офсайте www.bacula.org. В процессе установки надо будет ввести имя директора, адрес и порт. После этого можно юзать графическую консоль и обычную, которые, впрочем не сильно отличаются как друг от друга, так и от bconsole. Итак, вводим команду status all. Он опросит всех директоров, клиентов и storage server и выдаст информацию о запущенных и выпоненных заданиях. Если нет ошибок, значит двигаемся дальше.
Попробуем что-нибудь забэкапить. Для этого надо в консоли администрирования бакулы ввести команду run <имя_задания_на_бэкап>. Можно просто run, тогда появится список заданий, которые можно запустить. Если вы все делали по моим конфигам, то должно появиться два задания - под номером 1 будет dc-usr_jails-job. Вводим 1. Все. Теперь если ввести status client=dc-fc, то будет выведена информация, что на данном клиенте сейчас выполняется резервное копирование. Подождем некоторое время, пока оно не закончится.
Теперь пробуем восстановить. Запускаем консоль и вводим следующее (знаком # я отметил свои комментарии):

Код: Выделить всё

*restore
Automatically selected Catalog: Default
Using Catalog "Default"

First you select one or more JobIds that contain files
to be restored. You will be presented several methods
of specifying the JobIds. Then you will be allowed to
select which files from those JobIds are to be restored.

# Предлагается выбрать действие
To select the JobIds, you have the following choices:
     1: List last 20 Jobs run
     2: List Jobs where a given File is saved
     3: Enter list of comma separated JobIds to select
     4: Enter SQL list command
     5: Select the most recent backup for a client
     6: Select backup for a client before a specified time
     7: Enter a list of files to restore
     8: Enter a list of files to restore before a specified time
     9: Find the JobIds of the most recent backup for a client
    10: Find the JobIds for a backup for a client before a specified time
    11: Enter a list of directories to restore for found JobIds
    12: Cancel

# Выбираем указать ему конкретное задание на бэкап, созданную которым копию будем восстанавливать.
Select item:  (1-12): 3
# Здесь надо указать ему ID задания на резервирование. Узнать ID заданий можно было, выбрав в предыдущем меню пункт 1. Я указываю ему ID моего последнего задания на бэкап.
Enter JobId(s), comma separated, to restore: 8
You have selected the following JobId: 8

Building directory tree for JobId 8 ...  

++++++++++++++++++++++++++++++++++++++++++++++++
1 Job, 464,077 files inserted into the tree.

You are now entering file selection mode where you add (mark) and
remove (unmark) files to be restored. No files are initially added, unless
you used the "all" keyword on the command line.
Enter "done" to leave this mode.

# Теперь мы попали в корень дерева каталогов нашей резервной копии. Двигаясь по дереву командой cd, переходим в нужный каталог. Список доступных команд вызывается командой help
cwd is: /
$ cd /usr/jails/localweb/etc
Invalid path given.
cwd is: /
$ cd /usr/jails/
cwd is: /usr/jails/
$ ls
dc1/
domain/
test/
weblocal/
$ cd weblocal
cwd is: /usr/jails/weblocal/
$ cd etc
cwd is: /usr/jails/weblocal/etc/
# Командой mark отмечаем файл или каталог, который мы собираемся восстановить. Я, наример, собираюсь восстановить файл rc.conf одного из своих джэйлов.
$ mark rc.conf
1 file marked.
# Командой done завершаем выбор файлов
$ done
Bootstrap records written to /var/db/bacula/backup-dir.restore.4.bsr

The job will require the following
   Volume(s)                 Storage(s)                SD Device(s)
===========================================================================

   backup-dc                 File                      backup-sd


1 file selected to be restored.

Automatically selected Client: dc-fd
Run Restore job
JobName:         RestoreFiles
Bootstrap:       /var/db/bacula/backup-dir.restore.4.bsr
Where:           /mnt/disk1/bacula-restores
Replace:         always
FileSet:         DC Jails
Backup Client:   dc-fd
Restore Client:  dc-fd
Storage:         File
When:            2008-09-11 18:28:10
Catalog:         BaculaCatalog
Priority:        10
# Бакула на всякий случай переспрашивает, согласны ли мы на восстановление. Конечно согласны.
OK to run? (yes/mod/no): yes
Job queued. JobId=15
You have messages.
*
Проверяем, что получилось. Идем на клиентский компьютер и смотрим каталог, указанный нами в определении задания RestoreFiles в конфиге директора:

Код: Выделить всё

dc# ls /mnt/disk1/bacula-restores
usr
dc# ls /mnt/disk1/bacula-restores/usr/jails/weblocal/etc
rc.conf
dc#
Вроде все получилось. Естественно, это не все возможности по восстановлению из бэкапа, которое в бакуле устроено достаточно гибко. Читайте документацию.
Теперь попробуем забэкапить windows-машину.
Устанавливаем клиента на windows. Надеюсь, проблем не возникнет :) В окне Choose Components надо выбрать Client, потом указать порт, имя клиента (у меня pdc-fd) и пароль. Если есть желание, можно поправить conf-файл, который можно найти в Пуск->Программы->Bacula->Configuration. Теоретически клиент должен запуститься службой.
Теперь добавляем в конфиг директора следующее:

Код: Выделить всё

####################################################
# Резервирование базы данных 1С-бухгалтерии на PDC #
####################################################

#
# Определяем задание.
#
Job {
  Name = "pdc-1c-job"                   # Имя задания
  Type = Backup                         # Тип (backup, restore и т.д.)
  Level = Incremental                   # Уровень бэкапа
  Client = pdc-fd                       # Имя клиента
  FileSet = "pdc-1c-set"                # Определение набора файлов для сохранения
  Schedule = "WeeklyCycle-1hrs-sun"     # Расписание
  Storage = backup-disk1-storage        # Указываем файловое хранилище
  Messages = Daemon                     # Уведомления
  Pool = pdc-1c-pool                    # Пул, куда будем писать бэкапы
  Priority = 10                         # Приоритет
  Write Bootstrap = "/var/db/bacula/pdc-1c-job.bsr"
}

# Определение списка резервируемых файлов
FileSet {
  Name = "pdc-1c-set"               # Имя списка
  Include {
    Options {
      compression = GZIP            # Сжимаем на стороне клиента
                                    # Обратите внимание, в бэкапе dc этого не было
      signature = MD5
    }
    File = "F:/1C"
  }
}

# Pool - описание набора  устройств хранение
Pool {
  Name = pdc-1c-pool                  # Имя пула
  Pool Type = Backup                  # Тип пула
  Recycle = yes                       # Bacula can automatically recycle Volumes
  AutoPrune = yes                     # Prune expired volumes
  Volume Retention = 365 days         # one year
}

# В раздел определений клиентов добавляем следующее:
# Определение клиента pdc
Client {
  Name = pdc-fd                           # Имя клиента
  Address = pdc.office.local       # адрес
  FDPort = 9102                           # Порт, на котором клиент нас ждет
  Catalog = "default"                     # Каталог в MySQL
  Password = "secret"                     # Пароль к клиенту
  File Retention = 30 days
  Job Retention = 3 months
  AutoPrune = yes
}
Перезапускаем директора.
Теперь заходим в консоль администрирования. Для начала проверим, подцепился ли наш новый клиент:

Код: Выделить всё

*status client=pdc-fd
Connecting to Client pdc-fd at pdc.office.local:9102

pdc-fd Version: 2.4.2 (26 July 2008)  VSS Linux Cross-compile Win32
Daemon started 15-Sep-08 14:12, 7 Jobs run since started.
 Heap: heap=0 smbytes=10,980 max_bytes=328,618 bufs=55 max_bufs=225
 Sizeof: boffset_t=8 size_t=4 debug=0 trace=1

Running Jobs:
Director connected at: 19-Sep-08 16:57
No Jobs running.
====

Terminated Jobs:
 JobId  Level    Files      Bytes   Status   Finished        Name 
======================================================================
............
====
Пробуем забэкапить винду. Я специально положил в папку, которую мы планируем резервировать, файл с русским именем. Итак, вводим в консоли

Код: Выделить всё

*run pdc-1c-job
Теперь попытаемся восстановить данные. В FreeBSD я запускаю консоль, вводим restore и все как в прошлый раз. Остановимся на моменте выбора файлов для восстановления:

Код: Выделить всё

$ ls
F:/
$ cd F:/1C
cwd is: F:/1C
$ ls
я-п¦я¦я-п+п¦п¦я¦ яTпҐя¦пЁп¦.txt
...
...
...
Вместо файла с русским именем иероглифы, что не удивительно, поскольку консоль фри не cp1251. Пробуем восстановить весь каталог 1C.
Смотрим, восстановил ли:

Код: Выделить всё

C:\Users\admin>dir C:\mnt\disk1\bacula-restores\F\1C
 Том в устройстве C не имеет метки.
 Серийный номер тома: 8C9D-E89B

 Содержимое папки C:\mnt\disk1\bacula-restores\F\1C

11.09.2008  17:17    <DIR>          .
11.09.2008  17:17    <DIR>          ..
11.09.2008  16:26                 0 тестовая шняга.txt
...
...
...
C:\Users\admin>
Восстановил. И даже русское имя файла. Стоит заметить, что с фри восстанавливать отдельные файлы с кириллическими именами неудобно, зато с виндовой консоли бакулы - нормально, там русские имена так, как они и должны быть.
Собственно, все. Как я уже говорил, это только самое необходимое, я не стал освещать множество важных моментов. Например, саму мускульную базу бакулы по-хорошему тоже надо бэкапить. Кроме того, она требует некоторого обслуживания. Впрочем, обо всем вы можете почитать на этих ресурсах:
http://www.bog.pp.ru/work/bacula.html
http://www.bacula.org/en/?page=documentation
http://www.freebsddiary.org/bacula.php
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2460 рублей (8 CPU, 8Gb RAM, 2x500Gb HDD, RAID 3ware 9750):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение LMik » 2008-09-19 17:23:39

ой как многа букав :shock: :cz2: :good:
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение princeps » 2008-09-19 17:26:28

Сам запарился писать :)
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

bliss
проходил мимо

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение bliss » 2008-10-06 20:38:50

Давно юзаю бакулу -- отличная вещь. Раз настроил -- работает абсолютно на автопилоте. Единственное, в чем усмотрел отличие от описанного автором -- у меня в виндовом клиенте русские имена файлов выглядят крякозябрами, зато в bconsole все ок. Наверное, дело в кодировке, у меня юникод (дебиан этч). Полгода назад наткнулся на bat (bacula admin tool) -- Qt'шная графическая утила, с помощью которой можно делать массу полезных вещей. Заданий на бекап или восстановление не добавить, зато выполнить уже отконфигуренные (забекапить или восстановить что-то) -- ну просто очень приятно... Помимо всего прочего, в бакуле масса дополнительных утилит. Но этого монстра надо вдумчиво конфигурить. На сайте так и пишут: "если вы бекапите с помощью tar'а -- не заморачивайтесь с бакулой, бекапьте tar'ом и дальше" :)

bliss
проходил мимо

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение bliss » 2008-10-06 20:47:17

Забыл добавить: может делать теневые копии виндовых серверов, поэтому бекапятся даже открытые файлы. Ну а насчет конфига... У меня бекапится 9 серверов, конфиг на 760 строк. :)

Аватара пользователя
koffu
сержант
Сообщения: 154
Зарегистрирован: 2008-03-23 0:51:18
Откуда: Киев
Контактная информация:

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение koffu » 2008-10-22 17:52:59

Ребята, подскажите пожалуйста.
Статья интересная, хочу попробовать развернуть. Как раз назрел выбор и установка нормальной системы бэкапов. Меня интересует такой вопрос: У нас один из серверов имеет БД exchang-а ~500 Gb. Насколько реально справится Bacula или для венды может что-то посоветуете другое?Хочется иметь систему ОДНУ для всего, но win-админы смотрят на меня с подозрением, когда я говорю о UNIX-бэкапе. Кто в каких объёмах использовал эту систему?

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение princeps » 2008-10-23 9:25:57

bliss писал(а):может делать теневые копии виндовых серверов, поэтому бекапятся даже открытые файлы.
В связи с этим он будет нормально бэкапить твою базу exchang'а. Минусы в следующем:
1) Поскольку exchange хранит всю базу в одном файле, у тебя не получится делать инкрементальные и дифференциальные бэкапы. То есть получится, но они будут размером как полные. Что в твоем случае (~500 Gb) будет напряжно.
2) По этой же причине ты не сможешь восстановить из бэкапа отдельное письмо или почтовый ящик, а только всю базу целиком.
3) Раз у тебя есть exchange, то скорее всего у тебя есть active directory, а это значит, что ты не сможешь его бэкапить бакулой, поскольку она не может снять system state. То есть у тебя так или иначе не получится единая система бэкапов.
Если ты все-таки хочешь использовать централизованное резервное копирование на юниксе, то есть три пути решения:
1) Снести нах exchange и AD и поставить Samba+OpenLDAP+Exim+Dovecot и коннектить юзеров по imap4 :)
2) бэкапить базу exchange и system state на контроллере домена ntbackup'ом, а уже файлы, созданные им, бэкапить бакулой. Вообще, похоже, бесплатных решений без ntbackup'а не существует.
3) Можешь посмотреть в сторону amanda, к ней есть платный клиент zmanda под windows, который умеет бэкапить и system state (кроме MS Server 2008) и базу exchange.
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

Аватара пользователя
koffu
сержант
Сообщения: 154
Зарегистрирован: 2008-03-23 0:51:18
Откуда: Киев
Контактная информация:

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение koffu » 2008-10-23 10:57:41

princeps писал(а):
bliss писал(а):может делать теневые копии виндовых серверов, поэтому бекапятся даже открытые файлы.
В связи с этим он будет нормально бэкапить твою базу exchang'а. Минусы в следующем:
1) Поскольку exchange хранит всю базу в одном файле, у тебя не получится делать инкрементальные и дифференциальные бэкапы. То есть получится, но они будут размером как полные. Что в твоем случае (~500 Gb) будет напряжно.
2) По этой же причине ты не сможешь восстановить из бэкапа отдельное письмо или почтовый ящик, а только всю базу целиком.
3) Раз у тебя есть exchange, то скорее всего у тебя есть active directory, а это значит, что ты не сможешь его бэкапить бакулой, поскольку она не может снять system state. То есть у тебя так или иначе не получится единая система бэкапов.
Если ты все-таки хочешь использовать централизованное резервное копирование на юниксе, то есть три пути решения:
1) Снести нах exchange и AD и поставить Samba+OpenLDAP+Exim+Dovecot и коннектить юзеров по imap4 :)
2) бэкапить базу exchange и system state на контроллере домена ntbackup'ом, а уже файлы, созданные им, бэкапить бакулой. Вообще, похоже, бесплатных решений без ntbackup'а не существует.
3) Можешь посмотреть в сторону amanda, к ней есть платный клиент zmanda под windows, который умеет бэкапить и system state (кроме MS Server 2008) и базу exchange.

Спасибо за понятный ответ! :smile: Для Unix наверное остановлюсь на Bacula, а для Windows попробуем что-то другое.

sinaps
проходил мимо

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение sinaps » 2008-11-13 20:25:11

Люди хелп
Поставиля по статье, настроиля конфиги ма на, запустиля, а она ХОЛЬБЕЖЕ МЕШЕНБЕ БАЛА не работа ма на НАСЯЛЬНИКА :(

Nov 13 20:11:45 backup bacula-dir: backup-dir JobId 22: Using Device "FREEFLASH"
Nov 13 20:11:45 backup bacula-dir: backup-sd JobId 22: Job dc-usr_jails-job.2008-11-13_20.11.05 waiting. Cannot find any appendable volumes. Please use the "label" command to create a new Volume for: Storage: "FREEFLASH" (/mnt) Pool: dc-usr_jails-pool Media type: File

Nov 13 19:47:51 backup kernel: GEOM_LABEL: Label for provider da0s1 is msdosfs/FREEFLASH.

/dev/da0s1 3.7G 2.9G 827M 78% /mnt

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение princeps » 2008-11-14 9:11:02

sinaps писал(а):Nov 13 20:11:45 backup bacula-dir: backup-sd JobId 22: Job dc-usr_jails-job.2008-11-13_20.11.05 waiting. Cannot find any appendable volumes. Please use the "label" command to create a new Volume for: Storage: "FREEFLASH" (/mnt) Pool: dc-usr_jails-pool Media type: File
Надо разметить сначала volume, в консоли введи label и дальше отвечай на вопросы, которые оно тебе будет задавать.
sinaps писал(а):Nov 13 19:47:51 backup kernel: GEOM_LABEL: Label for provider da0s1 is msdosfs/FREEFLASH.
Ты на fat32 бэкапы пишешь? :shock:
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru


Гость
проходил мимо

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение Гость » 2008-11-15 20:00:28

princeps писал(а):
sinaps писал(а):Nov 13 20:11:45 backup bacula-dir: backup-sd JobId 22: Job dc-usr_jails-job.2008-11-13_20.11.05 waiting. Cannot find any appendable volumes. Please use the "label" command to create a new Volume for: Storage: "FREEFLASH" (/mnt) Pool: dc-usr_jails-pool Media type: File
Надо разметить сначала volume, в консоли введи label и дальше отвечай на вопросы, которые оно тебе будет задавать.
sinaps писал(а):Nov 13 19:47:51 backup kernel: GEOM_LABEL: Label for provider da0s1 is msdosfs/FREEFLASH.
Ты на fat32 бэкапы пишешь? :shock:
А что? Я бэкапы тоже на фат32 пишу. Причем - на IDE винты. Потому, что пипец может быть разный, вплоть до выхода из строя всей серверной, например в результате пожара.

И тогда бэкап должен будет читаться на любом железе и с любым софтом. :)
А если его накатить на SAS-винт в файловой ZFS (у меня помимо прочих два HP proliant на солярисе) - весьма сложно будет найти рабочий современный солярис-сервер для восстановления.

А IDE винт с fat32 на борту прочитается на чем угодно.

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение princeps » 2008-11-17 11:05:04

Гость писал(а):А что?
Да, собственно, ничего, можно и так, конечно. Просто никогда не видел такого :)
Гость писал(а):И тогда бэкап должен будет читаться на любом железе и с любым софтом.
Гость писал(а):А IDE винт с fat32 на борту прочитается на чем угодно.
Сделанный бакулой бэкап все равно будет читаться только бакулой, так что не вижу особых преимуществ в универсальности файловой системы :) . Вот amanda - другое дело, она зипом жмет, в чем ее большое преимущество.
Гость писал(а): А если его накатить на SAS-винт в файловой ZFS (у меня помимо прочих два HP proliant на солярисе) - весьма сложно будет найти рабочий современный солярис-сервер для восстановления.
Вообще делать бэкап на SAS-винт - наверное, не самая лучшая идея, если, конечно, у тебя их не выгон. Это же все-таки резервная копия, дорогие винты лучше заюзать под более важные задачи, а отказоустойчивости бэкапов лучше добиваться их количеством. Ну, это мое мнение, конечно. По поводу платформы - лишний повод не разводить зоопарк. У меня вот на 10 серваках только винда и фря, так что уж поднять из бэкапа инфу с винта с ufs всяко смогу.
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

Sintez
проходил мимо

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение Sintez » 2009-02-19 15:06:44

Спасибо автору, отличная статья!
Такой вопрос, раньше был сервер который бэкапился, теперь его упразднили. Хотел бы узнать как коректно удалить не нужные пулы с бэкапами сервера чтобы место не занимали. Удалить настройки сервера из конфига директора и сам файл пула будет достаточно?
И еще... я так и непонял где описывается сколько времени будут хранится старые бэкапы, т.е. мне надо что бы автоматически удалялись все (полные, диференциальные, инкрементальные) бэкапы старше 15 дней.
Спасибо!

xone
рядовой
Сообщения: 20
Зарегистрирован: 2008-10-12 21:40:19

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение xone » 2009-02-21 1:59:36

Настроил, все работает как надо.

Только вот почему-то в каталоге в таблице клиент присутствует только один, который я добавил самым первым, а других нет...

Из-за чего это может быть?

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение princeps » 2009-02-21 8:18:55

2 xone:
хрен его знает, никогда не видел такого. В конфиг директора ты всех клиентов добавил?
2 Sintez:
Sintez писал(а):Удалить настройки сервера из конфига директора и сам файл пула будет достаточно?
Не думаю. В консоли есть команда удаления пула.
Sintez писал(а):И еще... я так и непонял где описывается сколько времени будут хранится старые бэкапы, т.е. мне надо что бы автоматически удалялись все (полные, диференциальные, инкрементальные) бэкапы старше 15 дней.
В конфиге директора в настройке пулов:

Код: Выделить всё

  Volume Retention = 365 days         # Срок, по истечении которого тома будут
                                                               # удаляться из пула.
Вообще настоятельно рекомендую почитать документацию - в статье только самый рабочий минимум. А сам я в тонкости не вникал, так как и того, что есть в статье лично мне достаточно.
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

xone
рядовой
Сообщения: 20
Зарегистрирован: 2008-10-12 21:40:19

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение xone » 2009-02-24 1:06:20

Все появилось, сам не понял природу глюка :crazy:
Спасибо

Showjumper
проходил мимо
Сообщения: 7
Зарегистрирован: 2007-10-07 14:18:04

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение Showjumper » 2009-04-23 22:25:42

В Default Пуле поменял настройки

Код: Выделить всё

Job Retention = 180 days
File Retention = 180 days
Теперь при запуске пишет

Код: Выделить всё

23-Apr 22:21 bacula-dir: ERROR TERMINATION at parse_conf.c:902
Config error: Keyword "FileRetention" not permitted in this resource.
Perhaps you left the trailing brace off of the previous resource.
            : line 186, col 17 of file /usr/local/etc/bacula-dir.conf
  File Retention = 180 days           
Кто-нибудь знает в чем может быть проблема?

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение princeps » 2009-04-24 8:16:33

версия бакулы?
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

Аватара пользователя
Raven2000
-=_UNIX_=-
Сообщения: 4423
Зарегистрирован: 2006-10-29 17:59:13
Откуда: Там, где нас нет.
Контактная информация:

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение Raven2000 » 2009-04-24 8:47:53

бля про бакулу сам начал писать, а тут уже опередили =(
значит будет аманда...
+10 тебе комрад (а версия бакулы наверное 3ка)
Если хочешь разобраться... Так иди и разбирайся!
[ igNix.ru | Технология жизни - технологии будущего ] [ Forum.igNix.ru ]

Showjumper
проходил мимо
Сообщения: 7
Зарегистрирован: 2007-10-07 14:18:04

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение Showjumper » 2009-04-24 9:35:08

princeps писал(а):версия бакулы?
bacula-server-2.4.4


princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение princeps » 2009-04-26 9:37:33

Raven2000 писал(а):значит будет аманда...
Амандатоже уже есть :)

2 Showjumper:
Может закомментить этот файл ретеншн? :) У меня сервак с бакулой на старой работе остался, а там умер, так что под рукой нету, посмотреть и что-то дельное посоветовать не могу :(
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

Аватара пользователя
Raven2000
-=_UNIX_=-
Сообщения: 4423
Зарегистрирован: 2006-10-29 17:59:13
Откуда: Там, где нас нет.
Контактная информация:

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение Raven2000 » 2009-04-26 17:36:10

мдя уже и про это написали...
Буду писать про снхрофазатрон под FreeBSD =)
Если хочешь разобраться... Так иди и разбирайся!
[ igNix.ru | Технология жизни - технологии будущего ] [ Forum.igNix.ru ]

generik
ефрейтор
Сообщения: 62
Зарегистрирован: 2008-08-08 10:29:43

Re: Статья: система резервного копирования bacula на FreeBSD

Непрочитанное сообщение generik » 2009-04-27 10:50:02

Raven2000 писал(а):мдя уже и про это написали...
Буду писать про снхрофазатрон под FreeBSD =)
А например накатать статейку на тематику "Apache web cluster с балансировкой нагрузки" с использованием стандартной свзяки Apache+MySQL+mod_php. К примеру можно смотреть на mod_proxy_balancer и т.д.