Bareos медленно делает бекап

Проблемы с установкой, настройкой и работой системных и сетевых программ.

Модераторы: GRooVE, alexco

Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Bareos медленно делает бекап

Непрочитанное сообщение kharkov_max » 2017-09-07 13:58:57

Добрый день.

Перешли с Bacula на Bareos, возникла одна проблема.
В 22:30 запускается 3 задания с одного Windows 20016 сервера (пользовательская помойка документов)
На всех заданиях одинаковые опции, Gzip1, VSS выключен.

Full делается:
- 1е задание ~ 35 мин, имеет 148000 файлов, объем 39Gb (физический диск SSD)
- 2е задание запускается после первого ~ 6 часов 40 мин, имеет 296000 файлов, объем 556GB (физический диск зеркало из 2х WD 4Тб, 1й логический диск)
- 3е задание запускается после второго ~ 17 часов , имеет 401000 файлов (физический диск зеркало из 2х WD 4Тб, 2й логический диск)

Инкременты делаются:
- 1е задание ~ 15 мин, имеет 1152 файла, объем 275 Мб (физический диск SSD)
- 2е задание запускается после первого ~ 45 мин, имеет 37 файлов, объем 103 Мб (физический диск зеркало из 2х WD 4Тб, 1й логический диск)
- 3е задание запускается после второго ~ 13 часов , имеет 773 файла, объем 1.5 Гб (физический диск зеркало из 2х WD 4Тб, 2й логический диск)

Не могу понять почему 3е задание делается так долго, в сравнении со 2м.
2е задание отрабатывает в разы быстрее, хотя и 2е и 3е задания физически делаются с одного дискового массива, только с разных логических томов...
Bareos тоже долго делал, но за ночь успевал закончить 3е задание.

У кого есть какие соображения?
Если нужно выложу конфиги ...

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35454
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Bareos медленно делает бекап

Непрочитанное сообщение Alex Keda » 2017-09-09 11:19:25

а диск не битый?
Убей их всех! Бог потом рассортирует...

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Bareos медленно делает бекап

Непрочитанное сообщение kharkov_max » 2017-09-09 11:34:04

Это зеркало из 2х дисков по 4 ТБ, бито на 2 раздела.
Диски, новые и целые 100%, перед установкой в сервер (не так давно) mhdd проверяли.

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35454
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Bareos медленно делает бекап

Непрочитанное сообщение Alex Keda » 2017-09-09 12:19:30

А при бэыкапе посмотри чего там с чтением-записью.
Что новые - ничего не значит
Убей их всех! Бог потом рассортирует...

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Bareos медленно делает бекап

Непрочитанное сообщение kharkov_max » 2017-09-18 13:31:24

При обычной работе, без бекапа, нагрузка на зеркало 1-2% и низкий ввод/вывод, ну иногда кратковременно подпрыгивает до 30% и т.д.

Помониторил несколько дней, картина следующая ...

После начала бекапа в течении приблизительно 90 мин, windows агент на клиенте ведет активную деятельность, грузит проц и дисковую систему и т.д. т.е. видно что что то происходит.
А потом нагрузка агента падает до 0, и задание висит, будто бы чего то ждет ...
При этом дисковая система и процессор не нагружены, т.е. нагрузка такая же как и до бекапа ...

Аватара пользователя
Electronik
капитан
Сообщения: 1593
Зарегистрирован: 2008-11-15 17:32:56
Откуда: Минск
Контактная информация:

Bareos медленно делает бекап

Непрочитанное сообщение Electronik » 2017-09-19 21:20:10

какая скорость дисков на которые делается бэкап? зеркало апаратное/софтовое? сколько RAM?

очень похоже что отрабатывает Consolidate Job, и поэтому последняя операция длится так долго, т.е пока объединятся все inc-бэкапы.
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Bareos медленно делает бекап

Непрочитанное сообщение kharkov_max » 2017-09-20 13:11:28

Electronik писал(а):какая скорость дисков на которые делается бэкап? зеркало апаратное/софтовое? сколько RAM?

очень похоже что отрабатывает Consolidate Job, и поэтому последняя операция длится так долго, т.е пока объединятся все inc-бэкапы.
1. Локально все летает.
Зеркало собрано на контроллере МП, но опять же обратите внимание на мой пост выше.
С логического диска делается 2 бекапа, один делается быстро, а второй медленно ...

ОЗУ - 8ГБ, занято 81%
CPU - i5-3450S почти постоянно не занят
OS - Windows Server 20016 x64

Фактически это сервер файлов пользователей (Мои документы, рабочие столы и помойка документов)
С данной конфигурацией все должно летать ...

2. Consolidate Job работает только в схеме Always Increment, а у меня не такая схема...

Аватара пользователя
Electronik
капитан
Сообщения: 1593
Зарегистрирован: 2008-11-15 17:32:56
Откуда: Минск
Контактная информация:

Bareos медленно делает бекап

Непрочитанное сообщение Electronik » 2017-09-20 13:37:38

А в логах есть что?

Отправлено спустя :
А в логах есть что?
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Bareos медленно делает бекап

Непрочитанное сообщение kharkov_max » 2017-09-20 13:54:14

На директоре все в порядке.
На SD лог пустой, но по настройке оно должно передавать на директор.
На FD тоже должно на dir уходить ...

Даже не знаю с какой стороны подойти к проблеме ...

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Bareos медленно делает бекап

Непрочитанное сообщение kharkov_max » 2017-11-07 12:44:43

Нашел решение.
Проблема была на клиенте.
Зеркала собраны через Intel rapid (контроллер МП).
Пришлось привести настройки Raid к следующей конфигурации.

1. Управление питанием канала - Выключено
2. Очистка буфера кеша записей - Включено (на каждом зеркале)
3. Режим кеширования - Отключено (на каждом зеркале)

При данной конфигурации, bareos агент начал в 8 раз шустрее забирать данные....

Отправлено спустя 2 минуты 12 секунд:
Уже месяц полет нормальный ...