Bareos медленно делает бекап
Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
- kharkov_max
- капитан
- Сообщения: 1859
- Зарегистрирован: 2008-10-03 14:56:40
Bareos медленно делает бекап
Добрый день.
Перешли с Bacula на Bareos, возникла одна проблема.
В 22:30 запускается 3 задания с одного Windows 20016 сервера (пользовательская помойка документов)
На всех заданиях одинаковые опции, Gzip1, VSS выключен.
Full делается:
- 1е задание ~ 35 мин, имеет 148000 файлов, объем 39Gb (физический диск SSD)
- 2е задание запускается после первого ~ 6 часов 40 мин, имеет 296000 файлов, объем 556GB (физический диск зеркало из 2х WD 4Тб, 1й логический диск)
- 3е задание запускается после второго ~ 17 часов , имеет 401000 файлов (физический диск зеркало из 2х WD 4Тб, 2й логический диск)
Инкременты делаются:
- 1е задание ~ 15 мин, имеет 1152 файла, объем 275 Мб (физический диск SSD)
- 2е задание запускается после первого ~ 45 мин, имеет 37 файлов, объем 103 Мб (физический диск зеркало из 2х WD 4Тб, 1й логический диск)
- 3е задание запускается после второго ~ 13 часов , имеет 773 файла, объем 1.5 Гб (физический диск зеркало из 2х WD 4Тб, 2й логический диск)
Не могу понять почему 3е задание делается так долго, в сравнении со 2м.
2е задание отрабатывает в разы быстрее, хотя и 2е и 3е задания физически делаются с одного дискового массива, только с разных логических томов...
Bareos тоже долго делал, но за ночь успевал закончить 3е задание.
У кого есть какие соображения?
Если нужно выложу конфиги ...
Перешли с Bacula на Bareos, возникла одна проблема.
В 22:30 запускается 3 задания с одного Windows 20016 сервера (пользовательская помойка документов)
На всех заданиях одинаковые опции, Gzip1, VSS выключен.
Full делается:
- 1е задание ~ 35 мин, имеет 148000 файлов, объем 39Gb (физический диск SSD)
- 2е задание запускается после первого ~ 6 часов 40 мин, имеет 296000 файлов, объем 556GB (физический диск зеркало из 2х WD 4Тб, 1й логический диск)
- 3е задание запускается после второго ~ 17 часов , имеет 401000 файлов (физический диск зеркало из 2х WD 4Тб, 2й логический диск)
Инкременты делаются:
- 1е задание ~ 15 мин, имеет 1152 файла, объем 275 Мб (физический диск SSD)
- 2е задание запускается после первого ~ 45 мин, имеет 37 файлов, объем 103 Мб (физический диск зеркало из 2х WD 4Тб, 1й логический диск)
- 3е задание запускается после второго ~ 13 часов , имеет 773 файла, объем 1.5 Гб (физический диск зеркало из 2х WD 4Тб, 2й логический диск)
Не могу понять почему 3е задание делается так долго, в сравнении со 2м.
2е задание отрабатывает в разы быстрее, хотя и 2е и 3е задания физически делаются с одного дискового массива, только с разных логических томов...
Bareos тоже долго делал, но за ночь успевал закончить 3е задание.
У кого есть какие соображения?
Если нужно выложу конфиги ...
Услуги хостинговой компании Host-Food.ru
Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/
- Alex Keda
- стреляли...
- Сообщения: 35427
- Зарегистрирован: 2004-10-18 14:25:19
- Откуда: Made in USSR
- Контактная информация:
- kharkov_max
- капитан
- Сообщения: 1859
- Зарегистрирован: 2008-10-03 14:56:40
Bareos медленно делает бекап
Это зеркало из 2х дисков по 4 ТБ, бито на 2 раздела.
Диски, новые и целые 100%, перед установкой в сервер (не так давно) mhdd проверяли.
Диски, новые и целые 100%, перед установкой в сервер (не так давно) mhdd проверяли.
- Alex Keda
- стреляли...
- Сообщения: 35427
- Зарегистрирован: 2004-10-18 14:25:19
- Откуда: Made in USSR
- Контактная информация:
Bareos медленно делает бекап
А при бэыкапе посмотри чего там с чтением-записью.
Что новые - ничего не значит
Что новые - ничего не значит
Убей их всех! Бог потом рассортирует...
- kharkov_max
- капитан
- Сообщения: 1859
- Зарегистрирован: 2008-10-03 14:56:40
Bareos медленно делает бекап
При обычной работе, без бекапа, нагрузка на зеркало 1-2% и низкий ввод/вывод, ну иногда кратковременно подпрыгивает до 30% и т.д.
Помониторил несколько дней, картина следующая ...
После начала бекапа в течении приблизительно 90 мин, windows агент на клиенте ведет активную деятельность, грузит проц и дисковую систему и т.д. т.е. видно что что то происходит.
А потом нагрузка агента падает до 0, и задание висит, будто бы чего то ждет ...
При этом дисковая система и процессор не нагружены, т.е. нагрузка такая же как и до бекапа ...
Помониторил несколько дней, картина следующая ...
После начала бекапа в течении приблизительно 90 мин, windows агент на клиенте ведет активную деятельность, грузит проц и дисковую систему и т.д. т.е. видно что что то происходит.
А потом нагрузка агента падает до 0, и задание висит, будто бы чего то ждет ...
При этом дисковая система и процессор не нагружены, т.е. нагрузка такая же как и до бекапа ...
- Electronik
- капитан
- Сообщения: 1593
- Зарегистрирован: 2008-11-15 17:32:56
- Откуда: Минск
- Контактная информация:
Bareos медленно делает бекап
какая скорость дисков на которые делается бэкап? зеркало апаратное/софтовое? сколько RAM?
очень похоже что отрабатывает Consolidate Job, и поэтому последняя операция длится так долго, т.е пока объединятся все inc-бэкапы.
очень похоже что отрабатывает Consolidate Job, и поэтому последняя операция длится так долго, т.е пока объединятся все inc-бэкапы.
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог
Блог
- kharkov_max
- капитан
- Сообщения: 1859
- Зарегистрирован: 2008-10-03 14:56:40
Bareos медленно делает бекап
1. Локально все летает.Electronik писал(а):какая скорость дисков на которые делается бэкап? зеркало апаратное/софтовое? сколько RAM?
очень похоже что отрабатывает Consolidate Job, и поэтому последняя операция длится так долго, т.е пока объединятся все inc-бэкапы.
Зеркало собрано на контроллере МП, но опять же обратите внимание на мой пост выше.
С логического диска делается 2 бекапа, один делается быстро, а второй медленно ...
ОЗУ - 8ГБ, занято 81%
CPU - i5-3450S почти постоянно не занят
OS - Windows Server 20016 x64
Фактически это сервер файлов пользователей (Мои документы, рабочие столы и помойка документов)
С данной конфигурацией все должно летать ...
2. Consolidate Job работает только в схеме Always Increment, а у меня не такая схема...
- Electronik
- капитан
- Сообщения: 1593
- Зарегистрирован: 2008-11-15 17:32:56
- Откуда: Минск
- Контактная информация:
Bareos медленно делает бекап
А в логах есть что?
Отправлено спустя :
А в логах есть что?
Отправлено спустя :
А в логах есть что?
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог
Блог
- kharkov_max
- капитан
- Сообщения: 1859
- Зарегистрирован: 2008-10-03 14:56:40
Bareos медленно делает бекап
На директоре все в порядке.
На SD лог пустой, но по настройке оно должно передавать на директор.
На FD тоже должно на dir уходить ...
Даже не знаю с какой стороны подойти к проблеме ...
На SD лог пустой, но по настройке оно должно передавать на директор.
На FD тоже должно на dir уходить ...
Даже не знаю с какой стороны подойти к проблеме ...
- kharkov_max
- капитан
- Сообщения: 1859
- Зарегистрирован: 2008-10-03 14:56:40
Bareos медленно делает бекап
Нашел решение.
Проблема была на клиенте.
Зеркала собраны через Intel rapid (контроллер МП).
Пришлось привести настройки Raid к следующей конфигурации.
1. Управление питанием канала - Выключено
2. Очистка буфера кеша записей - Включено (на каждом зеркале)
3. Режим кеширования - Отключено (на каждом зеркале)
При данной конфигурации, bareos агент начал в 8 раз шустрее забирать данные....
Отправлено спустя 2 минуты 12 секунд:
Уже месяц полет нормальный ...
Проблема была на клиенте.
Зеркала собраны через Intel rapid (контроллер МП).
Пришлось привести настройки Raid к следующей конфигурации.
1. Управление питанием канала - Выключено
2. Очистка буфера кеша записей - Включено (на каждом зеркале)
3. Режим кеширования - Отключено (на каждом зеркале)
При данной конфигурации, bareos агент начал в 8 раз шустрее забирать данные....
Отправлено спустя 2 минуты 12 секунд:
Уже месяц полет нормальный ...