Долго синхронизируются каталоги (rsync)

Простые/общие вопросы по UNIX системам. Спросите здесь, если вы новичок

Модераторы: vadim64, terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
kharkov_max
капитан
Сообщения: 1810
Зарегистрирован: 2008-10-03 14:56:40

Долго синхронизируются каталоги (rsync)

Непрочитанное сообщение kharkov_max » 2011-08-30 10:33:44

Добрый день.

Под win есть один каталог с кучей файлов, который захотелось бекапить на freebsd.
Сетевая папка подключается через samba mount_smbfs.
Скорость по сети 9-11 Мб/сек.

Далее делаю бекап при помощи rsync cпараметрами -cvr --delete-after
На первую синхронизацию ушело 65 мин, было скопировано 26Гб инфы.
Запускаю синхронизацию второй раз - и получаю по времени туже самую цифру ~65 мин, при чем данные в src папке не менялись.

Почему так долго ?
Была надежда что будет гораздо быстрее ...

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: Долго синхронизируются каталоги (rsync)

Непрочитанное сообщение LMik » 2011-08-30 12:40:04

запустите с --stats --progress
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

Аватара пользователя
kharkov_max
капитан
Сообщения: 1810
Зарегистрирован: 2008-10-03 14:56:40

Re: Долго синхронизируются каталоги (rsync)

Непрочитанное сообщение kharkov_max » 2011-08-30 12:50:32

LMik писал(а):запустите с --stats --progress
А что это даст ?
Статистику более подробную ... и все ...

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: Долго синхронизируются каталоги (rsync)

Непрочитанное сообщение LMik » 2011-08-30 12:51:15

kharkov_max писал(а):
LMik писал(а):запустите с --stats --progress
А что это даст ?
Статистику более подробную ... и все ...
Именно... увидите что делает.
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

Аватара пользователя
kharkov_max
капитан
Сообщения: 1810
Зарегистрирован: 2008-10-03 14:56:40

Re: Долго синхронизируются каталоги (rsync)

Непрочитанное сообщение kharkov_max » 2011-08-30 13:07:55

Ну как то так выводит

Код: Выделить всё

 2148663 100%    7.34MB/s    0:00:00 (xfer#464, to-check=1122/1627)
Такое ощущение что не синхронизирует измененное а заново тянет все ...

Аватара пользователя
kharkov_max
капитан
Сообщения: 1810
Зарегистрирован: 2008-10-03 14:56:40

Re: Долго синхронизируются каталоги (rsync)

Непрочитанное сообщение kharkov_max » 2011-08-30 13:10:41

/usr/local/bin/rsync --recursive --delete-after --stats --progress /folder1 /folder2

Код: Выделить всё

building file list ...
10490 files to consider
И идет по всем файлам

Аватара пользователя
kharkov_max
капитан
Сообщения: 1810
Зарегистрирован: 2008-10-03 14:56:40

Re: Долго синхронизируются каталоги (rsync)

Непрочитанное сообщение kharkov_max » 2011-08-30 13:13:25

Может так и должно быть ?
Файлов много очень ....
Пока он хеш проверит (хотя я выключал и ситуация не изменилась) и т.д.

FiL
ст. лейтенант
Сообщения: 1370
Зарегистрирован: 2010-02-05 0:21:40

Re: Долго синхронизируются каталоги (rsync)

Непрочитанное сообщение FiL » 2011-08-30 23:10:42

не, ну а что ты хотел при "-c"? Для того, чтоб посчитать сумму надо файло считать целиком с диска. А если диск удаленный (по самбе), то это время.
или не выеживайся с "-c" или ставь rsync на винду (DeltaCopy) и тяни через него, а не по самбе. Тогда хоть суммы будут считаться локально. Тоже не быстро, но всяко быстрее, чем по сети.

Аватара пользователя
manefesto
Группенфюррер
Сообщения: 6934
Зарегистрирован: 2007-07-20 8:27:30
Откуда: Пермь
Контактная информация:

Re: Долго синхронизируются каталоги (rsync)

Непрочитанное сообщение manefesto » 2011-08-31 6:43:37

ну не знаю, находясь территориально в перми, синкаюсь с кишеневом, около 500 метров мелких файлов(сайт), и ничо...
я такой яростный шо аж пиздеЦ
Изображение

FiL
ст. лейтенант
Сообщения: 1370
Зарегистрирован: 2010-02-05 0:21:40

Re: Долго синхронизируются каталоги (rsync)

Непрочитанное сообщение FiL » 2011-08-31 6:54:22

manefesto писал(а):ну не знаю, находясь территориально в перми, синкаюсь с кишеневом, около 500 метров мелких файлов(сайт), и ничо...
по самбе? с "-c"? Или все-таки по ssh и "-a" ?

Аватара пользователя
kharkov_max
капитан
Сообщения: 1810
Зарегистрирован: 2008-10-03 14:56:40

Re: Долго синхронизируются каталоги (rsync)

Непрочитанное сообщение kharkov_max » 2011-08-31 9:24:13

FiL писал(а):
manefesto писал(а):ну не знаю, находясь территориально в перми, синкаюсь с кишеневом, около 500 метров мелких файлов(сайт), и ничо...
по самбе? с "-c"? Или все-таки по ssh и "-a" ?
Вот так:

Код: Выделить всё

/usr/local/bin/rsync --recursive --delete-after /folder1 /folder2
без -с, ситуация такая же ...

FiL
ст. лейтенант
Сообщения: 1370
Зарегистрирован: 2010-02-05 0:21:40

Re: Долго синхронизируются каталоги (rsync)

Непрочитанное сообщение FiL » 2011-08-31 9:54:20

значит что-то с датой не так. похоже он не видит, что файлы не поменялись.

Аватара пользователя
manefesto
Группенфюррер
Сообщения: 6934
Зарегистрирован: 2007-07-20 8:27:30
Откуда: Пермь
Контактная информация:

Re: Долго синхронизируются каталоги (rsync)

Непрочитанное сообщение manefesto » 2011-08-31 13:58:36

10 0 * * * /usr/local/bin/rsync --update --del -r -v xxxxxxxx.com:domains /share/Backup/domains/
я такой яростный шо аж пиздеЦ
Изображение

Аватара пользователя
kharkov_max
капитан
Сообщения: 1810
Зарегистрирован: 2008-10-03 14:56:40

Re: Долго синхронизируются каталоги (rsync)

Непрочитанное сообщение kharkov_max » 2011-08-31 17:02:23

manefesto писал(а):
10 0 * * * /usr/local/bin/rsync --update --del -r -v xxxxxxxx.com:domains /share/Backup/domains/
Намек понял, но не совсем ...

Разъясните пожалуйста как действует --update (пропускать файлы, которые новее, на приемнике) и --del

Аватара пользователя
manefesto
Группенфюррер
Сообщения: 6934
Зарегистрирован: 2007-07-20 8:27:30
Откуда: Пермь
Контактная информация:

Re: Долго синхронизируются каталоги (rsync)

Непрочитанное сообщение manefesto » 2011-09-01 14:04:32

почитай ман, я оттуда брал. --del удаляет старые файлы
я такой яростный шо аж пиздеЦ
Изображение