Программа для резервного копирования

Проблемы установки, настройки и работы Правильной Операционной Системы

Модератор: terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Abyrvalg
мл. сержант
Сообщения: 124
Зарегистрирован: 2009-03-04 10:24:44

Программа для резервного копирования

Непрочитанное сообщение Abyrvalg » 2009-07-09 11:06:58

Привет тебе, о несокрушимый All!

Поделитесь опытом - кто какую программу для резервного копирования использует?

Я бэкапился с помощью dump. Пробил час восстановления системы. Ну, помимо мелких неудобств (не отображается ход процесса восстановления), restore периодически выдавала сообщения типа:

Код: Выделить всё

expected next file 2567, got 786
В итоге, после долгого и нудного восстановления в системе всё равно не находились некоторые побитые файлы.

Вот я и думаю - чем и как лучше делать бэкап? Может, есть более продвинутые и надёжные программы?

upd. Речь идёт о консоли. Иксов нет.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
schizoid
подполковник
Сообщения: 3228
Зарегистрирован: 2007-03-03 17:32:31
Откуда: Украина, Чернигов
Контактная информация:

Re: Программа для резервного копирования

Непрочитанное сообщение schizoid » 2009-07-09 11:40:56

хз, я таром бекаплю.
при чем не всю систему в 1 бекап, а выборочно...заодно можно и вытянуть какой-нить файлик, не разворачивая весь архив.
ядерный взрыв...смертельно красиво...жаль, что не вечно...

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Программа для резервного копирования

Непрочитанное сообщение princeps » 2009-07-09 12:02:57

в хэндбуке говорят, что лучше всего дамп именно потому, что он кривые и побитые файлы бэкапит.
Я использую бакулу.
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

Abyrvalg
мл. сержант
Сообщения: 124
Зарегистрирован: 2009-03-04 10:24:44

Re: Программа для резервного копирования

Непрочитанное сообщение Abyrvalg » 2009-07-09 15:52:22

Хенд-бук я тоже прочитал, но в итоге dump меня и подвёл :(
А бакула работает под консолью?

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Программа для резервного копирования

Непрочитанное сообщение princeps » 2009-07-09 16:31:18

естественно. Если тебе нужно бэкапить только один компьютер, то она будет слишком громоздкой. Лучше юзай тар. Или может стоит с дампом разобраться, может ты что-то не так делал? В хендбуке фигню писать не станут.
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

Аватара пользователя
terminus
майор
Сообщения: 2305
Зарегистрирован: 2007-10-29 11:27:35
Откуда: Рига

Re: Программа для резервного копирования

Непрочитанное сообщение terminus » 2009-07-09 17:09:29

вот-вот надо с дампом разобраться так как при использовании режима -L он бекапит снепшот UFS, а tar так не умеет.
ABSOLUTE
FREEBSD
2ND E D I TI O N
THE COMPLET E G U I DE TO FREEBSD
by Michael W. Lucas

dump(8) is a disk-block backup tool. In some ways, it looks similar to tar(1),
but the significant difference is that dump is aware of the underlying filesystem
and takes advantage of the filesystem layout. We’ll talk more about
filesystems in Chapter 8, but for now, all you need to know is that a filesystem
is the scheme by which zeroes and ones are arranged on the physical hard
drive. dump is specifically integrated with FreeBSD’s UFS2 filesystem. New
sysadmins aren’t as likely to be familiar with dump as with tar, but dump is
more efficient and safer than tar. When you have a choice, use dump.1
One drawback of dump is that it works on filesystems, not on files. You
can’t dump /etc unless you want to dump all of the root partition. You can
restore individual files, however.
On the positive side, dump uses separate programs for backup and
recovery (dump(8) and restore(8), respectively). This means that you don’t
have to worry about confusing your flags and accidentally overwriting the file
you’re trying to recover from. dump is considerably faster than tar, too.
User Control
One significant advantage of dump(8) is that users can offer a certain
amount of advice to the program. For example, they can mark a file as
“do not dump,” and it won’t be backed up. Many users have stuff that they
don’t care about, and they will happily agree to not back those things up if
it means that the data they do care about is backed up.
To set the nodump flag on a file, use chflags(1):
#chflags nodump filename
When you set the nodump flag on a directory, everything in or below that
directory is not backed up. For example, I use chflags to avoid backing up my
downloads directory to save time and space during backups, because I can
always download those items again.
dump Levels
One of dump’s more interesting features is its ability to do very specific
incremental backups via dump level, a number from 0 to 9. The default
dump level is 0, which tells dump to copy everything that isn’t marked nodump.
Higher levels of dump mean, “Back up any files that have been changed or
created since a dump of any lower level.” This level pattern means that you
can do full backups, differential backups since a full backup, or incremental
backups—just by changing the dump level.

1 Some sysadmins will disagree and insist that tar(1) is better. This is an argument of epic
proportions in the Unix community, and any recommendation I make will undoubtedly anger
the people devoted to the other tool. I firmly believe that the only way to finally settle this is for
all the people who are fanatic devotees of one tool or the other to meet on the field of honor at
dawn and settle it with their weapon of choice. The rest of us will just get on with our lives.


For example, say you start each Monday with a level 0 dump. On Tuesday
you could do a level 1 dump, and only files that changed since Monday will
be backed up. If you perform a level 2 dump on Wednesday, everything that
changed since Tuesday will be backed up. On the following Thursday, you
run another level 1 dump. Any files that were changed since Monday will be
backed up, including files that were backed up on Wednesday.
I recommend using only level 0 dumps because they are far, far easier to
restore from than a series of incremental backups. Level 0 dumps take longer
to run than incremental dumps, however, and take up more tape space, but
in most cases reducing recovery time is more important than the cost of tape.
With proper planning, you can run level 0 dumps overnight.
Specify the desired dump level as a command-line argument; for example,
run a level 2 dump with dump -2.
dump, Tape Drives, and Files
Unfortunately, dump(8) and restore(8) don’t recognize $TAPE and just send
everything to /dev/sa0. You can specify a particular tape drive with -f. Similar
to tar, dump lets you point -f at a file. While dump files are not generally
suitable for distribution in the same way tar files are, it’s a great way to
experiment and become familiar with dump.
Before dump runs a backup, it attempts to calculate how many tapes it
will need for the backup. Unfortunately, dump’s ability to automatically detect
the size of a tape has weakened over time. When dump was new, a 1MB tape
drive was serious business and every vendor had their own standards for tape
formats. Today, tape drives are much more generic and standardized, and
vendors must interoperate more freely. The size of tapes has also dramatically
changed: For example, I’m writing this book using a 40GB tape drive discarded
by a previous employer for the blameless but irremediable crime of being too
small to bother keeping. Between enhanced standardization and dramatically
expanded capacity, dump has a really hard time figuring out how large a
tape is. The best way to deal with this problem is to tell dump to not bother
calculating the size of the tape; instead, just run until the tape hits the end,
and request another tape then. Use the -a flag for this.
dump and Live Filesystems
One problem with backups is that on a working machine, the filesystem tends
to change while the backup is running. This isn’t a problem with filesystems
where the data is fairly static, or where changes in one part don’t affect
changes in another, but it is a serious issue when your data is highly dynamic,
volatile, and/or interrelated. Many databases have this problem. You probably
don’t want to shut down your database server just to get a good backup, and
you might not even be able to dump the database to a file so you can get a cold
backup. Dump takes advantage of UFS2’s snapshot facility to get around this
and ensure that a backup is internally consistent. We’ll cover snapshots in
Chapter 8, but for now, just remember that a snapshot is an image of a disk at
an exact moment in time. Even as the data on the disk changes, the snapshot
remains unchanged and static, so you can back it up easily.

Specify -L to dump a snapshot. If you back up a live UFS2 filesystem
without using this flag, dump will complain and tell you to use -L.
This will not eliminate the “live database” problem, of course; just because
the filesystem is consistent doesn’t mean that the database on the filesystem
will be consistent as well. But you can shut down the database for a moment,
start the dump, and start the database again, letting dump copy the snapshot
taken while the database was shut down. This reduces the downtime window
for backups to only a second or two.
Модель: AST-PM-105/0044; Тип: Универсальный, ремонтный; Название: Терминус; Род повреждения: Распад функций; Выводы: Сдать на слом.

chillivilli
мл. сержант
Сообщения: 92
Зарегистрирован: 2009-06-19 12:31:04
Откуда: Санкт-Петербург

Re: Программа для резервного копирования

Непрочитанное сообщение chillivilli » 2009-07-12 0:23:03

Втыкаю второй винт, и clonehdd в кроне

Abyrvalg
мл. сержант
Сообщения: 124
Зарегистрирован: 2009-03-04 10:24:44

Re: Программа для резервного копирования

Непрочитанное сообщение Abyrvalg » 2009-07-12 10:23:29

вот-вот надо с дампом разобраться так как при использовании режима -L он бекапит снепшот UFS, а tar так не умеет.
Как именно нужно разобраться с dump'ом? Я делал бэкапы такой командой (пример):

Код: Выделить всё

dump -0 -a -u -f /backup/usr0.img -L /usr
после этого периодически нагонял инкрементные архивы:

Код: Выделить всё

dump -3 -a -u -f /backup/usr3.img -L /usr
В процессе бэкапа никаких ошибок не вылезало. Я полагал, что этого вполне достаточно для бэкапа соответствующей файловой системы. Однако при попытке восстановления я получил ошибки (см. исходное сообщение), и файловая система не восстановилась (по крайней мере, в полном объёме). Где грабли? Я так понял, никто этого не знает. Как же тогда "разбираться" с dump?

PS. А кто-нть юзал fsbackup?
http://www.opennet.ru/dev/fsbackup/
http://adw0rd.ru/2009/freebsd-fsbackup/

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Программа для резервного копирования

Непрочитанное сообщение princeps » 2009-07-13 8:09:09

Abyrvalg писал(а):Как именно нужно разобраться с dump'ом? Я делал бэкапы такой командой (пример):
не знаю, я как-то с бакулой подружился и юзаю в основном ее, дампом не пользуюсь :) Логи бы посмотреть, может что-то где-то он оставил, т.к. масса народа юзает дамп и я вроде до сих пор не слышал о его плохой работе, думаю, что все-таки проблема конкретно у тебя. Вообще хорошая практика время от времени проверять бэкапы.
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

Аватара пользователя
freeman
лейтенант
Сообщения: 734
Зарегистрирован: 2007-03-18 5:13:25

Re: Программа для резервного копирования

Непрочитанное сообщение freeman » 2009-07-13 10:34:56

princeps писал(а):масса народа юзает дамп и я вроде до сих пор не слышал о его плохой работе
Подтверждаю, юзаю, полностью испытан в боевых условиях (dump restore), пока доволен.
Остатся должен только один ...

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Программа для резервного копирования

Непрочитанное сообщение princeps » 2009-07-13 14:22:29

есть подозрение, что ты делал неправильно инкрементальное копирование. Ты скриптом это из крона запускал?
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

Аватара пользователя
rnd
мл. сержант
Сообщения: 112
Зарегистрирован: 2007-11-06 20:36:25
Откуда: RonDon

Re: Программа для резервного копирования

Непрочитанное сообщение rnd » 2009-07-13 15:11:12

freeman писал(а):
princeps писал(а):масса народа юзает дамп и я вроде до сих пор не слышал о его плохой работе
Подтверждаю, юзаю, полностью испытан в боевых условиях (dump restore), пока доволен.
а можно подробней как это работает, ну или статейку какую-нибудь почитать :smile:

Аватара пользователя
freeman
лейтенант
Сообщения: 734
Зарегистрирован: 2007-03-18 5:13:25

Re: Программа для резервного копирования

Непрочитанное сообщение freeman » 2009-07-13 15:13:17

rnd писал(а):
freeman писал(а):
princeps писал(а):масса народа юзает дамп и я вроде до сих пор не слышал о его плохой работе
Подтверждаю, юзаю, полностью испытан в боевых условиях (dump restore), пока доволен.
а можно подробней как это работает, ну или статейку какую-нибудь почитать :smile:
Ну как то так http://www.lissyara.su/?id=1091 ;-)
Остатся должен только один ...

Abyrvalg
мл. сержант
Сообщения: 124
Зарегистрирован: 2009-03-04 10:24:44

Re: Программа для резервного копирования

Непрочитанное сообщение Abyrvalg » 2009-07-29 0:32:18

Вот я по этой статейке и делал.
Вот такой командой делал первый бэкап:

Код: Выделить всё

dump -0 -a -u -f /backup/usr0.img -L /usr
а дальше - 3, 5, 7...
Соответственно, восстанавливал командой

Код: Выделить всё

restore rf /backup/usr0.img
Вот тут и мог лохануться. Толком не понял, какие там аргументы надо указывать.

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Программа для резервного копирования

Непрочитанное сообщение princeps » 2009-07-29 8:27:52

ну вот, а сразу бочку катить на хорошую программу :)
Если разобрался - поделись с общественностью, авось кто-то в следующий раз найдет этот тред и не будет народ своими вопросами от /dev/null отвлекать.
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

Альфи
проходил мимо

Re: Программа для резервного копирования

Непрочитанное сообщение Альфи » 2009-07-29 9:45:28

Тоже бэкаплю бакулой ибо надо ещё виндовые машины бэкапить.

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Программа для резервного копирования

Непрочитанное сообщение princeps » 2009-07-29 10:07:44

в разделе "Про сайт" обсуждается проблема с тем, что бакула не удаляет старые бэкапы, может поможешь решить?
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

Abyrvalg
мл. сержант
Сообщения: 124
Зарегистрирован: 2009-03-04 10:24:44

Re: Программа для резервного копирования

Непрочитанное сообщение Abyrvalg » 2009-07-29 10:08:58

ну вот, а сразу бочку катить на хорошую программу
Это был хитрый способ привлечения внимания :)
Но вообще удивительно - вроде бы куча народу делает бэкап с помощью dump/restore, ссылается на хендбук, а изложить методику внятно никто не может :(

upd. Вот щас эксперимента ради попробовал на виртуальной машине забэкапить и потом восстановить файловую систему /var. Сделал нулевой бэкап, снёс всё из /var, отформатировал даже, потом смонтировал каталог и восстановил всё из бэкапа. Насколько хорошо восстановилось, понять не могу, хотя вроде с виду все каталоги на месте. Но в процессе восстановления опять выскочила вот такая фразочка:

Код: Выделить всё

expected next file 16207, got 23
Кто-нибудь знает, что это такое?
А если не знаете, то приведите хотя бы ключи, которые используете при вызове dump и restore.

paix
лейтенант
Сообщения: 863
Зарегистрирован: 2007-09-24 12:41:05
Откуда: dn.ua
Контактная информация:

Re: Программа для резервного копирования

Непрочитанное сообщение paix » 2009-07-29 11:32:00

бекапить всю систему хорошо, но часто слишком роскошно, или не позволяют ресурсы.
хорошей практикой является определение, какие данные действительно ценны для вас, и над чем вы будете более всего жалеть если их потеряете. А также что дольше всего вы будете восстанавливать.

Такие разделы как /usr потерять можно довольно безболезнено, а вот как насчет баз данных?

поэтому данные такого рода, а также различные файлы настроек можно/удобно бекапить в стиле tar/rsync.
Причем иметь при себе несколько резервных копий, а также иметь копии и на удаленной машине.

fsbackup неплохая штука, но мне показался слегка сложноватым.
я использую flexbackup, простая и гибкая софтинка. Умеет дифференциальные бекапы.

ну и, разумеется, rsync - the best :)
With best wishes, Sergej Kandyla

Аватара пользователя
ProFTP
подполковник
Сообщения: 3388
Зарегистрирован: 2008-04-13 1:50:04
Откуда: %&й
Контактная информация:

Re: Программа для резервного копирования

Непрочитанное сообщение ProFTP » 2009-07-29 11:51:39

я для себя написал скрипт:

1) ищу каталог пользователя в системе (хостинг, сайт)
2) дамплю mysql (базы пользователя или пользователей, которые ассоциируются с пользователем в системе)
3) архивирую каталог пользователя и дамп mysql, ставлю пароль, сохранаяю пароль где-то (или без пароля)
4) переливаю по фтп
5) и сделал загрузку типо на подобные rapidshare.com или на другие быстрые шары, так же можно отправить пароль и ссылку пользователю на email - пускай сам ковыряет
Pеrl FAQ
perl -e 'print join"",map $$_[rand@$_],([0..9,'a'..'z','A'..'Z'])x30'
ИзображениеИзображение

Аватара пользователя
rnd
мл. сержант
Сообщения: 112
Зарегистрирован: 2007-11-06 20:36:25
Откуда: RonDon

Re: Программа для резервного копирования

Непрочитанное сообщение rnd » 2009-07-29 12:04:48

ProFTP писал(а):я для себя написал скрипт:

1) ищу каталог пользователя в системе (хостинг, сайт)
2) дамплю mysql (базы пользователя или пользователей, которые ассоциируются с пользователем в системе)
3) архивирую каталог пользователя и дамп mysql, ставлю пароль, сохранаяю пароль где-то (или без пароля)
4) переливаю по фтп
5) и сделал загрузку типо на подобные rapidshare.com или на другие быстрые шары, так же можно отправить пароль и ссылку пользователю на email - пускай сам ковыряет
Ну неплохо... а скриптик можно увидеть? :smile:

Аватара пользователя
ProFTP
подполковник
Сообщения: 3388
Зарегистрирован: 2008-04-13 1:50:04
Откуда: %&й
Контактная информация:

Re: Программа для резервного копирования

Непрочитанное сообщение ProFTP » 2009-07-29 12:47:17

я потом забил не на него, просто архивировал и на фтп закидывал

а сильно надо? могу протестить, оформить и статейку может за одно написать :)
Pеrl FAQ
perl -e 'print join"",map $$_[rand@$_],([0..9,'a'..'z','A'..'Z'])x30'
ИзображениеИзображение

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Программа для резервного копирования

Непрочитанное сообщение princeps » 2009-07-29 13:03:45

напиши.
А вам не кажется, пацаны, что вы изобретаете велосипед? :) Все скрипты к dump\tar\restore уже давно написали в мерилендском университете и называется это amanda, если уж вам надо какие-то сложные схемы использовать, а не просто снять дамп ФС.
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

Abyrvalg
мл. сержант
Сообщения: 124
Зарегистрирован: 2009-03-04 10:24:44

Re: Программа для резервного копирования

Непрочитанное сообщение Abyrvalg » 2009-07-29 19:27:19

Попробовал я поставить эту самую Аманду. Очень странная вещь. Типа кагбэ установилась, но при этом не появилось каталога /usr/local/etc/amanda, не говоря уж о его содержимом, ни rc-скрипта в соответствующем месте... Удалось найти лишь некоторые либы, маны, а также пример amanda.conf, закопанный где-то в шарах.
Типа так и должно быть?
Снёс её от греха подальше... Вопрос по-прежнему открыт.

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Программа для резервного копирования

Непрочитанное сообщение princeps » 2009-07-29 20:49:58

Крокодил не ловится, не растет кокос...
По аманде ничего не подскажу, я ее не юзал, ибо мне надо виндовые сервера бэкапить, поэтому бакула.
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru