Создание системы резервного переключения

Простые/общие вопросы по UNIX системам. Спросите здесь, если вы новичок

Модераторы: vadim64, terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
CAMOJIET
ефрейтор
Сообщения: 68
Зарегистрирован: 2008-07-25 3:23:27

Создание системы резервного переключения

Непрочитанное сообщение CAMOJIET » 2012-06-30 4:13:49

Предисловие: Не начинал ещё заниматься zfs, но буду идти в этом направлении. Сейчас для своих задач использую mdadm raid 6 - хочу raidz2. Хочу узнать о возможности создания нужной мне системы у вас, так как не сам не совсем представляю как буду это делать.
Допустим дано: 1 машина с 4-мя жд на борту, где корень своп и данные хранятся на raidz2. Каким то образом на машине 2 надо иметь актуальную в любой момент рабочую версию системы (полностью или хотябы только данные), чтобы при выходе из строя первой машины можно было бы быстро запустить(хотя-бы в ручном режиме) вторую.
Как-то так, сам понимаю, что задача больше творческая чем техническая, но она не даёт мне покоя около полугода, вчера повесил на студента её часть по развороту raidz2 на корень своп и данные, а по части второй половины сам не знаю с чего начать(man по zfs конечно, но для этого нет времени, хочу узнать про возможность)
Спасибо.
Последний раз редактировалось f_andrey 2012-06-30 4:27:14, всего редактировалось 1 раз.
Причина: Автору, выбирайте пожалуйста раздел соответствуюший тематике вашего сообщения.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
goshanecr
сержант
Сообщения: 252
Зарегистрирован: 2008-03-31 15:54:49
Откуда: Пермь, Екатеринбург
Контактная информация:

Re: Создание системы резервного переключения

Непрочитанное сообщение goshanecr » 2012-06-30 5:38:31

Тут zfs это мне кажется не сам инструмент для решения такой задачи а подходящая файловая система.
Я бы сделал так:
Организация хранилища это как уже тебе захочется, ZFS или не ZFS
И rsync'ом синхронизировать данные с первого на 2-ой. Это конечно даст некоторую задержку на синхронизацию данных, но тем не менее вполне наверное годное к рассмотрению решение.
Люблю в инете шарить. И браузер мой только Opera !!!
Пользователям стараюсь ставить дистр Ubuntu. Уже 3 человека пересели.
Домашний комп FreeBSD 9.0 amd64
FreeBSD - изменим жизнь к лучшему!

Аватара пользователя
goshanecr
сержант
Сообщения: 252
Зарегистрирован: 2008-03-31 15:54:49
Откуда: Пермь, Екатеринбург
Контактная информация:

Re: Создание системы резервного переключения

Непрочитанное сообщение goshanecr » 2012-06-30 5:42:04

Люблю в инете шарить. И браузер мой только Opera !!!
Пользователям стараюсь ставить дистр Ubuntu. Уже 3 человека пересели.
Домашний комп FreeBSD 9.0 amd64
FreeBSD - изменим жизнь к лучшему!

CAMOJIET
ефрейтор
Сообщения: 68
Зарегистрирован: 2008-07-25 3:23:27

Re: Создание системы резервного переключения

Непрочитанное сообщение CAMOJIET » 2012-06-30 11:00:33

Спасибо, действительно есть на чем подумать - оба варианта достаточно интересные. Я же могу и результирующий раздел, получившийся при создании zfs, объединить в зекало с таким же разделом на slave. (Можно даже воспользоваться опять же zfs в место gmirror (остапа понесло)). И тогда данные всегда будут актуальны. (Можно сцепить мастер со слейвом оптикой).
Rsync же в свою очередь будет поддерживать актуальность только по команде с cron, что делает его менее привлекательным в этом отношении. Если вот только rsync может обновить только часть большого файла, то это будет уже интересней, хотя не намного.
Ещё раз огромное спасибо за ответ. Буду думать дальше, хорошо, что знаю в какую сторону думать.

Аватара пользователя
goshanecr
сержант
Сообщения: 252
Зарегистрирован: 2008-03-31 15:54:49
Откуда: Пермь, Екатеринбург
Контактная информация:

Re: Создание системы резервного переключения

Непрочитанное сообщение goshanecr » 2012-06-30 12:35:46

rsync не только cron'ом можно запускать.
У меня для синхронизации обменников между распределёнными офисами скрипт rsync'овой синхронизации запускается через rc.local при старте системы и там в цикле просто работает.
Люблю в инете шарить. И браузер мой только Opera !!!
Пользователям стараюсь ставить дистр Ubuntu. Уже 3 человека пересели.
Домашний комп FreeBSD 9.0 amd64
FreeBSD - изменим жизнь к лучшему!

CAMOJIET
ефрейтор
Сообщения: 68
Зарегистрирован: 2008-07-25 3:23:27

Re: Создание системы резервного переключения

Непрочитанное сообщение CAMOJIET » 2012-06-30 14:34:26

А если изменилась небольшая часть большого файла rsync изменит часть или полностью? Если часть можно ли менять размер куска с которого rsync будет снимать хэш?
Можете выложить свой скрипт?

FiL
ст. лейтенант
Сообщения: 1374
Зарегистрирован: 2010-02-05 0:21:40

Re: Создание системы резервного переключения

Непрочитанное сообщение FiL » 2012-07-01 16:17:05

CAMOJIET писал(а):Спасибо, действительно есть на чем подумать - оба варианта достаточно интересные. Я же могу и результирующий раздел, получившийся при создании zfs, объединить в зекало с таким же разделом на slave. (Можно даже воспользоваться опять же zfs в место gmirror (остапа понесло)). И тогда данные всегда будут актуальны. (Можно сцепить мастер со слейвом оптикой).
Rsync же в свою очередь будет поддерживать актуальность только по команде с cron, что делает его менее привлекательным в этом отношении. Если вот только rsync может обновить только часть большого файла, то это будет уже интересней, хотя не намного.
Ещё раз огромное спасибо за ответ. Буду думать дальше, хорошо, что знаю в какую сторону думать.
проблема с зеркалом в том, что если ты нечаянно делаешь rm - rf / на мастере, то на слейве оно тоже всё похерится.

Аватара пользователя
goshanecr
сержант
Сообщения: 252
Зарегистрирован: 2008-03-31 15:54:49
Откуда: Пермь, Екатеринбург
Контактная информация:

Re: Создание системы резервного переключения

Непрочитанное сообщение goshanecr » 2012-07-01 19:25:49

А если изменилась небольшая часть большого файла rsync изменит часть или полностью?
Да, в этом (но не только в этом :)) и есть прелесть rsync алгоритма.
Если часть можно ли менять размер куска с которого rsync будет снимать хэш?
да
man rsync | grep -A 3 -B 3 block | more

Скрипт и скриптом то назвать сложно, просто пара команд.
Вот:

Код: Выделить всё

#!/bin/sh
rm -f "/var/tmp/*.rsync"
BASE=/var/samba/Exchange
RSYNC=/usr/local/bin/rsync
ROPTS="-atqz --compress-level=9 --delete --chmod=Dgo+rx,-w,Fugo+r,-w --no-o --inplace"
while true
do
        if ! [ -f "/var/tmp/FLAG.rsync" ] ; then
                touch /var/tmp/FLAG.rsync
                ${RSYNC} ${ROPTS} rsync://RSYNC_SERVER_IPADDRESS/Exchange ${BASE}/OFFICE/from
                rm -f /var/tmp/FLAG.rsync
        fi 
done

Люблю в инете шарить. И браузер мой только Opera !!!
Пользователям стараюсь ставить дистр Ubuntu. Уже 3 человека пересели.
Домашний комп FreeBSD 9.0 amd64
FreeBSD - изменим жизнь к лучшему!

Аватара пользователя
goshanecr
сержант
Сообщения: 252
Зарегистрирован: 2008-03-31 15:54:49
Откуда: Пермь, Екатеринбург
Контактная информация:

Re: Создание системы резервного переключения

Непрочитанное сообщение goshanecr » 2012-07-01 19:27:23

проблема с зеркалом в том, что если ты нечаянно делаешь rm - rf / на мастере, то на слейве оно тоже всё похерится.
От этого решение только бэкапы. А зеркало и не должно быть решением такой проблемы. Зеркало это отказоустойчивость, бэкапы это сохранность.
Люблю в инете шарить. И браузер мой только Opera !!!
Пользователям стараюсь ставить дистр Ubuntu. Уже 3 человека пересели.
Домашний комп FreeBSD 9.0 amd64
FreeBSD - изменим жизнь к лучшему!

CAMOJIET
ефрейтор
Сообщения: 68
Зарегистрирован: 2008-07-25 3:23:27

Re: Создание системы резервного переключения

Непрочитанное сообщение CAMOJIET » 2012-07-02 1:15:41

Если создать в Exchange файл 1 Гб, то как скоро он окажется на зеркале(c помощью rsync), если между машинами будет 100 M/bit? Реакция так понимаю будет мнгновенная? Или как? rsync будет снимать хэши со всех файлов? Это не долго? (Покурю man rsync).
to FIL не ходите под рутом пьяным и всё будет хорошо.

CAMOJIET
ефрейтор
Сообщения: 68
Зарегистрирован: 2008-07-25 3:23:27

Re: Создание системы резервного переключения

Непрочитанное сообщение CAMOJIET » 2012-07-02 1:23:53

Да, и если во время rsync синхронизации случится катастрофа(на главном серваке) файл будет целым? Изменения rsync проводятся в транзакционном порядке?
ЗЫ В предыдущем посте под мгновенной реакцией я имел в виду начало работы по синхронизации нового файла (обнаружение изменения).
В моем случае планируется отслеживать файлы жестких дисков виртуальных машин.

Аватара пользователя
goshanecr
сержант
Сообщения: 252
Зарегистрирован: 2008-03-31 15:54:49
Откуда: Пермь, Екатеринбург
Контактная информация:

Re: Создание системы резервного переключения

Непрочитанное сообщение goshanecr » 2012-07-02 21:35:36

короче, мне кажется что для такой специфической задачи как перенос дисков виртуальных машин, rsync нифига не подходит.
Тут наверное надо зеркало из двух блочных устройств по сети (ссылка на опеннет выше), это будет отказоустойчивая система хранения для твоей схемы.
Люблю в инете шарить. И браузер мой только Opera !!!
Пользователям стараюсь ставить дистр Ubuntu. Уже 3 человека пересели.
Домашний комп FreeBSD 9.0 amd64
FreeBSD - изменим жизнь к лучшему!