Backup почты + содержание учетных записей на сервере

Простые/общие вопросы по UNIX системам. Спросите здесь, если вы новичок

Модераторы: vadim64, terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
sudo
мл. сержант
Сообщения: 132
Зарегистрирован: 2011-02-05 10:54:11

Backup почты + содержание учетных записей на сервере

Непрочитанное сообщение sudo » 2012-06-06 18:46:38

Здравствуйте ! (Извиняюсь за дубликат темы, не совсем в правильный раздел сперва выложил)

Есть 2 вопроса.

1) Как грамотно организовать бэкап почты на удаленный сервер ? Используется Exim + Dovecot. Сам сервер резервного копирования находится за пределами ЛВС, где находится почтовый сервер, иными словами канал между серверами не очень толстый, поэтому бэкап даже раз в день будет проходить достаточно длительное время. Как выход смотрел в сторону rsync. Но реализовать грамотно синхронизацию подразумевает под собой сначала остановку демонов exim и dovecot, производится непосредственно синхронизация, потом демоны снова стартуют. Скриптом это сделать не проблема, проблема в том, что не хотелось бы останавливать работу сервера + в случае непредвиденных сетевых отвалов, существует большая вероятность того, что мало того, что не закончится синхронизация, но и демоны заново не стартанут. Вообщем вариант не очень. Других пока не вижу...

2) У руководства появилась идея не хранить какие-либо данные на компьютерах пользователей. Тут то все понятно, только остался вопрос опять же с почтой. Каждая почтовая программа хранит в любом случае всю свою выкачанную почту на локальном компьютере. Идея - поставить выделенный сервер в пределах ЛВС для ~70-и клиентов, прописать в клиентских программах путь к хранению профилей на сервер. Будут тормоза, это понятно, когда одновременно 70 клиентов будут тянуть и сваливать свою почту на сервер. Задумал использовать агрегацию каналов LACP (на сервере 4 гигабитных интерфейса) + гигабитный коммутатор HP ProCurve c поддержкой LACP. Как считаете, потянет такая идея 70 клиентов ?

P.S. OS на всех серверах FreeBSD

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

mak_v_
проходил мимо

Re: Backup почты + содержание учетных записей на сервере

Непрочитанное сообщение mak_v_ » 2012-06-07 7:46:33

Веб-морда на сервере для почты вас спасет

Аватара пользователя
Morty
ст. лейтенант
Сообщения: 1370
Зарегистрирован: 2007-07-17 23:25:12

Re: Backup почты + содержание учетных записей на сервере

Непрочитанное сообщение Morty » 2012-06-07 10:57:47

поставь еще один винт в серв и бэкапь на него

Аватара пользователя
manefesto
Группенфюррер
Сообщения: 6934
Зарегистрирован: 2007-07-20 8:27:30
Откуда: Пермь
Контактная информация:

Re: Backup почты + содержание учетных записей на сервере

Непрочитанное сообщение manefesto » 2012-06-07 11:20:49

а я тупо тарил и переносил на новый сервак.
я такой яростный шо аж пиздеЦ
Изображение

Аватара пользователя
Morty
ст. лейтенант
Сообщения: 1370
Зарегистрирован: 2007-07-17 23:25:12

Re: Backup почты + содержание учетных записей на сервере

Непрочитанное сообщение Morty » 2012-06-07 12:14:52

можно не бэкапить вообще, на всё воля Алллаха, если не дано то и бэкап сгорит :D

sudo
мл. сержант
Сообщения: 132
Зарегистрирован: 2011-02-05 10:54:11

Re: Backup почты + содержание учетных записей на сервере

Непрочитанное сообщение sudo » 2012-06-07 15:51:48

1) WEB-морда не вариант. Удобно для администратора, конечно, меньше забот и хлопот - неудобно для пользователей. Постоянный ввод паролей, автоматически сгенерированных /dev/random'ом вида F6Tds3Qm8D , забиванием заново адресной книги, также у нас есть иностранные работники, в итоге будет полагаю проблематично найти мультиязычную морду и т.п.

2) Да какой дополнительный диск...Говорю же - сервер удаленный, смысл его удаления на такое расстояние - в случае "чего", а именно "масок-шоу", ареста компьютеров, серверов, всегда иметь бэкап важной информации. Т.к. на рабочих серверах, содержащих конфиденциальные данные, в том числе чем и является почта - все находится на GELI, причем единственное что есть незашифрованное на этих серверах - это флешки, с которых они загружаются.

3) Про tar. Один раз перенести - это понятно. Нужны ежедневные бэкапы. Что в случае с rsync, что с tar - в любом случае надо останавливать почтовые сервисы, чтобы получить актуальный бэкап, т.к. изменения происходят в директории maildir, spool практически ежесекундно. rsync с опцией --delete-after в таком случае без остановки сервисов просто тупо выдает ошибку (не помню какой его код завершения) и пишет, что удалить измененные или удаленные файлы не может, т.к. в процессе синхронизации происходили изменения. В итоге спустя месяц какая там помойка образуется с таким "бэкапом" ? А тарить полтеррабайта maildir'a как-то считаю несолидно что-ли, один хрен масло масляное получится...

4) Можно не бэкапить, согласен. А можно прийти в пятницу на работу, полным надежд на первое вечернее свидание с девушкой, обнаружить, что ночью произошло аварийное отключение электричества и что ваша FreeBSD выпала в синг мод, fsck_ufs -yf /dev/aacd0.elip4 начинает громить все фалы подряд с ошибкой UNEXPECTED SOFT UPDATE INCONSISTENCY. Возможно в будущем эта девушка стала бы вашей женой, но видимо не судьба. Да и запись в трудовой "уволен по статье" за неисполнение своих должностных обязанностей как-то кидаться в глаза будет новому работодателю...


-----------------------


Мне просто интересно, есть к примеру хостинг-провайдеры. Явно как-то делают подобные резервные копии ? Ну ни за что не поверю, что тот же мэйл.ру живет волею Аллаха. Слышал где-то что-то про сетевой рэйд. Врядли пойдет для бэкапа через канал провайдера, все-таки канал далеко не симметричные 100 мегабит... ?

Аватара пользователя
Alvares
прапорщик
Сообщения: 485
Зарегистрирован: 2008-07-10 12:48:08
Откуда: Воронеж
Контактная информация:

Re: Backup почты + содержание учетных записей на сервере

Непрочитанное сообщение Alvares » 2012-06-07 15:58:07

snapshot и пересылать?
Бог создал людей сильными и слабыми. Сэмюэл Кольт сделал их равными...

sudo
мл. сержант
Сообщения: 132
Зарегистрирован: 2011-02-05 10:54:11

Re: Backup почты + содержание учетных записей на сервере

Непрочитанное сообщение sudo » 2012-06-07 16:09:59

Alvares писал(а):snapshot и пересылать?
GELI+ZFS+FreeBSD 9.0 ? Это имеете ввиду ? Поподробнее плз, гуглил эту тему, у людей какие-то проблемы были. ZFS еще не использовал если честно...

mak_v_
проходил мимо

Re: Backup почты + содержание учетных записей на сервере

Непрочитанное сообщение mak_v_ » 2012-06-07 16:39:10

Жесть, рсинк не катит, снапшотить -проблемы, тарить - не вариант, останавливать - больно, вебморда - не то, рейды - не кошерно.....
Предложу расставить приоритеты в решении задачи, а уж потом плясать..

Аватара пользователя
Morty
ст. лейтенант
Сообщения: 1370
Зарегистрирован: 2007-07-17 23:25:12

Re: Backup почты + содержание учетных записей на сервере

Непрочитанное сообщение Morty » 2012-06-07 16:55:37

бро, баба тебя не кинет не прживай))) тут кстати тоже приоритет нада что важнее бабец или работа.
Гугли копирование почты эксимом. В Мейл.ру думаеться тоже дурных нету милионы ящиков бэкапить, это что все сервера по 2 экземпляра держать ???? Как ты это представляешь. Максимум там рейды стоят ......

ЗЫ Чем проще тем надежнее.

sudo
мл. сержант
Сообщения: 132
Зарегистрирован: 2011-02-05 10:54:11

Re: Backup почты + содержание учетных записей на сервере

Непрочитанное сообщение sudo » 2012-06-07 17:17:20

mak_v_ писал(а):Жесть, рсинк не катит, снапшотить -проблемы, тарить - не вариант, останавливать - больно, вебморда - не то, рейды - не кошерно.....
Предложу расставить приоритеты в решении задачи, а уж потом плясать..
Вы сначала вчитайтесь в то, что я писал, а потом говорите про рейды и жесть. Жесть в том, что сделайте это сначала, а потом попробуйте восстановить в работоспособном состоянии свой этот "бэкап" такой в случае с рсинком или таром, потом долго еще будете рассуждать про себя о жести бессонными ночами, я вас уверяю. А про рейд over интернет-канал 6-8 Mbit/s я вообще промолчу. Делал как-то на ящике для спама для Spamassassin, в итоге после недельной синхронизации это ящик перестал быть вообще доступен любому почтовому клиенту :smile:

А про снапшоты я же сказал честно, не сталкивался. Пока не вкуривал инфу, я так понял на двух серверах достаточно создать 2 идентичные разделы с идентичной инфой, где ZFS будет на главном сервере отсылать снапшоты на удаленный ?

sudo
мл. сержант
Сообщения: 132
Зарегистрирован: 2011-02-05 10:54:11

Re: Backup почты + содержание учетных записей на сервере

Непрочитанное сообщение sudo » 2012-06-07 17:26:50

Morty писал(а):бро, баба тебя не кинет не прживай))) тут кстати тоже приоритет нада что важнее бабец или работа.
Гугли копирование почты эксимом. В Мейл.ру думаеться тоже дурных нету милионы ящиков бэкапить, это что все сервера по 2 экземпляра держать ???? Как ты это представляешь. Максимум там рейды стоят ......

ЗЫ Чем проще тем надежнее.
Ты мне предлагаешь всю почту входящию\исходящую всех пользователей кидать во входящие в один ящик посредством unseen deliver ? :Bravo: Заебись, других слов нет просто ))

mak_v_
проходил мимо

Re: Backup почты + содержание учетных записей на сервере

Непрочитанное сообщение mak_v_ » 2012-06-07 17:28:23

Экий ты страстный....не туда энергетику, не туда....
Кесарю, как говориться....
Имею: около 100 пользователей, рейд 10 из 4 винтов, +1 в кармане - еженедельно дамп (UFS), вебморда+стандартные порты (имап+поп+смтп)+ссл\тлс
Падать - не падало, дублировал при переносе на новое железо за 3 часа, потом рсинком "долил" почто "посвежее".

sudo
мл. сержант
Сообщения: 132
Зарегистрирован: 2011-02-05 10:54:11

Re: Backup почты + содержание учетных записей на сервере

Непрочитанное сообщение sudo » 2012-06-07 17:37:58

mak_v_ писал(а):Экий ты страстный....не туда энергетику, не туда....
Кесарю, как говориться....
Имею: около 100 пользователей, рейд 10 из 4 винтов, +1 в кармане - еженедельно дамп (UFS), вебморда+стандартные порты (имап+поп+смтп)+ссл\тлс
Падать - не падало, дублировал при переносе на новое железо за 3 часа, потом рсинком "долил" почто "посвежее".
Восстанавливал из бэкапа ? ))

sudo
мл. сержант
Сообщения: 132
Зарегистрирован: 2011-02-05 10:54:11

Re: Backup почты + содержание учетных записей на сервере

Непрочитанное сообщение sudo » 2012-06-07 17:40:52

Падать - не падало, дублировал при переносе на новое железо за 3 часа, потом рсинком "долил" почто "посвежее"
Хорошо. Ты это все делал при работающем стаом сервере ?

mak_v_
проходил мимо

Re: Backup почты + содержание учетных записей на сервере

Непрочитанное сообщение mak_v_ » 2012-06-07 17:45:22

кагбе старый работает,на новый развернул бэкап, настроил, остановил сервисы, рсинком долил "сдачу".
Остановил старый, запустил новый.

sudo
мл. сержант
Сообщения: 132
Зарегистрирован: 2011-02-05 10:54:11

Re: Backup почты + содержание учетных записей на сервере

Непрочитанное сообщение sudo » 2012-06-07 17:51:01

mak_v_ писал(а):остановил сервисы.
Ну ты блин поверни вверх этот клитор на своей мышке, не знаю как он называется, вчитайся, проблема была в том, чтобы производить бэкап БЕЗ ОСТАНОВКИ СЕРВИСОВ ! :smile:

mak_v_
проходил мимо

Re: Backup почты + содержание учетных записей на сервере

Непрочитанное сообщение mak_v_ » 2012-06-07 17:54:21

Пля.....Ну ты поверни моск...
Бэкап делается дампом на диск, который повешен рядом, БЕЗ ОСТАНОВОК. Хочешь делай на smbfs, хочешь на ftp, хочешь в /dev/null
ВОССТАНОВЛЕНИЕ БЕЗ ОСТАНОВКИ - НАХЕР ДЕЛАТЬ, ЕСЛИ ОНО ВСЕ РАБОТАЕТ?

sudo
мл. сержант
Сообщения: 132
Зарегистрирован: 2011-02-05 10:54:11

Re: Backup почты + содержание учетных записей на сервере

Непрочитанное сообщение sudo » 2012-06-07 18:00:02

mak_v_ писал(а):Пля.....Ну ты поверни моск...
Бэкап делается дампом на диск, который повешен рядом, БЕЗ ОСТАНОВОК. Хочешь делай на smbfs, хочешь на ftp, хочешь в /dev/null
ВОССТАНОВЛЕНИЕ БЕЗ ОСТАНОВКИ - НАХЕР ДЕЛАТЬ, ЕСЛИ ОНО ВСЕ РАБОТАЕТ?
2) Да какой дополнительный диск...Говорю же - сервер удаленный, смысл его удаления на такое расстояние - в случае "чего", а именно "масок-шоу", ареста компьютеров, серверов, всегда иметь бэкап важной информации. Т.к. на рабочих серверах, содержащих конфиденциальные данные, в том числе чем и является почта - все находится на GELI, причем единственное что есть незашифрованное на этих серверах - это флешки, с которых они загружаются.
2) Да какой дополнительный диск...Говорю же - сервер удаленный, смысл его удаления на такое расстояние - в случае "чего", а именно "масок-шоу", ареста компьютеров, серверов, всегда иметь бэкап важной информации. Т.к. на рабочих серверах, содержащих конфиденциальные данные, в том числе чем и является почта - все находится на GELI, причем единственное что есть незашифрованное на этих серверах - это флешки, с которых они загружаются.
2) Да какой дополнительный диск...Говорю же - сервер удаленный, смысл его удаления на такое расстояние - в случае "чего", а именно "масок-шоу", ареста компьютеров, серверов, всегда иметь бэкап важной информации. Т.к. на рабочих серверах, содержащих конфиденциальные данные, в том числе чем и является почта - все находится на GELI, причем единственное что есть незашифрованное на этих серверах - это флешки, с которых они загружаются.
Я на всякий случай 3 раза продублировал, чтобы информация дошла до адресата в полном объеме ))

mak_v_
проходил мимо

Re: Backup почты + содержание учетных записей на сервере

Непрочитанное сообщение mak_v_ » 2012-06-07 18:01:12

товарищ, поверни моск!
Хочешь делай на smbfs, хочешь на ftp, хочешь в /dev/null
Нв всякий случай, для долботяпов смотри выше своих дублирований.
Девушке своей лучше задублируй цветов или чего там ещё...

sudo
мл. сержант
Сообщения: 132
Зарегистрирован: 2011-02-05 10:54:11

Re: Backup почты + содержание учетных записей на сервере

Непрочитанное сообщение sudo » 2012-06-07 18:07:31

mak_v_ писал(а):товарищ, поверни моск!
Хочешь делай на smbfs, хочешь на ftp, хочешь в /dev/null
Нв всякий случай, для долботяпов смотри выше своих дублирований.
Девушке своей лучше задублируй цветов или чего там ещё...
Аргументы в пользу SMBFS и FTP на серверах находящихся друг от друга в n-цать км друг от друга ? В синхронизации ?

Аватара пользователя
Alvares
прапорщик
Сообщения: 485
Зарегистрирован: 2008-07-10 12:48:08
Откуда: Воронеж
Контактная информация:

Re: Backup почты + содержание учетных записей на сервере

Непрочитанное сообщение Alvares » 2012-06-07 18:24:48

да, я имел в виду zfs. Снапшоты есть и на ufs, но пробовал как-то, делался чуть ли не как дамп0.
Бог создал людей сильными и слабыми. Сэмюэл Кольт сделал их равными...

sudo
мл. сержант
Сообщения: 132
Зарегистрирован: 2011-02-05 10:54:11

Re: Backup почты + содержание учетных записей на сервере

Непрочитанное сообщение sudo » 2012-06-07 18:48:47

Alvares писал(а):да, я имел в виду zfs. Снапшоты есть и на ufs, но пробовал как-то, делался чуть ли не как дамп0.
Хорошо, реально ли делать снапшоты раздела ZFS на удаленный такой-же раздел другого сервера ? Если да, то буду изучать маны и гуглы. Если есть практика, по поделись, если не сложно, да или нет. Чтобы время попусту не тратить ))

Аватара пользователя
Morty
ст. лейтенант
Сообщения: 1370
Зарегистрирован: 2007-07-17 23:25:12

Re: Backup почты + содержание учетных записей на сервере

Непрочитанное сообщение Morty » 2012-06-08 9:18:19

сделай как в этой статье http://www.lissyara.su/articles/freebsd ... t_cluster/
конкретно пункт

2. Настройка репликации данных посредством HAST.

Больше тебе оттуда ничего не нада. Всегда будет сервер-дубль(бекап). Учитывая кол-во ящиков 70, нагрузка на трафик и харды мизерная. Либо посчитай какой трафик создается и сравни с возможностями канала.

Аватара пользователя
Alvares
прапорщик
Сообщения: 485
Зарегистрирован: 2008-07-10 12:48:08
Откуда: Воронеж
Контактная информация:

Re: Backup почты + содержание учетных записей на сервере

Непрочитанное сообщение Alvares » 2012-06-08 10:16:53

Код: Выделить всё

zfs snapshot zfspool/zfs@snapshot_date_time
zfs send zfspool/zfs@snapshot_date_time | gzip -1 >zfs_backup.gz
копируете на удаленную тачку, потом на удаленной стороне

Код: Выделить всё

gunzip zfs_backup.gz | zfs receive
zfs promote
и т.д.
что-то типа того. Сам делал на локальной тачке send/receive. Вроде работает.
Поднимите виртуалку, да попробуйте. Я думаю, не сильно критично будет для тестовых целей сделать дамп на живой системе.
а так Или как предложено выше, через HAST
Бог создал людей сильными и слабыми. Сэмюэл Кольт сделал их равными...