Почтовый кластер!

EXIM, sendmail, postfix, Dovecot и прочие. Решение проблем связанных с работой электронной почты

Модератор: xM

Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
z.l.0.y.
рядовой
Сообщения: 36
Зарегистрирован: 2010-08-12 15:24:38

Почтовый кластер!

Непрочитанное сообщение z.l.0.y. » 2010-12-07 9:57:59

Вообщем такой сабж. Может кто-нибудь что нибудь умное подскажет.
Нагрузка 20 тыс пользователей. Структура: domenname.ru + 15 филиалов с именами типа xxx.domenname.ru, yyy.domenname.ru и т.д. Т.е. с доменов нужно будет релеить во внешний мир. Хранение почты - СХД - зеркальный хиратекс (обращаться буду к СХД по DRBD или может быть ATAE - естесно файловая система кластерная).
Хочу:
1. Дабы обезопасить себя в DNS сделать 2 записи на 2 разных IP типа как:

domenname.ru. IN MX 10 mail1.domenname.ru
domenname.ru. IN MX 10 mail2.domenname.ru

внешние Ip на интерфейс eth0
ПО: exim+dovecot+bind
Потом думал поднять heartbeat по интерфейсам eth1 - но потом понял что будет такая ситуация что провайдер отвалится, а по хардбиту будет цепляться именно к тому который отвалится от интернета - и это не дает разгрузки от сервера. Далее решил что это не выход. Решил делать зеркально зерверам mail1 и mail2 - сервера сцепленные хардбитом.
Кто подскажет как правильно реализовать с харбитом и схд!
Непотнятно как потом сделать релей с серверов mail.xxx.domenname.ru на сервера mail1.domenname.ru и mail2.domenname.ru :
smart_relay:
driver = manualroute
domains = ! +local_domains
transport = remote_smtp
route_data = relay.domenname.ru
(как разгрузить нагрузку и при этом что бы не оказалось так что почта будет пытаться уходить через сервер у которого умер интернет канал)

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

blade_007
ст. прапорщик
Сообщения: 571
Зарегистрирован: 2010-03-12 12:59:08
Контактная информация:

Re: Почтовый кластер!

Непрочитанное сообщение blade_007 » 2010-12-07 10:34:47

> как разгрузить нагрузку и при этом что бы не оказалось так что почта будет пытаться уходить через сервер у которого умер интернет канал
если не заморачиваться, то воспользоваться средствами iproute2 (в Linux) и самописным скриптом, который проверяет доступность канала, переключая на резервный в случае чего.

Что касается сабжа - разбейте на части. Может стоит подумать про подключение СХД по iSCSI? Вообщем, разбейте на подзадачи - может что и подскажут.

z.l.0.y.
рядовой
Сообщения: 36
Зарегистрирован: 2010-08-12 15:24:38

Re: Почтовый кластер!

Непрочитанное сообщение z.l.0.y. » 2010-12-07 10:41:41

blade_007 писал(а):> как разгрузить нагрузку и при этом что бы не оказалось так что почта будет пытаться уходить через сервер у которого умер интернет канал
если не заморачиваться, то воспользоваться средствами iproute2 (в Linux) и самописным скриптом, который проверяет доступность канала, переключая на резервный в случае чего.

Что касается сабжа - разбейте на части. Может стоит подумать про подключение СХД по iSCSI? Вообщем, разбейте на подзадачи - может что и подскажут.
ОК.
Для начала.

domenname.ru. IN MX 10 mail1.domenname.ru
domenname.ru. IN MX 10 mail2.domenname.ru

Как на них релеить при снижая нагрузку и так что бы при этом если канал провайдера сдох - то переключались на тот который жив. Самописными скриптами как то не интересно - хотелось бы через DNS что ли вырулить или OSPF. Короче вверху был оглашен первый вопрос!

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35351
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Почтовый кластер!

Непрочитанное сообщение Alex Keda » 2010-12-07 11:43:49

число писем в стуки?
антивирус?
антиспам?
Убей их всех! Бог потом рассортирует...

z.l.0.y.
рядовой
Сообщения: 36
Зарегистрирован: 2010-08-12 15:24:38

Re: Почтовый кластер!

Непрочитанное сообщение z.l.0.y. » 2010-12-07 14:27:29

Alex Keda писал(а):число писем в стуки?
антивирус?
антиспам?
Антивирус - ClamAV (может быть Symantec EndPoint Protection - но не знаю подцепиться ли он к эксиму)
Антиспам - spamassain + grey list

Gloft
лейтенант
Сообщения: 645
Зарегистрирован: 2008-03-09 11:32:12
Откуда: Москва

Re: Почтовый кластер!

Непрочитанное сообщение Gloft » 2010-12-07 15:33:10

Система разрабатывается заново или модернизируется существующая?
Как я понимаю провайдеров два.

Сначало лутьше определиться с обшим предствалением как будет работать почта, а потом переходить к вопросам о железе.
В идеале лутьше разделить задачи серверов, тоесть те которые передают/проверяют на вирусы и антиспам и на те которые хронят почту и обрабатывают запросы клиентов.

Доступность из инета можно реализовать как на уровне сетевого оборудовании так и несколькими почтовыми серверами.

blade_007
ст. прапорщик
Сообщения: 571
Зарегистрирован: 2010-03-12 12:59:08
Контактная информация:

Re: Почтовый кластер!

Непрочитанное сообщение blade_007 » 2010-12-07 17:33:49

> как разгрузить нагрузку и при этом что бы не оказалось так что почта будет пытаться УХОДИТЬ через сервер у которого умер интернет канал
> Самописными скриптами как то не интересно

здесь самописные скрипты будут выбирать интерфейс, с которого будут УХОДИТЬ пакеты. Exim НЕ СМОЖЕТ понять упал ли канал или нет.

blade_007
ст. прапорщик
Сообщения: 571
Зарегистрирован: 2010-03-12 12:59:08
Контактная информация:

Re: Почтовый кластер!

Непрочитанное сообщение blade_007 » 2010-12-07 17:40:01

Есть вариант когда, exim находится за firewall. В таком случае - для exim нет разницы с какого канала пришел пакет, этим займется шлюз-firewall.
OSPF - не вариант, поскольку придется задействовать провайдера (его роутеры). А если это будут 2 сервера с разными приоритетами в ДНС и одной БД пользователей?

z.l.0.y.
рядовой
Сообщения: 36
Зарегистрирован: 2010-08-12 15:24:38

Re: Почтовый кластер!

Непрочитанное сообщение z.l.0.y. » 2010-12-07 20:38:50

Система разрабатывается с нуля!
Провайдера 2!
Думаю на входе установить cisco asa 5505 (которая есть) и соответственно разместить в dmz зоне серваки и как раз сиськой вырулить доступность среваков!
С представлениями кто чем будет заниматься я понимаю - нагрузка от спамассин и кламава уж не серьезная чтобы перетасивать на другие серваки - железа много - другого покупать не буду и не смогу так как схд уже есть - хиратексы и emc !
Число писем - примерно 10000 наружу и столько же изнутри наружу + пересылка между внутренними доменами около 10000!
Мне никто не сказалл как быть с heartbeat + drbd! Перечитал много инфы - никаких конкретных решений пока нет!

Gloft
лейтенант
Сообщения: 645
Зарегистрирован: 2008-03-09 11:32:12
Откуда: Москва

Re: Почтовый кластер!

Непрочитанное сообщение Gloft » 2010-12-07 23:56:39

z.l.0.y. писал(а):Мне никто не сказалл как быть с heartbeat + drbd! Перечитал много инфы - никаких конкретных решений пока нет!
Что именно тебя итерисует применять/не применять или как настраивать (http://www.opennet.ru/docs/RUS/ha_cluster/)?

z.l.0.y.
рядовой
Сообщения: 36
Зарегистрирован: 2010-08-12 15:24:38

Re: Почтовый кластер!

Непрочитанное сообщение z.l.0.y. » 2010-12-08 10:54:33

С хардбитом я работал как и с DRBD. Но как именно всё енто дело сочленить - никак не могу понять.
Для начала:
На входе сиська - она сможет поддерживать соединение от двух провайдеров. т.е. серваку будет пофигу куда его пакет идет (к одному провайдеру или к другогму). Точно так же и письма с внешнего мира будут приходить на один из доступных серверов!

Потом планирую каждый из этих серваков разрулить при помощи heartbeat. Т.е. всегда один серверов будет доступен. DRBD - буду использовать для СХД. Так как нужно где то будет хранить почту. Или может поднять iscsi target на обоих системах при помощи drbd за синхронизировать все это дело . и выложить туда /var/mail/

Gloft
лейтенант
Сообщения: 645
Зарегистрирован: 2008-03-09 11:32:12
Откуда: Москва

Re: Почтовый кластер!

Непрочитанное сообщение Gloft » 2010-12-08 11:40:40

Осталось только настроить.
Отпишись если есть сильные отличия/изменения от приведенной статьи http://www.opennet.ru/docs/RUS/ha_cluster/, опять же если будешь настраивать по ней.

Аватара пользователя
m0ps
лейтенант
Сообщения: 986
Зарегистрирован: 2008-05-08 20:18:06
Откуда: Chernigov (Ukraine)
Контактная информация:

Re: Почтовый кластер!

Непрочитанное сообщение m0ps » 2010-12-08 12:33:36

а что, у emc или xyratex нет средст для резервирования СХД в режиме Active/Active?

z.l.0.y.
рядовой
Сообщения: 36
Зарегистрирован: 2010-08-12 15:24:38

Re: Почтовый кластер!

Непрочитанное сообщение z.l.0.y. » 2010-12-08 15:43:28

m0ps писал(а):а что, у emc или xyratex нет средст для резервирования СХД в режиме Active/Active?
Выже было изложено мнение что может быть попытаться обойтись без СХД - так как это еще сильнее усложнить систему! Хранение писем будет осуществляться на серверах доменов.
Сейчас тестирую - уперся в кластерное хранение почты!

Аватара пользователя
m0ps
лейтенант
Сообщения: 986
Зарегистрирован: 2008-05-08 20:18:06
Откуда: Chernigov (Ukraine)
Контактная информация:

Re: Почтовый кластер!

Непрочитанное сообщение m0ps » 2010-12-08 16:20:34

z.l.0.y. писал(а):
m0ps писал(а):а что, у emc или xyratex нет средст для резервирования СХД в режиме Active/Active?
Выже было изложено мнение что может быть попытаться обойтись без СХД - так как это еще сильнее усложнить систему! Хранение писем будет осуществляться на серверах доменов.
Сейчас тестирую - уперся в кластерное хранение почты!
нда, как-то все сложно и запутанно с физ серверами...
мое решение задачи:
Cisco ASA 5505 (кстати, хватит ли ее производительности?) - держит двух провайдеров, переключаясь с основного канала на резервный через SLA
Кластер vSphere (который может использоваться не только для этой задачи) - минимум 2 сервера с редакцией Essential Plus (в ней есть HA и vMotion)
СХД - 2 emc или xyratex с резервирования в режиме Active/Active
Почтовый сервер - 1 VM под любой осью
Результат - имеем полностью отказоустойчивую серверную инфраструктуру
(для полного счастья вместо асы 5505 - 2 асы 5510 в failover режиме)

Аватара пользователя
m0ps
лейтенант
Сообщения: 986
Зарегистрирован: 2008-05-08 20:18:06
Откуда: Chernigov (Ukraine)
Контактная информация:

Re: Почтовый кластер!

Непрочитанное сообщение m0ps » 2010-12-08 16:27:03

ЗЫ
а если еще и модули CSC-SSM для антивирусной/антиспамовой проверки в асы втыкнуть...
ну и незабываем про ИБП, к примеру EATON имеет софт, умеющий работать с VMware vSphere. и про свичи хорошие (2960G к примеру) не забываем.

Реализация - элементарна, основная проблема - стоимость этого добра

Gloft
лейтенант
Сообщения: 645
Зарегистрирован: 2008-03-09 11:32:12
Откуда: Москва

Re: Почтовый кластер!

Непрочитанное сообщение Gloft » 2010-12-08 16:47:33

m0ps писал(а):ЗЫ
а если еще и модули CSC-SSM для антивирусной/антиспамовой проверки в асы втыкнуть...
ну и незабываем про ИБП, к примеру EATON имеет софт, умеющий работать с VMware vSphere. и про свичи хорошие (2960G к примеру) не забываем.

Реализация - элементарна, основная проблема - стоимость этого добра
vSphere можно заменить на Xen в нем реализована и вполне работает(сам тестил) возможность перноса виртуальной машины с одного гипервизора на другой в случае если первый откажет (задержка в районе 1-2 секунд). Единственное для этого нужно иметь две одинаковые железки и сетевое хранилище. Вариант вполне бюджетный.

Аватара пользователя
m0ps
лейтенант
Сообщения: 986
Зарегистрирован: 2008-05-08 20:18:06
Откуда: Chernigov (Ukraine)
Контактная информация:

Re: Почтовый кластер!

Непрочитанное сообщение m0ps » 2010-12-08 16:54:05

Gloft писал(а):
m0ps писал(а):ЗЫ
а если еще и модули CSC-SSM для антивирусной/антиспамовой проверки в асы втыкнуть...
ну и незабываем про ИБП, к примеру EATON имеет софт, умеющий работать с VMware vSphere. и про свичи хорошие (2960G к примеру) не забываем.

Реализация - элементарна, основная проблема - стоимость этого добра
vSphere можно заменить на Xen в нем реализована и вполне работает(сам тестил) возможность перноса виртуальной машины с одного гипервизора на другой в случае если первый откажет (задержка в районе 1-2 секунд). Единственное для этого нужно иметь две одинаковые железки и сетевое хранилище. Вариант вполне бюджетный.
а как же коммерческая поддержка? Имея нагрузку в 20 тыс пользователей я думаю без нее никак.

Gloft
лейтенант
Сообщения: 645
Зарегистрирован: 2008-03-09 11:32:12
Откуда: Москва

Re: Почтовый кластер!

Непрочитанное сообщение Gloft » 2010-12-08 17:01:52

Странный вопрос. Если человек использует такие решения как Exim или FreeBSD и не смущает отсутствие поддержки ,то наверное он справится и с Xen-ом.
В любом случае выбор за z.l.0.y.

этоя
проходил мимо

Re: Почтовый кластер!

Непрочитанное сообщение этоя » 2010-12-08 23:15:41

вхоядщий траф можешь разделить ПФом

2а балансера(идентичных) имеющих записи
MX 10 каждый (без всяких там смтп и пр , просто баланс трафа)

каждый балансер кидает пакеты (раундробином) на ферму доставщиков (допустим 3 доставщика/релея)
аля как тут сделано для ВЭба http://house.hcn-strela.ru/BSDCert/BSDA ... balance-in

каждый из доставщиков имеет тоже идентичную конфигурацию
каждый из которых решает на какой смтп дальше отправить в зависимотсти от домена например
если писмьо для mail.gorod1.domain.com то шлем писмо на соотвесвующий сервак (поп3)

итого кластер который обеспечивает доставку 5 машин,2 канала :-D :"":

зы: простота удобство , надежность админства, расширяемость :-D


вот такой вариант

z.l.0.y.
рядовой
Сообщения: 36
Зарегистрирован: 2010-08-12 15:24:38

Re: Почтовый кластер!

Непрочитанное сообщение z.l.0.y. » 2010-12-09 20:18:27

m0ps писал(а):
z.l.0.y. писал(а):
m0ps писал(а):а что, у emc или xyratex нет средст для резервирования СХД в режиме Active/Active?
Выже было изложено мнение что может быть попытаться обойтись без СХД - так как это еще сильнее усложнить систему! Хранение писем будет осуществляться на серверах доменов.
Сейчас тестирую - уперся в кластерное хранение почты!
нда, как-то все сложно и запутанно с физ серверами...
мое решение задачи:
Cisco ASA 5505 (кстати, хватит ли ее производительности?) - держит двух провайдеров, переключаясь с основного канала на резервный через SLA
Кластер vSphere (который может использоваться не только для этой задачи) - минимум 2 сервера с редакцией Essential Plus (в ней есть HA и vMotion)
СХД - 2 emc или xyratex с резервирования в режиме Active/Active
Почтовый сервер - 1 VM под любой осью
Результат - имеем полностью отказоустойчивую серверную инфраструктуру
(для полного счастья вместо асы 5505 - 2 асы 5510 в failover режиме)
Первый хороший ответ!
сиськи 5505 - хватит мощности - уже тестил! Есть даже лицуха vmware essential plus kit for 3 hosts. Уже думал - но блин как то не охото выставлять наружу виртуальные машины! Как раз для этого и покупиались emc и xyratex. Как раз там и расположен сторадж! В следующем году может быть купим уже enterprise plus - тоггда появится FT.
СХД сейчас и работает в режиме active/active! Скорее всего именно это реение и возьму за основу!

z.l.0.y.
рядовой
Сообщения: 36
Зарегистрирован: 2010-08-12 15:24:38

Re: Почтовый кластер!

Непрочитанное сообщение z.l.0.y. » 2010-12-09 20:25:11

m0ps писал(а):ЗЫ
а если еще и модули CSC-SSM для антивирусной/антиспамовой проверки в асы втыкнуть...
ну и незабываем про ИБП, к примеру EATON имеет софт, умеющий работать с VMware vSphere. и про свичи хорошие (2960G к примеру) не забываем.

Реализация - элементарна, основная проблема - стоимость этого добра
Вот как раз за реализацию я больше беспокоюсь - так как деньги выделяют! Главное сделать так что бы 0,99999 сделать Кг. Причем денег под exchange server в кластере не дали - да я и сам не хотел, хотел верхний сервер на unix.
Из бесперебойников стойки apc + apc БП
Из свитчей: 4948 10GE + 3750!

z.l.0.y.
рядовой
Сообщения: 36
Зарегистрирован: 2010-08-12 15:24:38

Re: Почтовый кластер!

Непрочитанное сообщение z.l.0.y. » 2010-12-09 20:26:16

этоя писал(а):вхоядщий траф можешь разделить ПФом

2а балансера(идентичных) имеющих записи
MX 10 каждый (без всяких там смтп и пр , просто баланс трафа)

каждый балансер кидает пакеты (раундробином) на ферму доставщиков (допустим 3 доставщика/релея)
аля как тут сделано для ВЭба http://house.hcn-strela.ru/BSDCert/BSDA ... balance-in

каждый из доставщиков имеет тоже идентичную конфигурацию
каждый из которых решает на какой смтп дальше отправить в зависимотсти от домена например
если писмьо для mail.gorod1.domain.com то шлем писмо на соотвесвующий сервак (поп3)

итого кластер который обеспечивает доставку 5 машин,2 канала :-D :"":

зы: простота удобство , надежность админства, расширяемость :-D


вот такой вариант
Поподробней?

Аватара пользователя
m0ps
лейтенант
Сообщения: 986
Зарегистрирован: 2008-05-08 20:18:06
Откуда: Chernigov (Ukraine)
Контактная информация:

Re: Почтовый кластер!

Непрочитанное сообщение m0ps » 2010-12-10 11:46:23

z.l.0.y. писал(а):
m0ps писал(а):
z.l.0.y. писал(а):
m0ps писал(а):а что, у emc или xyratex нет средст для резервирования СХД в режиме Active/Active?
Выже было изложено мнение что может быть попытаться обойтись без СХД - так как это еще сильнее усложнить систему! Хранение писем будет осуществляться на серверах доменов.
Сейчас тестирую - уперся в кластерное хранение почты!
нда, как-то все сложно и запутанно с физ серверами...
мое решение задачи:
Cisco ASA 5505 (кстати, хватит ли ее производительности?) - держит двух провайдеров, переключаясь с основного канала на резервный через SLA
Кластер vSphere (который может использоваться не только для этой задачи) - минимум 2 сервера с редакцией Essential Plus (в ней есть HA и vMotion)
СХД - 2 emc или xyratex с резервирования в режиме Active/Active
Почтовый сервер - 1 VM под любой осью
Результат - имеем полностью отказоустойчивую серверную инфраструктуру
(для полного счастья вместо асы 5505 - 2 асы 5510 в failover режиме)
Первый хороший ответ!
сиськи 5505 - хватит мощности - уже тестил! Есть даже лицуха vmware essential plus kit for 3 hosts. Уже думал - но блин как то не охото выставлять наружу виртуальные машины! Как раз для этого и покупиались emc и xyratex. Как раз там и расположен сторадж! В следующем году может быть купим уже enterprise plus - тоггда появится FT.
СХД сейчас и работает в режиме active/active! Скорее всего именно это реение и возьму за основу!
В высовывании в DMZ не вижу ничего страшного, у самих так работает (главное не забывать вовремя ставить патчи).
если купите enterprise plus - вообще сказка, с FT можно совсем забыть про простои.
вообщем имея инфраструктуру VMware vSphere не вижу смысла городить что-то другое, остальные решения и рядом не стояли как по трудоемкости реализации и обслуживания, так и по наглядности.
кстати про безперебойники - у APC тоже есть софт, позволяющий корректно тушить инфраструктуру VMware, правда в отличие от EATON - он платный