Почтовый кластер!

[z.l.0.y.]

Вообщем такой сабж. Может кто-нибудь что нибудь умное подскажет.
Нагрузка 20 тыс пользователей. Структура: domenname.ru + 15 филиалов с именами типа xxx.domenname.ru, yyy.domenname.ru и т.д. Т.е. с доменов нужно будет релеить во внешний мир. Хранение почты - СХД - зеркальный хиратекс (обращаться буду к СХД по DRBD или может быть ATAE - естесно файловая система кластерная).
Хочу:
1. Дабы обезопасить себя в DNS сделать 2 записи на 2 разных IP типа как:

domenname.ru. IN MX 10 mail1.domenname.ru
domenname.ru. IN MX 10 mail2.domenname.ru

внешние Ip на интерфейс eth0
ПО: exim+dovecot+bind
Потом думал поднять heartbeat по интерфейсам eth1 - но потом понял что будет такая ситуация что провайдер отвалится, а по хардбиту будет цепляться именно к тому который отвалится от интернета - и это не дает разгрузки от сервера. Далее решил что это не выход. Решил делать зеркально зерверам mail1 и mail2 - сервера сцепленные хардбитом.
Кто подскажет как правильно реализовать с харбитом и схд!
Непотнятно как потом сделать релей с серверов mail.xxx.domenname.ru на сервера mail1.domenname.ru и mail2.domenname.ru :
smart_relay:
driver = manualroute
domains = ! +local_domains
transport = remote_smtp
route_data = relay.domenname.ru
(как разгрузить нагрузку и при этом что бы не оказалось так что почта будет пытаться уходить через сервер у которого умер интернет канал)

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[blade_007]

> как разгрузить нагрузку и при этом что бы не оказалось так что почта будет пытаться уходить через сервер у которого умер интернет канал
если не заморачиваться, то воспользоваться средствами iproute2 (в Linux) и самописным скриптом, который проверяет доступность канала, переключая на резервный в случае чего.

Что касается сабжа - разбейте на части. Может стоит подумать про подключение СХД по iSCSI? Вообщем, разбейте на подзадачи - может что и подскажут.

[z.l.0.y.]

> как разгрузить нагрузку и при этом что бы не оказалось так что почта будет пытаться уходить через сервер у которого умер интернет канал
если не заморачиваться, то воспользоваться средствами iproute2 (в Linux) и самописным скриптом, который проверяет доступность канала, переключая на резервный в случае чего.

Что касается сабжа - разбейте на части. Может стоит подумать про подключение СХД по iSCSI? Вообщем, разбейте на подзадачи - может что и подскажут.

ОК.
Для начала.

domenname.ru. IN MX 10 mail1.domenname.ru
domenname.ru. IN MX 10 mail2.domenname.ru

Как на них релеить при снижая нагрузку и так что бы при этом если канал провайдера сдох - то переключались на тот который жив. Самописными скриптами как то не интересно - хотелось бы через DNS что ли вырулить или OSPF. Короче вверху был оглашен первый вопрос!

[Alex Keda]

число писем в стуки?
антивирус?
антиспам?

[z.l.0.y.]

число писем в стуки?
антивирус?
антиспам?

Антивирус - ClamAV (может быть Symantec EndPoint Protection - но не знаю подцепиться ли он к эксиму)
Антиспам - spamassain + grey list

[Gloft]

Система разрабатывается заново или модернизируется существующая?
Как я понимаю провайдеров два.

Сначало лутьше определиться с обшим предствалением как будет работать почта, а потом переходить к вопросам о железе.
В идеале лутьше разделить задачи серверов, тоесть те которые передают/проверяют на вирусы и антиспам и на те которые хронят почту и обрабатывают запросы клиентов.

Доступность из инета можно реализовать как на уровне сетевого оборудовании так и несколькими почтовыми серверами.

[blade_007]

> как разгрузить нагрузку и при этом что бы не оказалось так что почта будет пытаться УХОДИТЬ через сервер у которого умер интернет канал
> Самописными скриптами как то не интересно

здесь самописные скрипты будут выбирать интерфейс, с которого будут УХОДИТЬ пакеты. Exim НЕ СМОЖЕТ понять упал ли канал или нет.

[blade_007]

Есть вариант когда, exim находится за firewall. В таком случае - для exim нет разницы с какого канала пришел пакет, этим займется шлюз-firewall.
OSPF - не вариант, поскольку придется задействовать провайдера (его роутеры). А если это будут 2 сервера с разными приоритетами в ДНС и одной БД пользователей?

[z.l.0.y.]

Система разрабатывается с нуля!
Провайдера 2!
Думаю на входе установить cisco asa 5505 (которая есть) и соответственно разместить в dmz зоне серваки и как раз сиськой вырулить доступность среваков!
С представлениями кто чем будет заниматься я понимаю - нагрузка от спамассин и кламава уж не серьезная чтобы перетасивать на другие серваки - железа много - другого покупать не буду и не смогу так как схд уже есть - хиратексы и emc !
Число писем - примерно 10000 наружу и столько же изнутри наружу + пересылка между внутренними доменами около 10000!
Мне никто не сказалл как быть с heartbeat + drbd! Перечитал много инфы - никаких конкретных решений пока нет!

[Gloft]

Мне никто не сказалл как быть с heartbeat + drbd! Перечитал много инфы - никаких конкретных решений пока нет!

Что именно тебя итерисует применять/не применять или как настраивать (http://www.opennet.ru/docs/RUS/ha_cluster/)?

[z.l.0.y.]

С хардбитом я работал как и с DRBD. Но как именно всё енто дело сочленить - никак не могу понять.
Для начала:
На входе сиська - она сможет поддерживать соединение от двух провайдеров. т.е. серваку будет пофигу куда его пакет идет (к одному провайдеру или к другогму). Точно так же и письма с внешнего мира будут приходить на один из доступных серверов!

Потом планирую каждый из этих серваков разрулить при помощи heartbeat. Т.е. всегда один серверов будет доступен. DRBD - буду использовать для СХД. Так как нужно где то будет хранить почту. Или может поднять iscsi target на обоих системах при помощи drbd за синхронизировать все это дело . и выложить туда /var/mail/

[Gloft]

Осталось только настроить.
Отпишись если есть сильные отличия/изменения от приведенной статьи http://www.opennet.ru/docs/RUS/ha_cluster/, опять же если будешь настраивать по ней.

[m0ps]

а что, у emc или xyratex нет средст для резервирования СХД в режиме Active/Active?

[z.l.0.y.]

а что, у emc или xyratex нет средст для резервирования СХД в режиме Active/Active?

Выже было изложено мнение что может быть попытаться обойтись без СХД - так как это еще сильнее усложнить систему! Хранение писем будет осуществляться на серверах доменов.
Сейчас тестирую - уперся в кластерное хранение почты!

[m0ps]

а что, у emc или xyratex нет средст для резервирования СХД в режиме Active/Active?

Выже было изложено мнение что может быть попытаться обойтись без СХД - так как это еще сильнее усложнить систему! Хранение писем будет осуществляться на серверах доменов.
Сейчас тестирую - уперся в кластерное хранение почты!

нда, как-то все сложно и запутанно с физ серверами...
мое решение задачи:
Cisco ASA 5505 (кстати, хватит ли ее производительности?) - держит двух провайдеров, переключаясь с основного канала на резервный через SLA
Кластер vSphere (который может использоваться не только для этой задачи) - минимум 2 сервера с редакцией Essential Plus (в ней есть HA и vMotion)
СХД - 2 emc или xyratex с резервирования в режиме Active/Active
Почтовый сервер - 1 VM под любой осью
Результат - имеем полностью отказоустойчивую серверную инфраструктуру
(для полного счастья вместо асы 5505 - 2 асы 5510 в failover режиме)

[m0ps]

ЗЫ
а если еще и модули CSC-SSM для антивирусной/антиспамовой проверки в асы втыкнуть...
ну и незабываем про ИБП, к примеру EATON имеет софт, умеющий работать с VMware vSphere. и про свичи хорошие (2960G к примеру) не забываем.

Реализация - элементарна, основная проблема - стоимость этого добра

[Gloft]

ЗЫ
а если еще и модули CSC-SSM для антивирусной/антиспамовой проверки в асы втыкнуть...
ну и незабываем про ИБП, к примеру EATON имеет софт, умеющий работать с VMware vSphere. и про свичи хорошие (2960G к примеру) не забываем.

Реализация - элементарна, основная проблема - стоимость этого добра

vSphere можно заменить на Xen в нем реализована и вполне работает(сам тестил) возможность перноса виртуальной машины с одного гипервизора на другой в случае если первый откажет (задержка в районе 1-2 секунд). Единственное для этого нужно иметь две одинаковые железки и сетевое хранилище. Вариант вполне бюджетный.

[m0ps]

ЗЫ
а если еще и модули CSC-SSM для антивирусной/антиспамовой проверки в асы втыкнуть...
ну и незабываем про ИБП, к примеру EATON имеет софт, умеющий работать с VMware vSphere. и про свичи хорошие (2960G к примеру) не забываем.

Реализация - элементарна, основная проблема - стоимость этого добра

vSphere можно заменить на Xen в нем реализована и вполне работает(сам тестил) возможность перноса виртуальной машины с одного гипервизора на другой в случае если первый откажет (задержка в районе 1-2 секунд). Единственное для этого нужно иметь две одинаковые железки и сетевое хранилище. Вариант вполне бюджетный.

а как же коммерческая поддержка? Имея нагрузку в 20 тыс пользователей я думаю без нее никак.

[Gloft]

Странный вопрос. Если человек использует такие решения как Exim или FreeBSD и не смущает отсутствие поддержки ,то наверное он справится и с Xen-ом.
В любом случае выбор за z.l.0.y.

[этоя]

вхоядщий траф можешь разделить ПФом

2а балансера(идентичных) имеющих записи
MX 10 каждый (без всяких там смтп и пр , просто баланс трафа)

каждый балансер кидает пакеты (раундробином) на ферму доставщиков (допустим 3 доставщика/релея)
аля как тут сделано для ВЭба http://house.hcn-strela.ru/BSDCert/BSDA ... balance-in

каждый из доставщиков имеет тоже идентичную конфигурацию
каждый из которых решает на какой смтп дальше отправить в зависимотсти от домена например
если писмьо для mail.gorod1.domain.com то шлем писмо на соотвесвующий сервак (поп3)

итого кластер который обеспечивает доставку 5 машин,2 канала

зы: простота удобство , надежность админства, расширяемость


вот такой вариант

[z.l.0.y.]

а что, у emc или xyratex нет средст для резервирования СХД в режиме Active/Active?

Выже было изложено мнение что может быть попытаться обойтись без СХД - так как это еще сильнее усложнить систему! Хранение писем будет осуществляться на серверах доменов.
Сейчас тестирую - уперся в кластерное хранение почты!

нда, как-то все сложно и запутанно с физ серверами...
мое решение задачи:
Cisco ASA 5505 (кстати, хватит ли ее производительности?) - держит двух провайдеров, переключаясь с основного канала на резервный через SLA
Кластер vSphere (который может использоваться не только для этой задачи) - минимум 2 сервера с редакцией Essential Plus (в ней есть HA и vMotion)
СХД - 2 emc или xyratex с резервирования в режиме Active/Active
Почтовый сервер - 1 VM под любой осью
Результат - имеем полностью отказоустойчивую серверную инфраструктуру
(для полного счастья вместо асы 5505 - 2 асы 5510 в failover режиме)

Первый хороший ответ!
сиськи 5505 - хватит мощности - уже тестил! Есть даже лицуха vmware essential plus kit for 3 hosts. Уже думал - но блин как то не охото выставлять наружу виртуальные машины! Как раз для этого и покупиались emc и xyratex. Как раз там и расположен сторадж! В следующем году может быть купим уже enterprise plus - тоггда появится FT.
СХД сейчас и работает в режиме active/active! Скорее всего именно это реение и возьму за основу!

[z.l.0.y.]

ЗЫ
а если еще и модули CSC-SSM для антивирусной/антиспамовой проверки в асы втыкнуть...
ну и незабываем про ИБП, к примеру EATON имеет софт, умеющий работать с VMware vSphere. и про свичи хорошие (2960G к примеру) не забываем.

Реализация - элементарна, основная проблема - стоимость этого добра

Вот как раз за реализацию я больше беспокоюсь - так как деньги выделяют! Главное сделать так что бы 0,99999 сделать Кг. Причем денег под exchange server в кластере не дали - да я и сам не хотел, хотел верхний сервер на unix.
Из бесперебойников стойки apc + apc БП
Из свитчей: 4948 10GE + 3750!

[z.l.0.y.]

вхоядщий траф можешь разделить ПФом

2а балансера(идентичных) имеющих записи
MX 10 каждый (без всяких там смтп и пр , просто баланс трафа)

каждый балансер кидает пакеты (раундробином) на ферму доставщиков (допустим 3 доставщика/релея)
аля как тут сделано для ВЭба http://house.hcn-strela.ru/BSDCert/BSDA ... balance-in

каждый из доставщиков имеет тоже идентичную конфигурацию
каждый из которых решает на какой смтп дальше отправить в зависимотсти от домена например
если писмьо для mail.gorod1.domain.com то шлем писмо на соотвесвующий сервак (поп3)

итого кластер который обеспечивает доставку 5 машин,2 канала

зы: простота удобство , надежность админства, расширяемость


вот такой вариант

Поподробней?

[m0ps]

а что, у emc или xyratex нет средст для резервирования СХД в режиме Active/Active?

Выже было изложено мнение что может быть попытаться обойтись без СХД - так как это еще сильнее усложнить систему! Хранение писем будет осуществляться на серверах доменов.
Сейчас тестирую - уперся в кластерное хранение почты!

нда, как-то все сложно и запутанно с физ серверами...
мое решение задачи:
Cisco ASA 5505 (кстати, хватит ли ее производительности?) - держит двух провайдеров, переключаясь с основного канала на резервный через SLA
Кластер vSphere (который может использоваться не только для этой задачи) - минимум 2 сервера с редакцией Essential Plus (в ней есть HA и vMotion)
СХД - 2 emc или xyratex с резервирования в режиме Active/Active
Почтовый сервер - 1 VM под любой осью
Результат - имеем полностью отказоустойчивую серверную инфраструктуру
(для полного счастья вместо асы 5505 - 2 асы 5510 в failover режиме)

Первый хороший ответ!
сиськи 5505 - хватит мощности - уже тестил! Есть даже лицуха vmware essential plus kit for 3 hosts. Уже думал - но блин как то не охото выставлять наружу виртуальные машины! Как раз для этого и покупиались emc и xyratex. Как раз там и расположен сторадж! В следующем году может быть купим уже enterprise plus - тоггда появится FT.
СХД сейчас и работает в режиме active/active! Скорее всего именно это реение и возьму за основу!

В высовывании в DMZ не вижу ничего страшного, у самих так работает (главное не забывать вовремя ставить патчи).
если купите enterprise plus - вообще сказка, с FT можно совсем забыть про простои.
вообщем имея инфраструктуру VMware vSphere не вижу смысла городить что-то другое, остальные решения и рядом не стояли как по трудоемкости реализации и обслуживания, так и по наглядности.
кстати про безперебойники - у APC тоже есть софт, позволяющий корректно тушить инфраструктуру VMware, правда в отличие от EATON - он платный