расслыка около 2х миллионов получателей

EXIM, sendmail, postfix, Dovecot и прочие. Решение проблем связанных с работой электронной почты

Модератор: xM

Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
ttys
*BSD
Сообщения: 402
Зарегистрирован: 2009-06-26 8:37:11
Откуда: Ростов-на-Дону
Контактная информация:

расслыка около 2х миллионов получателей

Непрочитанное сообщение ttys » 2014-12-17 14:49:58

Есть рассылки утренние и вечерние и 2 миллиона получателей.
2 миллиона это учётки в интернет магазине и всем приходит рассылка 2 раза в сутки.
На сегодня частично фигачит перловый скрипт - который выгребает базу адресов из субд и шлёт всем письмо,
и часть утренних фигачит сторонняя контора которая занимается рассылками.

Уважаемые знатоки - внимание вопрос:
Надо выдуть 2 ляма писем
Как реализовать это без сторонней конторы и какое железо, канал, блок ИПов для этого надо?

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
Electronik
капитан
Сообщения: 1593
Зарегистрирован: 2008-11-15 17:32:56
Откуда: Минск
Контактная информация:

Re: расслыка около 2х миллионов получателей

Непрочитанное сообщение Electronik » 2014-12-17 15:35:42

http://habrahabr.ru/company/unisender/blog/107127/
https://support.google.com/mail/answer/ ... entication

Сколько в среднем будет весить одно письмо?
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог

Аватара пользователя
ttys
*BSD
Сообщения: 402
Зарегистрирован: 2009-06-26 8:37:11
Откуда: Ростов-на-Дону
Контактная информация:

Re: расслыка около 2х миллионов получателей

Непрочитанное сообщение ttys » 2014-12-17 15:39:32

всё выполняется и ключики тоже есть
Electronik писал(а): Сколько в среднем будет весить одно письмо?
не смотрел но мало т.к. там тупо текст и ссылки на картинки

Аватара пользователя
ttys
*BSD
Сообщения: 402
Зарегистрирован: 2009-06-26 8:37:11
Откуда: Ростов-на-Дону
Контактная информация:

Re: расслыка около 2х миллионов получателей

Непрочитанное сообщение ttys » 2014-12-17 15:52:32

Electronik писал(а): Сколько в среднем будет весить одно письмо?
хтмл файлик 17кб

Аватара пользователя
xM
ст. лейтенант
Сообщения: 1316
Зарегистрирован: 2009-01-15 23:57:41
Откуда: Königsberg
Контактная информация:

Re: расслыка около 2х миллионов получателей

Непрочитанное сообщение xM » 2014-12-17 15:57:59

Ну канал то посчитать просто более или менее.
Положим, письмо 20000 байтов * 2 Mегапользователя = 40 Гигабайтов или 400 Гигабит надо передать за одну рассылку.
Подавляющая часть рассылки будет идти на домены публичных почтовых служб. Полагая, что в среднем за одну сессию
они будут принимать одно письмо для 10 получателей имеем 40 Гигабит. Делим эту величину на нужное время вы получите
толщину канала.
Это, конечно, очень сильное упрощение, но сориентироваться можно.
IT voodoo blog https://kostikov.co

Аватара пользователя
ttys
*BSD
Сообщения: 402
Зарегистрирован: 2009-06-26 8:37:11
Откуда: Ростов-на-Дону
Контактная информация:

Re: расслыка около 2х миллионов получателей

Непрочитанное сообщение ttys » 2014-12-17 16:42:18

xM писал(а):Ну канал то посчитать просто более или менее.
Положим, письмо 20000 байтов * 2 Mегапользователя = 40 Гигабайтов или 400 Гигабит надо передать за одну рассылку.
Подавляющая часть рассылки будет идти на домены публичных почтовых служб.
если тут как бы всё ясно
xM писал(а): Полагая, что в среднем за одну сессию
они будут принимать одно письмо для 10 получателей имеем 40 Гигабит. Делим эту величину на нужное время вы получите
толщину канала.
Это, конечно, очень сильное упрощение, но сориентироваться можно.
то тут не совсем откуда взялось 10 получателей?
маилру яндекс и гугл или по 10 юзеров за раз?

на данный момент 20 ипов и рандомайзером в них рассылка идёт перлячным скриптом
стоит ставить exim или postfix для этих целей или доработать скриптец? (глубоко не ковырял как работает рассылка и её скорость у почтовиков)

ЗЫ скрипт юзает обычный модуль смтп днс ну и тд, плодит чилдренов и шлёт письма

Аватара пользователя
xM
ст. лейтенант
Сообщения: 1316
Зарегистрирован: 2009-01-15 23:57:41
Откуда: Königsberg
Контактная информация:

Re: расслыка около 2х миллионов получателей

Непрочитанное сообщение xM » 2014-12-17 17:13:47

ttys писал(а):то тут не совсем откуда взялось 10 получателей?
Эмпирическим путём по данным собственной рассылки, правда не столь масштабной.
Ею занимается старый добрый Mailman.
Цифра примерная для расчётов. Для разных MX она разная.
В принципе, 2 мегаписьма это не что-то там сверхъестественное.
MTA любой на ваш выбор. Но рекомендую настроить всевозможные SPF, ADSP и DKIM.
Я не знаю, как написан ваш perl-скрипт, но правильный подход, который, кстати, в полной мере реализует Mailman, состоит в том,
что количество генерируемых писем должно совпадать не количеством получателей, а с количеством MX, которые их поддерживают.
Если это будет сделано именно так, то ваш почтовый трафик сократится на три порядка, как минимум.
IT voodoo blog https://kostikov.co

Аватара пользователя
xM
ст. лейтенант
Сообщения: 1316
Зарегистрирован: 2009-01-15 23:57:41
Откуда: Königsberg
Контактная информация:

Re: расслыка около 2х миллионов получателей

Непрочитанное сообщение xM » 2014-12-17 17:32:25

Если у вас используется именно последний, правильный, механизм формирования писем, то тогда подсчёт будет другой.
Предположим, что ваших 2 мегапользователей обслуживает 2000 MX. Тогда на каждый приходится по 1000 пользователей в среднем.
Считаем 2000 MX * 20000 байт в письме * 10 бит в байте (грубый пересчёт для каналов связи) * 1000 пользователей / 10 получателей за один прием = 4 Гигабит на рассылку. Видим сокращение трафика на два порядка.
Ну, опять же, это очень грубо и, скорее всего, завышено на порядок.
К чему я вас веду? Да к тому, что с этой рассылкой справится ординарный сервер на более или менее толстом канале связи.
Грубо говоря, 4 Гигабит при идеальном раскладе вполне за пару часов способен раскидать 1 Мбитный канал (4 Гбит / 3600 секунд * коэффициент передаваемой служебной информации).

Хотя, я, возможно, где-то заблуждаюсь. Более опытные в массовой рассылке товарищи меня могут поправить.
IT voodoo blog https://kostikov.co

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35466
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: расслыка около 2х миллионов получателей

Непрочитанное сообщение Alex Keda » 2014-12-18 12:03:09

Письма-то уникальны, скорей всего
В каждом влеплено "здравствуйте Вася"....
Убей их всех! Бог потом рассортирует...

Аватара пользователя
ttys
*BSD
Сообщения: 402
Зарегистрирован: 2009-06-26 8:37:11
Откуда: Ростов-на-Дону
Контактная информация:

Re: расслыка около 2х миллионов получателей

Непрочитанное сообщение ttys » 2014-12-18 12:26:03

Alex Keda писал(а):Письма-то уникальны, скорей всего
В каждом влеплено "здравствуйте Вася"....
нет., это обычный хтмл файлик и всем он один и тот же (тупо информация о начале акции распродажи в магазине)

Аватара пользователя
xM
ст. лейтенант
Сообщения: 1316
Зарегистрирован: 2009-01-15 23:57:41
Откуда: Königsberg
Контактная информация:

Re: расслыка около 2х миллионов получателей

Непрочитанное сообщение xM » 2014-12-18 13:11:33

ttys писал(а):
Alex Keda писал(а):Письма-то уникальны, скорей всего
В каждом влеплено "здравствуйте Вася"....
нет., это обычный хтмл файлик и всем он один и тот же (тупо информация о начале акции распродажи в магазине)
Ну так и отлично. Что там - сотню-другую тысяч писем раскидать?
Никакого особого железа не надо для этого, равно как и канала. Настраивайте грамотно рассылку и софт.
IT voodoo blog https://kostikov.co

Аватара пользователя
ttys
*BSD
Сообщения: 402
Зарегистрирован: 2009-06-26 8:37:11
Откуда: Ростов-на-Дону
Контактная информация:

Re: расслыка около 2х миллионов получателей

Непрочитанное сообщение ttys » 2014-12-18 16:20:19

xM писал(а):
ttys писал(а):
Alex Keda писал(а):Письма-то уникальны, скорей всего
В каждом влеплено "здравствуйте Вася"....
нет., это обычный хтмл файлик и всем он один и тот же (тупо информация о начале акции распродажи в магазине)
Ну так и отлично. Что там - сотню-другую тысяч писем раскидать?
Никакого особого железа не надо для этого, равно как и канала. Настраивайте грамотно рассылку и софт.
были траблы с количеством ИПов и для этого их докупали, в итоге 20 ипов щас используется
кто нить знает пропорции ограничения на (писмьма/еденица времени с одного ИПа) для публичных почтовиков типа гугла яндекса и маилру?

ЗЫ всё это было до меня посему я не в курсе этой ситуации а в БАНю попадать не очень хочется :smile:

FiL
ст. лейтенант
Сообщения: 1375
Зарегистрирован: 2010-02-05 0:21:40

Re: расслыка около 2х миллионов получателей

Непрочитанное сообщение FiL » 2014-12-18 17:53:51

ttys писал(а): нет., это обычный хтмл файлик и всем он один и тот же (тупо информация о начале акции распродажи в магазине)
Нефиговые акции, по два раза в сутки каждый день :)

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35466
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: расслыка около 2х миллионов получателей

Непрочитанное сообщение Alex Keda » 2014-12-18 23:26:54

гуглы, яндексы и mail.ru - со всеми вполне можно договориться.
ну, может кроме mail.ru - они в принципе неадекваты.
--
у меня на больших рассылках были проблемы с яндексом - писал в саппорт, добавили IP куда-то у себя - проблем не стало
(но не мильёны. десятки тысяч, за несколько минут вытряхивал)
Убей их всех! Бог потом рассортирует...

Аватара пользователя
ttys
*BSD
Сообщения: 402
Зарегистрирован: 2009-06-26 8:37:11
Откуда: Ростов-на-Дону
Контактная информация:

Re: расслыка около 2х миллионов получателей

Непрочитанное сообщение ttys » 2014-12-19 11:15:10

FiL писал(а):
ttys писал(а): нет., это обычный хтмл файлик и всем он один и тот же (тупо информация о начале акции распродажи в магазине)
Нефиговые акции, по два раза в сутки каждый день :)
это уже маркетинг компании :-D