Растёт очередь в EXIM

[awamax]

Здравствуйте. Настроил EXIM по статье http://www.lissyara.su/?id=1173 всё отлично работает, прикрутил spamooborona по статье http://www.lissyara.su/?id=1720

Код: Выделить всё

# cat /usr/local/etc/exim/configure
#!/bin/sh
primary_hostname = mail.tiptop-ad.ru
hide mysql_servers = localhost/exim/exim/exim
#daemon_smtp_ports = 25 : 1025
local_interfaces = 127.0.0.1.25 : 127.0.0.1.1025 : 192.168.1.102.25
domainlist local_domains = ${lookup mysql{SELECT `domain` \
                            FROM `domain` WHERE \
                            `domain`='${domain}' AND \
                            `active`='1'}}

domainlist relay_to_domains = ${lookup mysql{SELECT `domain` \
                            FROM `domain` WHERE \
                            `domain`='${domain}' AND \
                            `active`='1'}}

hostlist   relay_from_hosts = localhost:127.0.0.0/8:192.168.1.0/24

acl_smtp_rcpt = acl_check_rcpt
acl_smtp_data = acl_check_data

av_scanner = clamd:/var/run/clamav/clamd.sock
qualify_domain = mail.tiptop-ad.ru
qualify_recipient = mail.tiptop-ad.ru
allow_domain_literals = false
exim_user = mailnull
exim_group = mail
never_users = root
rfc1413_query_timeout = 0s
sender_unqualified_hosts = +relay_from_hosts
recipient_unqualified_hosts = +relay_from_hosts
ignore_bounce_errors_after = 45m
timeout_frozen_after = 15d
helo_accept_junk_hosts = 192.168.1.0/24
auto_thaw = 1h
smtp_banner = "$primary_hostname, ESMTP EXIM $version_number"
smtp_accept_max = 100
smtp_accept_max_per_connection = 25
smtp_connect_backlog = 30
smtp_accept_max_per_host = 20
split_spool_directory = true
remote_max_parallel = 15
message_size_limit = 10M
helo_allow_chars = _
smtp_enforce_sync = true
log_selector = \
    +all_parents \
    +connection_reject \
    +incoming_interface \
    +lost_incoming_connection \
    +received_sender \
    +received_recipients \
    +smtp_confirmation \
    +smtp_syntax_error \
    +smtp_protocol_error \
    -queue_run
#log_file_path = syslog
#syslog_timestamp = yes
syslog_timestamp = no

begin acl

acl_check_rcpt:

#  accept  hosts = localhost:127.0.0.1
  accept hosts = :

  deny    message       = "incorrect symbol in address"
          domains       = +local_domains
          local_parts   = ^[.] : ^.*[@%!/|]

  deny    message       = "incorrect symbol in address"
          domains       = !+local_domains
          local_parts   = ^[./|] : ^.*[@%!] : ^.*/\\.\\./

#  accept  local_parts   = postmaster
#          domains       = +local_domains

  deny    message       = "HELO/EHLO require by SMTP RFC"
          condition     = ${if eq{$sender_helo_name}{}{yes}{no}}

  accept  authenticated = *

  deny    message       = "Your IP in HELO - access denied!"
          hosts         =  * : !+relay_from_hosts : !81-196.lissyara.su
          condition     = ${if eq{$sender_helo_name}\
    {$sender_host_address}{true}{false}}


  deny    condition     = ${if eq{$sender_helo_name}\
    {$interface_address}{yes}{no}}
          hosts         = !127.0.0.1 : !localhost : *
          message       = "main IP in your HELO! Access denied!"

  deny    condition     = ${if match{$sender_helo_name}\
    {\N^\d+$\N}{yes}{no}}
          hosts         = !127.0.0.1 : !localhost : *
          message       = "can not be only number in HELO!"

  deny    message       = "your hostname is bad (adsl, poll, ppp & etc)."
          condition     = ${if match{$sender_host_name} \
                               {adsl|dialup|pool|peer|dhcp} \
                               {yes}{no}}

#  deny    message       = "you in blacklist - $dnslist_domain \n $dnslist_text"
#          dnslists      = opm.blitzed.org : \
#                          cbl.abuseat.org : \
#                          bl.csma.biz : \
#                          dynablock.njabl.org

  warn
        set acl_m0 = 20s
  warn
        hosts = +relay_from_hosts:192.168.1.0/24
        set acl_m0 = 0s
  warn
        logwrite = Delay $acl_m0 for $sender_host_name \
[$sender_host_address] with HELO=$sender_helo_name. Mail \
from $sender_address to $local_part@$domain.
        delay = $acl_m0

                          
   accept  domains       = +local_domains
          endpass
          message       = "In my mailserver not stored this user"
          verify        = recipient

   accept  domains       = +relay_to_domains
          endpass
          message       = "main server not know how relay to this address"
          verify        = recipient


   accept  hosts         = +relay_from_hosts

   deny    message       = "Homo hominus lupus est"




acl_check_data:

  deny malware = *
  message = "In e-mail found VIRUS - $malware_name"

  accept



begin routers

spam_yandex_route:
    driver = manualroute
    transport = spamoborona
    domains = +local_domains
  ## no_verify
    condition = ${if eq {$interface_port}{25}{yes}{no}}
    #condition=${if !eq {$received_protocol}{local}}"
  ##  address_test = false
    route_data = localhost
    self = send


dnslookup:
  driver = dnslookup
  domains = ! +local_domains
  transport = remote_smtp
  ignore_target_hosts = 0.0.0.0 : 127.0.0.0/8
  no_more

system_aliases:
    driver      = redirect
    allow_fail
    allow_defer
    data = ${lookup mysql{SELECT `goto` FROM `alias` WHERE \
            `address`='${quote_mysql:$local_part@$domain}' OR \
                `address`='${quote_mysql:@$domain}'}}


dovecot_user:
  driver = accept
  condition = ${lookup mysql{SELECT `goto` FROM \
  `alias` WHERE\
  `address`='${quote_mysql:$local_part@$domain}' OR \
  `address`='${quote_mysql:@$domain}'}{yes}{no}}new/
  transport = dovecot_delivery


begin transports

remote_smtp:
  driver = smtp

spamoborona:
  driver = smtp
  allow_localhost = true
  port = 1125

dovecot_delivery:
  driver = pipe
  command = /usr/local/libexec/dovecot/deliver -d $local_part@$domain
  message_prefix =
  message_suffix =
  delivery_date_add
  envelope_to_add
  return_path_add
  log_output
  user = mailnull


address_pipe:
  driver = pipe
  return_output

address_reply:
  driver = autoreply



begin retry

# Address or Domain  Error   Retries
# -----------------  -----   -------
*                    *       F,2h,15m; G,16h,1h,1.5; F,4d,6h


begin rewrite


begin authenticators

auth_plain:
  driver = plaintext
  public_name = PLAIN
  server_condition = ${lookup mysql{SELECT `username` FROM \
                     `mailbox` WHERE `username` = \
                     '${quote_mysql:$auth2}' AND `password` = \
                     '${quote_mysql:$auth3}'}{yes}{no}}
  server_prompts = :
  server_set_id = $auth2

auth_login:
  driver = plaintext
  public_name = LOGIN
  server_condition = ${lookup mysql{SELECT `username` FROM \
                     `mailbox` WHERE `username` = \
                     '${quote_mysql:$auth1}' AND `password` = \
                     '${quote_mysql:$auth2}'}{yes}{no}}
  server_prompts = Username:: : Password::
  server_set_id = $auth1

auth_cram_md5:
  driver = cram_md5
  public_name = CRAM-MD5
  server_secret = ${lookup mysql{SELECT `password` FROM \
                        `mailbox` WHERE `username` \
                        = '${quote_mysql:$auth1}'}{$value}fail}
  server_set_id = $auth2

Посмотрел очередь сообщений, а она огромна, сообщений сикстиллиард.
Например:

Код: Выделить всё

0m  4.9K 1LuNKC-000BbD-3f <> *** frozen ***
          faca@westtelecom.ru

В логе касательно этого сообщения вот что:

Код: Выделить всё

cat /var/log/maillog | grep faca@westtelecom.ru
Apr 16 12:51:38 mail exim[44568]: Delay 20s for  [123.23.83.234] with HELO=[123.23.83.234]. Mail from faca@westtelecom.ru to sveta@tiptop-ad.ru.
Apr 16 12:51:59 mail exim[44568]: 1LuNKA-000Baq-S6 <= faca@westtelecom.ru H=([123.23.83.234]) [123.23.83.234] I=[192.168.1.102]:25 P=esmtp S=3794 id=0911819100.64627782730648@westtelecom.ru from <faca@westtelecom.ru> for sveta@tiptop-ad.ru
Apr 16 12:51:59 mail exim[44586]: Delay 0s for  [127.0.0.1] with HELO=mail.tiptop-ad.ru. Mail from faca@westtelecom.ru to sveta@tiptop-ad.ru.
Apr 16 12:52:00 mail exim[44586]: 1LuNKB-000Bb8-Uf <= faca@westtelecom.ru H=(mail.tiptop-ad.ru) [127.0.0.1] I=[127.0.0.1]:1025 P=esmtp S=4216 id=0911819100.64627782730648@westtelecom.ru from <faca@westtelecom.ru> for sveta@tiptop-ad.ru
Apr 16 12:52:00 mail sp-proxy-agent[48292]: For message from 127.0.0.1 will return ACCEPT, SKIP mailfrom: faca@westtelecom.ru, rcpto: sveta@tiptop-ad.ru 
Apr 16 12:52:00 mail exim[44591]: 1LuNKC-000BbD-3f <= <> R=1LuNKB-000Bb8-Uf U=mailnull P=local S=5041 from <> for faca@westtelecom.ru
Apr 16 12:52:00 mail exim[44592]: 1LuNKC-000BbD-3f ** faca@westtelecom.ru R=dnslookup T=remote_smtp: SMTP error from remote mail server after RCPT TO:<faca@westtelecom.ru>: host mxs.majordomo.ru [78.108.81.249]: 550 No thank you rejected: Account Unavailable: Possible Forgery

Помогите понять где дыра. Спасибо.

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[hizel]

http://www.lissyara.su/?id=1203#3.17 не?

[Morty]

у тебя помоему сервер не даст проверить наличие своих получателей - "денаи" смотри ( <> будет везде рубиться)

ЗЫ: запускай

Код: Выделить всё

exim -bh 123.23.83.234

эмулируй сессию и смотри где затык
как для норм ящиков так и для <> и прочих

для <>

Код: Выделить всё

helo ya.ru
mail from : <>
rcpt to: admin@firma.com

приблизительно так

[awamax]

Во все денаи поставил

Код: Выделить всё

!senders = :

например

Код: Выделить всё

  
deny    message       = "HELO/EHLO require by SMTP RFC"
          !senders = :
	  condition     = ${if eq{$sender_helo_name}{}{yes}{no}}

очистил очередь, всё равно растёт. Я так понимаю это письма которыми мой Exim проверяет отправителей.. Или я ничего не понимаю...

[Morty]

из подписи Laa

exim: помните, что выдавая deny, вы можете недоставить ваше же письмо, зарубив sender-verify удаленного MTA к вашему MTA!!!

[Morty]

возможно загвоздка в

Код: Выделить всё

local_interfaces = 127.0.0.1.25 : 127.0.0.1.1025 : 192.168.1.102.25

согласно http://www.exim.org/exim-html-current/d ... /ch30.html
первый адрес кторый укзан - отвечает за "исходящие подключения"

interface = <; 192.168.123.123 ; 3ffe:ffff:836f::fe86:a061

The first interface of the correct type (IPv4 or IPv6) is used for the outgoing connection. If none of them are the correct type, the option is ignored. If interface is not set, or is ignored, the system’s IP functions choose which interface to use if the host has more than one.

ЗЫ: попробуй поиграться с этой опц может поможет

[Laa]

1. Я бы отказался бы на вашем месте от использования domainlist relay_to_domains и local_domains в БД. Так как при росте нагрузки это лишний запрос в базу данных (а их уже будет туча), а моя практика показывает, что изменения в этих списках делаются крайне редко, можно и в текстовом файле хранить или в конфиге самом (что лучше).

2. Не понятно какой домен ваш. westtelecom.ru ваш? Если ваш, то почему:

Код: Выделить всё

R=dnslookup T=remote_smtp: SMTP error from remote mail server after 
RCPT TO:<faca@westtelecom.ru>: host mxs.majordomo.ru [78.108.81.249]: 
550 No thank you rejected: Account Unavailable: Possible Forgery

???

3. А что вообще в этом сообщении:

Код: Выделить всё

exim -Mvh 1LuNKC-000BbD-3f
exim -Mvb 1LuNKC-000BbD-3f

???

4. Ну и таки exim -bh IP для отладки. Проэмулируйте сессию доставки письма извне к себе. Посмотрите лог. Ну на крайний случай вывод сюда кидайте, если сами не справитесь.

[awamax]

В письмах следующее:

Код: Выделить всё

exim -Mvh 1LuiOi-000AQe-3g
1LuiOi-000AQe-3g-H
mailnull 26 6
<>
1239952924 0
-ident mailnull
-received_protocol local
-body_linecount 77
-max_received_linelength 314
-allow_unqualified_recipient
-allow_unqualified_sender
-frozen 1239952925
-localerror
XX
1
outwear9936@onlinecrimereporting.com

174P Received: from mailnull by mail.tiptop-ad.ru with local (Exim 4.69 (FreeBSD))
	id 1LuiOi-000AQe-3g
	for outwear9936@onlinecrimereporting.com; Fri, 17 Apr 2009 11:22:04 +0400
062  X-Failed-Recipients: garik@tiptop-ad.ru,
  elena@tiptop-ad.ru
029  Auto-Submitted: auto-replied
061F From: Mail Delivery System <Mailer-Daemon@mail.tiptop-ad.ru>
041T To: outwear9936@onlinecrimereporting.com
059  Subject: Mail delivery failed: returning message to sender
050I Message-Id: <E1LuiOi-000AQe-3g@mail.tiptop-ad.ru>
038  Date: Fri, 17 Apr 2009 11:22:04 +0400

[Laa]

А что говорит:

Код: Выделить всё

exim -Mvb 1LuiOi-000AQe-3g

[awamax]

Простите что то ступил, например вот:

Код: Выделить всё

exim -Mvh 1Lum6H-000HRt-JP
1Lum6H-000HRt-JP-H
mailnull 26 6
<>
1239967157 0
-ident mailnull
-received_protocol local
-body_linecount 51
-max_received_linelength 86
-allow_unqualified_recipient
-allow_unqualified_sender
-frozen 1239967161
-localerror
XX
1
xqaoxfkstyx@bqdesign.com.au

165P Received: from mailnull by mail.tiptop-ad.ru with local (Exim 4.69 (FreeBSD))
	id 1Lum6H-000HRt-JP
	for xqaoxfkstyx@bqdesign.com.au; Fri, 17 Apr 2009 15:19:17 +0400
040  X-Failed-Recipients: sveta@tiptop-ad.ru
029  Auto-Submitted: auto-replied
061F From: Mail Delivery System <Mailer-Daemon@mail.tiptop-ad.ru>
032T To: xqaoxfkstyx@bqdesign.com.au
059  Subject: Mail delivery failed: returning message to sender
050I Message-Id: <E1Lum6H-000HRt-JP@mail.tiptop-ad.ru>
038  Date: Fri, 17 Apr 2009 15:19:17 +0400
[mail:/home/max] # exim -Mvb 1Lum6H-000HRt-JP
1Lum6H-000HRt-JP-D
This message was created automatically by mail delivery software.

A message that you sent could not be delivered to one or more of its
recipients. This is a permanent error. The following address(es) failed:

  sveta@tiptop-ad.ru
    local delivery failed

------ This is a copy of the message, including all the headers. ------

Return-path: <xqaoxfkstyx@bqdesign.com.au>
Received: from [127.0.0.1] (helo=mail.tiptop-ad.ru)
	by mail.tiptop-ad.ru with esmtp (Exim 4.69 (FreeBSD))
	(envelope-from <xqaoxfkstyx@bqdesign.com.au>)
	id 1Lum6H-000HRo-Do
	for sveta@tiptop-ad.ru; Fri, 17 Apr 2009 15:19:17 +0400
X-Spam-Flag: SKIP
X-Spam-Yversion: Spamooborona-2.3
Received: from mail.tiptop-ad.ru (localhost [127.0.0.1]) 
	by mail.tiptop-ad.ru (Spamooborona SMTP proxy); Fri, 17 Apr 2009 15:19:17 +0400 (MSD)
Received: from [94.50.90.71]
	by mail.tiptop-ad.ru with esmtp (Exim 4.69 (FreeBSD))
	(envelope-from <xqaoxfkstyx@bqdesign.com.au>)
	id 1Lum6G-000HRN-O9
	for sveta@tiptop-ad.ru; Fri, 17 Apr 2009 15:19:17 +0400
Received: from [94.50.90.71] by smtp.bqdesign.com.au; Fri, 17 Apr 2009 14:19:16 +0300
From: =?koi8-r?B?/MzY2sE=?= <xqaoxfkstyx@bqdesign.com.au>
To: <sveta@tiptop-ad.ru>
Subject: =?koi8-r?B?8NLPxMHAINTB1c7IwdXTLiDzz8LT1NfFzs7Jyw==?=
Date: Fri, 17 Apr 2009 14:19:16 +0300
MIME-Version: 1.0
Content-Type: text/plain;
	charset="koi8-r"
Content-Transfer-Encoding: 8bit
X-Mailer: Microsoft Office Outlook, Build 11.0.7009
Thread-Index: Aca6Q1AR4RF04QXLONNEV6JJ021MQM==
X-MimeOLE: Produced By Microsoft MimeOLE V6.00.5600.2691
Message-ID: <01c9bf67$7d360a00$475a325e@xqaoxfkstyx>

 ?????? ???????? - 220?2. 2-? ?????????
           
???????. 19?? ?? ???? ?? ?????????? ?????
          
???? ????? III ?? 2009
            
?? ????????????.
             
8 965 135 8836

[awamax]

У меня есть предположение, что spamooboronа принимает письмо, так как работает smtp-proxy и не проверяет получателя, а потом в попытке его передать exim натыкается на то что получателя нет, и поэтому генерится отчёт об ошибке..

[Laa]

Если ящика sveta@ действительно нет, то попробуйте включить опцию no_verify в роутере спамобороны.

[awamax]

Сделал, не помогло...

[Laa]

А без спамобороны работает?

В логах спамобороны есть что-то полезное?

[awamax]

Спамооборона кладёт лог туда же

Код: Выделить всё

Apr 16 12:52:00 mail sp-proxy-agent[48292]: For message from 127.0.0.1 will return ACCEPT, SKIP mailfrom: faca@westtelecom.ru, rcpto: sveta@tiptop-ad.ru

[awamax]

Мне кажется, что я понял в чём причина. spamooborona работая как smtp - proxy принимает письма не проверяя поучателя, когда же она их передаёт после проверки exim а тот отдаёт эти письма dovecot, вот тут и появляется письмо с тем что адресат не существует. А возможно ли сделать проверку в ACL для входящих извне писем, на существует/не существует пользователь? Тоесть до начала работы роутеров? Тоесть чтобы уже в ACL проверено было, есть ли в в обслуживаемых доменах моим сервером такой юзер, если нет то отшибать???

[Laa]

Для этого и спрашивал я про no_verify, вернее предлагал...

[awamax]

Я включил no_verify

Код: Выделить всё

spam_yandex_route:
    driver = manualroute
    transport = spamoborona
    domains = +local_domains
    no_verify
    no_expn
    condition = ${if eq {$interface_port}{25}{yes}{no}}
    route_data = localhost
    self = send

[Laa]

1. сделайте тестовую доставку на несуществующего пользователя через exim -bh ....
2. проанализируйте ее.

3. подсказка: мне кажется что у вас кондишены с ошибками или не совсем рабочие в dovecot_user и system_aliases. Проверьте их. Как раз в exim -bh и проверите, может разве что чуток дебага добавьте.

[awamax]

Ошибка была тут:

Код: Выделить всё

dovecot_user:
  driver = accept
  condition = ${lookup mysql{SELECT `goto` FROM \
  `alias` WHERE\
  `address`='${quote_mysql:$local_part@$domain}' OR \
  `address`='${quote_mysql:@$domain}'}{yes}{no}}new/
  transport = dovecot_delivery

Нужно

Код: Выделить всё

dovecot_user:
  driver = accept
  condition = ${lookup mysql{SELECT `goto` FROM \
  `alias` WHERE\
  `address`='${quote_mysql:$local_part@$domain}' OR \
  `address`='${quote_mysql:@$domain}'}{yes}{no}}
  transport = dovecot_delivery