DSPAM: bailing on error -2

[drug]

Я понимаю, что тема избита, но все же.
При попытке переобучения dspam получаю следующую ошибку:

Код: Выделить всё

Nov 30 18:07:00 sys-bsd dspam[16988]: bailing on error -2
Nov 30 18:07:00 sys-bsd dspam[16988]: received invalid result (! DSR_ISSPAM || DSR_INNOCENT) : -2
Nov 30 18:07:00 sys-bsd dspam[16988]: process_message returned error -2.  dropping message.

Система: FreeBSD 6.2
DSPAM пытаюсь добавить к следующей связке Postfix + Cyrus-IMAP:
1. для отправки почты в мир используется generic_maps
2. для получения из мира: для не-unix аккаунтов virtual_mailbox_maps, для unix- пользователей virtual_alias_maps.
3. информация о пользователях в sasldb.

Соответсенно postfix настроен:

queue_directory = /var/spool/postfix
command_directory = /usr/local/sbin
daemon_directory = /usr/local/libexec/postfix
sendmail_path = /usr/local/sbin/sendmail
newaliases_path = /usr/local/bin/newaliases
mailq_path = /usr/local/bin/mailq
setgid_group = maildrop
html_directory = no
manpage_directory = /usr/local/man
sample_directory = /usr/local/etc/postfix
readme_directory = no
mail_owner = postfix
default_privs = nobody
myhostname = sys-bsd.kb.local
mydomain = kb.local
myorigin = $mydomain
minimal_backoff_time = 300
maximal_backoff_time = 3000
inet_interfaces = $myhostname, localhost
mydestination = $mydomain, $myhostname, localhost.$mydomain, localhost
local_recipient_maps = hash:/usr/local/etc/postfix/local_recipients $alias_maps
unknown_local_recipient_reject_code = 550
mynetworks = 127.0.0.0/8
relay_domains =
fast_flush_domains =
smtpd_sasl_path = smtpd
smtpd_sasl_auth_enable = yes
smtpd_sasl_local_domain = $myhostname
smtpd_sasl_security_options = noanonymous
smtpd_sasl_authenticated_header = yes
broken_sasl_auth_clients = yes
smtp_tls_security_level = may
smtpd_tls_security_level = may
smtpd_tls_auth_only = yes
smtpd_tls_CAfile = /var/spool/postfix/certs/ca-cert.pem
smtpd_tls_cert_file = /var/spool/postfix/certs/postfix-cert.pem
smtpd_tls_key_file = /var/spool/postfix/certs/postfix-key.pem
smtpd_tls_received_header = yes
smtpd_tls_ask_ccert = yes
relay_clientcerts = hash:/usr/local/etc/postfix/relay_clientcerts
smtpd_tls_loglevel = 1
tls_random_source = dev:/dev/urandom
proxy_interfaces = sys-gate.kb.local
smtp_generic_maps = hash:/usr/local/etc/postfix/generic
virtual_mailbox_domains = domain.ru
virtual_mailbox_maps = hash:/usr/local/etc/postfix/vmailbox
alias_maps = hash:/etc/mail/aliases
virtual_alias_maps = hash:/usr/local/etc/postfix/virtual
recipient_delimiter = +
virtual_transport = lmtp:unix:/var/imap/socket/lmtp
mailbox_transport = lmtp:unix:/var/imap/socket/lmtp

smtpd_helo_required = yes
strict_rfc821_envelopes = yes
disable_vrfy_command = yes
smtpd_soft_error_limit = 6
smtpd_soft_error_limit = 2
smtpd_hard_error_limit = 10
address_verify_negative_expire_time = 5d
address_verify_negative_refresh_time = 45m
address_verify_positive_expire_time = 28d
address_verify_positive_refresh_time = 7d
unverified_sender_reject_code = 550
header_checks = pcre:$config_directory/header_checks
mime_header_checks = $header_checks
message_size_limit = 3145728
smtpd_recipient_restrictions =
permit_mynetworks,
permit_tls_clientcerts,
permit_sasl_authenticated,
reject_unauth_destination,
reject_unknown_client_hostname,
reject_rbl_client dul.ru,
check_helo_access pcre:$config_directory/helo_checks,
reject_invalid_hostname,
reject_non_fqdn_hostname,
reject_unknown_hostname,
reject_non_fqdn_sender,
reject_unknown_sender_domain,
reject_unlisted_sender,
reject_unverified_sender,
reject_non_fqdn_recipient,
reject_unknown_recipient_domain,
reject_unlisted_recipient,
reject_unverified_recipient
smtpd_data_restrictions =
reject_unauth_pipelining,
reject_multi_recipient_bounce
smtpd_end_of_data_restrictions =
permit_mynetworks,
permit_tls_clientcerts,
permit_sasl_authenticated,
check_recipient_access pcre:$config_directory/dspam_checks
smtpd_etrn_restrictions =
permit_mynetworks,
reject

smtpd_banner = Com-Building LLC ESMTP $mail_name (mx.domain.ru)
smtp_always_send_ehlo = yes
smtp_helo_name = mx.domain.ru
local_destination_concurrency_limit = 2
debug_peer_level = 3

dspam_checks:

/./ FILTER dspam:unix:/var/run/dspam.sock

master.cf:

smtp inet n - n - - smtpd
pickup fifo n - n 60 1 pickup
cleanup unix n - n - 0 cleanup
qmgr fifo n - n 300 1 qmgr
tlsmgr unix - - n 1000? 1 tlsmgr
rewrite unix - - n - - trivial-rewrite
bounce unix - - n - 0 bounce
defer unix - - n - 0 bounce
trace unix - - n - 0 bounce
verify unix - - n - 1 verify
flush unix n - n 1000? 0 flush
proxymap unix - - n - - proxymap
smtp unix - - n - - smtp
relay unix - - n - - smtp
-o fallback_relay=
showq unix n - n - - showq
error unix - - n - - error
discard unix - - n - - discard
local unix - n n - - local
virtual unix - n n - - virtual
lmtp unix - - n - - lmtp
anvil unix - - n - 1 anvil
scache unix - - n - 1 scache
retry unix - - n - - error
dspam unix - - n - 5 lmtp

localhost:10026 inet n - n - - smtpd
-o content_filter=
-o receive_override_options=no_unknown_recipient_checks,no_header_body_checks
-o smtpd_helo_restrictions=
-o smtpd_client_restrictions=
-o smtpd_sender_restrictions=
-o smtpd_recipient_restrictions=permit_mynetworks,reject
-o mynetworks=127.0.0.0/8
-o smtpd_authorized_xforward_hosts=127.0.0.0/8

Конфиг DSPAM (DSPAM собран с поддержкой virtual_users):

Home /var/db/dspam
UserLog off
Notifications off
Opt out
LocalMX 127.0.0.1
MaxMessageSize 3145728
OnFail error
Debug *
DebugOpt process spam fp
TrackSources spam nonspam
ClientHost /var/run/dspam.sock
ClientIdent "sys-bsd21sEc6_t@Relay1"
DeliveryHost 127.0.0.1
DeliveryPort 10026
DeliveryIdent localhost
DeliveryProto SMTP
Trust root
Trust mail
Trust mailnull
Trust smmsp
Trust daemon
MySQLServer sys-core.kb.local
MySQLPort 3306
MySQLUser dspam
MySQLPass sp2mD
MySQLDb dspam
MySQLCompress true
MySQLSupressQuote on
MySQLConnectionCache 5
MySQLVirtualTable dspam_virtual_uids
MySQLVirtualUIDField uid
MySQLVirtualUsernameField username
MySQLUIDInSignature on

TrainingMode teft
TrainPristine on
TestConditionalTraining on
Algorithm chi-square
PValue robinson
Feature chained
Feature whitelist
Feature tb=6
ProcessorBias on
Preference "spamAction=tag"
Preference "spamSubject=[SPAM]"
Preference "signatureLocation=headers"
Preference "showFactors=off"
AllowOverride statisticalSedation
AllowOverride showFactors
AllowOverride optIn optOut
AllowOverride whitelistThreshold
FallbackDomains off
ParseToHeaders on
ChangeModeOnParse on
ChangeUserOnParse off
IgnoreHeader X-Spam-Status
IgnoreHeader X-Spam-Scanned
IgnoreHeader X-Spam-Flag
IgnoreHeader X-Spam-Yversion
IgnoreHeader X-Virus-Scanner-Result

Переобучать пытаюсь, согласно DSPAM README, при помощи системного алиаса:

$ cat /etc/mail/aliases|grep spam
spam: "|/usr/local/bin/dspamc --client --debug --class=spam --source=error"

Подскажите, где ошибаюсь?

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Alex Keda]

а демон запущен?

[drug]

конечно запущен:

Код: Выделить всё

$ sudo /usr/local/etc/rc.d/dspam status
dspam is running as pid 16988.

всю голову уже поломал

[Alex Keda]

пеерсобери дспам с дебагом.
будет больше инфы...

[drug]

Пересобран, ничего полезного не вижу ...

Код: Выделить всё

39070: [12/03/2007 11:28:08] _ds_getall_spamrecords: unable to _mysql_drv_getpwnam(kb.local)
39070: [12/03/2007 11:28:08] _ds_getall_spamrecords() failed
39070: [12/03/2007 11:28:08] _mysql_drv_get_spamtotals: unable to _mysql_drv_getpwnam(kb.local)

Запрос указанный в sql.errors, руками выполняется.

Какая информация нужна?

[drug]

Складывается такое ощущение, что DSPAM не может определить пользователя используя сигнатуру в заголовке письма.

[Alex Keda]

а у тя юзеры системые или нет?
если нет - надо с вирт. узерами собирать

[drug]

Ну, я выше писал - что пользователи виртуальные и DSPAM собран соответсвенно.
Кажется почти нашел суть проблемы, по крайней мере из консоли переобучил. По точнее установлю и отпишусь.

40181: [12/03/2007 13:47:53] input args: dspam --user drug --class=spam --source=error --signature=1,474fc0ad23296711073809
40181: [12/03/2007 13:47:53] pass-thru args:
40181: [12/03/2007 13:47:53] processing user drug
40181: [12/03/2007 13:47:53] uid = 0, euid = 0, gid = 0, egid = 0
40181: [12/03/2007 13:47:53] loading preferences for user drug
40181: [12/03/2007 13:47:53] default preferences empty. reverting to dspam.conf preferences.
40181: [12/03/2007 13:47:53] Loading preferences from dspam.conf
40181: [12/03/2007 13:47:53] aggregated preference 'spamAction' => 'tag'
40181: [12/03/2007 13:47:53] aggregated preference 'spamSubject' => '[SPAM]'
40181: [12/03/2007 13:47:53] aggregated preference 'signatureLocation' => 'headers'
40181: [12/03/2007 13:47:53] aggregated preference 'showFactors' => 'off'
40181: [12/03/2007 13:47:53] using /var/db/dspam/opt-in/drug.dspam as path
40181: [12/03/2007 13:47:53] using /var/db/dspam/opt-out/drug.nodspam as path
40181: [12/03/2007 13:47:53] sedation level set to: 5
40181: [12/03/2007 13:47:53] attribute IgnoreHeader = X-Spam-Status
40181: [12/03/2007 13:47:53] attribute IgnoreHeader = X-Spam-Scanned
40181: [12/03/2007 13:47:53] attribute IgnoreHeader = X-Spam-Flag
40181: [12/03/2007 13:47:53] attribute IgnoreHeader = X-Spam-Yversion
40181: [12/03/2007 13:47:53] attribute IgnoreHeader = X-Virus-Scanner-Result
40181: [12/03/2007 13:47:53] attribute LocalMX = 127.0.0.1
40181: [12/03/2007 13:47:53] attribute StorageDriver = /usr/local/lib/libmysql_drv.so
40181: [12/03/2007 13:47:53] attribute MySQLServer = sys-core.kb.local
40181: [12/03/2007 13:47:53] attribute MySQLPort = 3306
40181: [12/03/2007 13:47:53] attribute MySQLUser = dspam
40181: [12/03/2007 13:47:53] attribute MySQLPass = sp2mD
40181: [12/03/2007 13:47:53] attribute MySQLDb = dspam
40181: [12/03/2007 13:47:53] attribute MySQLCompress = true
40181: [12/03/2007 13:47:53] attribute MySQLSupressQuote = off
40181: [12/03/2007 13:47:53] attribute MySQLConnectionCache = 5
40181: [12/03/2007 13:47:53] attribute MySQLVirtualTable = dspam_virtual_uids
40181: [12/03/2007 13:47:53] attribute MySQLVirtualUIDField = uid
40181: [12/03/2007 13:47:53] attribute MySQLVirtualUsernameField = username
40181: [12/03/2007 13:47:53] attribute MySQLUIDInSignature = on
40181: [12/03/2007 13:47:53] attribute ProcessorBias = on
40181: [12/03/2007 13:47:53] loading preferences for user drug@kb.local
40181: [12/03/2007 13:47:53] default preferences empty. reverting to dspam.conf preferences.
40181: [12/03/2007 13:47:53] Loading preferences from dspam.conf
40181: [12/03/2007 13:47:53] aggregated preference 'spamAction' => 'tag'
40181: [12/03/2007 13:47:53] aggregated preference 'spamSubject' => '[SPAM]'
40181: [12/03/2007 13:47:53] aggregated preference 'signatureLocation' => 'headers'
40181: [12/03/2007 13:47:53] aggregated preference 'showFactors' => 'off'
40181: [12/03/2007 13:47:53] processing signature. length: 6408
40181: [12/03/2007 13:47:53] reversing 534 tokens
40181: [12/03/2007 13:47:53] mysql query length: 12095

40181: [12/03/2007 13:47:53] Control: [10 10] [11 9] Delta: [1 -1]
40181: [12/03/2007 13:47:53] reclassifying iteration 1 result: 0
40181: [12/03/2007 13:47:53] libdspam returned probability of 1.000000
40181: [12/03/2007 13:47:53] message result: SPAM
40181: [12/03/2007 13:47:53] appending header X-DSPAM-Reclassified: Spam
40181: [12/03/2007 13:47:53] appending header Subject: [SPAM]
40181: [12/03/2007 13:47:53] assembling component 0

[drug]

Итак, если кому-то интресно,рассказываю:
Чего хотели добиться - хотели добиться следующего заявленного в README функционала:

Because DSPAM learns each user's specific email behavior, it's necessary
to identify the user in order to program their specific filtering database.
This can be done in one of three ways:

The Simple Way:
If you are using the MySQL or PgSQL storage drivers, the original
numeric user id can be embedded in the signature, requiring only one
central spam alias to be necessary for the entire system. To configure
this, uncomment the appropriate UIDInSignature option in dspam.conf:
# MySQLUIDInSignature on
# PgSQLUIDInSignature on
Now all you'll need is a single system-wide alias, and DSPAM will train
the appropriate user when it sees the signature. An example of an alias
might look like:
spam:"|/usr/local/bin/dspam --user root --class=spam --source=error"
Similarly, you may also wish to have a false-positive alias for users who
prefer to tag spam rather than quarantine it:
notspam:"|/usr/local/bin/dspam --user root --class=innocent --source=error"
Note:
The 'root' user represents any existing user on the system. It is
necessary to supply a username on the commandline or DSPAM will bail on
an error, however the user will be changed internally once the signature
is read.

То есть не хотим учить пользователей перенаправлять почту на spam-local_part@domain.ru/nonspam-local_part@domain.ru, заводим в системе два указанных алиаса:

Код: Выделить всё

spam:"|/usr/local/bin/dspam --user root --class=spam --source=error"
notspam:"|/usr/local/bin/dspam --user root --class=innocent --source=error"

и пользуемся для определения пользователя - uid-ом, добавляемым в сигнатуру DSPAM.

Вот это у меня не работало.
Не работало потому что:
1. Разбирать header-ы в данном случае не надо. Почему - указанно в комментариях к этим параметрам в конф. файле DSPAM.

ParseToHeaders off
ChangeModeOnParse off
ChangeUserOnParse off

2. Разбирать сообщения в виде текста (если я правильно понимаю/перевожу) - тоже не надо:
TrainPristine off
3. Postfix у меня работает с привилегиями nobody, соответсвенно надо добавить:

Trust nobody

И самое главное: ЕСЛИ ПОЛЬЗОВАТЕЛЬ УКАЗАННЫЙ В КОМАНДНОЙ СТРОКЕ АЛИАСА НЕ СУЩЕСТВУЕТ В БД, ТО ПОЛУЧЕНИЕ UID ПО СИГНАТУРЕ НЕ РАБОТАЕТ.
Соответсвенно: Postfix запускает дочерние процессы с привилегиями nobody -> DSPAM работает от nobody (алиас) -> Необходимо наличие пользователя nobody в базе данных в таблице virtual_users.
Добавляем туда например так:

Код: Выделить всё

/usr/local/bin/dspam --debug --deliver=innocent --user nobody -- %u < spam.txt

Работает. Спасибо вот этому списку рассылки: http://dspam.nuclearelephant.com/dspam-users/1524.html
Жаль, что у DSPAM нет четкой документации.

Надеюсь поможет кому-либо.

[Al]

Если такая штука повторяется при движении с мускульными базами - удалил - добавил, то спасает переустановка дспама. не забываем удалить все из баз и папку /var/db/dspam перед переустановкой

[neyro]

Апаю старую тему, на данный момен тактуальна т.к. фикса нет (и похоже не будет..)
Ситуация: FreeBSD 6.2, DSPAM 3.6.8, Exim, courier-imap, mysql-5.0.x
Дспам обучен ~67000 писем спама, и ~7000 нормальных писем. 1 общий алиас (юзер) - общая база данных, обучение отключено.
В логах периодически вижу

Код: Выделить всё

Unable to attach DSPAM context. Retrying.

Код: Выделить всё

query error: MySQL server has gone away: see sql.errors for more details

Код: Выделить всё

bailing on error -2
received invalid result (! DSR_ISSPAM || DSR_INNOCENT) : -2
process_message returned error -2. delivering.
query error: MySQL server has gone away: see sql.errors for more details

При возниктовении этих ошибок дспам помечает письма как Innocent и пересылает как обычно, как результат спам пролазит.
Сервера работают в штатном режиме, загрузка процессоров менее 5%, пинги между серверами <1.
Кто что может сказать\посоветовать по этому поводу ? В рассылке очень давно проскакивала тема, что это происходит когда ДСПАМ не получает в реалтайме ответ от мускуля (а так при серьезной нагрузке будет часто т.к. выборка из 3+млн. таблицы сигнатур в реалтайме мало реальна и всегда есть небольшая задержка). Патчей я не видел, а переходить на альтернативные решения нет собого желания. Может кто-нибудь сможет дебагнуть и найти проблему ? Многие будут благодарны я думаю.

[Alex Keda]

Код: Выделить всё

see sql.errors for more details

[neyro]

Код: Выделить всё

MySQL server has gone away

и далее запрос на который оно ответа не получило. Собственно я думал, что из поста выше это будет очевидно

п.с. причем зависимости от размера запроса нет...т.е. оно может ругаеться и на

Код: Выделить всё

select uid from dspam_virtual_uids where username = 'system'

и на

Код: Выделить всё

MySQL server has gone away: select uid, token, spam_hits, innocent_hits from dspam_token_data where uid = 15 and token in('9975796396035698309','12957855157017821184','13421696286993909600','8805112906579777916','13636618196701151232','3454401651681525760','3335057567226265600','5282748543986989959','11786295189969043456',
'13591055619450990528','2354186336463749120','8887020648685909927','4575513154683011917','13541517555696979968','17384611666349043875','13710396955343091120','5842976179286441984','11788582210919174144',
'12604181072524087296','11007928268056431166','13701248798761767880','8063412609587846475','12749500997261151077','12957856980613988352','17382938304803086619','13049588714841239552','2074062200022064445',
'13046439771661442512','14720577370985440513','3165186113111326720','16324401393768949020','12076042572763331253','8781625194474748269','11093757984765705837','11785433209828007008','7896951865214120902',
'10255904288873575646','8565477261510180864','3126549390380922317','2921991733233319936','17285374419750400163','8851970219880318167','15298430589092578254','12957849899780538368','11797443106687680512',
'13299381737432809472','12886941691192013173','2868826035032214908','12208366995087818752','8848315951272411093','12954773738212937728','3470558474479167390','10291557799571606396','16982342510444539821',
'11785458649552388096','7970499667745388997','3214373865291513856','12001326772682870048','7671701936387541132','6757805109558386688')

и т.д...

[Alex Keda]

лог муси смотреть надо.
муся у вас падает по какой-то причине...
чё неясного-то? ))

[neyro]

С мусей все ок, даже примерно не могу представить как она может "падать"
последний кусок лога с сервера мускуля-

Код: Выделить всё

090101  3:01:27 [Note] /usr/libexec/mysqld: ready for connections.
Version: '5.0.45'  socket: '/var/lib/mysql/mysql.sock'  port: 3306  Source distribution

т.е. последнйи раз был рестарт в 3:01 1-го января (бесперебойник умер в серверной).
А это лог дспама:

Код: Выделить всё

mail	09:00:12	dspam	dspam[86799]: Unable to attach DSPAM context. Retrying.
mail	08:47:16	dspam	dspam[86799]: query error: MySQL server has gone away: see sql.errors for more details
mail	08:47:16	dspam	dspam[86799]: bailing on error -2
mail	08:47:16	dspam	dspam[86799]: process_message returned error -2. delivering.
mail	08:47:16	dspam	dspam[86799]: received invalid result (! DSR_ISSPAM || DSR_INNOCENT) : -2
mail	08:47:16	dspam	dspam[86799]: query error: MySQL server has gone away: see sql.errors for more details
mail	07:39:30	dspam	dspam[86799]: Unable to attach DSPAM context. Retrying.
mail	07:39:17	dspam	dspam[86799]: query error: MySQL server has gone away: see sql.errors for more details
mail	07:39:17	dspam	dspam[86799]: query error: MySQL server has gone away: see sql.errors for more details
mail	07:39:17	dspam	dspam[86799]: received invalid result (! DSR_ISSPAM || DSR_INNOCENT) : -2
mail	07:39:17	dspam	dspam[86799]: query error: MySQL server has gone away: see sql.errors for more details
mail	07:39:17	dspam	dspam[86799]: bailing on error -2
mail	07:39:17	dspam	dspam[86799]: process_message returned error -2. delivering.
mail	06:49:54	dspam	dspam[86799]: query error: MySQL server has gone away: see sql.errors for more details
mail	06:49:54	dspam	dspam[86799]: bailing on error -2
mail	06:49:54	dspam	dspam[86799]: received invalid result (! DSR_ISSPAM || DSR_INNOCENT) : -2
mail	06:49:54	dspam	dspam[86799]: query error: MySQL server has gone away: see sql.errors for more details
mail	06:49:54	dspam	dspam[86799]: process_message returned error -2. delivering.
mail	00:58:37	dspam	dspam[45806]: Daemon terminating on signal 15
mail	00:58:37	dspam	dspam[45806]: received signal. waiting for processing threads to exit.
mail	00:58:37	dspam	dspam[45806]: daemon is down.
mail	00:58:37	dspam	dspam[45806]: Daemon process exiting
mail	00:06:14	dspam	dspam[45806]: Unable to attach DSPAM context. Retrying.

т.е. это лог за сегодня.

[Alex Keda]

тем не менее - это проблемы с мусей.
может таймаут по запросам.... мож ещё чего