Настройка dspam

Qaz · Непрочитанное сообщение **Qaz** » 2007-03-06 10:55:29

Прикрутил к ексиму dspam по статье что у Лиса выложена...и когда я рапортую как бы про спам мне вылазит в логах вот такое

Mar 6 09:51:00 fire dspam[55447]: Unable to find a valid signature. Aborting.
Mar 6 09:51:00 fire dspam[55447]: process_message returned error -5. dropping message.
Mar 6 09:51:00 fire exim[55443]: 1HOURo-000EQD-BU <spam-shatsk@fire.lutsk.ua>: dspam_addspam_transport transport output: 55447: [03/06/2007 09:51:00] Unable to find a valid signature. Aborting.
Mar 6 09:51:00 fire exim[55443]: 1HOURo-000EQD-BU => shatsk <spam-shatsk@fire.lutsk.ua> F=<shatsk@fire.lutsk.ua> P=<shatsk@fire.lutsk.ua> R=dspam_addspam_router T=dspam_addspam_transport S=27004 QT=0s DT=0s
Mar 6 09:51:00 fire exim[55443]: 1HOURo-000EQD-BU Completed QT=0s

как бы не может найти сигнатуру для этого месседжа чтоли...кто знает в чём причина может быть?

Хостинг HostFood.ru · **Хостинг HostFood.ru**

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Qaz · Непрочитанное сообщение **Qaz** » 2007-03-06 12:48:44

Впринципе незнаю в этом или не в этом был косяк...потому что я еще и неправильно форвардил месседжы, но на форуме одном буржуйском нарыл такое:

Problem was:

dspam_signature_data & dspam_token_data had a wrong integer setting in the
UID field which was the result that everything above 65536 could not be
learned or associated anymore with the originated owner and thatґs why the
error message came up when turning on debugging:

16923: [08/21/2006 15:21:24] found signature
'69262,44e98eaf26691188969730'
16923: [08/21/2006 15:21:24] mysql_fetch_row() failed in _ds_get_signature
16923: [08/21/2006 15:21:24] DSPAM Instance Shutdown. Exit Code: 0

When we have altered the table properties to set the UID field from
"smallint(5)" to "int(10)" the problem was vanishing. He said that it was
his mistake in the beginning of the system built up. He never thought that
this system would ever have so many UIDs at all but now we have enough
space for UIDs, meaning 8^10 :-)

I`m sorry that iґve spammed this list but I do hope that this problem
which is solved now could help others who maybe have a simliar problem.

And the positive way of all this is: Iґve learned more about MySQL and
DSPAM

в общем что я и сделал...и сейчас вроде оно работает...покрайней мере такого косяка нет.

Alex Keda

тихо сам с собою я веду беседу....

))

Qaz · Непрочитанное сообщение **Qaz** » 2007-03-06 13:51:01

оказалось причина была в том что я неправильно форвардил месседжы %)

Zedik · Непрочитанное сообщение **Zedik** » 2007-03-06 14:50:51

а у кого Dspam хорошо отрабатывает?
а то вот все никак не могу понять, толи рано еще на него наезжать что не метит спам, толи он просто "кривой"

Код: Выделить всё

               TP True Positives:            102
                TN True Negatives:          34517
                FP False Positives:             1
                FN False Negatives:            31
                SC Spam Corpusfed:             10
                NC Nonspam Corpusfed:           0
                TL Training Left:               0
                SHR Spam Hit Rate          76.69%
                HSR Ham Strike Rate:        0.00%
                OCA Overall Accuracy:      99.91%

вот что в базе пользователя....а спам не метится

gregor · Непрочитанное сообщение **gregor** » 2007-03-06 16:08:20

Zedik писал(а):а у кого Dspam хорошо отрабатывает?
а то вот все никак не могу понять, толи рано еще на него наезжать что не метит спам, толи он просто "кривой"
Код: Выделить всё
               TP True Positives:            102
                TN True Negatives:          34517
                FP False Positives:             1
                FN False Negatives:            31
                SC Spam Corpusfed:             10
                NC Nonspam Corpusfed:           0
                TL Training Left:               0
                SHR Spam Hit Rate          76.69%
                HSR Ham Strike Rate:        0.00%
                OCA Overall Accuracy:      99.91%
вот что в базе пользователя....а спам не метится

Я вроде не жалуюсь, после месяца обучения на засвеченом ящике спам (около 500 штук в сутки) уменьшился с ~50% до 1-2 писем. Во внутренности не лазил, но через web вижу письма помеченые как спам.

Zedik · Непрочитанное сообщение **Zedik** » 2007-03-06 16:13:25

А можно секреты обучения?
и какая база- общая или у каждого пользователя своя?
можно статистку вашей базы? (dspam_stats -H username)
я вот обучаю тем что спам пересылаю на spam-system@domen.ru

gregor · Непрочитанное сообщение **gregor** » 2007-03-06 16:42:25

Всё настраивал по статье lissyary, и немного с сайта журнала "Системный администратор". Обучаю, шлю на spam-user@domain

Код: Выделить всё

                TP True Positives:            193
                TN True Negatives:           6570
                FP False Positives:             0
                FN False Negatives:           211
                SC Spam Corpusfed:             28
                NC Nonspam Corpusfed:           0
                TL Training Left:               0
                SHR Spam Hit Rate          47.77%
                HSR Ham Strike Rate:        0.00%
                OCA Overall Accuracy:      96.97%

Zedik · Непрочитанное сообщение **Zedik** » 2007-03-06 16:49:38

теже самые манипуляции....

Zedik · Непрочитанное сообщение **Zedik** » 2007-03-09 8:51:45

Толи я уже совсем сдвинулся, но никак

не могу понять систему Dspam...разъясните дураку, почему приходят письма, причем явный спам, который я уже не раз пересылал на spam-user@domen.ru (тобишь указывая что система ошиблась), а у него все равно X-DSPAM-Probability: 0.0000

gregor · Непрочитанное сообщение **gregor** » 2007-03-09 13:17:33

Zedik писал(а):Толи я уже совсем сдвинулся, но никак не могу понять систему Dspam...разъясните дураку, почему приходят письма, причем явный спам, который я уже не раз пересылал на spam-user@domen.ru (тобишь указывая что система ошиблась), а у него все равно X-DSPAM-Probability: 0.0000

А что в вебморде в history на эти письма говорит?

Zedik · Непрочитанное сообщение **Zedik** » 2007-03-09 13:22:38

gregor писал(а): А что в вебморде в history на эти письма говорит?

веб-морду толком то не прикрутил, сегодня вот занялся ею, может она что и подскажет...
но сейчас в хистори

An Error Has Occured
The following error occured while trying to process your request:
No historical data is available

If this problem persists, please contact your administrator.

gregor · Непрочитанное сообщение **gregor** » 2007-03-09 14:48:01

Zedik писал(а):
gregor писал(а): А что в вебморде в history на эти письма говорит?
веб-морду толком то не прикрутил, сегодня вот занялся ею, может она что и подскажет...
но сейчас в хистори
An Error Has Occured
The following error occured while trying to process your request:
No historical data is available

If this problem persists, please contact your administrator.

Это говорит о том что для юзера, под которым ты вошёл нет истории, ищи причину.

Zedik · Непрочитанное сообщение **Zedik** » 2007-03-09 16:03:01

gregor писал(а):
Zedik писал(а):
gregor писал(а): А что в вебморде в history на эти письма говорит?
веб-морду толком то не прикрутил, сегодня вот занялся ею, может она что и подскажет...
но сейчас в хистори
An Error Has Occured
The following error occured while trying to process your request:
No historical data is available

If this problem persists, please contact your administrator.
Это говорит о том что для юзера, под которым ты вошёл нет истории, ищи причину.

а что собой преставляет истоия? где она хранится? (сорри за тупняк)

gregor · Непрочитанное сообщение **gregor** » 2007-03-09 19:09:33

Zedik писал(а): [...]
а что собой преставляет истоия? где она хранится? (сорри за тупняк)

У меня на Debian

Код: Выделить всё

~# ls -la /var/lib/dspam/data
[...]
drwxrwx---   2 dspam dspam 4096 Mar  9 03:15 greg@domain
drwxrwx---   2 dspam dspam 4096 Mar  9 03:15 help@domain

Qaz · Непрочитанное сообщение **Qaz** » 2007-03-09 20:01:50

когда отправляеш репорт о спаме глянь в почтовые логи нету ли у тебя такого косяка как у меня

Qaz · Непрочитанное сообщение **Qaz** » 2007-03-10 19:40:19

кстати у меня у самого постоянно в письмах такое вот например

Return-path: <tina@easyfun.cc>
Envelope-to:
Delivery-date: Fri, 09 Mar 2007 03:01:09 +0200
Received: from mailnull by fire.lutsk.ua with spam-scanned (Exim 4.66 (FreeBSD))
(envelope-from <tina@easyfun.cc>)
id 1HPTTp-0003kG-9e
for ; Fri, 09 Mar 2007 03:01:09 +0200
Received: from mx.easyfun.cc ([81.31.44.69]:47255 helo=easyfun.cc)
by fire.lutsk.ua with esmtp (Exim 4.66 (FreeBSD))
(envelope-from <tina@easyfun.cc>)
id 1HPTTo-0003i8-S9
for ; Fri, 09 Mar 2007 03:01:09 +0200
Received: from 10.0.9.3
by easyfun.cc with asmtp (Exim)
id 1HPTRL-0001EE-0l (Exim)
for ; Fri, 09 Mar 2007 01:58:35 +0100
Message-ID: <020201c76197$3c7d2960$f9846221@cz09.easyfun.cc>
Subject: Unterm Rock siehts anders aus
Date: Fri, 9 Mar 2007 01:58:34 +0100
MIME-Version: 1.0
Content-Type: text/plain;
charset="iso-8859-1"
Content-Transfer-Encoding: quoted-printable
Thread-Index: Acdhlzw11f/j+Q+aRIuot11PJyjcvw==
To: medvedko@fire.lutsk.ua
From: "Tina" <tina@easyfun.cc>
X-Spam-Description: if spam count > 60 - this is spam
X-Spam-Count: 40
X-DSPAM-Result: Innocent
X-DSPAM-Processed: Fri Mar 9 03:01:09 2007
X-DSPAM-Confidence: 0.7777
X-DSPAM-Probability: 0.0000
X-DSPAM-Signature: 45f0b1d5143961680728247
X-DSPAM-Factors: 27,
Url*ua, 0.22222,
Url*lutsk, 0.22222,
Url*http, 0.22222,
Url*http, 0.22222,
Url*fire, 0.22222,
X-Spam-Description*60, 0.33333,
*From, 0.33333,
X-Spam-Description*spam+count, 0.33333,
*Mar, 0.33333,
X-Spam-Description*count, 0.33333,
X-Spam-Description*60+this, 0.33333,
X-Spam-Description*is, 0.33333,
X-Spam-Description*if+spam, 0.33333,
X-Spam-Description*>+60, 0.33333,
MIME-Version*1.0, 0.33333,
X-Spam-Description*this+is, 0.33333,
X-Spam-Description*spam, 0.33333,
X-Spam-Description*spam, 0.33333,
X-Spam-Description*if, 0.33333,
X-Spam-Description*is+spam, 0.33333,
X-Spam-Description*count+>, 0.33333,
X-Spam-Description*this, 0.33333,
X-Spam-Description*>, 0.33333,
Subject*siehts+anders, 0.40000,
5415, 0.40000,
Du+dich, 0.40000,
2426, 0.40000

Unsere Ladyboys haben ein s=FC=DFes Geheimnis, denn nach au=DFen sind =
sie die
verruchten Ladies und hei=DFen Vamps und unterm Rock baumelt dann doch =
ein
harter Pr=FCgel. Komm her und flirte mit scharfen Transen, die Dich =
ebenso
hei=DF und g-eil verf=FChren, wie die g-eilsten Po-r-nostars. Endlich =
mal was
probieren... http://www.easyfun.cc/?MID=3D10591287

Stell Dir vor, wie Du erst mit einer geilen Tussi an der Bar rumknutscht =
und
leckst und sp=E4ter von einem Kerl gheil verw=F6hnt wirst. Nichts ist =
hei=DFer,
als diese gheilen Fantasien richtig auszuleben und bei uns gibt es rund =
um
die Uhr genau das zu sehen, wovon Du ja doch sonst immer nur =
tr=E4umst...
http://www.easyfun.cc/?MID=3D10591287

- Surf-Tipp -=20
Naturgeilheit garantiert. Unsere Girls geben live am Telefon und =
zeitgleich
vor der Cam f=FCr dich alles. Echte Lust und hei=DFe Chats rund um die =
Uhr.
http://www.easyfun.cc/?MID=3D10563

Du willst keine er-otischen News und se-xy Angebote mehr bekommen? Wenn =
Du
wirklich auf ex-klusive An-gebote f=FCr Newsletterabonnenten verzichten
m=F6chtest, kannst Du dich mit einem Klick auf den nachfolgenden Link =
aus
dieser Mailingliste selbstst=E4ndig und sofort wirksam austragen.
http://www.easyfun.cc/a.php?adr=3Dmedve ... e.lutsk.ua

UM5678586

213 2425 236 218 1417 362
323 2426 244 218 2492 212
433 3423 352 315 3463 342
543 4423 461 412 4444 462
653 5453 575 514 5415 522
143 2252 236 298 1476 362
243 2263 234 288 2497 212
343 3234 332 375 3468 342
443 4235 431 462 4449 462
543 5236 535 554 5410 522

Zedik · Непрочитанное сообщение **Zedik** » 2007-03-11 17:03:07

у меня при попытке отправить письмо c рапортом на spam-system@domen.ru, в логи пишет

Код: Выделить всё

2007-03-11 16:48:15 1HQOPG-0006QC-RJ <spam-system@domen.ru>: dspam_addspam_transport transport output: 24691: [03/11/2007 16:48:15] Unable to find a valid signature. Aborting.
2007-03-11 16:48:15 1HQOPG-0006QC-RJ => system <spam-system@domen.ru> R=dspam_addspam_router T=dspam_addspam_transport
2007-03-11 16:48:15 1HQOPG-0006QC-RJ Completed

строчка process_message returned error -5. dropping message. не упоминается
да и базы подправил...

добавленострока Unable to find a valid signature. Aborting.символизирует о том что при попытке переобучения письмом, сигнатуру данного письма он не нашел в БД.
Теперь в расширенной статистике появилось:

Код: Выделить всё

TL Training Left:            2460

что ж....буду обучать...авось поможет

gregor · Непрочитанное сообщение **gregor** » 2007-03-11 17:49:10

Zedik писал(а): ...
добавленострока Unable to find a valid signature. Aborting.символизирует о том что при попытке переобучения письмом, сигнатуру данного письма он не нашел в БД.
Теперь в расширенной статистике появилось:
Код: Выделить всё
TL Training Left:            2460
что ж....буду обучать...авось поможет

А если у меня это значение стоит в 0, а спам ловится. Что это значит?

Zedik · Непрочитанное сообщение **Zedik** » 2007-03-11 17:59:22

gregor писал(а):
Zedik писал(а): ...
добавленострока Unable to find a valid signature. Aborting.символизирует о том что при попытке переобучения письмом, сигнатуру данного письма он не нашел в БД.
Теперь в расширенной статистике появилось:
Код: Выделить всё
TL Training Left:            2460
что ж....буду обучать...авось поможет
А если у меня это значение стоит в 0, а спам ловится. Что это значит?

я к тому что какие то изменения произошли все таки...хотя почему раньше 0 был- я хз...
что будет после обучения- тоже хз...
использую пока общую базу сигнатур, потом попробую индивидуально для каждого свою..(сразу не делаю- меня размеры будущей БД пугают)

Qaz · Непрочитанное сообщение **Qaz** » 2007-03-11 18:27:15

Zedik писал(а):у меня при попытке отправить письмо c рапортом на spam-system@domen.ru, в логи пишет
Код: Выделить всё
2007-03-11 16:48:15 1HQOPG-0006QC-RJ <spam-system@domen.ru>: dspam_addspam_transport transport output: 24691: [03/11/2007 16:48:15] Unable to find a valid signature. Aborting.
2007-03-11 16:48:15 1HQOPG-0006QC-RJ => system <spam-system@domen.ru> R=dspam_addspam_router T=dspam_addspam_transport
2007-03-11 16:48:15 1HQOPG-0006QC-RJ Completed
строчка process_message returned error -5. dropping message. не упоминается
да и базы подправил...

добавленострока Unable to find a valid signature. Aborting.символизирует о том что при попытке переобучения письмом, сигнатуру данного письма он не нашел в БД.
Теперь в расширенной статистике появилось:
Код: Выделить всё
TL Training Left:            2460
что ж....буду обучать...авось поможет

это ты походу настроил конфиг транспорта не так...тоесть у тебя сначала идёт доставка адресатам, а роздел в конфиге связанный с dspam'ом стоит после него, соответственно dspam не обрабатывает эти письма, посмотри детальную информацию любого месседжа пришедшего.

gregor · Непрочитанное сообщение **gregor** » 2007-03-11 19:16:52

Qaz писал(а): ...
это ты походу настроил конфиг транспорта не так...тоесть у тебя сначала идёт доставка адресатам, а роздел в конфиге связанный с dspam'ом стоит после него, соответственно dspam не обрабатывает эти письма, посмотри детальную информацию любого месседжа пришедшего.

Ты уверен? Мне казалось что, очерёдность транспорта не важна, очерёдность важна в роутерах а они потом вызывают соответствующий транспорт.

Qaz · Непрочитанное сообщение **Qaz** » 2007-03-11 23:41:52

gregor писал(а):
Qaz писал(а): ...
это ты походу настроил конфиг транспорта не так...тоесть у тебя сначала идёт доставка адресатам, а роздел в конфиге связанный с dspam'ом стоит после него, соответственно dspam не обрабатывает эти письма, посмотри детальную информацию любого месседжа пришедшего.
Ты уверен? Мне казалось что, очерёдность транспорта не важна, очерёдность важна в роутерах а они потом вызывают соответствующий транспорт.

угу, ты прав, я сначала написал, потом подумал

Zedik · Непрочитанное сообщение **Zedik** » 2007-03-12 9:43:57

вообщем если отключить все проверки HELO то начинают сыпаться помеченные письма, не все правда но есть...

forum.lissyara.su

Настройка dspam

Настройка dspam

Услуги хостинговой компании Host-Food.ru