Страница 1 из 1

Настройка dspam

Добавлено: 2007-03-06 10:55:29
Qaz
Прикрутил к ексиму dspam по статье что у Лиса выложена...и когда я рапортую как бы про спам мне вылазит в логах вот такое
Mar 6 09:51:00 fire dspam[55447]: Unable to find a valid signature. Aborting.
Mar 6 09:51:00 fire dspam[55447]: process_message returned error -5. dropping message.
Mar 6 09:51:00 fire exim[55443]: 1HOURo-000EQD-BU <spam-shatsk@fire.lutsk.ua>: dspam_addspam_transport transport output: 55447: [03/06/2007 09:51:00] Unable to find a valid signature. Aborting.
Mar 6 09:51:00 fire exim[55443]: 1HOURo-000EQD-BU => shatsk <spam-shatsk@fire.lutsk.ua> F=<shatsk@fire.lutsk.ua> P=<shatsk@fire.lutsk.ua> R=dspam_addspam_router T=dspam_addspam_transport S=27004 QT=0s DT=0s
Mar 6 09:51:00 fire exim[55443]: 1HOURo-000EQD-BU Completed QT=0s
как бы не может найти сигнатуру для этого месседжа чтоли...кто знает в чём причина может быть?

Добавлено: 2007-03-06 12:48:44
Qaz
Впринципе незнаю в этом или не в этом был косяк...потому что я еще и неправильно форвардил месседжы, но на форуме одном буржуйском нарыл такое:
Problem was:


dspam_signature_data & dspam_token_data had a wrong integer setting in the
UID field which was the result that everything above 65536 could not be
learned or associated anymore with the originated owner and thatґs why the
error message came up when turning on debugging:


16923: [08/21/2006 15:21:24] found signature
'69262,44e98eaf26691188969730'
16923: [08/21/2006 15:21:24] mysql_fetch_row() failed in _ds_get_signature
16923: [08/21/2006 15:21:24] DSPAM Instance Shutdown. Exit Code: 0


When we have altered the table properties to set the UID field from
"smallint(5)" to "int(10)" the problem was vanishing. He said that it was
his mistake in the beginning of the system built up. He never thought that
this system would ever have so many UIDs at all but now we have enough
space for UIDs, meaning 8^10 :-)


I`m sorry that iґve spammed this list but I do hope that this problem
which is solved now could help others who maybe have a simliar problem.


And the positive way of all this is: Iґve learned more about MySQL and
DSPAM :)

в общем что я и сделал...и сейчас вроде оно работает...покрайней мере такого косяка нет.

Добавлено: 2007-03-06 13:37:22
Alex Keda
тихо сам с собою я веду беседу.... :)))

Добавлено: 2007-03-06 13:51:01
Qaz
оказалось причина была в том что я неправильно форвардил месседжы %)

Добавлено: 2007-03-06 14:50:51
Zedik
а у кого Dspam хорошо отрабатывает?
а то вот все никак не могу понять, толи рано еще на него наезжать что не метит спам, толи он просто "кривой"

Код: Выделить всё

               TP True Positives:            102
                TN True Negatives:          34517
                FP False Positives:             1
                FN False Negatives:            31
                SC Spam Corpusfed:             10
                NC Nonspam Corpusfed:           0
                TL Training Left:               0
                SHR Spam Hit Rate          76.69%
                HSR Ham Strike Rate:        0.00%
                OCA Overall Accuracy:      99.91%
вот что в базе пользователя....а спам не метится :(

Добавлено: 2007-03-06 16:08:20
gregor
Zedik писал(а):а у кого Dspam хорошо отрабатывает?
а то вот все никак не могу понять, толи рано еще на него наезжать что не метит спам, толи он просто "кривой"

Код: Выделить всё

               TP True Positives:            102
                TN True Negatives:          34517
                FP False Positives:             1
                FN False Negatives:            31
                SC Spam Corpusfed:             10
                NC Nonspam Corpusfed:           0
                TL Training Left:               0
                SHR Spam Hit Rate          76.69%
                HSR Ham Strike Rate:        0.00%
                OCA Overall Accuracy:      99.91%
вот что в базе пользователя....а спам не метится :(
Я вроде не жалуюсь, после месяца обучения на засвеченом ящике спам (около 500 штук в сутки) уменьшился с ~50% до 1-2 писем. Во внутренности не лазил, но через web вижу письма помеченые как спам.

Добавлено: 2007-03-06 16:13:25
Zedik
А можно секреты обучения?
и какая база- общая или у каждого пользователя своя?
можно статистку вашей базы? (dspam_stats -H username)
я вот обучаю тем что спам пересылаю на spam-system@domen.ru

Добавлено: 2007-03-06 16:42:25
gregor
Всё настраивал по статье lissyary, и немного с сайта журнала "Системный администратор". Обучаю, шлю на spam-user@domain

Код: Выделить всё

                TP True Positives:            193
                TN True Negatives:           6570
                FP False Positives:             0
                FN False Negatives:           211
                SC Spam Corpusfed:             28
                NC Nonspam Corpusfed:           0
                TL Training Left:               0
                SHR Spam Hit Rate          47.77%
                HSR Ham Strike Rate:        0.00%
                OCA Overall Accuracy:      96.97%

Добавлено: 2007-03-06 16:49:38
Zedik
теже самые манипуляции.... :?

Добавлено: 2007-03-09 8:51:45
Zedik
Толи я уже совсем сдвинулся, но никак :twisted: не могу понять систему Dspam...разъясните дураку, почему приходят письма, причем явный спам, который я уже не раз пересылал на spam-user@domen.ru (тобишь указывая что система ошиблась), а у него все равно X-DSPAM-Probability: 0.0000
:?

Добавлено: 2007-03-09 13:17:33
gregor
Zedik писал(а):Толи я уже совсем сдвинулся, но никак :twisted: не могу понять систему Dspam...разъясните дураку, почему приходят письма, причем явный спам, который я уже не раз пересылал на spam-user@domen.ru (тобишь указывая что система ошиблась), а у него все равно X-DSPAM-Probability: 0.0000
:?
А что в вебморде в history на эти письма говорит?

Добавлено: 2007-03-09 13:22:38
Zedik
gregor писал(а): А что в вебморде в history на эти письма говорит?
веб-морду толком то не прикрутил, сегодня вот занялся ею, может она что и подскажет...
но сейчас в хистори
An Error Has Occured
The following error occured while trying to process your request:
No historical data is available

If this problem persists, please contact your administrator.

Добавлено: 2007-03-09 14:48:01
gregor
Zedik писал(а):
gregor писал(а): А что в вебморде в history на эти письма говорит?
веб-морду толком то не прикрутил, сегодня вот занялся ею, может она что и подскажет...
но сейчас в хистори
An Error Has Occured
The following error occured while trying to process your request:
No historical data is available

If this problem persists, please contact your administrator.
Это говорит о том что для юзера, под которым ты вошёл нет истории, ищи причину.

Добавлено: 2007-03-09 16:03:01
Zedik
gregor писал(а):
Zedik писал(а):
gregor писал(а): А что в вебморде в history на эти письма говорит?
веб-морду толком то не прикрутил, сегодня вот занялся ею, может она что и подскажет...
но сейчас в хистори
An Error Has Occured
The following error occured while trying to process your request:
No historical data is available

If this problem persists, please contact your administrator.
Это говорит о том что для юзера, под которым ты вошёл нет истории, ищи причину.
а что собой преставляет истоия? где она хранится? (сорри за тупняк)

Добавлено: 2007-03-09 19:09:33
gregor
Zedik писал(а): [...]
а что собой преставляет истоия? где она хранится? (сорри за тупняк)
У меня на Debian

Код: Выделить всё

~# ls -la /var/lib/dspam/data
[...]
drwxrwx---   2 dspam dspam 4096 Mar  9 03:15 greg@domain
drwxrwx---   2 dspam dspam 4096 Mar  9 03:15 help@domain

Добавлено: 2007-03-09 20:01:50
Qaz
когда отправляеш репорт о спаме глянь в почтовые логи нету ли у тебя такого косяка как у меня

Добавлено: 2007-03-10 19:40:19
Qaz
кстати у меня у самого постоянно в письмах такое вот например
Return-path: <tina@easyfun.cc>
Envelope-to:
Delivery-date: Fri, 09 Mar 2007 03:01:09 +0200
Received: from mailnull by fire.lutsk.ua with spam-scanned (Exim 4.66 (FreeBSD))
(envelope-from <tina@easyfun.cc>)
id 1HPTTp-0003kG-9e
for ; Fri, 09 Mar 2007 03:01:09 +0200
Received: from mx.easyfun.cc ([81.31.44.69]:47255 helo=easyfun.cc)
by fire.lutsk.ua with esmtp (Exim 4.66 (FreeBSD))
(envelope-from <tina@easyfun.cc>)
id 1HPTTo-0003i8-S9
for ; Fri, 09 Mar 2007 03:01:09 +0200
Received: from 10.0.9.3
by easyfun.cc with asmtp (Exim)
id 1HPTRL-0001EE-0l (Exim)
for ; Fri, 09 Mar 2007 01:58:35 +0100
Message-ID: <020201c76197$3c7d2960$f9846221@cz09.easyfun.cc>
Subject: Unterm Rock siehts anders aus
Date: Fri, 9 Mar 2007 01:58:34 +0100
MIME-Version: 1.0
Content-Type: text/plain;
charset="iso-8859-1"
Content-Transfer-Encoding: quoted-printable
Thread-Index: Acdhlzw11f/j+Q+aRIuot11PJyjcvw==
To: medvedko@fire.lutsk.ua
From: "Tina" <tina@easyfun.cc>
X-Spam-Description: if spam count > 60 - this is spam
X-Spam-Count: 40
X-DSPAM-Result: Innocent
X-DSPAM-Processed: Fri Mar 9 03:01:09 2007
X-DSPAM-Confidence: 0.7777
X-DSPAM-Probability: 0.0000
X-DSPAM-Signature: 45f0b1d5143961680728247
X-DSPAM-Factors: 27,
Url*ua, 0.22222,
Url*lutsk, 0.22222,
Url*http, 0.22222,
Url*http, 0.22222,
Url*fire, 0.22222,
X-Spam-Description*60, 0.33333,
*From, 0.33333,
X-Spam-Description*spam+count, 0.33333,
*Mar, 0.33333,
X-Spam-Description*count, 0.33333,
X-Spam-Description*60+this, 0.33333,
X-Spam-Description*is, 0.33333,
X-Spam-Description*if+spam, 0.33333,
X-Spam-Description*>+60, 0.33333,
MIME-Version*1.0, 0.33333,
X-Spam-Description*this+is, 0.33333,
X-Spam-Description*spam, 0.33333,
X-Spam-Description*spam, 0.33333,
X-Spam-Description*if, 0.33333,
X-Spam-Description*is+spam, 0.33333,
X-Spam-Description*count+>, 0.33333,
X-Spam-Description*this, 0.33333,
X-Spam-Description*>, 0.33333,
Subject*siehts+anders, 0.40000,
5415, 0.40000,
Du+dich, 0.40000,
2426, 0.40000

Unsere Ladyboys haben ein s=FC=DFes Geheimnis, denn nach au=DFen sind =
sie die
verruchten Ladies und hei=DFen Vamps und unterm Rock baumelt dann doch =
ein
harter Pr=FCgel. Komm her und flirte mit scharfen Transen, die Dich =
ebenso
hei=DF und g-eil verf=FChren, wie die g-eilsten Po-r-nostars. Endlich =
mal was
probieren... http://www.easyfun.cc/?MID=3D10591287

Stell Dir vor, wie Du erst mit einer geilen Tussi an der Bar rumknutscht =
und
leckst und sp=E4ter von einem Kerl gheil verw=F6hnt wirst. Nichts ist =
hei=DFer,
als diese gheilen Fantasien richtig auszuleben und bei uns gibt es rund =
um
die Uhr genau das zu sehen, wovon Du ja doch sonst immer nur =
tr=E4umst...
http://www.easyfun.cc/?MID=3D10591287

- Surf-Tipp -=20
Naturgeilheit garantiert. Unsere Girls geben live am Telefon und =
zeitgleich
vor der Cam f=FCr dich alles. Echte Lust und hei=DFe Chats rund um die =
Uhr.
http://www.easyfun.cc/?MID=3D10563

Du willst keine er-otischen News und se-xy Angebote mehr bekommen? Wenn =
Du
wirklich auf ex-klusive An-gebote f=FCr Newsletterabonnenten verzichten
m=F6chtest, kannst Du dich mit einem Klick auf den nachfolgenden Link =
aus
dieser Mailingliste selbstst=E4ndig und sofort wirksam austragen.
http://www.easyfun.cc/a.php?adr=3Dmedve ... e.lutsk.ua

UM5678586


213 2425 236 218 1417 362
323 2426 244 218 2492 212
433 3423 352 315 3463 342
543 4423 461 412 4444 462
653 5453 575 514 5415 522
143 2252 236 298 1476 362
243 2263 234 288 2497 212
343 3234 332 375 3468 342
443 4235 431 462 4449 462
543 5236 535 554 5410 522

Добавлено: 2007-03-11 17:03:07
Zedik
у меня при попытке отправить письмо c рапортом на spam-system@domen.ru, в логи пишет

Код: Выделить всё

2007-03-11 16:48:15 1HQOPG-0006QC-RJ <spam-system@domen.ru>: dspam_addspam_transport transport output: 24691: [03/11/2007 16:48:15] Unable to find a valid signature. Aborting.
2007-03-11 16:48:15 1HQOPG-0006QC-RJ => system <spam-system@domen.ru> R=dspam_addspam_router T=dspam_addspam_transport
2007-03-11 16:48:15 1HQOPG-0006QC-RJ Completed
строчка process_message returned error -5. dropping message. не упоминается
да и базы подправил... :?

добавленострока Unable to find a valid signature. Aborting.символизирует о том что при попытке переобучения письмом, сигнатуру данного письма он не нашел в БД.
Теперь в расширенной статистике появилось:

Код: Выделить всё

TL Training Left:            2460
что ж....буду обучать...авось поможет :twisted:

Добавлено: 2007-03-11 17:49:10
gregor
Zedik писал(а): ...
добавленострока Unable to find a valid signature. Aborting.символизирует о том что при попытке переобучения письмом, сигнатуру данного письма он не нашел в БД.
Теперь в расширенной статистике появилось:

Код: Выделить всё

TL Training Left:            2460
что ж....буду обучать...авось поможет :twisted:
А если у меня это значение стоит в 0, а спам ловится. Что это значит?

Добавлено: 2007-03-11 17:59:22
Zedik
gregor писал(а):
Zedik писал(а): ...
добавленострока Unable to find a valid signature. Aborting.символизирует о том что при попытке переобучения письмом, сигнатуру данного письма он не нашел в БД.
Теперь в расширенной статистике появилось:

Код: Выделить всё

TL Training Left:            2460
что ж....буду обучать...авось поможет :twisted:
А если у меня это значение стоит в 0, а спам ловится. Что это значит?
я к тому что какие то изменения произошли все таки...хотя почему раньше 0 был- я хз...
что будет после обучения- тоже хз...
использую пока общую базу сигнатур, потом попробую индивидуально для каждого свою..(сразу не делаю- меня размеры будущей БД пугают)

Добавлено: 2007-03-11 18:27:15
Qaz
Zedik писал(а):у меня при попытке отправить письмо c рапортом на spam-system@domen.ru, в логи пишет

Код: Выделить всё

2007-03-11 16:48:15 1HQOPG-0006QC-RJ <spam-system@domen.ru>: dspam_addspam_transport transport output: 24691: [03/11/2007 16:48:15] Unable to find a valid signature. Aborting.
2007-03-11 16:48:15 1HQOPG-0006QC-RJ => system <spam-system@domen.ru> R=dspam_addspam_router T=dspam_addspam_transport
2007-03-11 16:48:15 1HQOPG-0006QC-RJ Completed
строчка process_message returned error -5. dropping message. не упоминается
да и базы подправил... :?

добавленострока Unable to find a valid signature. Aborting.символизирует о том что при попытке переобучения письмом, сигнатуру данного письма он не нашел в БД.
Теперь в расширенной статистике появилось:

Код: Выделить всё

TL Training Left:            2460
что ж....буду обучать...авось поможет :twisted:
это ты походу настроил конфиг транспорта не так...тоесть у тебя сначала идёт доставка адресатам, а роздел в конфиге связанный с dspam'ом стоит после него, соответственно dspam не обрабатывает эти письма, посмотри детальную информацию любого месседжа пришедшего.

Добавлено: 2007-03-11 19:16:52
gregor
Qaz писал(а): ...
это ты походу настроил конфиг транспорта не так...тоесть у тебя сначала идёт доставка адресатам, а роздел в конфиге связанный с dspam'ом стоит после него, соответственно dspam не обрабатывает эти письма, посмотри детальную информацию любого месседжа пришедшего.
Ты уверен? Мне казалось что, очерёдность транспорта не важна, очерёдность важна в роутерах а они потом вызывают соответствующий транспорт.

Добавлено: 2007-03-11 23:41:52
Qaz
gregor писал(а):
Qaz писал(а): ...
это ты походу настроил конфиг транспорта не так...тоесть у тебя сначала идёт доставка адресатам, а роздел в конфиге связанный с dspam'ом стоит после него, соответственно dspam не обрабатывает эти письма, посмотри детальную информацию любого месседжа пришедшего.
Ты уверен? Мне казалось что, очерёдность транспорта не важна, очерёдность важна в роутерах а они потом вызывают соответствующий транспорт.
угу, ты прав, я сначала написал, потом подумал

Добавлено: 2007-03-12 9:43:57
Zedik
вообщем если отключить все проверки HELO то начинают сыпаться помеченные письма, не все правда но есть...