sa-learn SpamAssassin

[o2x]

Здравствуйте.

После обучении с помощью sa-learn, в базы bayes записываются домены, или отправители вместе с доменами? К примеру, после обучения письма от user1@domain.com, письма, с того же домена приходят.
Как просмотреть списки обученых доменов? В файле whitelist крякозябры....

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[dikens3]

Алгоритм распознавания спама регистрирует многое, а не только домен или ip-адрес отправителя.

[Agronom]

а в каком формате скармливать ему спам? В формате eml?

[dikens3]

а в каком формате скармливать ему спам? В формате eml?

Насколько помню ему нужна точная копия (со всеми заголовками) письма.

[o2x]

С Outlook вытягивал.
Формат *.msg.
После обучения он ввел в базу не только домены, но и отправители.
Вопрос, как просмотреть базу?

[dikens3]

С Outlook вытягивал.
Формат *.msg.
После обучения он ввел в базу не только домены, но и отправители.
Вопрос, как просмотреть базу?

Предположу,что никак.
http://krondix.blogspot.com/2006/10/k.html

[Agronom]

вот так оно экспортируется из Лотуса в eml:

Код: Выделить всё

Received:  from mydomain.ru ([192.168.0.1])          by mail.mydomain.ru (Lotus Domino Release 6.5.4)          with ESMTP id 2007040312231789-4483 ;          Tue, 3 Apr 2007 12:23:17 +0400
Received:  from kluser (helo=mail)	by mydomain.ru with local-smtp (Exim 4.43)	id 1HYeIQ-00062X-Du	for user@lst.mydomain.ru; Tue, 03 Apr 2007 12:23:18 +0400
Received:  from fwmail ([192.168.0.4] helo=mydomain.ru)	by mydomain.ru with esmtp (Exim 4.43)	id 1HYeIQ-00061n-34	for root@mydomain.ru; Tue, 03 Apr 2007 12:23:18 +0400
Received:  from exim by mydomain.ru with spam-scanned (Exim 4.43)	id 1HYeIM-0004Uu-2e	for root@mydomain.ru; Tue, 03 Apr 2007 12:23:17 +0400
X_Spam_Checker_Version:  SpamAssassin 3.1.0 (2005-09-13) on fwmail
X_Spam_Level:  
X_Spam_Status:  No, score=-0.4 required=6.0 tests=BAYES_00,EXTRA_MPART_TYPE,	FORGED_RCVD_HELO,HTML_MESSAGE autolearn=no version=3.1.0
Received:  from fibhost-106-180.fibernet.bacs-net.hu ([85.66.106.180] helo=advertising-search.com)	by mydomain.ru with smtp (Exim 4.43)	id 1HYeI9-0004Ty-Ce	for root@mydomain.ru; Tue, 03 Apr 2007 12:23:14 +0400
Received:  from dugo ([21.50.42.23])        by 85.66.106.180 (2.88.8/2.88.8) with SMTP id Ht6mnwdDLoaJnb;        Tue, 3 Apr 2007 10:23:18 +0200
$MessageID:  <001901c775da$18ea3130$0180742c@dugo>
From:  "Aoubrindle carrel" <aoubrindle@advertising-search.com>
SendTo:  "root" <root@mydomain.ru>
Subject:  her sampson many propylene
PostedDate:  03.04.2007 12:20:16
MIME_Version:  1.0
DeliveryPriority:  N
X_MSMail_Priority:  Normal
$Mailer:  Microsoft Outlook Express 6.00.2900.1409
X_MimeOLE:  Produced By Microsoft MimeOLE V6.00.2900.2962
SPAM:  "Aoubrindle carrel" <aoubrindle@advertising-search.com>
X_Anti_Virus:  Kaspersky Anti-Virus for MailServers 5.5.2/RELEASE, bases: 03042007 #273720, status: clean
$MIMETrack:  Itemize by SMTP Server on NIK01/MSC/RTS(Release 6.5.4|March 27, 2005) at 03.04.2007 12:23:18,MIME-CD by Notes Client on Sergey V Terehin/MSC/RTS(Release 6.5.4|March 27, 2005) at 03.04.2007 12:24:47,MIME-CD complete at 03.04.2007 12:24:47
SMTPOriginator:  aoubrindle@advertising-search.com
$UpdatedBy:  CN=NIK01/OU=MSC/O=RTS
scanned:  CN=NIK01/OU=MSC/O=RTS
$$$StopEMHANDLER:  $$$StopEMHAND
$Orig:  89060A06C5E845AEC32572B2002E140D
Categories:  
$Revisions:  
RouteServers:  CN=NIK01/OU=MSC/O=RTS
RouteTimes:  03.04.2007 12:23:18-03.04.2007 12:23:19
$MsgTrackFlags:  2
DeliveredDate:  03.04.2007 12:23:19

[dikens3]

http://spamassassin.apache.org/full/3.1 ... learn.html

Код: Выделить всё

--mbox                            Input sources are in mbox format
--mbx                             Input sources are in mbx format

Только в таких форматах.

[Agronom]

ёпрст! Как конвертировать в такой формат из Лотуса? Письма уже получены и на почтовом сервере их и следа не осталось

[dikens3]

ёпрст! Как конвертировать в такой формат из Лотуса? Письма уже получены и на почтовом сервере их и следа не осталось

Возможно не стоит ничего конвертировать? Может кидать копии приходящих сообщений куда-нибудь и потом оттуда брать и обучать?

[jeweller]

Короче спам ассасин ругается постояно вот таким образом. установелн по статье
http://wombat.stapravda.ru/spamass.shtml

Код: Выделить всё

Apr 20 11:10:26 mail spamd[16429]: mkdir /nonexistent: Permission denied at /usr/local/lib/perl5/site_perl/5.8.8/Mail/SpamAssassin.pm line 1536
Apr 20 11:10:26 mail spamd[16429]: locker: safe_lock: cannot create tmp lockfile /nonexistent/.spamassassin/auto-whitelist.lock.mail.promoil.ru.16429 for /nonexistent/.spamassassin/auto-whitelist.lock: No such file or directory
Apr 20 11:10:26 mail spamd[16429]: auto-whitelist: open of auto-whitelist file failed: locker: safe_lock: cannot create tmp lockfile /nonexistent/.spamassassin/auto-whitelist.lock.mail.promoil.ru.16429 for /nonexistent/.spamassassin/auto-whitelist.lock: No such file or directory
Apr 20 11:10:26 mail spamd[16429]: bayes: locker: safe_lock: cannot create tmp lockfile /nonexistent/.spamassassin/bayes.lock.mail.promoil.ru.16429 for /nonexistent/.spamassassin/bayes.lock: No such file or directory
Apr 20 11:10:26 mail spamd[16429]: spamd: clean message (0.0/5.0) for nobody:26 in 2.9 seconds, 3438281 bytes.
Apr 20 11:10:26 mail spamd[16429]: spamd: result: . 0 - scantime=2.9,size=3438281,user=nobody,uid=26,required_score=5.0,rhost=localhost.promoil.ru,raddr=127.0.0.1,rport=65261,mid=<1088713527.20070420110626@promoil.ru>,autolearn=failed
Apr 20 11:10:26 mail exim[19051]: 1HemJw-0004xH-V7 <= gerasim@promoil.ru H=(localhost) [192.168.1.2] I=[217.66.90.105]:25 P=esmtp S=3438194 id=1088713527.20070420110626@promoil.ru from <gerasim@promoil.ru> for garytolmatsky@optusnet.com.au
Apr 20 11:10:26 mail spamd[16426]: prefork: child states: II

вот конфиг спамассасина:

Код: Выделить всё

 rewrite_header Subject *****SPAM*****
 report_safe 1
 trusted_networks [b]bla bla bla... ^)[/b]
 required_score 5.0
 use_bayes 1
 bayes_auto_learn 1
 bayes_path              /usr/local/etc/spamassassin/bayes/
 bayes_file_mode         0666
 bayes_min_ham_num       1
 bayes_min_spam_num      1
 bayes_auto_learn        1
 auto_learn_threshold_nonspam    -2
 auto_learn_threshold_spam        8
 bayes_learn_to_journal  1
 skip_rbl_checks         0

 ok_languages            ru en
 ok_locales              ru en
 report_charset          windows-1251

что я не так делаю а?
база bayes не наполняется. каталог пустой. все права выставлены...
автообучение не произвоидтся.
иногда даже нужные письма отсеиваются.

[texman]

http://lists.freebsd.org/pipermail/free ... 01103.html

[jeweller]

очень странно но пользователя spamd не было в системе.. завел. может щас этих сообшений не будет про домашний каталог.
Что должно произойти или чт появиться в каталоге /usr/local/etc/spamassassin/bayes/
после запуска sa-learn --sync?
у меня в этом каталоге попрежнему пусто...

[jeweller]

после заведение пользователя spamd все те же ошибки прут.

[texman]

странно вот это:

bayes_path /usr/local/etc/spamassassin/bayes/

у мну в конфиге без последней косой черты т.е. вот так:


bayes_path /usr/local/etc/mail/spamassassin/bayes

и никакого каталога bayes у мну там нет, просто файлы базы баесовской...вот так

[texman]

При такой строке конфигурации у меня в директории

/usr/local/etc/mail/spamassassin/

создаются два файла - bayes_seen и bayes_toks

такие дела....

[jeweller]

убрал слэш после bayes, файлы создались... автообучение пошло...

но как быть с ошибками

Код: Выделить всё

Apr 20 11:10:26 mail spamd[16429]: mkdir /nonexistent: Permission denied at /usr/local/lib/perl5/site_perl/5.8.8/Mail/SpamAssassin.pm line 1536 
Apr 20 11:10:26 mail spamd[16429]: locker: safe_lock: cannot create tmp lockfile /nonexistent/.spamassassin/auto-whitelist.lock.mail.promoil.ru.16429 for /nonexistent/.spamassassin/auto-whitelist.lock: No such file or directory 
Apr 20 11:10:26 mail spamd[16429]: auto-whitelist: open of auto-whitelist file failed: locker: safe_lock: cannot create tmp lockfile /nonexistent/.spamassassin/auto-whitelist.lock.mail.promoil.ru.16429 for /nonexistent/.spamassassin/auto-whitelist.lock: No such file or directory 
Apr 20 11:10:26 mail spamd[16429]: bayes: locker: safe_lock: cannot create tmp lockfile /nonexistent/.spamassassin/bayes.lock.mail.promoil.ru.16429 for /nonexistent/.spamassassin/bayes.lock: No such file or directory

может быть эта фигня творится у меня потому что я не из портов ставил спамассасин, а довольно странным способом по статье? http://wombat.stapravda.ru/spamass.shtml

Код: Выделить всё

$ su
# perl -MCPAN -e shell
o conf prerequisites_policy ask

При первом запуске cpan shell потребуется ответить на несколько элементарных вопросов. А дальше еще проще.

cpan> install Digest::SHA1
cpan> install HTML::Parser
cpan> install Net::DNS
cpan> install Mail::SpamAssassin
cpan> quit

[jeweller]

Apr 20 23:10:01 mail spamd[21190]: bayes: cannot write to /usr/local/etc/spamassassin/bayes_journal, bayes db update ignored: Permission denied

а это теперь что за ошибка блин?
и кстати теперь обучение опять не работает.. блин переставлю я этот спамсасин заново чтоли

[jeweller]

есть такая команда у спамассасина
--add-addr-to-whitelist=addr.
так вот я заметил когда я добавляю руками адрес в белый лист то создается папка .spamassassin и в ней прописываются auto-withlist и user_def в рутовой папке.. а в логах пишет при каждой отправке и приеме что spamd не может создать папку /nonexistent. Почему он в рутовой папке создает эти файлы а не у себя в домашней? /var/spool/spamd. В /etc/passwd пути на домашнюю папку именно /var/spool/spamd, разрешения выставлены от пользователя который запускает спамассассин тоесть mailnull (exim так у меня называется)

[texman]

Ну фиг его знаить, у меня он в связке с сендмылом и настраивал я его опираясь на вот это:
http://www.3nity.ru/viewtopic.htm?t=1459

[jeweller]

решил я эту проблему довольно станным образом..
у пользователя nobody в /etc/passwd стоит в качестве домашней директории ./noexistent
ну и спамд пытается в эту директорию записать свои файл журнала и тд. я изменил нободи директорию на /var/spool/spamd. теперь ошибки нет и создается вайт-листы.. тперь вот надо подумать а не наделал ли я чего ..
очему спамд привязан к пользователю nobody:26? может это как то изменить и вернуть новбоди несуществующий домашний католог?

[texman]

есть такая команда у спамассасина
--add-addr-to-whitelist=addr.
так вот я заметил когда я добавляю руками адрес в белый лист то создается папка .spamassassin и в ней прописываются auto-withlist и user_def в рутовой папке...

Никогда не пользоввался непосредственно этой командой, я в local.cf просто
прописываю whitelist_from и все....

решил я эту проблему довольно станным образом..
у пользователя nobody в /etc/passwd стоит в качестве домашней директории ./noexistent
ну и спамд пытается в эту директорию записать свои файл журнала и тд. я изменил нободи директорию на /var/spool/spamd. теперь ошибки нет и создается вайт-листы.. тперь вот надо подумать а не наделал ли я чего ..
очему спамд привязан к пользователю nobody:26? может это как то изменить и вернуть новбоди несуществующий домашний католог?

Ну я не думаю, что это очень правильное решение, есть пользователь spamd, вот его и юзай, а нобади трогать не стоит. Пользователь у меня прописан в стартовом скрипте

spamd_flags=${spamd_flags:-"-c -d -Q -u spamd -s /var/log/spamd.log -r ${spamd_pidfile} "}

[Alex Keda]

Ну я не думаю, что это очень правильное решение, есть пользователь spamd, вот его и юзай, а нобади трогать не стоит. Пользователь у меня прописан в стартовом скрипте

spamd_flags=${spamd_flags:-"-c -d -Q -u spamd -s /var/log/spamd.log -r ${spamd_pidfile} "}

идея заюзать /etc/rc.conf не посещала? он и предназначен для задания всего этого, а не стартоывый скрпит

[texman]

Настраивал по документации, точно помню, что рекомендации оттуда, а вообще без разницы....

[jeweller]

у меня спамд запускается из скрипта пользователм mailnull тобишь Ексимом. а когда он пытается создать у себя в домашнем каталоге файлы блокировки и белого листа то почему то идет и смотрит на пользователя нободи и его домашний каталог.