sa-learn SpamAssassin

EXIM, sendmail, postfix, Dovecot и прочие. Решение проблем связанных с работой электронной почты

Модератор: xM

Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
o2x
мл. сержант
Сообщения: 112
Зарегистрирован: 2007-01-31 17:46:54

sa-learn SpamAssassin

Непрочитанное сообщение o2x » 2007-04-02 13:48:19

Здравствуйте.

После обучении с помощью sa-learn, в базы bayes записываются домены, или отправители вместе с доменами? К примеру, после обучения письма от user1@domain.com, письма, с того же домена приходят.
Как просмотреть списки обученых доменов? В файле whitelist крякозябры....

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2460 рублей (8 CPU, 8Gb RAM, 2x500Gb HDD, RAID 3ware 9750):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
dikens3
подполковник
Сообщения: 4856
Зарегистрирован: 2006-09-06 16:24:08
Откуда: Нижний Новгород
Контактная информация:

Непрочитанное сообщение dikens3 » 2007-04-02 15:19:47

Алгоритм распознавания спама регистрирует многое, а не только домен или ip-адрес отправителя.
Лучше установить FreeBSD, чем потратить 30 лет на Linux'ы и выяснить какой из них хуже.

Аватара пользователя
Agronom
сержант
Сообщения: 297
Зарегистрирован: 2006-12-11 10:30:13

Непрочитанное сообщение Agronom » 2007-04-03 8:34:40

а в каком формате скармливать ему спам? В формате eml?

Аватара пользователя
dikens3
подполковник
Сообщения: 4856
Зарегистрирован: 2006-09-06 16:24:08
Откуда: Нижний Новгород
Контактная информация:

Непрочитанное сообщение dikens3 » 2007-04-03 10:15:44

Agronom писал(а):а в каком формате скармливать ему спам? В формате eml?
Насколько помню ему нужна точная копия (со всеми заголовками) письма.
Лучше установить FreeBSD, чем потратить 30 лет на Linux'ы и выяснить какой из них хуже.

Аватара пользователя
o2x
мл. сержант
Сообщения: 112
Зарегистрирован: 2007-01-31 17:46:54

Непрочитанное сообщение o2x » 2007-04-03 11:27:54

С Outlook вытягивал.
Формат *.msg.
После обучения он ввел в базу не только домены, но и отправители.
Вопрос, как просмотреть базу?

Аватара пользователя
dikens3
подполковник
Сообщения: 4856
Зарегистрирован: 2006-09-06 16:24:08
Откуда: Нижний Новгород
Контактная информация:

Непрочитанное сообщение dikens3 » 2007-04-03 11:30:08

o2x писал(а):С Outlook вытягивал.
Формат *.msg.
После обучения он ввел в базу не только домены, но и отправители.
Вопрос, как просмотреть базу?
Предположу,что никак.
http://krondix.blogspot.com/2006/10/k.html
Последний раз редактировалось dikens3 2007-04-03 12:09:22, всего редактировалось 1 раз.
Лучше установить FreeBSD, чем потратить 30 лет на Linux'ы и выяснить какой из них хуже.

Аватара пользователя
Agronom
сержант
Сообщения: 297
Зарегистрирован: 2006-12-11 10:30:13

Непрочитанное сообщение Agronom » 2007-04-03 11:48:52

вот так оно экспортируется из Лотуса в eml:

Код: Выделить всё

Received:  from mydomain.ru ([192.168.0.1])          by mail.mydomain.ru (Lotus Domino Release 6.5.4)          with ESMTP id 2007040312231789-4483 ;          Tue, 3 Apr 2007 12:23:17 +0400
Received:  from kluser (helo=mail)	by mydomain.ru with local-smtp (Exim 4.43)	id 1HYeIQ-00062X-Du	for user@lst.mydomain.ru; Tue, 03 Apr 2007 12:23:18 +0400
Received:  from fwmail ([192.168.0.4] helo=mydomain.ru)	by mydomain.ru with esmtp (Exim 4.43)	id 1HYeIQ-00061n-34	for root@mydomain.ru; Tue, 03 Apr 2007 12:23:18 +0400
Received:  from exim by mydomain.ru with spam-scanned (Exim 4.43)	id 1HYeIM-0004Uu-2e	for root@mydomain.ru; Tue, 03 Apr 2007 12:23:17 +0400
X_Spam_Checker_Version:  SpamAssassin 3.1.0 (2005-09-13) on fwmail
X_Spam_Level:  
X_Spam_Status:  No, score=-0.4 required=6.0 tests=BAYES_00,EXTRA_MPART_TYPE,	FORGED_RCVD_HELO,HTML_MESSAGE autolearn=no version=3.1.0
Received:  from fibhost-106-180.fibernet.bacs-net.hu ([85.66.106.180] helo=advertising-search.com)	by mydomain.ru with smtp (Exim 4.43)	id 1HYeI9-0004Ty-Ce	for root@mydomain.ru; Tue, 03 Apr 2007 12:23:14 +0400
Received:  from dugo ([21.50.42.23])        by 85.66.106.180 (2.88.8/2.88.8) with SMTP id Ht6mnwdDLoaJnb;        Tue, 3 Apr 2007 10:23:18 +0200
$MessageID:  <001901c775da$18ea3130$0180742c@dugo>
From:  "Aoubrindle carrel" <aoubrindle@advertising-search.com>
SendTo:  "root" <root@mydomain.ru>
Subject:  her sampson many propylene
PostedDate:  03.04.2007 12:20:16
MIME_Version:  1.0
DeliveryPriority:  N
X_MSMail_Priority:  Normal
$Mailer:  Microsoft Outlook Express 6.00.2900.1409
X_MimeOLE:  Produced By Microsoft MimeOLE V6.00.2900.2962
SPAM:  "Aoubrindle carrel" <aoubrindle@advertising-search.com>
X_Anti_Virus:  Kaspersky Anti-Virus for MailServers 5.5.2/RELEASE, bases: 03042007 #273720, status: clean
$MIMETrack:  Itemize by SMTP Server on NIK01/MSC/RTS(Release 6.5.4|March 27, 2005) at 03.04.2007 12:23:18,MIME-CD by Notes Client on Sergey V Terehin/MSC/RTS(Release 6.5.4|March 27, 2005) at 03.04.2007 12:24:47,MIME-CD complete at 03.04.2007 12:24:47
SMTPOriginator:  aoubrindle@advertising-search.com
$UpdatedBy:  CN=NIK01/OU=MSC/O=RTS
scanned:  CN=NIK01/OU=MSC/O=RTS
$$$StopEMHANDLER:  $$$StopEMHAND
$Orig:  89060A06C5E845AEC32572B2002E140D
Categories:  
$Revisions:  
RouteServers:  CN=NIK01/OU=MSC/O=RTS
RouteTimes:  03.04.2007 12:23:18-03.04.2007 12:23:19
$MsgTrackFlags:  2
DeliveredDate:  03.04.2007 12:23:19

Аватара пользователя
dikens3
подполковник
Сообщения: 4856
Зарегистрирован: 2006-09-06 16:24:08
Откуда: Нижний Новгород
Контактная информация:

Непрочитанное сообщение dikens3 » 2007-04-03 12:05:38

http://spamassassin.apache.org/full/3.1 ... learn.html

Код: Выделить всё

--mbox                            Input sources are in mbox format
--mbx                             Input sources are in mbx format
Только в таких форматах.
Лучше установить FreeBSD, чем потратить 30 лет на Linux'ы и выяснить какой из них хуже.

Аватара пользователя
Agronom
сержант
Сообщения: 297
Зарегистрирован: 2006-12-11 10:30:13

Непрочитанное сообщение Agronom » 2007-04-03 12:23:43

ёпрст! Как конвертировать в такой формат из Лотуса? Письма уже получены и на почтовом сервере их и следа не осталось

Аватара пользователя
dikens3
подполковник
Сообщения: 4856
Зарегистрирован: 2006-09-06 16:24:08
Откуда: Нижний Новгород
Контактная информация:

Непрочитанное сообщение dikens3 » 2007-04-03 12:48:02

Agronom писал(а):ёпрст! Как конвертировать в такой формат из Лотуса? Письма уже получены и на почтовом сервере их и следа не осталось
Возможно не стоит ничего конвертировать? Может кидать копии приходящих сообщений куда-нибудь и потом оттуда брать и обучать?
Лучше установить FreeBSD, чем потратить 30 лет на Linux'ы и выяснить какой из них хуже.

jeweller
сержант
Сообщения: 189
Зарегистрирован: 2006-11-17 21:58:43
Откуда: Самара
Контактная информация:

Непрочитанное сообщение jeweller » 2007-04-20 9:10:48

Короче спам ассасин ругается постояно вот таким образом. установелн по статье
http://wombat.stapravda.ru/spamass.shtml

Код: Выделить всё

Apr 20 11:10:26 mail spamd[16429]: mkdir /nonexistent: Permission denied at /usr/local/lib/perl5/site_perl/5.8.8/Mail/SpamAssassin.pm line 1536
Apr 20 11:10:26 mail spamd[16429]: locker: safe_lock: cannot create tmp lockfile /nonexistent/.spamassassin/auto-whitelist.lock.mail.promoil.ru.16429 for /nonexistent/.spamassassin/auto-whitelist.lock: No such file or directory
Apr 20 11:10:26 mail spamd[16429]: auto-whitelist: open of auto-whitelist file failed: locker: safe_lock: cannot create tmp lockfile /nonexistent/.spamassassin/auto-whitelist.lock.mail.promoil.ru.16429 for /nonexistent/.spamassassin/auto-whitelist.lock: No such file or directory
Apr 20 11:10:26 mail spamd[16429]: bayes: locker: safe_lock: cannot create tmp lockfile /nonexistent/.spamassassin/bayes.lock.mail.promoil.ru.16429 for /nonexistent/.spamassassin/bayes.lock: No such file or directory
Apr 20 11:10:26 mail spamd[16429]: spamd: clean message (0.0/5.0) for nobody:26 in 2.9 seconds, 3438281 bytes.
Apr 20 11:10:26 mail spamd[16429]: spamd: result: . 0 - scantime=2.9,size=3438281,user=nobody,uid=26,required_score=5.0,rhost=localhost.promoil.ru,raddr=127.0.0.1,rport=65261,mid=<1088713527.20070420110626@promoil.ru>,autolearn=failed
Apr 20 11:10:26 mail exim[19051]: 1HemJw-0004xH-V7 <= gerasim@promoil.ru H=(localhost) [192.168.1.2] I=[217.66.90.105]:25 P=esmtp S=3438194 id=1088713527.20070420110626@promoil.ru from <gerasim@promoil.ru> for garytolmatsky@optusnet.com.au
Apr 20 11:10:26 mail spamd[16426]: prefork: child states: II
вот конфиг спамассасина:

Код: Выделить всё

 rewrite_header Subject *****SPAM*****
 report_safe 1
 trusted_networks [b]bla bla bla... ^)[/b]
 required_score 5.0
 use_bayes 1
 bayes_auto_learn 1
 bayes_path              /usr/local/etc/spamassassin/bayes/
 bayes_file_mode         0666
 bayes_min_ham_num       1
 bayes_min_spam_num      1
 bayes_auto_learn        1
 auto_learn_threshold_nonspam    -2
 auto_learn_threshold_spam        8
 bayes_learn_to_journal  1
 skip_rbl_checks         0

 ok_languages            ru en
 ok_locales              ru en
 report_charset          windows-1251

что я не так делаю а?
база bayes не наполняется. каталог пустой. все права выставлены...
автообучение не произвоидтся.
иногда даже нужные письма отсеиваются.

Аватара пользователя
texman
рядовой
Сообщения: 32
Зарегистрирован: 2007-02-16 16:27:30
Откуда: Калининград

Непрочитанное сообщение texman » 2007-04-20 9:51:01


jeweller
сержант
Сообщения: 189
Зарегистрирован: 2006-11-17 21:58:43
Откуда: Самара
Контактная информация:

Непрочитанное сообщение jeweller » 2007-04-20 13:41:12

очень странно но пользователя spamd не было в системе.. завел. может щас этих сообшений не будет про домашний каталог.
Что должно произойти или чт появиться в каталоге /usr/local/etc/spamassassin/bayes/
после запуска sa-learn --sync?
у меня в этом каталоге попрежнему пусто...

jeweller
сержант
Сообщения: 189
Зарегистрирован: 2006-11-17 21:58:43
Откуда: Самара
Контактная информация:

Непрочитанное сообщение jeweller » 2007-04-20 14:05:41

после заведение пользователя spamd все те же ошибки прут.

Аватара пользователя
texman
рядовой
Сообщения: 32
Зарегистрирован: 2007-02-16 16:27:30
Откуда: Калининград

Непрочитанное сообщение texman » 2007-04-20 16:53:11

странно вот это:

bayes_path /usr/local/etc/spamassassin/bayes/

у мну в конфиге без последней косой черты т.е. вот так:


bayes_path /usr/local/etc/mail/spamassassin/bayes

и никакого каталога bayes у мну там нет, просто файлы базы баесовской...вот так

Аватара пользователя
texman
рядовой
Сообщения: 32
Зарегистрирован: 2007-02-16 16:27:30
Откуда: Калининград

Непрочитанное сообщение texman » 2007-04-20 17:03:03

При такой строке конфигурации у меня в директории

/usr/local/etc/mail/spamassassin/

создаются два файла - bayes_seen и bayes_toks

такие дела....

jeweller
сержант
Сообщения: 189
Зарегистрирован: 2006-11-17 21:58:43
Откуда: Самара
Контактная информация:

Непрочитанное сообщение jeweller » 2007-04-20 18:19:14

убрал слэш после bayes, файлы создались... автообучение пошло...

но как быть с ошибками

Код: Выделить всё

Apr 20 11:10:26 mail spamd[16429]: mkdir /nonexistent: Permission denied at /usr/local/lib/perl5/site_perl/5.8.8/Mail/SpamAssassin.pm line 1536 
Apr 20 11:10:26 mail spamd[16429]: locker: safe_lock: cannot create tmp lockfile /nonexistent/.spamassassin/auto-whitelist.lock.mail.promoil.ru.16429 for /nonexistent/.spamassassin/auto-whitelist.lock: No such file or directory 
Apr 20 11:10:26 mail spamd[16429]: auto-whitelist: open of auto-whitelist file failed: locker: safe_lock: cannot create tmp lockfile /nonexistent/.spamassassin/auto-whitelist.lock.mail.promoil.ru.16429 for /nonexistent/.spamassassin/auto-whitelist.lock: No such file or directory 
Apr 20 11:10:26 mail spamd[16429]: bayes: locker: safe_lock: cannot create tmp lockfile /nonexistent/.spamassassin/bayes.lock.mail.promoil.ru.16429 for /nonexistent/.spamassassin/bayes.lock: No such file or directory
может быть эта фигня творится у меня потому что я не из портов ставил спамассасин, а довольно странным способом по статье? http://wombat.stapravda.ru/spamass.shtml

Код: Выделить всё

$ su
# perl -MCPAN -e shell
o conf prerequisites_policy ask

При первом запуске cpan shell потребуется ответить на несколько элементарных вопросов. А дальше еще проще.

cpan> install Digest::SHA1
cpan> install HTML::Parser
cpan> install Net::DNS
cpan> install Mail::SpamAssassin
cpan> quit

jeweller
сержант
Сообщения: 189
Зарегистрирован: 2006-11-17 21:58:43
Откуда: Самара
Контактная информация:

Непрочитанное сообщение jeweller » 2007-04-20 21:05:49

Apr 20 23:10:01 mail spamd[21190]: bayes: cannot write to /usr/local/etc/spamassassin/bayes_journal, bayes db update ignored: Permission denied

а это теперь что за ошибка блин?
и кстати теперь обучение опять не работает.. блин переставлю я этот спамсасин заново чтоли

jeweller
сержант
Сообщения: 189
Зарегистрирован: 2006-11-17 21:58:43
Откуда: Самара
Контактная информация:

Непрочитанное сообщение jeweller » 2007-04-21 11:23:21

есть такая команда у спамассасина
--add-addr-to-whitelist=addr.
так вот я заметил когда я добавляю руками адрес в белый лист то создается папка .spamassassin и в ней прописываются auto-withlist и user_def в рутовой папке.. а в логах пишет при каждой отправке и приеме что spamd не может создать папку /nonexistent. Почему он в рутовой папке создает эти файлы а не у себя в домашней? /var/spool/spamd. В /etc/passwd пути на домашнюю папку именно /var/spool/spamd, разрешения выставлены от пользователя который запускает спамассассин тоесть mailnull (exim так у меня называется)

Аватара пользователя
texman
рядовой
Сообщения: 32
Зарегистрирован: 2007-02-16 16:27:30
Откуда: Калининград

Непрочитанное сообщение texman » 2007-04-23 13:09:50

Ну фиг его знаить, у меня он в связке с сендмылом и настраивал я его опираясь на вот это:
http://www.3nity.ru/viewtopic.htm?t=1459

jeweller
сержант
Сообщения: 189
Зарегистрирован: 2006-11-17 21:58:43
Откуда: Самара
Контактная информация:

Непрочитанное сообщение jeweller » 2007-05-06 17:11:14

решил я эту проблему довольно станным образом..
у пользователя nobody в /etc/passwd стоит в качестве домашней директории ./noexistent
ну и спамд пытается в эту директорию записать свои файл журнала и тд. я изменил нободи директорию на /var/spool/spamd. теперь ошибки нет и создается вайт-листы.. тперь вот надо подумать а не наделал ли я чего ..
очему спамд привязан к пользователю nobody:26? может это как то изменить и вернуть новбоди несуществующий домашний католог?

Аватара пользователя
texman
рядовой
Сообщения: 32
Зарегистрирован: 2007-02-16 16:27:30
Откуда: Калининград

Непрочитанное сообщение texman » 2007-05-07 9:40:59

есть такая команда у спамассасина
--add-addr-to-whitelist=addr.
так вот я заметил когда я добавляю руками адрес в белый лист то создается папка .spamassassin и в ней прописываются auto-withlist и user_def в рутовой папке...
Никогда не пользоввался непосредственно этой командой, я в local.cf просто
прописываю whitelist_from и все....
решил я эту проблему довольно станным образом..
у пользователя nobody в /etc/passwd стоит в качестве домашней директории ./noexistent
ну и спамд пытается в эту директорию записать свои файл журнала и тд. я изменил нободи директорию на /var/spool/spamd. теперь ошибки нет и создается вайт-листы.. тперь вот надо подумать а не наделал ли я чего ..
очему спамд привязан к пользователю nobody:26? может это как то изменить и вернуть новбоди несуществующий домашний католог?
Ну я не думаю, что это очень правильное решение, есть пользователь spamd, вот его и юзай, а нобади трогать не стоит. Пользователь у меня прописан в стартовом скрипте

spamd_flags=${spamd_flags:-"-c -d -Q -u spamd -s /var/log/spamd.log -r ${spamd_pidfile} "}

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35069
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Непрочитанное сообщение Alex Keda » 2007-05-07 10:35:00

texman писал(а): Ну я не думаю, что это очень правильное решение, есть пользователь spamd, вот его и юзай, а нобади трогать не стоит. Пользователь у меня прописан в стартовом скрипте

spamd_flags=${spamd_flags:-"-c -d -Q -u spamd -s /var/log/spamd.log -r ${spamd_pidfile} "}
идея заюзать /etc/rc.conf не посещала? он и предназначен для задания всего этого, а не стартоывый скрпит
Убей их всех! Бог потом рассортирует...

Аватара пользователя
texman
рядовой
Сообщения: 32
Зарегистрирован: 2007-02-16 16:27:30
Откуда: Калининград

Непрочитанное сообщение texman » 2007-05-07 10:47:51

Настраивал по документации, точно помню, что рекомендации оттуда, а вообще без разницы....

jeweller
сержант
Сообщения: 189
Зарегистрирован: 2006-11-17 21:58:43
Откуда: Самара
Контактная информация:

Непрочитанное сообщение jeweller » 2007-05-07 14:16:17

у меня спамд запускается из скрипта пользователм mailnull тобишь Ексимом. а когда он пытается создать у себя в домашнем каталоге файлы блокировки и белого листа то почему то идет и смотрит на пользователя нободи и его домашний каталог.