Перестал работать Bayes

EXIM, sendmail, postfix, Dovecot и прочие. Решение проблем связанных с работой электронной почты

Модератор: xM

Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
FoxDW
мл. сержант
Сообщения: 106
Зарегистрирован: 2008-08-04 4:42:43
Откуда: Красноярск
Контактная информация:

Перестал работать Bayes

Непрочитанное сообщение FoxDW » 2011-01-26 5:59:04

Код: Выделить всё

rewrite_header Subject   ***SPAM***
report_safe              1
ok_locales               en ru
normalize_charset        0
trusted_networks         192.168.2.
required_hits            5.0
use_pyzor                1
use_razor2               1
skip_rbl_checks          0
dns_available            yes
use_bayes                1
use_bayes_rules          1
bayes_auto_learn         0
use_auto_whitelist       0
#auto_whitelist_factory   Mail::SpamAssassin::SQLBasedAddrList
#user_awl_dsn             DBI:mysql:spamassassin:localhost
#user_awl_sql_username    spamassassin
#user_awl_sql_password    spamassassin
bayes_store_module       Mail::SpamAssassin::BayesStore::SQL
bayes_sql_dsn            DBI:mysql:spamassassin:localhost
bayes_sql_username       spamassassin
bayes_sql_password       spamassassin
user_scores_dsn          DBI:mysql:spamassassin:localhost
user_scores_sql_username spamassassin
user_scores_sql_password spamassassin

score RDNS_DYNAMIC              3.0
score RDNS_NONE                 4.0

score SUBJ_FULL_OF_8BITS        0.0
score HEADER_8BITS              0.0
score HTML_COMMENT_8BITS        0.0
score FROM_ILLEGAL_CHARS        0
score SUBJ_ILLEGAL_CHARS        0
score HEAD_ILLEGAL_CHARS        0
score HABEAS_SWE                0
score FORGED_IMS_TAGS           1

score MIME_HTML_ONLY            1.5
score HTML_MESSAGE              1.0

score HTML_FONT_SIZE_LARGE      1.5
score HTML_FONT_BIG             1.5
score FORGED_YAHOO_RCVD         3.5
score ROUND_THE_WORLD           2.5

score RAZOR_CHECK               2.5
score PYZOR_CHECK               2.5

score   BAYES_00 0 0 -4.901 -4.900
score   BAYES_05 0 0 -0.925 -2.599
score   BAYES_20 0 0 -0.730 -1.951
score   BAYES_40 0 0 -0.276 -1.096
score   BAYES_50 0 0  1.567  1.000
score   BAYES_60 0 0  3.515  1.592
score   BAYES_80 0 0  3.608  2.087
score   BAYES_95 0 0  3.514  3.514
score   BAYES_99 0 0  4.070  5.400

score CHARSET_FARAWAY           0
score CHARSET_FARAWAY_BODY      0
score CHARSET_FARAWAY_HEADER    0
score SUBJ_FULL_OF_8BITS        0
score MIME_CHARSET_FARAWAY      0
score MIME_BASE64_TEXT          1.0
Просто перестали обрабатываться правила BAYES, связь с DB есть, ошибок в логах нет
Вот как то так

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

moury
сержант
Сообщения: 249
Зарегистрирован: 2009-02-06 23:02:40
Откуда: Москва
Контактная информация:

Re: Перестал работать Bayes

Непрочитанное сообщение moury » 2011-01-26 11:40:36

Сисадмин - вождь апачей

Аватара пользователя
FoxDW
мл. сержант
Сообщения: 106
Зарегистрирован: 2008-08-04 4:42:43
Откуда: Красноярск
Контактная информация:

Re: Перестал работать Bayes

Непрочитанное сообщение FoxDW » 2011-01-27 5:30:56

Нет, ничего из перечисленного не помогло
Вот как то так

moury
сержант
Сообщения: 249
Зарегистрирован: 2009-02-06 23:02:40
Откуда: Москва
Контактная информация:

Re: Перестал работать Bayes

Непрочитанное сообщение moury » 2011-01-27 11:42:53

Вероятно, база протухла (распухла и потеряла репрезентативность). Проверьте критерии устаревания писем и прогоните сжатие базы. Не помню, как в спамасасине это делается. Но на рабочий режим она выйдет не сразу, а спустя 200*2 писем. Лучше потери репрезентативности не допускать.
Сисадмин - вождь апачей

Аватара пользователя
FoxDW
мл. сержант
Сообщения: 106
Зарегистрирован: 2008-08-04 4:42:43
Откуда: Красноярск
Контактная информация:

Re: Перестал работать Bayes

Непрочитанное сообщение FoxDW » 2011-02-15 9:26:46

Код: Выделить всё

 plugin: Mail::SpamAssassin::Plugin::ReplaceTags=HASH(0x8ef2cc0) implements 'finish_parsing_end', priority 0
Feb 15 13:14:44.590 [83731] dbg: plugin: Mail::SpamAssassin::Plugin::FreeMail=HASH(0x90d5ef4) implements 'finish_parsing_end', priority 0
Feb 15 13:14:44.590 [83731] dbg: replacetags: replacing tags
Feb 15 13:14:44.632 [83731] dbg: replacetags: done replacing tags
Feb 15 13:14:44.633 [83731] dbg: FreeMail: loaded freemail_domains entries: 2109 normal, 24 wildcard
Feb 15 13:14:44.639 [83731] dbg: plugin: Mail::SpamAssassin::Plugin::Bayes=HASH(0x8f546ec) implements 'learner_new', priority 0
Feb 15 13:14:44.639 [83731] dbg: bayes: learner_new self=Mail::SpamAssassin::Plugin::Bayes=HASH(0x8f546ec), bayes_store_module=Mail::SpamAssassin::BayesStore::SQL
Feb 15 13:14:44.666 [83731] dbg: bayes: using username: vscan
Feb 15 13:14:44.666 [83731] dbg: bayes: learner_new: got store=Mail::SpamAssassin::BayesStore::SQL=HASH(0x94b41e4)
Feb 15 13:14:44.666 [83731] dbg: plugin: Mail::SpamAssassin::Plugin::Bayes=HASH(0x8f546ec) implements 'learner_is_scan_available', priority 0
Feb 15 13:14:44.684 [83731] dbg: bayes: database connection established
Feb 15 13:14:44.684 [83731] dbg: bayes: found bayes db version 3
Feb 15 13:14:44.685 [83731] dbg: bayes: Using userid: 1
Feb 15 13:14:44.686 [83731] dbg: config: score set 3 chosen.
Feb 15 13:14:44.686 [83731] dbg: config: time limit 300.0 s
Feb 15 13:14:44.688 [83731] dbg: message: main message type: multipart/alternative
Feb 15 13:14:44.688 [83731] dbg: check: pms new, time limit in 295.968 s
Feb 15 13:14:44.689 [83731] dbg: plugin: Mail::SpamAssassin::Plugin::DNSEval=HASH(0x8fd48c8) implements 'check_start', priority 0
Feb 15 13:14:44.690 [83731] dbg: plugin: Mail::SpamAssassin::Plugin::Check=HASH(0x8f456c4) implements 'check_main', priority 0
Странно все это, вот кусок лога из команды spamassassin -D < спамписьмо



заново обновил базу свежими спам письмами и ничего, причем если перейти от SQL версии к файловой то эффект такой же, обновил spamassassin до последнего, перл, и модули, ничего не помогло, в чем может быть причина :unknown:

добавлю что авто обучение работает нормально и записи в базу происходят
Вот как то так

Аватара пользователя
FoxDW
мл. сержант
Сообщения: 106
Зарегистрирован: 2008-08-04 4:42:43
Откуда: Красноярск
Контактная информация:

Re: Перестал работать Bayes

Непрочитанное сообщение FoxDW » 2011-02-15 13:45:46

В дальнейшем вылезло это

Код: Выделить всё

Feb 15 15:39:48.207 [2238] dbg: bayes: corpus size: nspam = 1622, nham = 244
Feb 15 15:39:48.212 [2238] dbg: bayes: tok_get_all: token count: 116
Feb 15 15:39:48.213 [2238] dbg: bayes: tok_get_all: SQL error: Illegal mix of collations for operation ' IN '
Feb 15 15:39:48.213 [2238] dbg: bayes: cannot use bayes on this message; none of the tokens were found in the database
Feb 15 15:39:48.213 [2238] dbg: bayes: not scoring message, returning undef
Feb 15 15:39:48.214 [2238] dbg: bayes: DB expiry: tokens in DB: 83719, Expiry max size: 150000, Oldest atime: 1269968621, Newest atime: 1297758950, Last expire: 0, Current time: 1297759188
Feb 15 15:39:48.215 [2238] dbg: rules: running rawbody tests; score so far=0
в сети инфы мало все указывает на кодировку, пробовал UTF8 без изменений
Вот как то так

moury
сержант
Сообщения: 249
Зарегистрирован: 2009-02-06 23:02:40
Откуда: Москва
Контактная информация:

Re: Перестал работать Bayes

Непрочитанное сообщение moury » 2011-02-15 23:54:04

Ну, от грабли имени кодировки в mysql - вещь распространенная и противная. Однако если у Вас не работает и при файловой базе, значит, база статистически недостоверна.

К тому же, Вы писали, что автобучение идет, но в первом посте Вы писали:

Код: Выделить всё

bayes_auto_learn         0
Это значит, что база обучается только при запуске sa-learn вручную.
Сисадмин - вождь апачей