Заметка по прикручиванию Clamav к Squid

Проблемы с установкой, настройкой и работой системных и сетевых программ.

Модераторы: GRooVE, alexco

Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
KrivoSoft
рядовой
Сообщения: 23
Зарегистрирован: 2007-05-16 14:35:31
Откуда: Рідна Україна
Контактная информация:

Заметка по прикручиванию Clamav к Squid

Непрочитанное сообщение KrivoSoft » 2008-05-15 15:10:50

День добрый!

Вот недавно разбирался с вопросом, с чем разобрался - задокументировал, может кому пригодится....

Удалось успешно связать сквид и кламав через HAVP(HTTP AntiVirus proxy) используя cache_peer (или нормальными словами - иерархию проксей).

http://www.lissyara.su/?id=1662

З.Ы. прошу сильно не бить :-)
Ну и разумные коментарии как всегда приветствуются!
Последний раз редактировалось KrivoSoft 2008-05-20 16:16:27, всего редактировалось 4 раза.
Скільки потрібно програмістів секретаріату Президента щоб пропатчити КДЕ2 під FreeBSD?

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
dikens3
подполковник
Сообщения: 4856
Зарегистрирован: 2006-09-06 16:24:08
Откуда: Нижний Новгород
Контактная информация:

Re: Заметка по прикручиванию Clamav к Squid

Непрочитанное сообщение dikens3 » 2008-05-15 16:15:31

Может когда по свободе разгребу.
:-)
Редиректоры не нравятся Лисяре, ну и ладно, обойдемся без них.
Это о чём?
Если бы ты вначале объяснил что-нибудь связанное с Лиссярой, тогда понятно о чём речь, иначе вообще не ясно кто такой Лиссяра и каким он здесь боком в твоей статье.

К примеру можно вначале сказать что читал то-то и то-то у лиссяры и т.д. Делал по мотивам чего-нибудь... Да и то, причём тут редиректоры и кому что нравится?

P.S. Название домена прикалололо - krivosoft...
Лучше установить FreeBSD, чем потратить 30 лет на Linux'ы и выяснить какой из них хуже.

KrivoSoft
рядовой
Сообщения: 23
Зарегистрирован: 2007-05-16 14:35:31
Откуда: Рідна Україна
Контактная информация:

Re: Заметка по прикручиванию Clamav к Squid

Непрочитанное сообщение KrivoSoft » 2008-05-15 16:28:59

dikens3 писал(а):
Редиректоры не нравятся Лисяре, ну и ладно, обойдемся без них.
Это о чём?
Если бы ты вначале объяснил что-нибудь связанное с Лиссярой, тогда понятно о чём речь, иначе вообще не ясно кто такой Лиссяра и каким он здесь боком в твоей статье.

К примеру можно вначале сказать что читал то-то и то-то у лиссяры и т.д. Делал по мотивам чего-нибудь... Да и то, причём тут редиректоры и кому что нравится?
У Лисяры есть статейка http://www.lissyara.su/?id=1128 SQUID & ICAP & ClamAV,
В ней:
C http всё оказалось несколько сложнее - под squid нашлось несколько решений, все через редиректор - что тоже не очень хорошо, ибо редиректор может быть только один - если я ставлю антивирус, то лишаюсь своей баннерорезалки (которая ещё и порнуху очень шикарно режет)... Плюс - у этих решений оказались и свои минусы - траффик прилично возрастал - инет нынче стал динамический, и многие страницы не кэшируются вообще...
Вобщем критику принято к сведению. Исправлю.
dikens3 писал(а):P.S. Название домена прикалололо - krivosoft...
:D Стараюсь!
Скільки потрібно програмістів секретаріату Президента щоб пропатчити КДЕ2 під FreeBSD?

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Заметка по прикручиванию Clamav к Squid

Непрочитанное сообщение princeps » 2008-05-16 7:49:02

поясни, пожалуйста:
KrivoSoft писал(а):у этих решений оказались и свои минусы - траффик прилично возрастал - инет нынче стал динамический, и многие страницы не кэшируются вообще...
У твоего решения нет такого косяка? В свое время для меня эта фраза из статьи Лиса явилась причиной отказа от clamav к сквиду.
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

KrivoSoft
рядовой
Сообщения: 23
Зарегистрирован: 2007-05-16 14:35:31
Откуда: Рідна Україна
Контактная информация:

Re: Заметка по прикручиванию Clamav к Squid

Непрочитанное сообщение KrivoSoft » 2008-05-16 9:49:33

Я канешно не берусь толковать глубокий смысл фразы Лисяры... Но применительно к этой схеме - не вижу где возьмется дополнительный трафик.
Сквид совершенно тупым образом пуляет запросы в HAVP, HAVP качает соответствующее файло, сканит его антивирем, и отдает назад сквиде. Файл начинает отдаваться клиенту ДО полного скачивания HAVPом. Докачка и тд работают нормально (в ущерб качеству сканирования, но везде нужно выбирать компромисное решение).
Схема внедрена для начала на 2х мелких "точках" для изучения поведения - вроде полет нормальный, жалоб нет.
До внедрения на больших и нагруженых серверах очередь еще не дошла, но чувствую шо скоро уже :-)

Из приятных сюрпризов - необходимость FTP и HTTPS выпускать со сквиды напрямую, мимо HAVP (3 строчки конфига). А в остальном пока доволен.

З.Ы. Решение какбы не мое, я ничего нового не изобретал.
Скільки потрібно програмістів секретаріату Президента щоб пропатчити КДЕ2 під FreeBSD?

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Заметка по прикручиванию Clamav к Squid

Непрочитанное сообщение princeps » 2008-05-16 9:53:30

Вообще спасибо за статью. Скоро понадобится настраивать сквид на шлюзе - возьму на вооружение.
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

Qaz
мл. сержант
Сообщения: 113
Зарегистрирован: 2007-02-17 1:24:39
Контактная информация:

Re: Заметка по прикручиванию Clamav к Squid

Непрочитанное сообщение Qaz » 2008-05-16 9:58:45

как-то сам пробовал, да...работает и в принципе поднимается с пол пинка...только вот как быть если есть авторизация...не помню что там уже было, но не получалось что-то, зацикливалась она вроде

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35139
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Заметка по прикручиванию Clamav к Squid

Непрочитанное сообщение Alex Keda » 2008-05-19 19:16:07

публикуй у меня.
я тока за.
про редиректоры...
эт мне одна хреновина попадалась - вначале качала, проверяла, потом юзеру начинало отдавать.
часто мима кэша - что в первый раз качала...
Убей их всех! Бог потом рассортирует...

razor
проходил мимо

Re: Заметка по прикручиванию Clamav к Squid

Непрочитанное сообщение razor » 2008-05-21 11:03:05

касательно пулов
переделал только что конфиг по типу приводимого в статье. были некоторые расхождение в том как в сквид.конф заявляецца парент.
начинает качать - всё нормально, затем через какое-то время сосет на полную, во весь канал :(
так что у меня не вышло подружить снова(

KrivoSoft
рядовой
Сообщения: 23
Зарегистрирован: 2007-05-16 14:35:31
Откуда: Рідна Україна
Контактная информация:

Re: Заметка по прикручиванию Clamav к Squid

Непрочитанное сообщение KrivoSoft » 2008-05-21 12:08:45

Вопрос:
А ты сквид после правки конфига перезапускаешь или делаешь squid -k reconfigure ?
Просто если делать reconfigure - то все существующие закачки вылезают из делай-пулов.
Скільки потрібно програмістів секретаріату Президента щоб пропатчити КДЕ2 під FreeBSD?

sava
проходил мимо

Re: Заметка по прикручиванию Clamav к Squid

Непрочитанное сообщение sava » 2008-05-21 12:08:58

касательно пулов. как известно сквида сосет трафик на скорости, указанной пулом. Тоесть пул ограничивает скорость обмена сквиды с внешним миром, а не клиента со сквидой. Поэтому остается вопрос как будет вести себя HAVP при скачивании сквозь него большого файла сквидом. Для эксперимента можно подвесить один только HAVP как прокси и попробовать скачать какой-то большой файл какой-нибудь качалкой, которая умеет ограничивать скорость и посмотреть на трафик на выходе, не порывается ли эта ацкая машина в виде HAVP-а стянуть себе этот файл (или его кусок) на максимальной скорости канала?

KrivoSoft
рядовой
Сообщения: 23
Зарегистрирован: 2007-05-16 14:35:31
Откуда: Рідна Україна
Контактная информация:

Re: Заметка по прикручиванию Clamav к Squid

Непрочитанное сообщение KrivoSoft » 2008-05-21 12:28:02

Народ. Это флуд.
Смотрите сами. http://green.krivosoft.com:8000/ например сегодня с 6 до 9ти, ну и вчера.
На клиенте регет качает круглосуточно фильмы. Через Сквид+Хавп.
В сквиде нарезаны пулы, и в рабочее время больше 10кб на морду не дается. На ночь канал расширяется к 65кб, сам канал - 72кб.
Сквид утром и вечером рестартуется по крону. Некрасиво. Но для резки фильмов по времени умнее ничего не придумал.
Вопросы?
Скільки потрібно програмістів секретаріату Президента щоб пропатчити КДЕ2 під FreeBSD?

Гость
проходил мимо

Re: Заметка по прикручиванию Clamav к Squid

Непрочитанное сообщение Гость » 2008-05-21 12:34:21

KrivoSoft писал(а):Вопрос:
А ты сквид после правки конфига перезапускаешь или делаешь squid -k reconfigure ?
Просто если делать reconfigure - то все существующие закачки вылезают из делай-пулов.
эти грабли мной наступлены много давно, так что делают рестарт)

но тут выяснилось интересное. я ща на втором поставил, и там все нормально! хотя конфиги идентичные. разве что у клама чуть иные. он на второй еще много всего чекает.

razor
проходил мимо

Re: Заметка по прикручиванию Clamav к Squid

Непрочитанное сообщение razor » 2008-05-21 12:41:45

KrivoSoft писал(а): Сквид утром и вечером рестартуется по крону. Некрасиво. Но для резки фильмов по времени умнее ничего не придумал.
Вопросы?
делейпулы же тоже понимают все acl
можно сделать acl 8 - 22 и 22 -8, и фсё. в одно время действует один, в другое - другой.

Sava
проходил мимо

Re: Заметка по прикручиванию Clamav к Squid

Непрочитанное сообщение Sava » 2008-05-21 12:46:50

О mandatory locking... говорят в семерке эта фича начала поддерживаться, но пока не ясно как.. Из из минусов отсутвия данной шняги - хавп не начнет отдавать файл до тех пор, пока не докачает его полностью, ну или его кусок равный MAXSCANSIZE. Таким образом при скачке больших файлов будем иметь задержку на скачку равную времени скачивания MAXSCANSIZE.
Сразу можно утверждать что RAM-диск поможет тут не очень...

KrivoSoft
рядовой
Сообщения: 23
Зарегистрирован: 2007-05-16 14:35:31
Откуда: Рідна Україна
Контактная информация:

Re: Заметка по прикручиванию Clamav к Squid

Непрочитанное сообщение KrivoSoft » 2008-05-21 12:47:50

razor писал(а): делейпулы же тоже понимают все acl
можно сделать acl 8 - 22 и 22 -8, и фсё. в одно время действует один, в другое - другой.
Ессно. Но вот только если кино начали например качать в 7:50 то докачиватся оно будет до 12ти :-) на полной скорости.
Т.к. закачка попадает в конкретный пул собственно на момент начала закачки :-)

А АЦЛы привязки пулов к времени присутствуют. Как бы оно работало тогда? Просто шоб скорости менялись када хочется а не когда докачается я дергаю сквид для обрыва закачек. Клиентам пофиг, докачка работает на ура.

2Sava
Читал тож шо в семерке вродь как есть Mandatory locking - но на офсайте ничего не нашел по теме, поэтому дезинформироавать народ не стал. Ну и судя по одиноких каментах - ктото сходу не смог ХАВП подружить с Mandatory locking на семерке.
У меня семерки в продуктиве еще нет, сам не пробовал.

2All
Касаемо флуда о больших файлах, задержках, и пр. гадостях :-)
Лично у меня при внедрении HAVP была цель отбивать какую то часть вредоносного кода ДО попадания во внутрисеть.
ЭТО не планировалось как замена антивирусов на клиентских машинах, а лишь как дополнение к ним.
Большинство заразы что лезет с ВЕБ - меряется киобайтами. Поэтому большие файлы сканить на роутере - ИМХО бред, пусть этим заимаются клиентские антивирусы.

А вот мелочь всякую отлавливать, откровенные трояны порнушные - или с недавнего - "диму билана" - самое то!
Поэтому большие файлы сканим совсем чуть-чуть, каждый в силах оптимизировать параметры под себя для убирания или минимизации задержек. Также никто не мешает исключить из проверки avi/iso/mp3/mpeg файлы.
Вот собственно и все.
Последний раз редактировалось KrivoSoft 2008-05-21 13:22:14, всего редактировалось 1 раз.
Скільки потрібно програмістів секретаріату Президента щоб пропатчити КДЕ2 під FreeBSD?

razor
проходил мимо

Re: Заметка по прикручиванию Clamav к Squid

Непрочитанное сообщение razor » 2008-05-21 12:55:09

KrivoSoft писал(а): Ессно. Но вот только если кино начали например качать в 7:50 то докачиватся оно будет до 12ти :-) на полной скорости.
Т.к. закачка попадает в конкретный пул собственно на момент начала закачки :-)

А АЦЛы привязки пулов к времени присутствуют. Как бы оно работало тогда? Просто шоб скорости менялись када хочется а не когда докачается я дергаю сквид для обрыва закачек. Клиентам пофиг, докачка работает на ура.
угу, не подумавши брякнул

BlackPhantom
мл. сержант
Сообщения: 128
Зарегистрирован: 2007-11-02 11:34:10

Re: Заметка по прикручиванию Clamav к Squid

Непрочитанное сообщение BlackPhantom » 2008-05-21 13:08:35

а почему используется libvlamav а не clamd socket? какие-то преимущества есть?

BlackPhantom
мл. сержант
Сообщения: 128
Зарегистрирован: 2007-11-02 11:34:10

Re: Заметка по прикручиванию Clamav к Squid

Непрочитанное сообщение BlackPhantom » 2008-05-21 13:12:47

Sava писал(а):О mandatory locking... говорят в семерке эта фича начала поддерживаться, но пока не ясно как.. Из из минусов отсутвия данной шняги - хавп не начнет отдавать файл до тех пор, пока не докачает его полностью, ну или его кусок равный MAXSCANSIZE. Таким образом при скачке больших файлов будем иметь задержку на скачку равную времени скачивания MAXSCANSIZE.
Сразу можно утверждать что RAM-диск поможет тут не очень...
насколько я понял, это не так. Этот параметр регулирается вот этим

Код: Выделить всё

# Amount of data going to browser that is held back, until it
# is scanned. When we know file is clean, this held back data
# can be sent to browser. You can safely set bigger value, only
# thing you will notice is some "delay" in beginning of download.
# Virus found in files bigger than this might not produce HAVP
# error page, but result in a "broken" download.
#
# VALUE IN BYTES NOT KB OR MB!!!!
#
# Default:
 KEEPBACKBUFFER 100000
и тут как раз указывается спустя какой объем скачавши начинать отдавать дальше (сквиду или юзеру)

sava
проходил мимо

Re: Заметка по прикручиванию Clamav к Squid

Непрочитанное сообщение sava » 2008-05-21 13:16:20

BlackPhantom писал(а):
Sava писал(а):О mandatory locking... говорят в семерке эта фича начала поддерживаться, но пока не ясно как.. Из из минусов отсутвия данной шняги - хавп не начнет отдавать файл до тех пор, пока не докачает его полностью, ну или его кусок равный MAXSCANSIZE. Таким образом при скачке больших файлов будем иметь задержку на скачку равную времени скачивания MAXSCANSIZE.
Сразу можно утверждать что RAM-диск поможет тут не очень...
насколько я понял, это не так. Этот параметр регулирается вот этим

Код: Выделить всё

# Amount of data going to browser that is held back, until it
# is scanned. When we know file is clean, this held back data
# can be sent to browser. You can safely set bigger value, only
# thing you will notice is some "delay" in beginning of download.
# Virus found in files bigger than this might not produce HAVP
# error page, but result in a "broken" download.
#
# VALUE IN BYTES NOT KB OR MB!!!!
#
# Default:
 KEEPBACKBUFFER 100000
и тут как раз указывается спустя какой объем скачавши начинать отдавать дальше (сквиду или юзеру)
Как раз и нед! Mandatory locking disabled! KEEPBACK settings not used!
Надо от это - MAXSCANSIZE

KrivoSoft
рядовой
Сообщения: 23
Зарегистрирован: 2007-05-16 14:35:31
Откуда: Рідна Україна
Контактная информация:

Re: Заметка по прикручиванию Clamav к Squid

Непрочитанное сообщение KrivoSoft » 2008-05-21 13:26:01

BlackPhantom писал(а):а почему используется libvlamav а не clamd socket? какие-то преимущества есть?
Не надо запускать демон кламав.
Ну и через libvlamav оно скручивается ИМХО проще. Через сокет сходу не завелось, забил.
Скільки потрібно програмістів секретаріату Президента щоб пропатчити КДЕ2 під FreeBSD?

Sava
проходил мимо

Re: Заметка по прикручиванию Clamav к Squid

Непрочитанное сообщение Sava » 2008-05-21 13:31:08

через сокет сходу заведется если запускать HAVP от юзера clamav. А то от своего имени он сцуко не может подружится с сокетом кламава, хоть и права на этот сокет = 777. Может кто вкурсе, подскажите чего оно так?
А вот в чем преимущество сокета? Хз, у меня демон клама и так крутится - почту, самбу и фтп проверяет, ак почему бы и хавпа туда же не поцепить?

KrivoSoft
рядовой
Сообщения: 23
Зарегистрирован: 2007-05-16 14:35:31
Откуда: Рідна Україна
Контактная информация:

Re: Заметка по прикручиванию Clamav к Squid

Непрочитанное сообщение KrivoSoft » 2008-05-21 13:41:20

sava писал(а):Надо от это - MAXSCANSIZE
Истину глаголишь!

Код: Выделить всё

# Temporary file will grow only up to this size. This means scanner
# will scan data until this limit is reached.
#
# There are two sides to this setting. By limiting the size, you gain
# performance, less waiting for big files and less needed temporary space.
# But there is slightly higher chance of virus slipping through (though
# scanning large archives should not be gateways function, HAVP is more
# geared towards small exploit detection etc).
#
# MAXSCANSIZE 5000000
Вот буржуи пишут те истины, которые я описал в соседнем посте:
"scanning large archives should not be gateways function, HAVP is more geared towards small exploit detection etc"
Скільки потрібно програмістів секретаріату Президента щоб пропатчити КДЕ2 під FreeBSD?

BlackPhantom
мл. сержант
Сообщения: 128
Зарегистрирован: 2007-11-02 11:34:10

Re: Заметка по прикручиванию Clamav к Squid

Непрочитанное сообщение BlackPhantom » 2008-05-21 13:47:13

Я так понял чтоб работала фича Mandatory locking, надо из куска RAMA сделать отдельный диск, и туда временные файлы HAVP'а забросить?

sava
проходил мимо

Re: Заметка по прикручиванию Clamav к Squid

Непрочитанное сообщение sava » 2008-05-21 14:05:40

Таки нет. RAM-диск ничего не изменит (наверное). Если хош проверить, то man mdconfig тебе в помощь :)