Страница 1 из 5
Заметка по прикручиванию Clamav к Squid
Добавлено: 2008-05-15 15:10:50
KrivoSoft
День добрый!
Вот недавно разбирался с вопросом, с чем разобрался - задокументировал, может кому пригодится....
Удалось успешно связать сквид и кламав через HAVP(HTTP AntiVirus proxy) используя cache_peer (или нормальными словами - иерархию проксей).
http://www.lissyara.su/?id=1662
З.Ы. прошу сильно не бить :-)
Ну и разумные коментарии как всегда приветствуются!
Re: Заметка по прикручиванию Clamav к Squid
Добавлено: 2008-05-15 16:15:31
dikens3
Может когда по свободе разгребу.
:-)
Редиректоры не нравятся Лисяре, ну и ладно, обойдемся без них.
Это о чём?
Если бы ты вначале объяснил что-нибудь связанное с Лиссярой, тогда понятно о чём речь, иначе вообще не ясно кто такой Лиссяра и каким он здесь боком в твоей статье.
К примеру можно вначале сказать что читал то-то и то-то у лиссяры и т.д. Делал по мотивам чего-нибудь... Да и то, причём тут редиректоры и кому что нравится?
P.S. Название домена прикалололо - krivosoft...
Re: Заметка по прикручиванию Clamav к Squid
Добавлено: 2008-05-15 16:28:59
KrivoSoft
dikens3 писал(а):
Редиректоры не нравятся Лисяре, ну и ладно, обойдемся без них.
Это о чём?
Если бы ты вначале объяснил что-нибудь связанное с Лиссярой, тогда понятно о чём речь, иначе вообще не ясно кто такой Лиссяра и каким он здесь боком в твоей статье.
К примеру можно вначале сказать что читал то-то и то-то у лиссяры и т.д. Делал по мотивам чего-нибудь... Да и то, причём тут редиректоры и кому что нравится?
У Лисяры есть статейка
http://www.lissyara.su/?id=1128 SQUID & ICAP & ClamAV,
В ней:
C http всё оказалось несколько сложнее - под squid нашлось несколько решений, все через редиректор - что тоже не очень хорошо, ибо редиректор может быть только один - если я ставлю антивирус, то лишаюсь своей баннерорезалки (которая ещё и порнуху очень шикарно режет)... Плюс - у этих решений оказались и свои минусы - траффик прилично возрастал - инет нынче стал динамический, и многие страницы не кэшируются вообще...
Вобщем критику принято к сведению. Исправлю.
dikens3 писал(а):P.S. Название домена прикалололо - krivosoft...

Стараюсь!
Re: Заметка по прикручиванию Clamav к Squid
Добавлено: 2008-05-16 7:49:02
princeps
поясни, пожалуйста:
KrivoSoft писал(а):у этих решений оказались и свои минусы - траффик прилично возрастал - инет нынче стал динамический, и многие страницы не кэшируются вообще...
У твоего решения нет такого косяка? В свое время для меня эта фраза из статьи Лиса явилась причиной отказа от clamav к сквиду.
Re: Заметка по прикручиванию Clamav к Squid
Добавлено: 2008-05-16 9:49:33
KrivoSoft
Я канешно не берусь толковать глубокий смысл фразы Лисяры... Но применительно к этой схеме - не вижу где возьмется дополнительный трафик.
Сквид совершенно тупым образом пуляет запросы в HAVP, HAVP качает соответствующее файло, сканит его антивирем, и отдает назад сквиде. Файл начинает отдаваться клиенту ДО полного скачивания HAVPом. Докачка и тд работают нормально (в ущерб качеству сканирования, но везде нужно выбирать компромисное решение).
Схема внедрена для начала на 2х мелких "точках" для изучения поведения - вроде полет нормальный, жалоб нет.
До внедрения на больших и нагруженых серверах очередь еще не дошла, но чувствую шо скоро уже :-)
Из приятных сюрпризов - необходимость FTP и HTTPS выпускать со сквиды напрямую, мимо HAVP (3 строчки конфига). А в остальном пока доволен.
З.Ы. Решение какбы не мое, я ничего нового не изобретал.
Re: Заметка по прикручиванию Clamav к Squid
Добавлено: 2008-05-16 9:53:30
princeps
Вообще спасибо за статью. Скоро понадобится настраивать сквид на шлюзе - возьму на вооружение.
Re: Заметка по прикручиванию Clamav к Squid
Добавлено: 2008-05-16 9:58:45
Qaz
как-то сам пробовал, да...работает и в принципе поднимается с пол пинка...только вот как быть если есть авторизация...не помню что там уже было, но не получалось что-то, зацикливалась она вроде
Re: Заметка по прикручиванию Clamav к Squid
Добавлено: 2008-05-19 19:16:07
Alex Keda
публикуй у меня.
я тока за.
про редиректоры...
эт мне одна хреновина попадалась - вначале качала, проверяла, потом юзеру начинало отдавать.
часто мима кэша - что в первый раз качала...
Re: Заметка по прикручиванию Clamav к Squid
Добавлено: 2008-05-21 11:03:05
razor
касательно пулов
переделал только что конфиг по типу приводимого в статье. были некоторые расхождение в том как в сквид.конф заявляецца парент.
начинает качать - всё нормально, затем через какое-то время сосет на полную, во весь канал

так что у меня не вышло подружить снова(
Re: Заметка по прикручиванию Clamav к Squid
Добавлено: 2008-05-21 12:08:45
KrivoSoft
Вопрос:
А ты сквид после правки конфига перезапускаешь или делаешь squid -k reconfigure ?
Просто если делать reconfigure - то все существующие закачки вылезают из делай-пулов.
Re: Заметка по прикручиванию Clamav к Squid
Добавлено: 2008-05-21 12:08:58
sava
касательно пулов. как известно сквида сосет трафик на скорости, указанной пулом. Тоесть пул ограничивает скорость обмена сквиды с внешним миром, а не клиента со сквидой. Поэтому остается вопрос как будет вести себя HAVP при скачивании сквозь него большого файла сквидом. Для эксперимента можно подвесить один только HAVP как прокси и попробовать скачать какой-то большой файл какой-нибудь качалкой, которая умеет ограничивать скорость и посмотреть на трафик на выходе, не порывается ли эта ацкая машина в виде HAVP-а стянуть себе этот файл (или его кусок) на максимальной скорости канала?
Re: Заметка по прикручиванию Clamav к Squid
Добавлено: 2008-05-21 12:28:02
KrivoSoft
Народ. Это флуд.
Смотрите сами.
http://green.krivosoft.com:8000/ например сегодня с 6 до 9ти, ну и вчера.
На клиенте регет качает круглосуточно фильмы. Через Сквид+Хавп.
В сквиде нарезаны пулы, и в рабочее время больше 10кб на морду не дается. На ночь канал расширяется к 65кб, сам канал - 72кб.
Сквид утром и вечером рестартуется по крону. Некрасиво. Но для резки фильмов по времени умнее ничего не придумал.
Вопросы?
Re: Заметка по прикручиванию Clamav к Squid
Добавлено: 2008-05-21 12:34:21
Гость
KrivoSoft писал(а):Вопрос:
А ты сквид после правки конфига перезапускаешь или делаешь squid -k reconfigure ?
Просто если делать reconfigure - то все существующие закачки вылезают из делай-пулов.
эти грабли мной наступлены много давно, так что делают рестарт)
но тут выяснилось интересное. я ща на втором поставил, и там все нормально! хотя конфиги идентичные. разве что у клама чуть иные. он на второй еще много всего чекает.
Re: Заметка по прикручиванию Clamav к Squid
Добавлено: 2008-05-21 12:41:45
razor
KrivoSoft писал(а):
Сквид утром и вечером рестартуется по крону. Некрасиво. Но для резки фильмов по времени умнее ничего не придумал.
Вопросы?
делейпулы же тоже понимают все acl
можно сделать acl 8 - 22 и 22 -8, и фсё. в одно время действует один, в другое - другой.
Re: Заметка по прикручиванию Clamav к Squid
Добавлено: 2008-05-21 12:46:50
Sava
О mandatory locking... говорят в семерке эта фича начала поддерживаться, но пока не ясно как.. Из из минусов отсутвия данной шняги - хавп не начнет отдавать файл до тех пор, пока не докачает его полностью, ну или его кусок равный MAXSCANSIZE. Таким образом при скачке больших файлов будем иметь задержку на скачку равную времени скачивания MAXSCANSIZE.
Сразу можно утверждать что RAM-диск поможет тут не очень...
Re: Заметка по прикручиванию Clamav к Squid
Добавлено: 2008-05-21 12:47:50
KrivoSoft
razor писал(а):
делейпулы же тоже понимают все acl
можно сделать acl 8 - 22 и 22 -8, и фсё. в одно время действует один, в другое - другой.
Ессно. Но вот только если кино начали например качать в 7:50 то докачиватся оно будет до 12ти :-) на полной скорости.
Т.к. закачка попадает в конкретный пул собственно на момент начала закачки :-)
А АЦЛы привязки пулов к времени присутствуют. Как бы оно работало тогда? Просто шоб скорости менялись када хочется а не когда докачается я дергаю сквид для обрыва закачек. Клиентам пофиг, докачка работает на ура.
2
Sava
Читал тож шо в семерке вродь как есть Mandatory locking - но на офсайте ничего не нашел по теме, поэтому дезинформироавать народ не стал. Ну и судя по одиноких каментах - ктото сходу не смог ХАВП подружить с Mandatory locking на семерке.
У меня семерки в продуктиве еще нет, сам не пробовал.
2
All
Касаемо флуда о больших файлах, задержках, и пр. гадостях :-)
Лично у меня при внедрении HAVP была цель отбивать какую то часть вредоносного кода ДО попадания во внутрисеть.
ЭТО не планировалось как замена антивирусов на клиентских машинах, а лишь как дополнение к ним.
Большинство заразы что лезет с ВЕБ - меряется киобайтами. Поэтому большие файлы сканить на роутере - ИМХО бред, пусть этим заимаются клиентские антивирусы.
А вот мелочь всякую отлавливать, откровенные трояны порнушные - или с недавнего - "диму билана" - самое то!
Поэтому большие файлы сканим совсем чуть-чуть, каждый в силах оптимизировать параметры под себя для убирания или минимизации задержек. Также никто не мешает исключить из проверки avi/iso/mp3/mpeg файлы.
Вот собственно и все.
Re: Заметка по прикручиванию Clamav к Squid
Добавлено: 2008-05-21 12:55:09
razor
KrivoSoft писал(а):
Ессно. Но вот только если кино начали например качать в 7:50 то докачиватся оно будет до 12ти :-) на полной скорости.
Т.к. закачка попадает в конкретный пул собственно на момент начала закачки :-)
А АЦЛы привязки пулов к времени присутствуют. Как бы оно работало тогда? Просто шоб скорости менялись када хочется а не когда докачается я дергаю сквид для обрыва закачек. Клиентам пофиг, докачка работает на ура.
угу, не подумавши брякнул
Re: Заметка по прикручиванию Clamav к Squid
Добавлено: 2008-05-21 13:08:35
BlackPhantom
а почему используется libvlamav а не clamd socket? какие-то преимущества есть?
Re: Заметка по прикручиванию Clamav к Squid
Добавлено: 2008-05-21 13:12:47
BlackPhantom
Sava писал(а):О mandatory locking... говорят в семерке эта фича начала поддерживаться, но пока не ясно как.. Из из минусов отсутвия данной шняги - хавп не начнет отдавать файл до тех пор, пока не докачает его полностью, ну или его кусок равный MAXSCANSIZE. Таким образом при скачке больших файлов будем иметь задержку на скачку равную времени скачивания MAXSCANSIZE.
Сразу можно утверждать что RAM-диск поможет тут не очень...
насколько я понял, это не так. Этот параметр регулирается вот этим
Код: Выделить всё
# Amount of data going to browser that is held back, until it
# is scanned. When we know file is clean, this held back data
# can be sent to browser. You can safely set bigger value, only
# thing you will notice is some "delay" in beginning of download.
# Virus found in files bigger than this might not produce HAVP
# error page, but result in a "broken" download.
#
# VALUE IN BYTES NOT KB OR MB!!!!
#
# Default:
KEEPBACKBUFFER 100000
и тут как раз указывается спустя какой объем скачавши начинать отдавать дальше (сквиду или юзеру)
Re: Заметка по прикручиванию Clamav к Squid
Добавлено: 2008-05-21 13:16:20
sava
BlackPhantom писал(а):Sava писал(а):О mandatory locking... говорят в семерке эта фича начала поддерживаться, но пока не ясно как.. Из из минусов отсутвия данной шняги - хавп не начнет отдавать файл до тех пор, пока не докачает его полностью, ну или его кусок равный MAXSCANSIZE. Таким образом при скачке больших файлов будем иметь задержку на скачку равную времени скачивания MAXSCANSIZE.
Сразу можно утверждать что RAM-диск поможет тут не очень...
насколько я понял, это не так. Этот параметр регулирается вот этим
Код: Выделить всё
# Amount of data going to browser that is held back, until it
# is scanned. When we know file is clean, this held back data
# can be sent to browser. You can safely set bigger value, only
# thing you will notice is some "delay" in beginning of download.
# Virus found in files bigger than this might not produce HAVP
# error page, but result in a "broken" download.
#
# VALUE IN BYTES NOT KB OR MB!!!!
#
# Default:
KEEPBACKBUFFER 100000
и тут как раз указывается спустя какой объем скачавши начинать отдавать дальше (сквиду или юзеру)
Как раз и нед! Mandatory locking disabled! KEEPBACK settings not used!
Надо от это - MAXSCANSIZE
Re: Заметка по прикручиванию Clamav к Squid
Добавлено: 2008-05-21 13:26:01
KrivoSoft
BlackPhantom писал(а):а почему используется libvlamav а не clamd socket? какие-то преимущества есть?
Не надо запускать демон кламав.
Ну и через libvlamav оно скручивается ИМХО проще. Через сокет сходу не завелось, забил.
Re: Заметка по прикручиванию Clamav к Squid
Добавлено: 2008-05-21 13:31:08
Sava
через сокет сходу заведется если запускать HAVP от юзера clamav. А то от своего имени он сцуко не может подружится с сокетом кламава, хоть и права на этот сокет = 777. Может кто вкурсе, подскажите чего оно так?
А вот в чем преимущество сокета? Хз, у меня демон клама и так крутится - почту, самбу и фтп проверяет, ак почему бы и хавпа туда же не поцепить?
Re: Заметка по прикручиванию Clamav к Squid
Добавлено: 2008-05-21 13:41:20
KrivoSoft
sava писал(а):Надо от это - MAXSCANSIZE
Истину глаголишь!
Код: Выделить всё
# Temporary file will grow only up to this size. This means scanner
# will scan data until this limit is reached.
#
# There are two sides to this setting. By limiting the size, you gain
# performance, less waiting for big files and less needed temporary space.
# But there is slightly higher chance of virus slipping through (though
# scanning large archives should not be gateways function, HAVP is more
# geared towards small exploit detection etc).
#
# MAXSCANSIZE 5000000
Вот буржуи пишут те истины, которые я описал в соседнем посте:
"
scanning large archives should not be gateways function, HAVP is more geared towards small exploit detection etc"
Re: Заметка по прикручиванию Clamav к Squid
Добавлено: 2008-05-21 13:47:13
BlackPhantom
Я так понял чтоб работала фича Mandatory locking, надо из куска RAMA сделать отдельный диск, и туда временные файлы HAVP'а забросить?
Re: Заметка по прикручиванию Clamav к Squid
Добавлено: 2008-05-21 14:05:40
sava
Таки нет. RAM-диск ничего не изменит (наверное). Если хош проверить, то man mdconfig тебе в помощь
