Заметка по прикручиванию Clamav к Squid

[KrivoSoft]

День добрый!

Вот недавно разбирался с вопросом, с чем разобрался - задокументировал, может кому пригодится....

Удалось успешно связать сквид и кламав через HAVP(HTTP AntiVirus proxy) используя cache_peer (или нормальными словами - иерархию проксей).

http://www.lissyara.su/?id=1662

З.Ы. прошу сильно не бить :-)
Ну и разумные коментарии как всегда приветствуются!

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[dikens3]

Может когда по свободе разгребу.

:-)

Редиректоры не нравятся Лисяре, ну и ладно, обойдемся без них.

Это о чём?
Если бы ты вначале объяснил что-нибудь связанное с Лиссярой, тогда понятно о чём речь, иначе вообще не ясно кто такой Лиссяра и каким он здесь боком в твоей статье.

К примеру можно вначале сказать что читал то-то и то-то у лиссяры и т.д. Делал по мотивам чего-нибудь... Да и то, причём тут редиректоры и кому что нравится?

P.S. Название домена прикалололо - krivosoft...

[KrivoSoft]

Редиректоры не нравятся Лисяре, ну и ладно, обойдемся без них.

Это о чём?
Если бы ты вначале объяснил что-нибудь связанное с Лиссярой, тогда понятно о чём речь, иначе вообще не ясно кто такой Лиссяра и каким он здесь боком в твоей статье.

К примеру можно вначале сказать что читал то-то и то-то у лиссяры и т.д. Делал по мотивам чего-нибудь... Да и то, причём тут редиректоры и кому что нравится?

У Лисяры есть статейка http://www.lissyara.su/?id=1128 SQUID & ICAP & ClamAV,
В ней:

C http всё оказалось несколько сложнее - под squid нашлось несколько решений, все через редиректор - что тоже не очень хорошо, ибо редиректор может быть только один - если я ставлю антивирус, то лишаюсь своей баннерорезалки (которая ещё и порнуху очень шикарно режет)... Плюс - у этих решений оказались и свои минусы - траффик прилично возрастал - инет нынче стал динамический, и многие страницы не кэшируются вообще...

Вобщем критику принято к сведению. Исправлю.

P.S. Название домена прикалололо - krivosoft...

Стараюсь!

[princeps]

поясни, пожалуйста:

у этих решений оказались и свои минусы - траффик прилично возрастал - инет нынче стал динамический, и многие страницы не кэшируются вообще...

У твоего решения нет такого косяка? В свое время для меня эта фраза из статьи Лиса явилась причиной отказа от clamav к сквиду.

[KrivoSoft]

Я канешно не берусь толковать глубокий смысл фразы Лисяры... Но применительно к этой схеме - не вижу где возьмется дополнительный трафик.
Сквид совершенно тупым образом пуляет запросы в HAVP, HAVP качает соответствующее файло, сканит его антивирем, и отдает назад сквиде. Файл начинает отдаваться клиенту ДО полного скачивания HAVPом. Докачка и тд работают нормально (в ущерб качеству сканирования, но везде нужно выбирать компромисное решение).
Схема внедрена для начала на 2х мелких "точках" для изучения поведения - вроде полет нормальный, жалоб нет.
До внедрения на больших и нагруженых серверах очередь еще не дошла, но чувствую шо скоро уже :-)

Из приятных сюрпризов - необходимость FTP и HTTPS выпускать со сквиды напрямую, мимо HAVP (3 строчки конфига). А в остальном пока доволен.

З.Ы. Решение какбы не мое, я ничего нового не изобретал.

[princeps]

Вообще спасибо за статью. Скоро понадобится настраивать сквид на шлюзе - возьму на вооружение.

[Qaz]

как-то сам пробовал, да...работает и в принципе поднимается с пол пинка...только вот как быть если есть авторизация...не помню что там уже было, но не получалось что-то, зацикливалась она вроде

[Alex Keda]

публикуй у меня.
я тока за.
про редиректоры...
эт мне одна хреновина попадалась - вначале качала, проверяла, потом юзеру начинало отдавать.
часто мима кэша - что в первый раз качала...

[razor]

касательно пулов
переделал только что конфиг по типу приводимого в статье. были некоторые расхождение в том как в сквид.конф заявляецца парент.
начинает качать - всё нормально, затем через какое-то время сосет на полную, во весь канал
так что у меня не вышло подружить снова(

[KrivoSoft]

Вопрос:
А ты сквид после правки конфига перезапускаешь или делаешь squid -k reconfigure ?
Просто если делать reconfigure - то все существующие закачки вылезают из делай-пулов.

[sava]

касательно пулов. как известно сквида сосет трафик на скорости, указанной пулом. Тоесть пул ограничивает скорость обмена сквиды с внешним миром, а не клиента со сквидой. Поэтому остается вопрос как будет вести себя HAVP при скачивании сквозь него большого файла сквидом. Для эксперимента можно подвесить один только HAVP как прокси и попробовать скачать какой-то большой файл какой-нибудь качалкой, которая умеет ограничивать скорость и посмотреть на трафик на выходе, не порывается ли эта ацкая машина в виде HAVP-а стянуть себе этот файл (или его кусок) на максимальной скорости канала?

[KrivoSoft]

Народ. Это флуд.
Смотрите сами. http://green.krivosoft.com:8000/ например сегодня с 6 до 9ти, ну и вчера.
На клиенте регет качает круглосуточно фильмы. Через Сквид+Хавп.
В сквиде нарезаны пулы, и в рабочее время больше 10кб на морду не дается. На ночь канал расширяется к 65кб, сам канал - 72кб.
Сквид утром и вечером рестартуется по крону. Некрасиво. Но для резки фильмов по времени умнее ничего не придумал.
Вопросы?

[Гость]

Вопрос:
А ты сквид после правки конфига перезапускаешь или делаешь squid -k reconfigure ?
Просто если делать reconfigure - то все существующие закачки вылезают из делай-пулов.

эти грабли мной наступлены много давно, так что делают рестарт)

но тут выяснилось интересное. я ща на втором поставил, и там все нормально! хотя конфиги идентичные. разве что у клама чуть иные. он на второй еще много всего чекает.

[razor]

Сквид утром и вечером рестартуется по крону. Некрасиво. Но для резки фильмов по времени умнее ничего не придумал.
Вопросы?

делейпулы же тоже понимают все acl
можно сделать acl 8 - 22 и 22 -8, и фсё. в одно время действует один, в другое - другой.

[Sava]

О mandatory locking... говорят в семерке эта фича начала поддерживаться, но пока не ясно как.. Из из минусов отсутвия данной шняги - хавп не начнет отдавать файл до тех пор, пока не докачает его полностью, ну или его кусок равный MAXSCANSIZE. Таким образом при скачке больших файлов будем иметь задержку на скачку равную времени скачивания MAXSCANSIZE.
Сразу можно утверждать что RAM-диск поможет тут не очень...

[KrivoSoft]

делейпулы же тоже понимают все acl
можно сделать acl 8 - 22 и 22 -8, и фсё. в одно время действует один, в другое - другой.

Ессно. Но вот только если кино начали например качать в 7:50 то докачиватся оно будет до 12ти :-) на полной скорости.
Т.к. закачка попадает в конкретный пул собственно на момент начала закачки :-)

А АЦЛы привязки пулов к времени присутствуют. Как бы оно работало тогда? Просто шоб скорости менялись када хочется а не когда докачается я дергаю сквид для обрыва закачек. Клиентам пофиг, докачка работает на ура.

2Sava
Читал тож шо в семерке вродь как есть Mandatory locking - но на офсайте ничего не нашел по теме, поэтому дезинформироавать народ не стал. Ну и судя по одиноких каментах - ктото сходу не смог ХАВП подружить с Mandatory locking на семерке.
У меня семерки в продуктиве еще нет, сам не пробовал.

2All
Касаемо флуда о больших файлах, задержках, и пр. гадостях :-)
Лично у меня при внедрении HAVP была цель отбивать какую то часть вредоносного кода ДО попадания во внутрисеть.
ЭТО не планировалось как замена антивирусов на клиентских машинах, а лишь как дополнение к ним.
Большинство заразы что лезет с ВЕБ - меряется киобайтами. Поэтому большие файлы сканить на роутере - ИМХО бред, пусть этим заимаются клиентские антивирусы.

А вот мелочь всякую отлавливать, откровенные трояны порнушные - или с недавнего - "диму билана" - самое то!

http://openok.ru/mm/589-klip-video-na-p ... ilana.html 489+64044 VIRUS ClamAV: JS.Agent-3

Поэтому большие файлы сканим совсем чуть-чуть, каждый в силах оптимизировать параметры под себя для убирания или минимизации задержек. Также никто не мешает исключить из проверки avi/iso/mp3/mpeg файлы.
Вот собственно и все.

[razor]

Ессно. Но вот только если кино начали например качать в 7:50 то докачиватся оно будет до 12ти :-) на полной скорости.
Т.к. закачка попадает в конкретный пул собственно на момент начала закачки :-)

А АЦЛы привязки пулов к времени присутствуют. Как бы оно работало тогда? Просто шоб скорости менялись када хочется а не когда докачается я дергаю сквид для обрыва закачек. Клиентам пофиг, докачка работает на ура.

угу, не подумавши брякнул

[BlackPhantom]

а почему используется libvlamav а не clamd socket? какие-то преимущества есть?

[BlackPhantom]

О mandatory locking... говорят в семерке эта фича начала поддерживаться, но пока не ясно как.. Из из минусов отсутвия данной шняги - хавп не начнет отдавать файл до тех пор, пока не докачает его полностью, ну или его кусок равный MAXSCANSIZE. Таким образом при скачке больших файлов будем иметь задержку на скачку равную времени скачивания MAXSCANSIZE.
Сразу можно утверждать что RAM-диск поможет тут не очень...

насколько я понял, это не так. Этот параметр регулирается вот этим

Код: Выделить всё

# Amount of data going to browser that is held back, until it
# is scanned. When we know file is clean, this held back data
# can be sent to browser. You can safely set bigger value, only
# thing you will notice is some "delay" in beginning of download.
# Virus found in files bigger than this might not produce HAVP
# error page, but result in a "broken" download.
#
# VALUE IN BYTES NOT KB OR MB!!!!
#
# Default:
 KEEPBACKBUFFER 100000

и тут как раз указывается спустя какой объем скачавши начинать отдавать дальше (сквиду или юзеру)

[sava]

О mandatory locking... говорят в семерке эта фича начала поддерживаться, но пока не ясно как.. Из из минусов отсутвия данной шняги - хавп не начнет отдавать файл до тех пор, пока не докачает его полностью, ну или его кусок равный MAXSCANSIZE. Таким образом при скачке больших файлов будем иметь задержку на скачку равную времени скачивания MAXSCANSIZE.
Сразу можно утверждать что RAM-диск поможет тут не очень...

насколько я понял, это не так. Этот параметр регулирается вот этим

Код: Выделить всё

# Amount of data going to browser that is held back, until it
# is scanned. When we know file is clean, this held back data
# can be sent to browser. You can safely set bigger value, only
# thing you will notice is some "delay" in beginning of download.
# Virus found in files bigger than this might not produce HAVP
# error page, but result in a "broken" download.
#
# VALUE IN BYTES NOT KB OR MB!!!!
#
# Default:
 KEEPBACKBUFFER 100000

и тут как раз указывается спустя какой объем скачавши начинать отдавать дальше (сквиду или юзеру)

Как раз и нед! Mandatory locking disabled! KEEPBACK settings not used!
Надо от это - MAXSCANSIZE

[KrivoSoft]

а почему используется libvlamav а не clamd socket? какие-то преимущества есть?

Не надо запускать демон кламав.
Ну и через libvlamav оно скручивается ИМХО проще. Через сокет сходу не завелось, забил.

[Sava]

через сокет сходу заведется если запускать HAVP от юзера clamav. А то от своего имени он сцуко не может подружится с сокетом кламава, хоть и права на этот сокет = 777. Может кто вкурсе, подскажите чего оно так?
А вот в чем преимущество сокета? Хз, у меня демон клама и так крутится - почту, самбу и фтп проверяет, ак почему бы и хавпа туда же не поцепить?

[KrivoSoft]

Надо от это - MAXSCANSIZE

Истину глаголишь!

Код: Выделить всё

# Temporary file will grow only up to this size. This means scanner
# will scan data until this limit is reached.
#
# There are two sides to this setting. By limiting the size, you gain
# performance, less waiting for big files and less needed temporary space.
# But there is slightly higher chance of virus slipping through (though
# scanning large archives should not be gateways function, HAVP is more
# geared towards small exploit detection etc).
#
# MAXSCANSIZE 5000000

Вот буржуи пишут те истины, которые я описал в соседнем посте:
"scanning large archives should not be gateways function, HAVP is more geared towards small exploit detection etc"

[BlackPhantom]

Я так понял чтоб работала фича Mandatory locking, надо из куска RAMA сделать отдельный диск, и туда временные файлы HAVP'а забросить?

[sava]

Таки нет. RAM-диск ничего не изменит (наверное). Если хош проверить, то man mdconfig тебе в помощь