SQUID: автобан пользователей по превышении квоты

[dm07]

Здравствуйте. Собственно задача: есть SQUID. Нужно настроить автобан для различных категории пользователей по превышении ими объема скачанной информации за день. Чем решить задачу, если не использовать SARG, SAMS?

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[zg]

сквид не самый лучший способ контролировать трафик, но вообще можно на авк состругать скрипт, либо на шелле.

[opt1k]

помнится lightsquid умел подобное. Если не нужна статистика то даже веб сервер ставить не обязательно.

[lymar]

sarge

[BlitzKrieg]

Ихму проще распихать лог сквида в mysql, скриптом по крону обсчитывать для каждого и добавлять в бан лист если первосходит квоту.

[zg]

распихать лог сквида в mysql

есть одна трабла, лог - это неструктурированные данные, поэтому для их обработки мусе потребуются значительно большие ресурсы, чем если бы обрабатывать просто текстовый файл.

[opt1k]

нууу, вобще мона по

Код: Выделить всё

tail -f

вгонять в мусю данные по трафику, а через крон, скажем, каждые 10 секунд проверять народ на превышение квоты. Может быть я чего то и не понимаю...

[zg]

нафига муся, если на авк можно накатать скрипт, который будет кушать килобайты, сидеть резидентно и лочить всех как только лимит исчерпан?

[BlitzKrieg]

C какого это хрена лог сквида не структурированные данные? Тем более потом с логом в бд можно делать чего хочешь. Например тупо при логине проверять квоту, просматривать статистику накатав не шибко замороченые скрипты на пхп скажем, вощем не придумывайте лесапед с треугольными колесами... это решение убого в принципе.
тупо для разборки лога сквида авк тратит куда больше времени нежели чем перл. сравнивал два скрипта с аналогичными функциями один из них писан лисом, чтобы распихать лог тратил времени раза в 3-4 больше чем перл.

[zg]

C какого это хрена лог сквида не структурированные данные?

уууу.... как всё печально

Тем более потом с логом в бд можно делать чего хочешь.

ну да, делать выборку из таблицы, в которой двести миллионов записей очень практично

Например тупо при логине проверять квоту, просматривать статистику накатав не шибко замороченые скрипты на пхп скажем

ну а лог то на кой хранить? ну будет там у тебя база расти на 50 метров в день, через месяц тупо упадёт. Для статистики лог в базе не нужен, нужны лишь данные его обработки.

тупо для разборки лога сквида авк тратит куда больше времени нежели чем перл. сравнивал два скрипта с аналогичными функциями один из них писан лисом, чтобы распихать лог тратил времени раза в 3-4 больше чем перл.

что-то меня мутит от объективности теста. Проведём свой тест?

[BlitzKrieg]

C какого это хрена лог сквида не структурированные данные?

уууу.... как всё печально
Ты утверждаешь что нет структуры? Тогда как его разбирать если никакой структуры нет? Хаос йопта

Тем более потом с логом в бд можно делать чего хочешь.

ну да, делать выборку из таблицы, в которой двести миллионов записей очень практично
Бугага что тебе мешает делать табличку только для сумму трафика и юзера ? :-) ТАкже кто тебе мешает не хранить полный лог или тереть его раз в мес?

Например тупо при логине проверять квоту, просматривать статистику накатав не шибко замороченые скрипты на пхп скажем

ну а лог то на кой хранить? ну будет там у тебя база расти на 50 метров в день, через месяц тупо упадёт. Для статистики лог в базе не нужен, нужны лишь данные его обработки.
Ну дык я разве призывал хранить лог в бД? :-) Не поверишь, кстати, больше полугода лог полностью в базу кладецо и ничо не упало :-) Странно...
Даж самому интересно человек подойдет со старой работы спрошу скока файл бд весит.

тупо для разборки лога сквида авк тратит куда больше времени нежели чем перл. сравнивал два скрипта с аналогичными функциями один из них писан лисом, чтобы распихать лог тратил времени раза в 3-4 больше чем перл.

что-то меня мутит от объективности теста. Проведём свой тест?

Проведи столько тестов сколько считаешь нужным, я свой тест уже провел и проводил его не ради того чтобы сейчас тут тебе чего-то доказывать.
За основу перлового скрипта брался скрипт на tmeter.ru awk из статьи лисяры если не ошибаюсь к trafd морда.
Все вводные у тебя есть, жду "объективных" результатов. а также готовых скриптов для проверки у себя с последующим воздвижением памятника и присвоением титула "Мистер объективность 2008"

[zg]

я свой тест уже провел и проводил его не ради того чтобы сейчас тут тебе чего-то доказывать

а на кой тогда ты это писал?

чтобы распихать лог тратил времени раза в 3-4 больше чем перл.

брался скрипт на tmeter.ru

жаль, иногда получаются инетерсные тесты....

и присвоением титула "Мистер объективность 2008"

если нет тестов, то никто не доказал, что авк справится в обработке сквидового лога хуже чем перл.

[opt1k]

сдаётся мне что авк справиться лучше

[BlitzKrieg]

я свой тест уже провел и проводил его не ради того чтобы сейчас тут тебе чего-то доказывать

а на кой тогда ты это писал?

чтобы распихать лог тратил времени раза в 3-4 больше чем перл.

Я писал это так как видел результат работы и того и другого, и оставил именно перловый скрипт для этой задачи. В результат сразу не поверил, даже несколько раз перезапускал скрипты. То есть я это говорю на основании чего-то, может я и ошибаюсь, но мне есть на чем основываться. Чо воду в ступе толоч, давай скрипт на авке я проверю, раз уж ты не в состоянии.

брался скрипт на tmeter.ru

жаль, иногда получаются инетерсные тесты....

и присвоением титула "Мистер объективность 2008"

если нет тестов, то никто не доказал, что авк справится в обработке сквидового лога хуже чем перл.

[BlitzKrieg]

сдаётся мне что авк справиться лучше

Эт ты сделал такой вывод по числу сообщений на этом форуме участвуйщих в дискуссии?

[BlitzKrieg]

я свой тест уже провел и проводил его не ради того чтобы сейчас тут тебе чего-то доказывать

а на кой тогда ты это писал?

чтобы распихать лог тратил времени раза в 3-4 больше чем перл.

Я писал это так как видел результат работы и того и другого, и оставил именно перловый скрипт для этой задачи. В результат сразу не поверил, даже несколько раз перезапускал скрипты. То есть я это говорю на основании чего-то, может я и ошибаюсь, но мне есть на чем основываться. Чо воду в ступе толоч, давай скрипт на авке я проверю, раз уж ты не в состоянии.

брался скрипт на tmeter.ru

жаль, иногда получаются инетерсные тесты....

и присвоением титула "Мистер объективность 2008"

если нет тестов, то никто не доказал, что авк справится в обработке сквидового лога хуже чем перл.

Кстати вопрос, если я протестирую и скажу опять что перл быстрее, что тебе мешает по прежнему утверждать что авк быстрее и отказываться от проведения тестов :-)

[zg]

если я протестирую и скажу опять что перл быстрее

исходники не забудь и опиши условия теста так, чтобы и мы могли его воспроизвести и протестить у себя на серваках.

[opt1k]

сдаётся мне что авк справиться лучше

Эт ты сделал такой вывод по числу сообщений на этом форуме участвуйщих в дискуссии?

к такому выводу пол года назад меня толкнул мой препод по системному программированию.

[manefesto]

сдаётся мне что авк справиться лучше

perl лучше.
Ибо awk это отдельная программа, отдельный запуск процесса.
А перл это один процесс и функция распарсивания будет только функцией но не как ни прогой.
перл реактивный как панос....оглянутся не успеешь как обос**лся

[zg]

и функция распарсивания будет только функцией но не как ни прогой.

ты просто не умеешь их готовить...