подсчет траффика squid и ipcad

[krilya]

знаю что тема поднималась неоднократно, прошу не закидывать тухлыми овощами
решения наподобие Netasm не нравятся своей "перегруженностью" и невозможностью авторизации в AD
Собственно хочется сделать подсчет трафика, требования примерно такие:
1) посчет трафика по разным протоколам(портам) icq, ftp, http, pop и т.д.
2) независимость он ipfw
3) хранение данных в БД
4) веб-интерфейс
5) авторизация в домене AD
6) авторизация по IP/MAC
7) фильтрация траффика

Собственно почти 80% задач решаются с помощью squid, но к сожалению он не считает только http-траффик
Пока придумал такой вариант, использовать для авторизации squid, а траффик считать с помощью ipcad
Логи ipcad конвертить в базу MySQL, морду статистики напишу на php

Незнаю как сделать следующее:
1) как после авторизации в squid разрешать доступ по другим протоколам
2) соответственно как его запрещать до авторизации

Если кто-то может прокомментировать такой вариант, буду очень благодарен.

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[krilya]

поставил ipcad, сразу возник вопрос, как отделить платный траффик? тупо выборкой ?

[zg]

я тут где-то прогу выкладывал, которая на основе кофига привязывает тип трафика и номер договора к ip в логах

[krilya]

я неделю наверно сидел форум читал, прежде чем пост написать, не попадалась такая прога...
если не сложно можно линк?

[aheles]

По опыту пустьнебольшому могу сказать одно что завязывать столько сложностей ненужных типа ad и все такое потом ударит недоступностью я против авторизаций в домене windows ненадо мешать с freebsd а ручками набивайюзверей поверь будет лучше и надежней

[krilya]

лучше не лучше, но если нужно считать трафик и сопоставлять его пользователю домена...
ни и я еще с ipcad'ом пока до конца не разобрался

[zg]

я неделю наверно сидел форум читал, прежде чем пост написать, не попадалась такая прога...
если не сложно можно линк?

я давно кидал

ну короче вот для шестой ветки

logh.tar.bz2

(6.79 КБ) 53 скачивания

для семёрки

logh.7.tar.bz2

(7.08 КБ) 59 скачиваний

пример использования

Код: Выделить всё

zg# cat log.txt | ./logh -d dogovora.conf -n nets.conf
3255574785      3232243980      323     7       2
167772417       3232243980      123     1       2
3272364531      3232243983      3123    4       12
zg# cat log.txt 
194.12.33.1     192.168.33.12   323
10.0.1.1        192.168.33.12   123
195.12.81.243   192.168.33.15   3123

, где dogovora.conf - список "договоров", кто за каким ip закреплён, а nets.conf - список сетей, сверху вниз, где после звёздочки идёт номер сети. Входноый поток текста должен быть: ip-источник, ip-получатель, кол-во байт. Не циско, но сырые логи всё-равно не обрабатываем.

Ну а вывод идёт в формате, подготовленном для импорта в базу данных - ип-источник, ип-получатель, сколько байт, номер сети, номер договора

PS: фильтр для суммаризации и обработки логов ака циска

Код: Выделить всё

 # :cat sum3
#!/usr/bin/awk -f
{
        sum[$1"\t"$2] += $4;
}
END{
        for(i in sum)
                print i"\t"sum[i];
}

используется так

Код: Выделить всё

./sum3 cisco.log.txt | ./logh ... > compiled.log.txt