Настройка детальной статистики с использованием Netams 3.4.5

[ail-man]

Обсуждаем, решаем проблемы

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[dreamond]

при установке самого не тамс он требует jpeg.10 а в портах что 7й что 8й фре jpeg.8
было у тебя такое? как решил? ) говорят через создание сумлинка, но я пока не пробовал.

UPD в случае такого косяка народ чешите на родной Netams форум там написано что надо сделать




UPD
Netams работает до вот только не до конца( нормально считает WAN но LAN и юзера не считает) где то у меня видимо ошибочка вкралась:
freeBSD 7.2 (NAT_IPFW)
em0- внешний интерфейс IP 192.168.40.5
em1- внутренний IP 192.168.125.2
пользователь user1 с IP 192.168.125.9

Код: Выделить всё

#NeTAMS 3.4.5 (3490.1) root@niiopp.gate / Thu 18 Mar 2010 23:21:08 +0000
#configuration built Fri Mar 19 02:14:21 2010
#begin
#global variables configuration
debug none
language ru
user oid 033A09 name admin real-name "Admin" crypted $1$$HpXmjtul/3i1.bf.B27bU. email root@localhost permit all

#services configuration

service server 0
login local
listen 20001
max-conn 6

service processor
lookup-delay 60
flow-lifetime 180
policy oid 0F4667 name ip target proto ip
policy oid 088DC0 name www target proto tcp port 80 81 8080 3128 443
policy oid 08B7AC name pop3 target proto tcp port 25
policy oid 0B7B84 name smtp target proto tcp port 110
policy oid 08A110 name ftp target proto tcp port 20 21
policy oid 0B6F4B name ipsec target proto esp
policy oid 019425 name rdp target proto tcp port 3389 5589 3390 5590 5593 37777
policy oid 0C5A56 name ssh target proto tcp port 22

restrict all pass local pass
unit group oid 0D54BF name TEST1 acct-policy ip www pop3 smtp rdp ssh ipsec
unit group oid 018EDE name TEST2 acct-policy ip www ftp pop3 smtp rdp ssh ipsec
unit host oid 08D1C9 name WAN1 ip 192.168.40.5 acct-policy ip www ftp pop3 smtp rdp ssh ipsec
unit net oid 047BCE name LAN ip 192.168.125.0/24 acct-policy ip www ftp pop3 smtp rdp ssh ipsec
unit user oid 09A967 name user1 ip 192.168.125.9 acct-policy ip www ftp pop3 smtp rdp ssh

service storage 0
type mysql
user ***
password ***
accept all

service data-source 1
type libpcap
source em0 
rule 11 "ip"

service data-source 2
type libpcap
source em1 
rule 11 "ip"

service quota
policy ip
notify soft owner
notify hard owner
notify return owner

service monitor 0
monitor to storage 0
monitor unit WAN1
monitor unit LAN

service alerter 0
report oid 06100 name rep1 type traffic period day detail simple
smtp-server localhost

service html
path /usr/local/www/netams/stat
run 10min
url http://192.168.125.2/netams/
htaccess yes
client-pages all
account-pages none

service scheduler
oid 08FFFF time 10min action "html"


#end

автор буду очень благодарен если подскажете где ошибка

PS попытавшись просмотреть таблицу по user1 через Admintolls получил прямо таки сакраментальную надпись

Код: Выделить всё

All data for sets is zero :( !!!

[ail-man]

to dreamond
Все верно, созданием симлинка. Хотя у меня такой проблемы не возникало, т.к. устанавливал на чистую ось. А знакомый сталкивался, пришлось сносить jpeg и заново собирать Netams. И тогда он вылетал с ошибкой, пока не сделал симлинк.

Ошибок в конфиге не вижу. Нетамс обновляет статистику каждые 10 минут, возможно у вас не успела накопиться.

[dreamond]

to dreamond
Все верно, созданием симлинка. Хотя у меня такой проблемы не возникало, т.к. устанавливал на чистую ось. А знакомый сталкивался, пришлось сносить jpeg и заново собирать Netams. И тогда он вылетал с ошибкой, пока не сделал симлинк.

Ошибок в конфиге не вижу. Нетамс обновляет статистику каждые 10 минут, возможно у вас не успела накопиться.

ммм...за то я вроде как нашел множество расхождений у меня и с тем что в статье, в частности user1 у меня не является ни чьим дочерним объектом- с этим понятно переставлю и заново сделаю но повнимательнее а там посмотрим. Статистика с WAN1 по нормальному собралась а вот user1 к-м собственно это дело качалось статистики не было.

мне больше интересно следующее, в этом блоке конфига

Код: Выделить всё

service data-source 1
type libpcap
source if0
layer7-detect urls
rule 11 "ip"

в последней строчке указывается 11е правило IPFW насколько я понял, так вот какое оно у тебя?
c чего я взял что это правило IPFW? вот отсюда http://www.netams.com/doc/serv_ds.html
а потом по ссылочки с блока libcap сюда http://www.netams.com/doc/kb_ds_rule.html
сказано прямо

случае использование FreeBSD правила должны выглядеть следующим образом:

Случай использования "честных" адресов:
rule number "ip from any to any via ifname"
где:
number - относительно любой номер правила в таблице ipfw, например 100
ifname - название внешнего интерфейса, через который трафик идет к провайдеру
Случай использования "левых" адресов и их трансляции:
rule number1 "ip from any to any via ifname"
rule number2 "ip from any to any via ifname"
где:
number1 и number2 - номера правил в таблице ipfw, так чтобы ваше правило по трансляции адресов (заворот пакетов в divert socket NATD) имело номер МЕЖДУ НИМИ.
ifname - название внешнего интерфейса, через который трафик идет к провайдеру
Это сделано для того, чтобы учитывать трафик на не оттранслированные адреса.

С учетом того что у тебя в начале статьи говорится о том что не важен какой firewall и выше лежащих цитат с офф доков я слегка запутался что означает строчка

rule 11 "ip"

.

PS не большой вопрос к практической части администрирования: в доках говорится что администрировать юнитами надо через телнетовскую утилитку.
а по другому есть возможность (как то не понравился мне механизм удаления юнитов)? к примеру прямой редакций конфига NeTAMS ? в этом случае нужно оставноить NeTAMS а после редакции стартовать или можно наживую в конфиге подправить что надо и потом сделать рестарт?

PPS в общем как переделаю отпишусь

[ail-man]

...в частности user1 у меня не является ни чьим дочерним объектом

Это не критично. Принадлежность к группе можно не указывать

Статистика с WAN1 по нормальному собралась а вот user1 к-м собственно это дело качалось статистики не было.

попробуйте удалить и заново создать юнит

мне больше интересно следующее, в этом блоке конфига

Код: Выделить всё

service data-source 1
type libpcap
source if0
layer7-detect urls
rule 11 "ip"

в последней строчке указывается 11е правило IPFW насколько я понял, так вот какое оно у тебя?

У меня PF.
правило
rule 11 "ip"
можно убрать. Оно используется только для связки с IPFW, для libpcap оно не нужно. В статье исправил.

а по другому есть возможность (как то не понравился мне механизм удаления юнитов)? к примеру прямой редакций конфига NeTAMS ?

Удалить юниты можно через веб-интерфейс "Administration interface" -> "Units" а затем "Save current config" внизу. При этом рестартовать Netams не нужно.
Добавлять тоже можно через веб-интерфейс, однако при этом для созданных юнитов не прописывается acct-policy. Создаю юниты я редактированием конфига, а затем рестартом Netams с последующим telnet и save

[dreamond]

Создаю юниты я редактированием конфига, а затем рестартом Netams с последующим telnet и save

ммм...а не опишешь мне последовательность команд? а то я опять косячек допустил, редактирую файлик netams.conf
сохраняю захожу телнетом делаю save потом show config а настройки все те же

UPD сообразил кажется
телнетом конектимся там kill процесса и нас выбрасывает в консоль
после чего редактируем конфиг затем сохраняем
далее старт нетамса
и через телнет save
так? или есть более корректный путь?


PS извини если затыркал обычно в rc.d прописывают старт рестарт демона но видимо нетамс исключение
PPS все работает огромyое сэнкс автору

[ail-man]

Послед-ть комманд:
1. Редактируем netams.conf, добавляя юниты.
2. Рестартуем netams. Это можно сделать через /usr/local/etc/rc.d/netams restart, но не всегда срабатывает. Поэтому:
ps -ax | grep netams
смотрим pid процесса
затем kill pid и /usr/local/etc/rc.d/netams start
3. telnet localhost 20001
admin: ***
pass: ***
4. save
5. Проверяем, появились ли в конфиге изменения: show config.

От себя мнение: Продукт Netams еще сырой и требует доработки, однако с задачей сбора статистики он справляется на 5+. И удобство с красотой сдесь на втором плане.

[dreamond]

От себя мнение: Продукт Netams еще сырой и требует доработки, однако с задачей сбора статистики он справляется на 5+. И удобство с красотой сдесь на втором плане.

согласен, впрочем обещаются скоро выпустить 4ку.по обещаниям должны полностью переработать всю схему так что вероятно веб морду они сделают более интерактивной и да и вообще администрирование через веб, особенно радует обещанная плюшка про интеграцию в AD

[alman]

вопрос, так скать, к слову.
почему при рестарте сервиса netams меня вышибает из сессии ssh? Никто не сталкивался с такой проблемой? И как ее полечить?

спасибо

[vitek16]

вопрос, так скать, к слову.
почему при рестарте сервиса netams меня вышибает из сессии ssh? Никто не сталкивался с такой проблемой? И как ее полечить?

спасибо

Лично я не сталкивался и не слышал чтобы другие сталкивались.Вообще сложно связать сессии ssh и рестарт netams.Думается мне тут дело глубже.Попробуйте смоделировать ситуацию с рестартом других сервисов.

[alman]

Нашел причину такого поведения. Оказалось, это скрипт access-script "/home/script.sh" , cрабатывающий по наступлении лимита.

В описании сказано:
При наступлении события отключения-включения сервис processor вызывает его с параметрами:
Действие(DENY|ALLOW)
Идентификатор_юнита(OID)
IP(IP)
Причина(QUOTA|LOGIN|...)

Подскажите, как можно отловить эти события?
И еще, в процессах сидят три мелких зомби по имени <defunct>. Стартуют вместе с Netams. Вроде жить не мешают, но портят картину
Есть идеи, откуда они могли появиться?

[dreamond]

хм ...а у кого нибудь удалось добиться функционирования no-local-pass ? т.е что бы неучтенных в инет не пускало? а то у меня как то никак
может ошибка в конфиге?
у меня никакого впн, просто локальная сеть 192.168.125.0/24

Код: Выделить всё

#NeTAMS 3.4.5 (3490.1) root@xrenb.gate / Sat 20 Mar 2010 00:37:19 +0000
#configuration built Sat Mar 27 20:55:03 2010
#begin
#global variables configuration
debug none
language ru
user oid 03CDB3 name admin real-name "Admin" crypted $1$$HpXmjtul/3i1.bf.B27bU. email admin@xrenb.ru permit all

#services configuration

service server 0
login local
listen 20001
max-conn 6

service processor
lookup-delay 60
flow-lifetime 180
policy oid 0779ED name ip target proto ip
policy oid 022F6A name www target proto tcp port 80 81 8080 3128 443
policy oid 067878 name ftp target proto tcp port 20 21
policy oid 0BD4D7 name pop3 target proto tcp port 110
policy oid 0D5CE2 name smtp target proto tcp port 25
policy oid 0B521E name ipsec target proto esp
policy oid 0836AC name rdp target proto tcp port 3389 5589 3390 5590 5593 37777
policy oid 0DF417 name ssh target proto tcp port 22
policy oid 046CD2 name dns target proto tcp port 53
policy oid 01FB80 name icq target proto tcp port 5190
restrict all drop local pass
unit group oid 0CE4AD name GROUP1 acct-policy ip www ftp pop3 smtp ipsec rdp ssh dns icq
unit group oid 08DF56 name FIZI acct-policy ip www ftp pop3 smtp ipsec rdp ssh dns icq
unit net oid 055B18 name LAN ip 192.168.125.0/24  no-local-pass acct-policy ip www ftp pop3 smtp ipsec rdp ssh dns icq
unit host oid 013979 name WAN1 ip 192.168.40.5 acct-policy ip www ftp pop3 smtp ipsec rdp ssh dns
unit user oid 06E833 name GROUP1user1 ip 192.168.125.3 parent GROUP1 acct-policy ip www ftp pop3 smtp ipsec rdp ssh dns icq
unit user oid 0D6AFF name FIZIuser1 ip 192.168.125.9 parent FIZI acct-policy ip www ftp pop3 smtp ipsec rdp ssh dns icq

service storage 0
type mysql
user ***
password ***
accept all

service data-source 1
type libpcap
source em0 
layer7-detect urls

service data-source 2
type libpcap
source em1 
layer7-detect urls

service quota
policy ip
notify soft owner
notify hard owner
notify return owner

service monitor 0
monitor to storage 0
monitor unit LAN
monitor unit WAN1

service html
path /usr/local/www/netams/stat
run 1min
url http://192.168.125.2/netams/
htaccess yes
client-pages all
account-pages none

service scheduler
oid 08FFFF time 1min action "html"

к примеру ПК с ip 192.168.125.8 как ходил, так и ходит

или я принципиально не понимаю действия no-local-pass и для libpcap оно не действует? ?

PS в принципе то считает он нормально

[svv1981]

По поводу борьбы с jpeg.10

Редактируем /usr/ports/net-mgmt/netams345/Makefile таким образом

Строку
jpeg.10:${PORTSDIR}/graphics/jpeg
меняем на
jpeg.11:${PORTSDIR}/graphics/jpeg

[newsage]

Я настроил NetAMS аднако у меня был установлен postgres, и поэтому решил писать данные на него...

При попытке использовать Веб-интерфейс Admintool NetAms падает.
Сколько раз не пытался зайти всегда падает и в логах ничего не появляется!
Подскажите что делать ... в логах ничего не появдяется, пробывал делать debug all тоже ничего нет.
OS: FreeBSD


Конфиг:

Код: Выделить всё

#NeTAMS 3.4.5 (3490.1) root@InternetServer.Tokkata.local / Fri 26 Mar 2010 09:13:58 +0600
#configuration built Mon Mar 29 10:49:13 2010
#begin
#global variables configuration
debug none
language ru
user oid 0D1C86 name admin real-name "Admin" crypted $1$$IGDDuOBoPY7y8wlCdO6ZU0 email root@localhost permit all

#services configuration

service server 0 (faulty) (stopped)
login local
listen 20001
max-conn 6
stop

service processor
lookup-delay 60
flow-lifetime 180
policy oid 00945D name ip target proto ip
policy oid 0FD1B2 name www target proto tcp port 80 81 8080 3128 443
policy oid 012292 name ftp target proto tcp port 20 21
policy oid 02A9CB name pop3 target proto tcp port 110
policy oid 0D4082 name SMTP target proto tcp port 25
policy oid 039045 name ipsec target proto esp
policy oid 0068DA name rdp target proto tcp port 3389 5589 3390 5590 5593 37777
policy oid 06A959 name ssh target proto tcp port 22
restrict all pass local pass
unit group oid 04AC8F name CLIENTS acct-policy ip www
unit user oid 0CDDBA name client1 ip 192.168.1.56 email client1@example.com parent CLIENTS acct-policy ip www
unit net oid 086C96 name LAN ip 192.168.1.0/24 acct-policy ip www ftp pop3 SMTP rdp ssh ipsec
unit host oid 08B44A name WAN1 ip 78.109.151.26 acct-policy ip www ftp pop3 SMTP rdp ssh ipsec
unit host oid 0CFBD0 name WAN2 ip 92.46.191.150 acct-policy ip www ftp pop3 SMTP rdp ssh ipsec

service storage 1
type postgres
user ***
password ***
accept all

service data-source 1
type libpcap
source bge0 
layer7-detect urls

service data-source 2
type libpcap
source fxp0 
layer7-detect urls

service data-source 3
type libpcap
source rl0 
layer7-detect urls

service quota
policy ip
notify soft owner
notify hard owner
notify return owner

service monitor 0
monitor to storage 0
monitor unit LAN
monitor unit WAN1
monitor unit WAN2

service alerter 0
report oid 06100 name rep1 type traffic period day detail simple
smtp-server localhost

service html
path /usr/local/www/netams/stat
run 10min
url http://192.168.1.6/netams/
htaccess yes
client-pages all
account-pages none

service scheduler
oid 08FFFF time 10min action "html"

При вылете NetAMS в логах Postgres появляются такие ошибки:

Код: Выделить всё

Apr 2 11:39:17 InternetServer postgres[25148]: [2-1] ERROR: функция unix_timestamp() не существует на символе 28
Apr 2 11:39:17 InternetServer postgres[25148]: [2-2] ПОДСКАЗКА: No function matches the given name and argument types. You may need to add explicit type casts.
Apr 2 11:39:17 InternetServer postgres[25148]: [2-3] КОМАНДА: INSERT INTO events VALUES (unix_timestamp(),'CGI', 0,0,0,"192.168.1.56 request to view account ")
Apr 2 11:39:17 InternetServer postgres[25143]: [2-1] LOG: неожиданный конец файла (EOF) при подсоединении клиента
Apr 2 11:39:17 InternetServer postgres[25146]: [2-1] LOG: неожиданный конец файла (EOF) при подсоединении клиента
Apr 2 11:39:17 InternetServer postgres[25144]: [2-1] LOG: неожиданный конец файла (EOF) при подсоединении клиента

[Hoper]

хм ...а у кого нибудь удалось добиться функционирования no-local-pass ? т.е что бы неучтенных в инет не пускало? а то у меня как то никак
может ошибка в конфиге?
у меня никакого впн, просто локальная сеть 192.168.125.0/24

Код: Выделить всё

#NeTAMS 3.4.5 (3490.1) root@xrenb.gate / Sat 20 Mar 2010 00:37:19 +0000
#configuration built Sat Mar 27 20:55:03 2010

...


service data-source 1
type libpcap
source em0 
layer7-detect urls

service data-source 2
type libpcap
source em1 
layer7-detect urls

...

к примеру ПК с ip 192.168.125.8 как ходил, так и ходит

или я принципиально не понимаю действия no-local-pass и для libpcap оно не действует? ?

PS в принципе то считает он нормально

type libpcap - это копирование трафика
Как мне блокировать трафик, если я использую libpcap?
В общем случае - никак. Библиотека libpcap позволяет только слушать проходящий мимо интерфейса трафик. Все возможность блокировки через fw-policy или sys-policy работают ТОЛЬКО при наличии "перехватывающего" сервиса data-source, например IPFW или iptables/IPQ. Вы также можете написать свой скрипт (де)блокировки, который будет вызываться сервисом processor каждый раз, когда изменяется состояние системной политики юнита (см. документацию и пример).http://www.netams.com/doc/faq.html

[rootaxe]

Подскажите как считать только внешний трафик?

FreeBSD 7.2, pf nat, WAN, LAN

При исплользовании 2-х data-source учитывается весь трафик (внутренний и внешний).

С data-source только на внешнем интерфейсе учет ведется только для юнита WAN.

Настройки netams:

Код: Выделить всё

unit host name WAN ip A.A.A.A description "Внешний сетевой интерфейс WAN" acct-policy ip www mail ftp ssh
unit net name LAN ip 192.168.0.0/24 description "Локальная сеть 192.168.0.0/24" acct-policy ip worktime notworktime urls www mail
 ftp ssh
unit host name host ip 192.168.0.1 description "Компьютер 192.168.0.1" password host parent HOSTS acct-
policy ip worktime notworktime urls www mail ftp

service data-source 1
type libpcap
source em0
layer7-detect urls

service data-source 2
type libpcap
source em1
layer7-detect urls

[dreamond]

type libpcap - это копирование трафика
Как мне блокировать трафик, если я использую libpcap?
В общем случае - никак. Библиотека libpcap позволяет только слушать проходящий мимо интерфейса трафик. Все возможность блокировки через fw-policy или sys-policy работают ТОЛЬКО при наличии "перехватывающего" сервиса data-source, например IPFW или iptables/IPQ. Вы также можете написать свой скрипт (де)блокировки, который будет вызываться сервисом processor каждый раз, когда изменяется состояние системной политики юнита (см. документацию и пример).http://www.netams.com/doc/faq.html

да потом уже натолкнулся на faq ...обычно я сразу за сам мануал и инструкцию а там об этом не слова

[rootaxe]

Подскажите как считать только внешний трафик?

FreeBSD 7.2, pf nat, WAN, LAN

При исплользовании 2-х data-source учитывается весь трафик (внутренний и внешний).

С data-source только на внешнем интерфейсе учет ведется только для юнита WAN.

Настройки netams:

Код: Выделить всё

unit host name WAN ip A.A.A.A description "Внешний сетевой интерфейс WAN" acct-policy ip www mail ftp ssh
unit net name LAN ip 192.168.0.0/24 description "Локальная сеть 192.168.0.0/24" acct-policy ip worktime notworktime urls www mail
 ftp ssh
unit host name host ip 192.168.0.1 description "Компьютер 192.168.0.1" password host parent HOSTS acct-
policy ip worktime notworktime urls www mail ftp

service data-source 1
type libpcap
source em0
layer7-detect urls

service data-source 2
type libpcap
source em1
layer7-detect urls

Можно выделить внешний трафик исключением локального. Например так:

Код: Выделить всё

policy name ip target proto ip
policy name local target file /usr/local/etc/netams/localnet.txt
policy name inet target policy-and !local
policy name localworktime target policy-and local time 08:00-17:00 day Mon-Fri
policy name localresttime target policy-and local !localworktime
policy name inetworktime target policy-and !local time 08:00-17:00 day Mon-Fri
policy name inetresttime target policy-and !local !inetworktime
unit host name WAN ip A.A.A.A description "Внешний сетевой интерфейс WAN" acct-policy ip
unit net name LAN ip 192.168.0.0/24 description "Сеть 192.168.0.0/24" acct-policy ip local inet localworktime localresttime inetworktime inetresttime

localnet.txt:

Код: Выделить всё

192.168.0.0 /255.255.255.0

Только почему-то значения ip для WAN и inet для LAN расходятся...

[Boomberbun]

В логе netams следующее 20.05.2010 11:38:45.7915 ds_libpcap:2 [ERR]: failed to open pcap interface:
Что значит не удалось открыть? А как проверить работу libpcap? Спасибо!

[Boomberbun]

В логе netams следующее 20.05.2010 11:38:45.7915 ds_libpcap:2 [ERR]: failed to open pcap interface:
Что значит не удалось открыть? А как проверить работу libpcap? Спасибо!

Лошара я не вписал в конфиг настоящие названия интерфейсов))))))

[Rubi]

Я вот, что-то не понял URL статистику он может вести или нет?

[Гость]

не собирается на двух машинах, с ошибкой:
list.h:32 error ISO C++ forbids declaration of ‘lhash’ with no type

может кто столкнулся и решил?

FreeBSD 8.0, порты обновлены, libpcap установлен

[Boomberbun]

не собирается на двух машинах, с ошибкой:
list.h:32 error ISO C++ forbids declaration of ‘lhash’ with no type

может кто столкнулся и решил?

FreeBSD 8.0, порты обновлены, libpcap установлен

Ну я очень не силён в тонкостях, но как тема попробуйте на совершенно новой системе. И все зависимости оставьте по умолчанию, для меня это основная трабла с установкой софта.

[future3000]

Netams 3.4.5_1 появился в портах freebsd наконец-то!!!!!!!!!!!!

[ail-man]

Я вот, что-то не понял URL статистику он может вести или нет?

Может, с помощью сервиса monitor. Кнопка "Help" в правом верхнем углу веб-интерфейса в разделе Monitor вам в помощь.