Проблема старта деманов (FreeBSD + Flow tools)

Простые/общие вопросы по UNIX системам. Спросите здесь, если вы новичок

Модераторы: vadim64, terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
stum74
рядовой
Сообщения: 27
Зарегистрирован: 2011-06-20 6:51:26

Проблема старта деманов (FreeBSD + Flow tools)

Непрочитанное сообщение stum74 » 2011-06-20 6:58:50

Всем привет!
1) Проблема: Не могу настроить автозапуск деманов flow tools (flow-capture и softflowd).
2) Исходные данне:
- freebsd использую меньше недели. До этого работал в дебиан. Хочу перейти на freebsd, система весьма симпатична.
- хост находица на вм машине. Является тестовой площаткой для разработки шлюза
- установил следующее: freebsd 8.2 + mpd5 (впн сервер) + ipf + ipnat - связка замечательно работает.

3) Решаемая задача: на внешнем интерфейсе (em0) собирать статистику по трафику.

И так. Решил ставить flow tools + iptraf. Реализация сенсора и хранилища flow tools на одном хосте.
Поставил из портов flow-capture и softflowd. Юзал ресурсы : http://xgu.ru/wiki/NetFlow http://subnets.ru/blog/?p=1632 http://vova-zms.blogspot.com/2009_04_01_archive.html .

Связка flow-capture и softflowd у меня замечательно стартует из командной строки с толкача так сказать в ручную путем:
router# /usr/local/bin/flow-capture -p /var/run/flow-capture.pid -n 287 -N 0 -w /var/netflow/ -S 5 0/0/8787
softflowd -i em0 -n 127.0.0.1:8787
начинает логии класть куда надо. Все замечательно. Проверял.

Но я столкнулся с проблемой когда логично захотел чтобы у меня стартовали деманы. В силу своих познаний и наития отконфигурировал /etc/rc.conf , но счастья нет.

В мануалах, которыми я пользовался, в одних написано что нужно какой то скрипт запуска редактировать, в других ничего не пишется толком. Инфа неоднозначная и еще не понят для каких версий ПО и ОС.

Прошу помочь настроить автозапуск деманов flow-capture и softflowd.

Ниже привожу конфиг(/etc/rc.conf ег оуже по всякому перевертел, всеравно не стартует автоматом) и скрипты(руками не трогал).

/etc/rc.conf

Код: Выделить всё

# -- sysinstall generated deltas -- # Mon Jun  6 16:34:29 2011
# Created: Mon Jun  6 16:34:29 2011
# Enable network daemons for user convenience.
# Please make all changes to this file, not to /etc/defaults/rc.conf.
# This file now contains just the overrides from /etc/defaults/rc.conf.
defaultrouter="172.21.2.101"
gateway_enable="YES"
hostname="router"
ifconfig_em0="inet 172.21.2.2   netmask 255.255.255.0"
ifconfig_em1="inet 192.168.33.2   netmask 255.255.0.0"

#static_routes="net1"
#route_net1="-net 192.168.33.0 172.21.2.101"

#firewall_enable="YES"
#firewall_type="OPEN"
#tcp_drop_synfin="YES"

keymap="ru.koi8-r"
sshd_enable="YES"
mpd_enable="YES"


# -- IPF           http://www.linuxcenter.ru/lib/articles/networking/freebsd_gateway.phtml
ipfilter_enable="YES"            # Start ipf firewall
ipfilter_rules="/etc/ipf.rules"  # loads rules definition text file
ipmon_enable="YES"               # Start IP monitor log
ipmon_flags="-Ds"                # D = start as daemon
                                 # s = log to syslog
                                 # v = log tcp window, ack, seq
                                 # n = map IP & port to names

ipnat_enable="YES"               # Start ipnat function
ipnat_rules="/etc/ipnat.rules"   # rules definition file for ipnat

flowcapture_enable="YES"
flowcapture_port="8787"
#flowcapture_remoteip="127.0.0.1"
flowcapture_datadir="/var/netflow"
#flow_capture_localip="127.0.0.1"
#flow_capture_pid="/var/run/flow-capture/flow-capture.pid"
flowcapture_flags="-n 287 -N 0 -w -S 5"

softflowd_enable="YES"
softflowd_interfaces="em0"
softflowd_netflow_host="127.0.0.1"
softflowd_netflow_port="8787" 
/usr/local/etc/rc.d/flow_capture

Код: Выделить всё

#!/bin/sh
#
# $FreeBSD: ports/net-mgmt/flow-tools/files/flow_capture.in,v 1.3 2006/12/19 22:44:25 stas Exp $
#

# PROVIDE: flow_capture
# REQUIRE: LOGIN
# KEYWORD: shutdown

#
# Add the following line to /etc/rc.conf to enable flow-capture:
# flow_capture_enable (bool):	Set it to "YES" to enable flow-capture daemon.
#				Set to "NO" by default.
# flow_capture_datadir (str):	Base flow data directory.
#				Default is "/var/db/flows"
# flow_capture_localip (str):	IP address to bind to
#				Default to "0.0.0.0"
# flow_capture_remoteip (str):	IP address to accept flows from
#				Default to "0.0.0.0" or all IPs
# flow_capture_port (int):	Port to accept flow data on
#				Default is "8787"
# flow_capture_flags (str):	Custom additional arguments to be passed
#				to flow-collector (default "-E 128M").
# flow_capture_profiles (str):	A list of configuration	profiles to enable.
#				This allows you	to run several instances of
#				flow-capture with different parameters.
#				Consider the following example:
#				flow_capture_enable="YES"
#				flow_capture_localip="85.172.168.9"
#				flow_capture_profiles="r1 r2"
#				flow_capture_r1_datadir="/var/db/flows/r1"
#				flow_capture_r1_port="4444"
#				flow_capture_r1_flags="-E20G -n287 -N-2"
#				flow_capture_r2_datadir="/var/db/flows/r2"
#				flow_capture_r2_port="4445"
#				flow_capture_r2_flags="-E5G -n287 -N-2"
#
#				This will run two instances of the flow-capture
#				with parameters taken from appropriate
#				flow_capture_PROFILENAME_xxx variables. For
#				unspecified parameters flow_capture_xxx
#				varialbes will be used.

. /etc/rc.subr

name="flow_capture"
rcvar=`set_rcvar`

setup_profile_vars()
{
	name=flow_capture_$1
	eval ": \${flow_capture_${1}_datadir=${flow_capture_datadir}}"
	eval ": \${flow_capture_${1}_localip=${flow_capture_localip}}"
	eval ": \${flow_capture_${1}_remoteip=${flow_capture_remoteip}}"
	eval ": \${flow_capture_${1}_port=${flow_capture_port}}"
	eval ": \${flow_capture_${1}_user=${flow_capture_user}}"
	eval ": \${flow_capture_${1}_group=${flow_capture_group}}"
	eval ": \${flow_capture_${1}_flags=${flow_capture_flags}}"
	eval "pidfile=${flow_capture_pid}.\${flow_capture_${1}_port}"
	eval "command_args=\"-w \${flow_capture_${1}_datadir} -p ${flow_capture_pid} \${flow_capture_${1}_localip}/\${flow_capture_${1}_remoteip}/\${flow_capture_${1}_port}\""
}

start_profiles()
{
	unset start_cmd
	for _profile in ${flow_capture_profiles}; do
		setup_profile_vars $_profile
		run_rc_command "${rc_arg}"
	done
}

stop_profiles()
{
	unset stop_cmd
	for _profile in ${flow_capture_profiles}; do
		setup_profile_vars $_profile
		run_rc_command "${rc_arg}"
	done
}

load_rc_config $name

: ${flow_capture_enable="NO"}
: ${flow_capture_datadir="/var/db/flows"}
: ${flow_capture_localip="0.0.0.0"}
: ${flow_capture_remoteip="0.0.0.0"}
: ${flow_capture_port="8787"}
: ${flow_capture_pid="/var/run/flow-capture/flow-capture.pid"}
: ${flow_capture_user="flowtools"}
: ${flow_capture_group="flowtools"}
: ${flow_capture_flags="-E 128M"}

pidfile="${flow_capture_pid}.${flow_capture_port}"

command="/usr/local/bin/flow-capture"
command_args="-w ${flow_capture_datadir} -p ${flow_capture_pid} ${flow_capture_localip}/${flow_capture_remoteip}/${flow_capture_port}"

cmd="$1"
if [ $# -gt 0 ]; then
	shift
fi

[ -n "$*" ] && flow_capture_profiles="$*"

if [ "${flow_capture_profiles}" ]; then
	start_cmd="start_profiles"
	stop_cmd="stop_profiles"
fi

run_rc_command "$cmd"
/usr/local/etc/rc.d/softflowd

Код: Выделить всё

#!/bin/sh

# $FreeBSD: ports/net-mgmt/softflowd/files/softflowd.in,v 1.3 2011/05/15 02:49:12 dougb Exp $

# (c) 2010 Tom Judge

# PROVIDE: softflowd
# REQUIRE: LOGIN
# KEYWORD: shutdown

# softflowd_enable="YES"
# softflowd_interfaces="em0 em1"
# softflowd_em0_collector="collector:1234"
# softflowd_em1_collector="collector:1235"
# softflowd_em0_timeouts="-t maxlife=300"
# softflowd_em1_timeouts="-t maxlife=600"
# softflowd_em0_max_states="16000"
# softflowd_em1_max_states="17000"
# softflowd_em0_extra_args
# softflowd_em1_extra_args

. /etc/rc.subr

name=softflowd
rcvar=`set_rcvar`

start_precmd="softflowd_precommand $@"
stop_precmd="softflowd_precommand $@"
status_precmd="softflowd_precommand $@"
poll_precmd="softflowd_precommand $@"
rcvar_precmd="softflowd_precommand $@"
stop_cmd="softflowd_stop"
command="/usr/local/sbin/softflowd"
_pidprefix="/var/run/softflowd"
if [ -n $2 ]; then
    pidfile="${_pidprefix}.${2}.pid"
fi

load_rc_config $name

softflowd_enable=${softflowd_enable:-"NO"}
softflowd_timeouts="-t maxlife=300"
softflowd_max_states="16000"

softflowd_precommand ()
{
	if [ -n "$2" ]; then
		profile="$2"
		ctlfile="${_pidprefix}.${profile}.ctl"
		eval apache22_flags="\${apache22_${profile}_flags:-${apache22_flags}}"
		eval softflowd_collector="\${softflowd_${profile}_collector}"
		if [ "x${softflowd_collector}" = "x" ]; then
			echo "ERROR: You must specify a collector to send data to."
			exit 1
		fi
		eval softflowd_timeouts="\${softflowd_${profile}_timeouts:-${softflowd_timeouts}}"
		eval softflowd_max_states="\${softflowd_${profile}_max_states:-${softflowd_max_states}}"
		eval softflowd_extra_args="\${softflowd_${profile}_extra_args:-${softflowd_extra_args}}"
		command_args="-i ${profile} -n ${softflowd_collector} -m ${softflowd_max_states} -p ${pidfile} -c ${ctlfile} ${softflowd_timeouts} ${softflowd_extra_args}"
	else
		if [ "x${softflowd_interfaces}" != "x" ]; then
			for profile in ${softflowd_interfaces}; do
				echo "===> softflowd profile: ${profile}"
				/usr/local/etc/rc.d/softflowd $1 ${profile}
				retcode="$?"
				if [ "0${retcode}" -ne 0 ]; then
					failed="${profile} (${retcode}) ${failed:-}"
				else
					success="${profile} ${success:-}"
				fi
			done
		fi
        exit 0
	fi
}

softflowd_stop()
{
	/usr/local/sbin/softflowctl -c ${ctlfile} shutdown
}

run_rc_command "$1"
Кусок all.log

Код: Выделить всё

Jun 17 17:42:30 router kernel: IP gateway=YES
Jun 17 17:42:30 router kernel: .
Jun 17 17:42:30 router kernel: Starting devd.
Jun 17 17:42:30 router kernel: filter sync'd
Jun 17 17:42:30 router kernel: ELF ldconfig path: /lib /usr/lib /usr/lib/compat /usr/local/lib
Jun 17 17:42:30 router kernel: a.out ldconfig path: /usr/lib/aout /usr/lib/compat/aout
Jun 17 17:42:30 router kernel: Starting ipmon.
Jun 17 17:42:30 router kernel: Creating and/or trimming log files
Jun 17 17:42:30 router kernel: .
Jun 17 17:42:30 router kernel: Starting syslogd.
Jun 17 17:42:31 router kernel: Clearing /tmp (X related).
Jun 17 17:42:31 router kernel: Starting mpd5.
Jun 17 17:42:31 router mpd: Multi-link PPP daemon for FreeBSD
Jun 17 17:42:31 router kernel: Updating motd:
Jun 17 17:42:31 router mpd:  
Jun 17 17:42:31 router mpd: process 879 started, version 5.5 (root@router 15:51  9-Jun-2011)
Jun 17 17:42:31 router mpd: CONSOLE: listening on 127.0.0.1 5005
Jun 17 17:42:31 router kernel: WARNING: attempt to domain_add(netgraph) after domainfinalize()
Jun 17 17:42:31 router kernel: .
Jun 17 17:42:31 router kernel: ===> softflowd profile: em0
Jun 17 17:42:31 router mpd: web: listening on 192.168.33.2 5006
Jun 17 17:42:31 router mpd: PPTP: waiting for connection on 192.168.33.2 1723
Jun 17 17:42:31 router kernel: ERROR: You must specify a collector to send data to.
Jun 17 17:42:31 router kernel: Starting flow_capture.
Jun 17 17:42:31 router root: /etc/rc: WARNING: failed to start flow_capture
Jun 17 17:42:31 router kernel: flow-capture: Specify localip/remoteip/port.
Jun 17 17:42:31 router kernel: /etc/rc: WARNING: failed to start flow_capture
Jun 17 17:42:31 router kernel: Configuring syscons:
Jun 17 17:42:31 router kernel: keymap
Jun 17 17:42:32 router kernel: blanktime
Jun 17 17:42:32 router kernel: .
Jun 17 17:42:32 router kernel: Starting sshd.
Последний раз редактировалось f_andrey 2011-06-20 7:06:14, всего редактировалось 1 раз.
Причина: Автору, выбирайте пожалуйста раздел соответствуюший тематике вашего сообщения.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

stum74
рядовой
Сообщения: 27
Зарегистрирован: 2011-06-20 6:51:26

Re: Проблема старта деманов (FreeBSD + Flow tools)

Непрочитанное сообщение stum74 » 2011-06-20 7:53:46

после переноса темы , не могу ее редактировать. внес изменения в конфиг.

[quote="stum74"]
/etc/rc.conf

Код: Выделить всё

# -- sysinstall generated deltas -- # Mon Jun  6 16:34:29 2011
# Created: Mon Jun  6 16:34:29 2011
# Enable network daemons for user convenience.
# Please make all changes to this file, not to /etc/defaults/rc.conf.
# This file now contains just the overrides from /etc/defaults/rc.conf.
defaultrouter="172.21.2.101"
gateway_enable="YES"
hostname="router"
ifconfig_em0="inet 172.21.2.2   netmask 255.255.255.0"
ifconfig_em1="inet 192.168.33.2   netmask 255.255.0.0"

#static_routes="net1"
#route_net1="-net 192.168.33.0 172.21.2.101"

#firewall_enable="YES"
#firewall_type="OPEN"
#tcp_drop_synfin="YES"

keymap="ru.koi8-r"
sshd_enable="YES"
mpd_enable="YES"


# -- IPF           http://www.linuxcenter.ru/lib/articles/networking/freebsd_gateway.phtml
ipfilter_enable="YES"            # Start ipf firewall
ipfilter_rules="/etc/ipf.rules"  # loads rules definition text file
ipmon_enable="YES"               # Start IP monitor log
ipmon_flags="-Ds"                # D = start as daemon
                                 # s = log to syslog
                                 # v = log tcp window, ack, seq
                                 # n = map IP & port to names

ipnat_enable="YES"               # Start ipnat function
ipnat_rules="/etc/ipnat.rules"   # rules definition file for ipnat
flow_capture_enable="YES"
flow_capture_datadir="/var/netflow"
flow_capture_remoteip="127.0.0.1"
flow_capture_localip="127.0.0.1" 
flow_capture_port="8787"
flow_capture_pid="/var/run/flow-capture/flow-capture.pid"
flow_capture_flags="-n 287 -N 0 -w -S 5"

softflowd_enable="YES"
softflowd_interfaces="em0"
softflowd_netflow_host="127.0.0.1"
softflowd_netflow_port="8787" 

stum74
рядовой
Сообщения: 27
Зарегистрирован: 2011-06-20 6:51:26

Re: Проблема старта деманов (FreeBSD + Flow tools)

Непрочитанное сообщение stum74 » 2011-06-20 12:09:19

Описаный выше вопрос решен.

Появился новый.
из all.log следует что служба softflow запускается перед flow-catpure

Код: Выделить всё

Jun 17 17:42:31 router kernel: ===> softflowd profile: em0
Jun 17 17:42:31 router mpd: web: listening on 192.168.33.2 5006
Jun 17 17:42:31 router mpd: PPTP: waiting for connection on 192.168.33.2 1723
Jun 17 17:42:31 router kernel: ERROR: You must specify a collector to send data to.
Jun 17 17:42:31 router kernel: Starting flow_capture.
как мне сделать наоборт чтобы был запуск? курил интернет. разобраца сам не смог.

rc.conf

Код: Выделить всё

# -- sysinstall generated deltas -- # Mon Jun  6 16:34:29 2011
# Created: Mon Jun  6 16:34:29 2011
# Enable network daemons for user convenience.
# Please make all changes to this file, not to /etc/defaults/rc.conf.
# This file now contains just the overrides from /etc/defaults/rc.conf.
defaultrouter="172.21.2.101"
gateway_enable="YES"
hostname="router"
ifconfig_em0="inet 172.21.2.2   netmask 255.255.255.0"
ifconfig_em1="inet 192.168.33.2   netmask 255.255.0.0"

#static_routes="net1"
#route_net1="-net 192.168.33.0 172.21.2.101"

#firewall_enable="YES"
#firewall_type="OPEN"
#tcp_drop_synfin="YES"

keymap="ru.koi8-r"
sshd_enable="YES"
mpd_enable="YES"


# -- IPF           http://www.linuxcenter.ru/lib/articles/networking/freebsd_gateway.phtml
ipfilter_enable="YES"            # Start ipf firewall
ipfilter_rules="/etc/ipf.rules"  # loads rules definition text file
ipmon_enable="YES"               # Start IP monitor log
ipmon_flags="-Ds"                # D = start as daemon
                                 # s = log to syslog
                                 # v = log tcp window, ack, seq
                                 # n = map IP & port to names

ipnat_enable="YES"               # Start ipnat function
ipnat_rules="/etc/ipnat.rules"   # rules definition file for ipnat
flow_capture_enable="YES"
flow_capture_datadir="/var/netflow"
flow_capture_remoteip="127.0.0.1"
flow_capture_localip="127.0.0.1" 
flow_capture_port="8787"
flow_capture_pid="/var/run/flow-capture/flow-capture.pid"
flow_capture_flags="-n 287 -N 0 -w -S 5"

softflowd_enable="YES"
softflowd_interfaces="em0"
softflowd_netflow_host="127.0.0.1"
softflowd_netflow_port="8787" 

Аватара пользователя
hizel
дядя поня
Сообщения: 9032
Зарегистрирован: 2007-06-29 10:05:02
Откуда: Выборг

Re: Проблема старта деманов (FreeBSD + Flow tools)

Непрочитанное сообщение hizel » 2011-06-20 12:29:33

kernel: ERROR: You must specify a collector to send data to.
этой ошибки не решит порядок запуска, softflowd глубоко фиолетово где там коллектор, патамушта udp
В дурацкие игры он не играет. Он просто жуткий, чу-чу, паровозик, и зовут его Блейн. Блейн --- это Боль.

stum74
рядовой
Сообщения: 27
Зарегистрирован: 2011-06-20 6:51:26

Re: Проблема старта деманов (FreeBSD + Flow tools)

Непрочитанное сообщение stum74 » 2011-06-20 12:41:53

hizel писал(а):
kernel: ERROR: You must specify a collector to send data to.
этой ошибки не решит порядок запуска, softflowd глубоко фиолетово где там коллектор, патамушта udp
ты прав

Код: Выделить всё

Jun 20 15:39:55 router kernel: Starting flow_capture.
Jun 20 15:39:55 router flow-capture[1000]: setsockopt(size=231424)
Jun 20 15:39:55 router kernel: ===> softflowd profile: em0
Jun 20 15:39:55 router kernel: ERROR: You must specify a collector to send data to.
есть идеи как победить?

Аватара пользователя
hizel
дядя поня
Сообщения: 9032
Зарегистрирован: 2007-06-29 10:05:02
Откуда: Выборг

Re: Проблема старта деманов (FreeBSD + Flow tools)

Непрочитанное сообщение hizel » 2011-06-20 12:48:54

внимательно прочтите /usr/local/etc/rc.d/softflowd после
# softflowd_interfaces="em0 em1"
В дурацкие игры он не играет. Он просто жуткий, чу-чу, паровозик, и зовут его Блейн. Блейн --- это Боль.

stum74
рядовой
Сообщения: 27
Зарегистрирован: 2011-06-20 6:51:26

Re: Проблема старта деманов (FreeBSD + Flow tools)

Непрочитанное сообщение stum74 » 2011-06-20 14:09:03

hizel писал(а):внимательно прочтите /usr/local/etc/rc.d/softflowd после
# softflowd_interfaces="em0 em1"
да. это я уже заметил. поправил
rc.conf
softflowd_enable="YES"
softflowd_interfaces="em0"
#softflowd_netflow_host="127.0.0.1"
#softflowd_netflow_port="8787"
softflowd_em0_collector="127.0.0.1:8787"

и получил:

Код: Выделить всё

router# ps guaxww | grep flow
root         20  0.0  0.0     0     8  ??  DL    5:05PM   0:00.00 [flowcleaner]
nobody     1002  0.0  0.1  3476  1500  ??  Ss    5:05PM   0:00.00 /usr/local/sbin/softflowd -i em0 -n 127.0.0.1:8787 -m 16000 -p /var/run/softflowd.em0.pid -c /var/run/softflowd.em0.ctl -t maxlife=300
flowtools  1022  0.0  0.1  3780  1280  ??  Ss    5:05PM   0:00.00 /usr/local/bin/flow-capture -n 287 -S 5 -w /var/netflow -p /var/run/flow-capture/flow-capture.pid 127.0.0.1/127.0.0.1/8787
root       1072  0.0  0.1  1824  1016   0  RL+   5:06PM   0:00.00 grep flow
router# softflowctl statistics
ctl connect("/var/run/softflowd.ctl") error: No such file or directory
router# ls /var/run/
devd.pid                flow-capture            ld.so.hints             mpd5.pid                sendmail.pid            sshd.pid                utmp
devd.pipe               ipmon.pid               log                     named                   softflowd.em0.ctl       syslog.pid              wpa_supplicant
dmesg.boot              ld-elf.so.hints         logpriv                 ppp                     softflowd.em0.pid       syslogd.sockets
router#
если использовать команду softflowd -i em0 -n 127.0.0.1:8787
то все будет работать отлично.
при добавлении перфикса em0 получаеться хрень.. как лечить?

stum74
рядовой
Сообщения: 27
Зарегистрирован: 2011-06-20 6:51:26

Re: Проблема старта деманов (FreeBSD + Flow tools)

Непрочитанное сообщение stum74 » 2011-06-20 14:26:33

хм. хотя файлики логов кладуца в ДатаДир flow-capture/
не уж то заработало.

stum74
рядовой
Сообщения: 27
Зарегистрирован: 2011-06-20 6:51:26

Re: Проблема старта деманов (FreeBSD + Flow tools)

Непрочитанное сообщение stum74 » 2011-06-21 6:25:20

Решение выше перечисленного

softflowd_enable="YES"
softflowd_interfaces="em0"
softflowd_em0_collector="127.0.0.1:8787"


flow_capture_enable="YES"
flow_capture_datadir="/var/netflow"
flow_capture_remoteip="127.0.0.1"
flow_capture_localip="127.0.0.1"
flow_capture_port="8787"
flow_capture_pid="/var/run/flow-capture/flow-capture.pid"
flow_capture_flags="-n 287 -S 5"

stum74
рядовой
Сообщения: 27
Зарегистрирован: 2011-06-20 6:51:26

Re: Проблема старта деманов (FreeBSD + Flow tools)

Непрочитанное сообщение stum74 » 2011-06-22 13:37:22

И снова здравствуйте..........!!!!
вобщем кубик рубик я собрал и уперся в проблему собирания трафика с пптп интерфейсов. вопрос очень четко озвучен вот в этой теме http://www.linux.org.ru/forum/admin/1520675 . сори лениво тоже самое адаптировать на себя.
нужна помощь. сам вопрос не решил.

Аватара пользователя
hizel
дядя поня
Сообщения: 9032
Зарегистрирован: 2007-06-29 10:05:02
Откуда: Выборг

Re: Проблема старта деманов (FreeBSD + Flow tools)

Непрочитанное сообщение hizel » 2011-06-22 13:45:02

В дурацкие игры он не играет. Он просто жуткий, чу-чу, паровозик, и зовут его Блейн. Блейн --- это Боль.

stum74
рядовой
Сообщения: 27
Зарегистрирован: 2011-06-20 6:51:26

Re: Проблема старта деманов (FreeBSD + Flow tools)

Непрочитанное сообщение stum74 » 2011-06-22 14:42:23

ммм. я жутко извиняюсь но можно для тупых разжевать? и по конкретнее. ибо я новичек всеже...... желательно с примерами.

Аватара пользователя
hizel
дядя поня
Сообщения: 9032
Зарегистрирован: 2007-06-29 10:05:02
Откуда: Выборг

Re: Проблема старта деманов (FreeBSD + Flow tools)

Непрочитанное сообщение hizel » 2011-06-22 14:48:46

mpd сам пришлет вам netflow данные клиентов которые через него прошли и если у вам нужны только клиенты mpd, то softflowd будет не нужен
примеры в интернетах
В дурацкие игры он не играет. Он просто жуткий, чу-чу, паровозик, и зовут его Блейн. Блейн --- это Боль.

stum74
рядовой
Сообщения: 27
Зарегистрирован: 2011-06-20 6:51:26

Re: Проблема старта деманов (FreeBSD + Flow tools)

Непрочитанное сообщение stum74 » 2011-06-23 12:47:05

Вобщем то роутер готов. уже даже посадил тестеров на него (ими стали ИТшники). инет раздаем. все счастливы.
логи кидаю пока на банку в нетфлоу анализатором 8. там тоже вобще все нормально. вижу поедание трафика.

Внимание Вопрос
Пожалуйста посоветуйте кубик рубик для анализа тарафика на freebsd.
задача в том, чтобы обходится одним сервером. то есть , банка роутер, раздает инет, собирает логи (flow-capture робит). нужно логи читать, видит и распечатывать отчеты. какими инструментами было бы ПРАВИЛЬНЕЕ воспользоваться и удобнее.

stum74
рядовой
Сообщения: 27
Зарегистрирован: 2011-06-20 6:51:26

Re: Проблема старта деманов (FreeBSD + Flow tools)

Непрочитанное сообщение stum74 » 2011-06-23 12:51:45

Модератора прошу удалить пост http://forum.lissyara.su/viewtopic.php? ... 76#p299674 . не тот конфиг запостил. а редактировать не могу.

Аватара пользователя
hizel
дядя поня
Сообщения: 9032
Зарегистрирован: 2007-06-29 10:05:02
Откуда: Выборг

Re: Проблема старта деманов (FreeBSD + Flow tools)

Непрочитанное сообщение hizel » 2011-06-23 14:12:54

удалил

в составе flow-tools есть все необходимое чтобы анализировать собранные netflow данные,
осталось только в них разобратся или написать свой скрипт на perl\python etc.
В дурацкие игры он не играет. Он просто жуткий, чу-чу, паровозик, и зовут его Блейн. Блейн --- это Боль.

stum74
рядовой
Сообщения: 27
Зарегистрирован: 2011-06-20 6:51:26

Re: Проблема старта деманов (FreeBSD + Flow tools)

Непрочитанное сообщение stum74 » 2011-06-24 7:55:42

stum74 писал(а):И снова здравствуйте..........!!!!
вобщем кубик рубик я собрал и уперся в проблему собирания трафика с пптп интерфейсов. вопрос очень четко озвучен вот в этой теме http://www.linux.org.ru/forum/admin/1520675 . сори лениво тоже самое адаптировать на себя.
нужна помощь. сам вопрос не решил.
hizel писал(а):mpd сам пришлет вам netflow данные клиентов которые через него прошли и если у вам нужны только клиенты mpd, то softflowd будет не нужен
примеры в интернетах
РЕШЕНИЕ
#################################################################
#
# MPD configuration file
#
# This file defines the configuration for mpd: what the
# bundles are, what the links are in those bundles, how
# the interface should be configured, various PPP parameters,
# etc. It contains commands just as you would type them
# in at the console. Lines without padding are labels. Lines
# starting with a "#" are comments.
#
# $Id: mpd.conf.sample,v 1.46 2009/04/29 11:04:17 amotin Exp $
#
#################################################################

startup:
# Задаем пароль для доступа в web-intarface
# т.е меняем password на свой пароль
set user ads 12345 admin
# set user password cancer
# configure the console
set console self 127.0.0.1 5005
set console open
# configure the web server
set web self 192.168.33.2 5006
set web open

#--- куда сбрасывает ip/port
set netflow peer 172.21.2.244 9996
#--- период сброса статистики
set netflow timeouts 60 120


default:
load pptp_server


pptp_server:
# Определяем диапазон выдаваемых IP удалённым клиентам
# у меня с ...200 по ...220
set ippool add poolsat 172.180.180.50 172.180.180.150
set nat enable
create bundle template B
set iface enable proxy-arp
set iface idle 0
set iface enable tcpmssfix
set ipcp yes vjcomp
# IP адрес сервера, который мы будем показывать клиентам
# в моем случае 172.21.19.211 (можно не реальный IP)
set ipcp ranges 172.180.179.1/24 ippool poolsat
# set ipcp ranges 172.180.179.50/24 192.168.33.210/24
# Здесь указываем DNS сервер
set ipcp dns 172.21.2.101
# Здесь указываем Wins сервер
# set ipcp nbns 192.168.10.1

# set iface enable netflow-in netflow-out nat
set iface enable netflow-in
# set iface enable netflow-out


# Enable Microsoft Point-to-Point encryption (MPPE)
set bundle enable compression
set ccp yes mppc
set mppc yes compress e40 e56 e128 stateless

# Create clonable link template named L
create link template L pptp
# Set bundle template to use
set link action bundle B
# Multilink adds some overhead, but gives full 1500 MTU
set link enable multilink
set link yes acfcomp protocomp
set link no pap chap eap
set link enable chap
set link enable chap-msv1
set link enable chap-msv2
# We reducing link mtu to avoid GRE packet fragmentation.
set link mtu 1460
set link keep-alive 10 60

# Configure PPTP and open link
# Тут указываем IP сетевой карты или имя интерфейса (rl1) смотрящего в интернет
set pptp self 192.168.33.2
# Allow to accept calls
set link enable incoming

stum74
рядовой
Сообщения: 27
Зарегистрирован: 2011-06-20 6:51:26

Re: Проблема старта деманов (FreeBSD + Flow tools)

Непрочитанное сообщение stum74 » 2011-06-24 12:12:51

hizel писал(а):удалил

в составе flow-tools есть все необходимое чтобы анализировать собранные netflow данные,
осталось только в них разобратся или написать свой скрипт на perl\python etc.
достаточно долго рыл инет чтобы определиться с выбором решения.

наткнулся на nfsen http://nfsen.sourceforge.net./ - визуализатор логов нет флоу + командная строка и наверное можно свои скрипты пихать.

хотелось бы услышать коментарий по этому выбору. адекватен или не очень?
а так же. я не нашел мануалов по установке на freebsd и что главное настройке.

пс. установить конечно ума мног оне надо.. в портах задал команду и все. но есть например вопросик. там есть зависисмоти:
Installing NfSen
Prerequisites:

PHP and Perl:
NfSen is written in PHP and Perl and should run on any *NIX system.
At least Perl 5.6.0 and PHP > 4.1 is required including the Socket and Perl regex extension.

Perl Modules:
NfSen alerting requires the following Perl Modules:
Mail::Header, Mail::Internet

RRD tools
All netflow graphs in NfSen require RRD. At least the RRDs Perl Module is required.
You will find all about RRD here.

Nfdump tools
The nfdump tools are the backend tools for NfSen and will collect and process the netflow data.
Make sure, that you have version 1.5.8 installed. Don't try any version < 1.5.5, or the profiles will not work.
You can download nfdump from sourceforge nfdump.sourceforge.net.
с ними как быть? порты сами поставят все или надо все ставить самому?

кароче мне как нубу вообще ничего не понятно. просьба помочь делом или инфой

Аватара пользователя
hizel
дядя поня
Сообщения: 9032
Зарегистрирован: 2007-06-29 10:05:02
Откуда: Выборг

Re: Проблема старта деманов (FreeBSD + Flow tools)

Непрочитанное сообщение hizel » 2011-06-24 13:06:53

там есть документация ^^
nfdump tools аналог flow-tools
В дурацкие игры он не играет. Он просто жуткий, чу-чу, паровозик, и зовут его Блейн. Блейн --- это Боль.

stum74
рядовой
Сообщения: 27
Зарегистрирован: 2011-06-20 6:51:26

Re: Проблема старта деманов (FreeBSD + Flow tools)

Непрочитанное сообщение stum74 » 2011-06-24 13:14:40

там есть документация ^^

там это на заборе? где конкретно.
hizel писал(а): nfdump tools аналог flow-tools
а до этого я сам уже давно дочитался. инфа не инфа для меня.
просьба отвечать конкретнее, если есть что сказать. ибо порой ответ не ответ а просто +1 пост.

stum74
рядовой
Сообщения: 27
Зарегистрирован: 2011-06-20 6:51:26

Re: Проблема старта деманов (FreeBSD + Flow tools)

Непрочитанное сообщение stum74 » 2011-06-27 9:30:39

ни кто не в курсе, nfdump будет читать из flow-capture?

stum74
рядовой
Сообщения: 27
Зарегистрирован: 2011-06-20 6:51:26

Re: Проблема старта деманов (FreeBSD + Flow tools)

Непрочитанное сообщение stum74 » 2011-06-27 14:54:19

поставил nfcapd и nfdump. смотрю статистику и чувствую что чето мало трафика показывает. под подскажите чтонибудь.
юзаю команды:

1) nfcapd -z -w -D -T all -l /var/netflow/ -I any -S 2 - собираю поток в контейнер
2) смотрю мукив с ютуба около 10 мин в хор качестве + слушаю инет радио
3) статистика за 10 мин (в папке лог файлов статистика за это время лежит)
router# nfdump -R /var/netflow -o extended -s srcip -s ip/flows -s dstport/pps/packets/bytes -s record/bytes
Aggregated flows 110
Top 10 flows ordered by bytes:
Date flow start Duration Proto Src IP Addr:Port Dst IP Addr:Port Flags Tos Packets Bytes pps bps Bpp Flows
2011-06-27 17:28:57.256 242.000 TCP 172.180.180.50:2783 -> 95.108.146.161:80 .AP.S. 0 155171 6.2 M 641 205204 40 2
2011-06-27 17:31:05.256 121.000 TCP 172.180.180.50:2809 -> 195.68.152.190:9000 .AP.S. 0 1402 56489 11 3734 40 1
2011-06-27 17:16:58.180 1010.076 TCP 172.180.180.50:2276 -> 64.12.30.96:5190 .AP... 0 76 4505 0 35 59 7
2011-06-27 17:28:53.256 0.000 TCP 172.180.180.50:2751 -> 77.88.21.84:80 .AP.SF 0 62 3785 0 0 61 1
2011-06-27 17:28:53.256 0.000 TCP 172.180.180.50:2757 -> 87.250.250.84:80 .AP.SF 0 44 2988 0 0 67 1
2011-06-27 17:24:13.180 1.000 TCP 172.180.180.50:2538 -> 74.125.232.52:80 .AP.SF 0 39 2435 39 19480 62 1
2011-06-27 17:28:51.654 0.000 TCP 172.180.180.50:2699 -> 93.158.134.199:80 .AP.SF 0 17 1951 0 0 114 1
2011-06-27 17:28:52.256 0.000 TCP 172.180.180.50:2749 -> 77.88.21.84:80 .AP.SF 0 6 1886 0 0 314 1
2011-06-27 17:28:51.654 1.000 TCP 172.180.180.50:2701 -> 93.158.134.199:80 .AP.SF 0 14 1855 14 14840 132 1
2011-06-27 17:28:52.654 0.000 TCP 172.180.180.50:2729 -> 87.250.250.90:80 .AP.SF 0 6 1823 0 0 303 1

Top 10 Src IP Addr ordered by flows:
Date first seen Duration Proto Src IP Addr Flows(%) Packets(%) Bytes(%) pps bps bpp
2011-06-27 17:16:58.180 1010.076 any 172.180.180.50 120(100.0) 157479(100.0) 6.4 M(100.0) 155 50623 40

Top 10 IP Addr ordered by flows:
Date first seen Duration Proto IP Addr Flows(%) Packets(%) Bytes(%) pps bps bpp
2011-06-27 17:16:58.180 1010.076 any 172.180.180.50 120(100.0) 157479(100.0) 6.4 M(100.0) 155 50623 40
2011-06-27 17:28:52.256 6.000 any 87.250.250.84 14(11.7) 124( 0.1) 22351( 0.3) 20 29801 180
2011-06-27 17:28:51.654 5.602 any 93.158.134.199 11( 9.2) 91( 0.1) 17856( 0.3) 16 25499 196
2011-06-27 17:28:24.896 21.758 any 78.47.250.145 11( 9.2) 88( 0.1) 11493( 0.2) 4 4225 130
2011-06-27 17:17:13.180 666.716 any 74.125.43.138 9( 7.5) 53( 0.0) 7574( 0.1) 0 90 142
2011-06-27 17:16:58.180 1010.076 any 64.12.30.96 7( 5.8) 76( 0.0) 4505( 0.1) 0 35 59
2011-06-27 17:24:15.180 13.000 any 74.125.43.101 6( 5.0) 37( 0.0) 6322( 0.1) 2 3890 170
2011-06-27 17:28:14.896 5.000 any 74.125.43.102 6( 5.0) 46( 0.0) 4406( 0.1) 9 7049 95
2011-06-27 17:28:14.896 5.000 any 74.125.43.113 6( 5.0) 42( 0.0) 4244( 0.1) 8 6790 101
2011-06-27 17:28:46.654 0.000 any 205.188.95.178 6( 5.0) 30( 0.0) 4983( 0.1) 0 0 166

Top 10 Dst Port ordered by packets:
Date first seen Duration Proto Dst Port Flows(%) Packets(%) Bytes(%) pps bps bpp
2011-06-27 17:17:13.180 946.076 any 80 107(89.2) 155992(99.1) 6.3 M(99.0) 164 53528 40
2011-06-27 17:31:05.256 121.000 any 9000 1( 0.8) 1402( 0.9) 56489( 0.9) 11 3734 40
2011-06-27 17:16:58.180 1010.076 any 5190 11( 9.2) 82( 0.1) 4792( 0.1) 0 37 58
2011-06-27 17:24:17.180 2.000 any 137 1( 0.8) 3( 0.0) 234( 0.0) 1 936 78

Top 10 Dst Port ordered by bytes:
Date first seen Duration Proto Dst Port Flows(%) Packets(%) Bytes(%) pps bps bpp
2011-06-27 17:17:13.180 946.076 any 80 107(89.2) 155992(99.1) 6.3 M(99.0) 164 53528 40
2011-06-27 17:31:05.256 121.000 any 9000 1( 0.8) 1402( 0.9) 56489( 0.9) 11 3734 40
2011-06-27 17:16:58.180 1010.076 any 5190 11( 9.2) 82( 0.1) 4792( 0.1) 0 37 58
2011-06-27 17:24:17.180 2.000 any 137 1( 0.8) 3( 0.0) 234( 0.0) 1 936 78

Top 10 Dst Port ordered by pps:
Date first seen Duration Proto Dst Port Flows(%) Packets(%) Bytes(%) pps bps bpp
2011-06-27 17:17:13.180 946.076 any 80 107(89.2) 155992(99.1) 6.3 M(99.0) 164 53528 40
2011-06-27 17:31:05.256 121.000 any 9000 1( 0.8) 1402( 0.9) 56489( 0.9) 11 3734 40
2011-06-27 17:24:17.180 2.000 any 137 1( 0.8) 3( 0.0) 234( 0.0) 1 936 78

Summary: total flows: 120, total bytes: 6.4 M, total packets: 157479, avg bps: 50623, avg pps: 155, avg bpp: 40
Time window: 2011-06-27 17:16:58 - 2011-06-27 17:33:48
Total flows processed: 120, Blocks skipped: 0, Bytes read: 8304
Sys: 0.002s flows/second: 40678.0 Wall: 0.001s flows/second: 96774.2

stum74
рядовой
Сообщения: 27
Зарегистрирован: 2011-06-20 6:51:26

Re: Проблема старта деманов (FreeBSD + Flow tools)

Непрочитанное сообщение stum74 » 2011-06-28 14:04:40

ну и самый последний вопрос.
может есть у кого rc.conf по запуску демана nfcapd
что в инете ничего нет на эту тему.
в ручную нормально стартует : nfcapd -z -w -D -T all -l /var/netflow/ -I any -S 2
решил было извратица на обум написать:

Код: Выделить всё

nfcapd_enable="YES"
nfcapd_datadir="/var/netflow"
nfcapd_flags="-z -w -D -T all -I any -S 2"
даже в лог файлы не вошло ничего. реакция нулевая.
есть еще такая инфа:
router# whereis nfcapd
nfcapd: /usr/local/bin/nfcapd /usr/local/man/man1/nfcapd.1.gz
router#

stum74
рядовой
Сообщения: 27
Зарегистрирован: 2011-06-20 6:51:26

Re: Проблема старта деманов (FreeBSD + Flow tools)

Непрочитанное сообщение stum74 » 2011-07-07 5:56:54

up. последний пост актуален. не могу в продакшен сдать, потому что не могу настроить деман nfcapd в автостарт.