вопросы по статьям o trafd

Проблемы с установкой, настройкой и работой системных и сетевых программ.

Модераторы: GRooVE, alexco

Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
matrich
ефрейтор
Сообщения: 57
Зарегистрирован: 2008-03-31 16:13:02

вопросы по статьям o trafd

Непрочитанное сообщение matrich » 2008-04-23 17:17:37

Делал по статье http://www.lissyara.su/?id=1010 и http://www.lissyara.su/?id=1017. Вроде победил, заработало. Но показывает почему то далеко не весь трафик. Считает только с трех ип, причем один из них не понятный вообще. Трафик сквида туда не попадает. Покажите где копать.
Последний раз редактировалось matrich 2008-04-25 7:53:16, всего редактировалось 1 раз.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

matrich
ефрейтор
Сообщения: 57
Зарегистрирован: 2008-03-31 16:13:02

Re: вопросы по статьям o trafd

Непрочитанное сообщение matrich » 2008-04-24 10:15:31

причем эти два ип нормальных которые попадают таки в статистику прописаны в правилах ipfw явно.

matrich
ефрейтор
Сообщения: 57
Зарегистрирован: 2008-03-31 16:13:02

Re: вопросы по статьям o trafd

Непрочитанное сообщение matrich » 2008-04-25 7:54:50

немного поменял вопрос

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35465
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: вопросы по статьям o trafd

Непрочитанное сообщение Alex Keda » 2008-04-28 0:17:21

однако, интерфейс по себя надо править.
в БД всё кдладётся?
В текстовых файлах всё есть?
Убей их всех! Бог потом рассортирует...

matrich
ефрейтор
Сообщения: 57
Зарегистрирован: 2008-03-31 16:13:02

Re: вопросы по статьям o trafd

Непрочитанное сообщение matrich » 2008-04-28 7:34:05

да в бд, и в файлах все есть

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35465
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: вопросы по статьям o trafd

Непрочитанное сообщение Alex Keda » 2008-04-28 8:04:45

lissyara писал(а):однако, интерфейс по себя надо править.
Убей их всех! Бог потом рассортирует...


Аватара пользователя
GreenDay
мл. сержант
Сообщения: 100
Зарегистрирован: 2008-02-21 20:25:39
Откуда: Новосибирск
Контактная информация:

Re: вопросы по статьям o trafd

Непрочитанное сообщение GreenDay » 2008-04-28 11:41:45

Лис, ну а как кстати правильно тогда запрос составить, чтобы
1. не учитывался трафик к серверу и от(например на нем еще файлопомойка)
2. учитывался трафик со сквида
3. учитывался остальной трафик типа почты, фтп, аська(ну короче все что проходит до юзера через серв)

а то в запросах sql чета никак не допру как сделать...
Бесполезно рассказывать о высоком моральном облике коллектива человеку, имеющему доступ к логам прокси-сервера этого коллектива.

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35465
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: вопросы по статьям o trafd

Непрочитанное сообщение Alex Keda » 2008-04-28 20:22:55

а ты какнибудь ппробуй...
там совсем несложно - да и вообще sql штука не сложная...
Убей их всех! Бог потом рассортирует...

Аватара пользователя
GreenDay
мл. сержант
Сообщения: 100
Зарегистрирован: 2008-02-21 20:25:39
Откуда: Новосибирск
Контактная информация:

Re: вопросы по статьям o trafd

Непрочитанное сообщение GreenDay » 2008-04-29 5:57:00

да уже сделал :)
линь моя - порой большой враг мой...

а нифига подобного.. реализация моя ваще не катит
я сделал так:

Код: Выделить всё

$sql = mysql_query("SELECT to_IP, SUM(bytes) AS `bytes` FROM
`" . $IF_internal_servera . "_" . date(Y,time()) . "` WHERE `date`
LIKE '" . $curr_month . "-%' AND (from_IP != '" . $ip_out_servera . "'
AND to_IP != '" . $ip_out_servera . "' AND port_from_IP LIKE '" . $squid_port . "'
OR (`to_IP` != '" . $ip_internal_servera . "'
AND `from_IP` != '" . $ip_internal_servera . "') AND `to_IP`
LIKE '" . $lan_mask . "%') GROUP BY `to_IP` ORDER BY `bytes` DESC");
и ессно статистика с внешним ифейсом не сошлась.. ИБО!! сквид то кэширует, и я посчитал - за полдня накешировал примерно 40% трафа
так что подробно я так понимаю по юзерам вообще не увидишь в такой связке :(
хоть всех блин не переводи на транспарент...

еще добавлено хотя в транспаренте то тоже так :)
короче не пойдет вообще правильный подсчет на основе трафд + сквид

писец, а бухгалтерия то требует статистику - они из зп перерасход вычитают.
че придумать терь даже не знаю
Бесполезно рассказывать о высоком моральном облике коллектива человеку, имеющему доступ к логам прокси-сервера этого коллектива.

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35465
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: вопросы по статьям o trafd

Непрочитанное сообщение Alex Keda » 2008-05-01 10:45:00

любую выкатывай...
всё ранво не поймут =))
Убей их всех! Бог потом рассортирует...

maradona
сержант
Сообщения: 188
Зарегистрирован: 2007-12-13 1:06:44
Откуда: г. Ровно
Контактная информация:

Re: вопросы по статьям o trafd

Непрочитанное сообщение maradona » 2008-05-14 22:34:34

Чуть не в тему, у меня вопросик в чем разница между столбцом bytes и all_bytes в смысле откуда такая разница:

Код: Выделить всё

+----------------+
| SUM(all_bytes) |
+----------------+
|    62274503000 |
+----------------+
+-------------+
| SUM(bytes)  |
+-------------+
| 58171524731 |
+-------------+
и какой ближе должен быть по значению, к величине что посчитал билинг провайдера, столбцы из таблицы интерфейса внешнего tun0 т.е. считаю весь трафик (не сходится ни первый ни второй :? )

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35465
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: вопросы по статьям o trafd

Непрочитанное сообщение Alex Keda » 2008-05-20 17:07:26

все байты - это с технической инфой.
сходиться должны просто байты.
========
а как провы считают... хрен их знает...
Убей их всех! Бог потом рассортирует...

Arcanum
проходил мимо
Сообщения: 1
Зарегистрирован: 2008-05-13 9:24:21

Re: вопросы по статьям o trafd

Непрочитанное сообщение Arcanum » 2008-07-14 11:11:10

Парни, подскажите плиз с версиями trafd??

1) Вобщем Фря 6.3
2) pkg_info | grep trafd светит
trafd-3.0.1_2 The BPF Traffic Collector

Ставил с портов, предварительно сделав CVSup (портов)

Вроде все считает верно, НО где-то среди комментов к статьям промелькнуло, что мол какие-то версии не считали пакеты менее 2К. Так вот вопрос - у меня стоит нормальная версия или надо свежее ставить? или может патч какой надо??

risk94
лейтенант
Сообщения: 831
Зарегистрирован: 2007-06-01 19:27:51

Re: вопросы по статьям o trafd

Непрочитанное сообщение risk94 » 2008-08-17 11:42:04

lissyara писал(а):
lissyara писал(а):однако, интерфейс по себя надо править.
Mysql - надругом хосте. Скрипт сбора данных из trafd нормально отрабатывает. создает таблицы и складывает туда дату. а вот WEB-морда не до конца отрабаывает. Подскажите куда рыть?
Последний раз редактировалось risk94 2008-11-10 19:58:32, всего редактировалось 1 раз.

zg
полковник
Сообщения: 5845
Зарегистрирован: 2007-12-07 13:51:33
Откуда: Верх-Нейвинск

Re: вопросы по статьям o trafd

Непрочитанное сообщение zg » 2008-08-18 12:35:35

risk94 писал(а):Подскажите куда рыть?
в доступ на мускуль

risk94
лейтенант
Сообщения: 831
Зарегистрирован: 2007-06-01 19:27:51

Re: вопросы по статьям o trafd

Непрочитанное сообщение risk94 » 2008-08-18 14:43:08

Пароль и логин сменил естественно, (часть данных все же извлекается из базы - видно на скриншоте)

risk94
лейтенант
Сообщения: 831
Зарегистрирован: 2007-06-01 19:27:51

Re: вопросы по статьям o trafd

Непрочитанное сообщение risk94 » 2008-08-28 0:33:55

не пойму. уже все посмотрел. что может быть? подскажите, плиз!

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35465
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: вопросы по статьям o trafd

Непрочитанное сообщение Alex Keda » 2008-08-28 0:47:58

ну, 1 - нет файла с юзерами.
2. копи-паст - надо делать тока код, а не весь текст статьи =)
Убей их всех! Бог потом рассортирует...

risk94
лейтенант
Сообщения: 831
Зарегистрирован: 2007-06-01 19:27:51

Re: вопросы по статьям o trafd

Непрочитанное сообщение risk94 » 2008-08-29 16:15:07

чето я нефкурил че там допиливать кроме юзеров?
Из-за чего неконектитсо-то? Хелп

bvd
проходил мимо
Сообщения: 3
Зарегистрирован: 2008-11-10 16:59:46

Re: вопросы по статьям o trafd

Непрочитанное сообщение bvd » 2008-11-10 17:18:14

Заметил косяк с обработкой цикла.
после вот этого:
for iface in ${trafd_ifaces}
do
/usr/local/bin/trafsave ${iface}
/usr/local/bin/traflog -i ${iface} -a -n -s > /usr/local/tmp/summary.${iface}
cat /dev/null > /usr/local/var/trafd/trafd.${iface}
cat /usr/local/tmp/summary.${iface} >> ${NewDir}/summary.${iface}
---
файлы /usr/local/var/trafd/trafd.${iface} не пустые, или через раз очищается только последний в цикле. боюсь это может повлечь наложение данных и как следствие не точность в финале..
пробовал по отдельности каждую из перечисленных команд в цикле прогонять - проходит без проблем, а все вместе косячит.
есть подозрение что он фигачит все эти команды не дожидаясь отработки каждой, тогда вообще о точности попадания данных в бд говорить не приходится. также с амперсантами (&&) в конце каждой команды эфекта не добился.

это только у меня такой косяк, или это известный баг? ответа на форуме не нашел. :unknown:
выручайте!!

paradox
проходил мимо
Сообщения: 11620
Зарегистрирован: 2008-02-21 18:15:41

Re: вопросы по статьям o trafd

Непрочитанное сообщение paradox » 2008-11-10 17:50:59

trafd помоему на libcap ?если я неошибаюсь
значит будет пакеты терять>.
а значит криво посчитает....
но это так к размышлению

bvd
проходил мимо
Сообщения: 3
Зарегистрирован: 2008-11-10 16:59:46

Re: вопросы по статьям o trafd

Непрочитанное сообщение bvd » 2008-11-11 9:22:50

paradox писал(а):trafd помоему на libcap ?если я неошибаюсь
значит будет пакеты терять>.
а значит криво посчитает....
но это так к размышлению
---
Незнаю что такое libcap, но trafd на bpft. пакеты терять будет по любому, нет идеального биллинга, но тут вопрос в том что терять будет из за кривизны скрипта, а не правильности сбора статистики, и это уже проблема...

paradox
проходил мимо
Сообщения: 11620
Зарегистрирован: 2008-02-21 18:15:41

Re: вопросы по статьям o trafd

Непрочитанное сообщение paradox » 2008-11-11 9:33:14

ну да libcap это библиотека которая работает через bpf
и терять как раз оно будет...
bpf не дает гарантию на то что он все поймает
и при очень большом потоке(скоросте) он и теряет...

ng_netflow не теряет ничего
но у него есть ньюансы
его используют токо на работающий роутерах)))) линки я кидал в форуме....

risk94
лейтенант
Сообщения: 831
Зарегистрирован: 2007-06-01 19:27:51

Re: вопросы по статьям o trafd

Непрочитанное сообщение risk94 » 2008-11-12 2:27:25

лана, Гуру, тыкните ньюба носом. какого ладана я не вижу всех на странице?