Проблема с Lightsquid

Проблемы с установкой, настройкой и работой системных и сетевых программ.

Модераторы: GRooVE, alexco

Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
jackvorobey
рядовой
Сообщения: 29
Зарегистрирован: 2009-07-05 7:27:14

Проблема с Lightsquid

Непрочитанное сообщение jackvorobey » 2009-07-05 7:44:23

Здравствуйте!
Возникла у меня проблема с анализатором логов - Lightsquid.
Предыстория:
Есть сервер на Freebsd 7 stable + Squid 3.0
С недавнего времени сменили провайдера и анлима больше нет :st:
Поэтому встал вопрос преподносить начальству "на блюдечке" отчёт о том, сколько кто трафика использовал и во сколько\какие сайты посещал.
Мой выбор пал на Lightsqud - очень удобная штука - настраивал по статье http://www.lissyara.su/?id=1878
Всё как бы отлично, каждые полчаса сатистика обновляется, НО!
Статистика показывается только за 1 день. Т.е. если 2,3 июня и далее, кто-то пользуется инетом, это всё записывается в access.log, но Lightsquid не видит эти логи...
Небольшое решение нашёл:
Если удалить файл access.log и перезапустить squid, то это поможет, но ровно на сутки - до следующего числа...
В чём же проблема? В инете подобной проблемы не нашёл...
Помогите пожалуйста!

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
manefesto
Группенфюррер
Сообщения: 6934
Зарегистрирован: 2007-07-20 8:27:30
Откуда: Пермь
Контактная информация:

Re: Проблема с Lightsquid

Непрочитанное сообщение manefesto » 2009-07-08 14:11:34

ничего не понимаю.
У меня месяцами храниться
я такой яростный шо аж пиздеЦ
Изображение

jackvorobey
рядовой
Сообщения: 29
Зарегистрирован: 2009-07-05 7:27:14

Re: Проблема с Lightsquid

Непрочитанное сообщение jackvorobey » 2009-07-08 19:49:45

Написал автору этого парсера! Он мне помог исправить проблему (этот глюк был именно у меня) - надо было поставить
$debug = 1
$debug2 = 2

и всё заработало - статистика обновляется по крону раз в полчаса, и каждый день добавляется новая дата...!

Spider75
проходил мимо
Сообщения: 3
Зарегистрирован: 2009-08-05 9:47:13

Re: Проблема с Lightsquid

Непрочитанное сообщение Spider75 » 2009-08-05 9:57:28

Всем приветище. Нужна помощь, я свой мозг уже вывихнул.
FreeBSD 7.0
SQUID 2.5.12
Lightsquid 1.7.1_1
Apache 1.3.39

Никак лайтсквид не хочеть парсить логи моего сквида! Все перекопал, в конфигах все ровно и правильно (вроде бы).
Выставил дебуг=1, дебуг2=2 в конфиге лайтсквида,
при запуске выдает следующее

Код: Выделить всё

>>> use file :: /бла-бла-бла/access.log
run TIME: 18 sec
LightSquid parser statistic report

          330840 lines processed (average 18380.00 lines per second)
               0 lines parsed
               0 lines recovered
          330840 lines notrecovered
               0 lines skiped by bad year
               0 lines skiped by date filter
               0 lines skiped by Denied filter
               0 lines skiped by skipURL filter

WARNING !!!!, parsed 0 lines from total : 330840
please check confiuration !!!!
may be wrong log format selected ?
Конфигурацию проверил вдоль и поперек. Все по науке сделано.
В какую сторону копать?

esl
рядовой
Сообщения: 14
Зарегистрирован: 2009-01-27 16:35:35

Re: Проблема с Lightsquid

Непрочитанное сообщение esl » 2009-08-05 11:48:04

Spider75 писал(а):Всем приветище. Нужна помощь, я свой мозг уже вывихнул.
Lightsquid 1.7.1_1
Apache 1.3.39

Никак лайтсквид не хочеть парсить логи моего сквида! Все перекопал, в конфигах все ровно и правильно (вроде бы).
Выставил дебуг=1, дебуг2=2 в конфиге лайтсквида,
при запуске выдает следующее

Код: Выделить всё

          330840 lines notrecovered
вопрос 1-й
почему не 1.8 ?
по поводу 2-го вы не меняли формат access.log ?
не включали что то типа mime_headers ?
очень похоже что у вас много лишних столбцов в отчете ...

кусок лога в студию
LightSquid author.
Homesite: http://lightsquid.sf.net

Spider75
проходил мимо
Сообщения: 3
Зарегистрирован: 2009-08-05 9:47:13

Re: Проблема с Lightsquid

Непрочитанное сообщение Spider75 » 2009-08-05 15:46:57

почему не 1.8: ставил из портов, и упоминаний о глючности 1.7.1_1 не было
формат access.log - сквидовый (native)
mime_headers - не трогал

> очень похоже что у вас много лишних столбцов в отчете ...
отчет вообще не генерится - каталог пустой

вот кусок лога сквида

Код: Выделить всё

1249475423.582     83 192.168.4.7 TCP_MISS/200 4081 GET http://www.xoxox.ru/images/thickbox.php user1 DIRECT/79.174.72.126 text/css 2211
1249475423.609     81 192.168.4.20 TCP_MISS/200 2434 GET http://ad.adriver.ru/cgi-bin/erle.cgi? user2 DIRECT/81.222.128.12 application/x-ja
vascript 3134
1249475423.658     38 192.168.4.20 TCP_MISS/200 461 GET http://217.16.18.207/banners/0000545/0000545568/0/script.js? user2 DIRECT/217.16.18
.207 application/x-javascript 3135

esl
рядовой
Сообщения: 14
Зарегистрирован: 2009-01-27 16:35:35

Re: Проблема с Lightsquid

Непрочитанное сообщение esl » 2009-08-05 17:32:23

Spider75 писал(а):почему не 1.8: ставил из портов, и упоминаний о глючности 1.7.1_1 не было
формат access.log - сквидовый (native)
mime_headers - не трогал

> очень похоже что у вас много лишних столбцов в отчете ...
отчет вообще не генерится - каталог пустой
правильно, нет ни одной валидной строки по его мнению ...
Spider75 писал(а): вот кусок лога сквида

Код: Выделить всё

1249475423.582     83 192.168.4.7 TCP_MISS/200 4081 GET http://www.xoxox.ru/images/thickbox.php user1 DIRECT/79.174.72.126 text/css 2211
1249475423.609     81 192.168.4.20 TCP_MISS/200 2434 GET http://ad.adriver.ru/cgi-bin/erle.cgi? user2 DIRECT/81.222.128.12 application/x-ja
vascript 3134
1249475423.658     38 192.168.4.20 TCP_MISS/200 461 GET http://217.16.18.207/banners/0000545/0000545568/0/script.js? user2 DIRECT/217.16.18
.207 application/x-javascript 3135
а что это за число в конце каждой строки ???
его обычно нет

вдруг оно очень нужное - можно заментиь

Код: Выделить всё

       ($Ltimestamp,$Lelapsed,$Lhost,$Ltype,$Lsize,$Lmethod,$Lurl,$Luser,$Lhierarchy,$Lconttype,@Lrest)=split;
на

Код: Выделить всё

       ($Ltimestamp,$Lelapsed,$Lhost,$Ltype,$Lsize,$Lmethod,$Lurl,$Luser,$Lhierarchy,$Lconttype,$stranger,@Lrest)=split;
в lightparser.pl

но надо бы разобраться откуда такая радость
LightSquid author.
Homesite: http://lightsquid.sf.net

Spider75
проходил мимо
Сообщения: 3
Зарегистрирован: 2009-08-05 9:47:13

Re: Проблема с Lightsquid

Непрочитанное сообщение Spider75 » 2009-08-06 10:02:05

а что это за число в конце каждой строки ???
его обычно нет
Не знаю... Сквида ставил из портов, САМС эти логи хавает и не морщится. Единственный момент: сквид собран с патчем, который режет логи помегабайтно.

Заменил.
:Yahoo!: Заработало! Отчеты генерит. Спасибо огромное!!!

Посмотрю за ним, понаблюдаю. Если вдруг чего не так - попробую лайтсквид 1.8 .

Sash
мл. сержант
Сообщения: 73
Зарегистрирован: 2007-07-16 11:21:10
Контактная информация:

Re: Проблема с Lightsquid

Непрочитанное сообщение Sash » 2009-09-30 13:09:12

$ip2name="squidauth"

и будет показывать логины из AD

Аватара пользователя
InventoR
ст. лейтенант
Сообщения: 1344
Зарегистрирован: 2006-12-10 19:43:25
Контактная информация:

Re: Проблема с Lightsquid

Непрочитанное сообщение InventoR » 2010-02-09 9:41:05

Сегодня с утра поймал в статистике вот такое вот:
И это у всех пользователей началось.
Вложения
lightsquid.JPG
ну вот и сказочке конец, кто слушал, тот молодец.

esl
рядовой
Сообщения: 14
Зарегистрирован: 2009-01-27 16:35:35

Re: Проблема с Lightsquid

Непрочитанное сообщение esl » 2010-02-09 11:49:26

InventoR писал(а):Сегодня с утра поймал в статистике вот такое вот:
И это у всех пользователей началось.
и что вас тут смущает

куча сайтов с маленькими объемами
их вклад в общуя сумму - минимален
LightSquid author.
Homesite: http://lightsquid.sf.net

shtyrlize
проходил мимо
Сообщения: 2
Зарегистрирован: 2009-12-15 11:14:52

Re: Проблема с Lightsquid

Непрочитанное сообщение shtyrlize » 2010-02-17 9:20:05

возникла маленькая проблема
lightsquid может прятать ссылки в статистике а можно ли сделать так что он не отображал нужных мне пользователей?

Аватара пользователя
InventoR
ст. лейтенант
Сообщения: 1344
Зарегистрирован: 2006-12-10 19:43:25
Контактная информация:

Re: Проблема с Lightsquid

Непрочитанное сообщение InventoR » 2010-02-17 10:16:40

А в конфиг трудно заглянуть?
ну вот и сказочке конец, кто слушал, тот молодец.

russko
рядовой
Сообщения: 39
Зарегистрирован: 2010-02-23 12:42:33

Re: Проблема с Lightsquid

Непрочитанное сообщение russko » 2010-03-06 21:56:57

Анализатор lightsquid понравился- быстрый и внятный.
Остался только один вопрос: нашли ли способ выдавать конкретную статистику по запросу конкретного пользователя?
Типа того - пользователь заходит на страницу, авторизуется как в squid и видит на страницах lightsquid только свою статистику...

Аватара пользователя
InventoR
ст. лейтенант
Сообщения: 1344
Зарегистрирован: 2006-12-10 19:43:25
Контактная информация:

Re: Проблема с Lightsquid

Непрочитанное сообщение InventoR » 2010-03-07 10:12:27

поищите, уже предлагалось где-то готовое решение в виде php файлов.
ну вот и сказочке конец, кто слушал, тот молодец.

russko
рядовой
Сообщения: 39
Зарегистрирован: 2010-02-23 12:42:33

Re: Проблема с Lightsquid

Непрочитанное сообщение russko » 2010-03-07 11:48:14

Вот тут решение, но немного не то...
http://silverghost.org.ua/2007/03/04/li ... zovateley/
а на основе php скриптов искал...но пока не увидел :st:

fantomas000
ефрейтор
Сообщения: 54
Зарегистрирован: 2009-09-16 14:28:37

Re: Проблема с Lightsquid

Непрочитанное сообщение fantomas000 » 2010-03-17 11:52:31

Здравствуйте!

Стоит FreeBSD 8.0
Squid + Lightsquid ставил из портов. конфиг стандартный.

Код:

#!/usr/bin/perl
#
# LightSquid Project (c) 2004-2005 Sergey Erokhin aka ESL
#
# This program is free software; you can redistribute it and/or
# modify it under the terms of the GNU General Public License
# as published by the Free Software Foundation; either version 2
# of the License, or (at your option) any later version.
#
# detail see in gnugpl.txt

# -------------------- GLOBAL VARIABLES ---------------------------

#path to additional `cfg` files
$cfgpath ="/usr/local/etc/lightsquid";
#path to `tpl` folder
$tplpath ="/web/lightsquid/htdoc/tpl";
#path to `lang` folder
$langpath ="/web/lightsquid/lang";
#path to `report` folder
$reportpath ="/web/lightsquid/htdoc/report";
#path to access.log
$logpath ="/usr/local/squid/logs/";
#path to `ip2name` folder
$ip2namepath ="/web/lightsquid/libexec";

#path to `lockfile` ;-)
$lockpath =$reportpath;

#if lockfile older $maxlocktime second, remove old lock file.
$maxlocktime = 5*5;

#if 1 - lightparser generate some statistic
$debug = 0;
#if 1 - lightparser generate skip details, 2 ..., 3 ..., ....
$debug2 = 0;

# -------------------- LightParser VARIABLES ---------------------------
#squid log type
#if native squid format (default squid, see in doc) - must be 0
#if EmulateHttpdLog ON - set 1
#digit - for speed optimization
#try it set to 1 if parser generate warning
#
#see also month2dec below !!!!
#
$squidlogtype = 0;

#if you want skip some sites from stat, example our local www server
#WARNING !!!, don't leave this variable empty !!!
#example, if you want skip LOCAL site, put it here
#$skipurl = "zdd.com|192\.168\.1\.|cnn.com";
$skipurl = "zzz\.zzz";

#define sobroutine file for convertion from IP into name
#if you want skip some ip from log - return "SKIP THIS IP" ;-)
#detail see in ip2name folder,

$ip2name="simple";

#use for convert from Text to Dec convertion if EmualteHttpdLog format !!!!
#fix it if need
%month2dec = ( Jan => 1, Feb => 2, Mar => 3, Apr => 4, May => 5,Jun => 6,
Jul => 7, Aug => 8, Sep => 9, Oct => 10, Nov => 11,Dec => 12);

# -------------------- Common (Parser & Web) VARIABLES ----------------------
#create & use time report statistic (logsize = logsize*2) ;-))
$timereport = 1;

# -------------------- WEB VARIABLES ----------------------------------------

#language
#see `lang` folder (avaible: bg,eng,fr,hu,it,pt_br,ru,sp)
$lang ="ru-koi8";

#html template name
#see template folder `tpl/$templatename/`
$templatename ="base";
#$templatename ="ric";
#$templatename ="base.css";

#define type of decimal output
#fine 123456789 -> 123,456,789
#class 123456789 -> 117.7 G
$DecOutType="class";

# define delimiter for thousands (in `fine` mode)
# = " " -> 12 345 678
# = "," -> 12,345,678
# = "" -> 12345678
$decdelimiter = " ";

#if you dont need Group mode, do =0
$showgrouplink = 1;

#if not zero, groups look like "01. Group1", if zero - "Group1"
$showgroupid = 0;

#if you dont need oversize report , do =0
$showoversizelink = 1;

#show how many data user send to internet
$showputpost = 0;
#if putpost higer this variable (in percent), highlight it
$putpostwarninglevel =15;

#use or not .realname files
#.realname contain pair userid -> Full User Name
$userealname = 1;

#if url size exceed $bigfilelimit - add this file into report
$bigfilelimit = 2*1024*1024;

#user maximum size per day limit (oversize)
$perusertrafficlimit = 35*1024*1024;

# weekend display mode
# both - select sunday & monday
# monday - only monday
$weekendmode="both";

#how many site show in TopSites report
$topsiteslimit = 500;

#how many site show in user time report
$usertimelimit = 200;


#if you want user traffic GRAPHIC report, set it in 1
#WARNING !!!, need libgd, GD.PM & other external modules !!!
#please run check-setup.pl for check library !!!!
$graphreport = 1;

#higest value on graph report
# for user month report (0.05*(...) = 50mb)
$graphmaxuser=0.05*(1024*1024*1024);
# for all user month report (1.05*(...) = 1 Gb)
$graphmaxall =0.80*(1024*1024*1024);

#color scheme for GRAPHICs, avaible "orange","blue","green","yellow","brown","red"
$barcolor="orange";


#-------------------------------------------------------------------------- Group support
#

sub CreateGroupFile($) {
my $path=shift;

open Fi,"<$cfgpath/group.cfg";
open Fo,">$path/.group";
while (<Fi>) {
print Fo $_;
}
close Fo;
close Fi;
}

#-------------------------------------------------------------------------- RealName support
#

sub CreateRealnameFile($) {
my $path=shift;

open Fi,"<$cfgpath/realname.cfg";
open Fo,">$path/.realname";
while (<Fi>) {
print Fo $_;
}
close Fo;
close Fi;
}



SARG показывает, а Lightsquid нет.
И причем, если зайти в популярны сайты, то там есть посещенные сайты. А если кликаюсь га юзера, то пусто.

esl
рядовой
Сообщения: 14
Зарегистрирован: 2009-01-27 16:35:35

Re: Проблема с Lightsquid

Непрочитанное сообщение esl » 2010-03-26 10:58:27

что говорит checkconfig.pl
включите debug в конфиге и посмотрите что говорит парсер
LightSquid author.
Homesite: http://lightsquid.sf.net

Аватара пользователя
kvasik
рядовой
Сообщения: 12
Зарегистрирован: 2010-01-27 17:56:22

Re: Проблема с Lightsquid

Непрочитанное сообщение kvasik » 2010-04-15 10:40:32

В SARG есть нюанс, он не отделяет реальный и кэш-трафик, считает все подряд.
Кто знает, как считает Lightsquid?

esl
рядовой
Сообщения: 14
Зарегистрирован: 2009-01-27 16:35:35

Re: Проблема с Lightsquid

Непрочитанное сообщение esl » 2010-04-15 11:46:20

kvasik писал(а):В SARG есть нюанс, он не отделяет реальный и кэш-трафик, считает все подряд.
Кто знает, как считает Lightsquid?
что вас конкретно интересует ?
берет строчку лога, берет их нее поле размера и складывает
другой информации просто нет :)

что у вас конкретно за проблема ?
по логу сквида невозможно посчитать точно, это по определению :)
для этих целей есть "более другие" средтсва, itables, netflow etc etc etc
LightSquid author.
Homesite: http://lightsquid.sf.net

Аватара пользователя
kvasik
рядовой
Сообщения: 12
Зарегистрирован: 2010-01-27 17:56:22

Re: Проблема с Lightsquid

Непрочитанное сообщение kvasik » 2010-04-15 23:04:55

esl писал(а):...по логу сквида невозможно посчитать точно, это по определению :)
для этих целей есть "более другие" средтсва, itables, netflow etc etc etc
Ну как, вот например Лиссяра пишет в статье про Сарг, цитата: " Траффик ей особо не посчитаешь - т.к. даже если у вас только инет через squid всё равно SARG считает вместе с инфой отданной из кэша - т.е. всегда будет врать в большую сторону."
А когда ставил SAMS, там все красиво было. Показывает какой траф из кэша, какой реальный. Вот и стало интересно, как дела обстоят в Lightsquid :)

esl
рядовой
Сообщения: 14
Зарегистрирован: 2009-01-27 16:35:35

Re: Проблема с Lightsquid

Непрочитанное сообщение esl » 2010-04-16 0:24:30

kvasik писал(а):
esl писал(а):...по логу сквида невозможно посчитать точно, это по определению :)
для этих целей есть "более другие" средтсва, itables, netflow etc etc etc
Ну как, вот например Лиссяра пишет в статье про Сарг, цитата: " Траффик ей особо не посчитаешь - т.к. даже если у вас только инет через squid всё равно SARG считает вместе с инфой отданной из кэша - т.е. всегда будет врать в большую сторону."
А когда ставил SAMS, там все красиво было. Показывает какой траф из кэша, какой реальный. Вот и стало интересно, как дела обстоят в Lightsquid :)
" ... ну и вы говорите", по логу сквида нельзя ТОЧНО посчитать
http://lightsquid.sourceforge.net/demo1 ... 9&month=08
там есть колонка hit%
это что отдано из кеша, скорее всего именно то что и пишет самс
смысла писать это в реальных цифрах - мало, т.к. если данные брались из кеша то все равно был запрос в инет (информации о которой нет в логе) и DNS запросы тоже кушают трафик.
еще раз повторю, СКВИД НЕЛЬЗЯ использовать для учета и сверки с провайдером

цифра hit% это информация для настройки/оценки эффективности кеша

а по поводу точности - поставить его 5 минут :) и через неделю будет все видно :)
LightSquid author.
Homesite: http://lightsquid.sf.net

Аватара пользователя
kvasik
рядовой
Сообщения: 12
Зарегистрирован: 2010-01-27 17:56:22

Re: Проблема с Lightsquid

Непрочитанное сообщение kvasik » 2010-04-16 8:35:30

да уж, интересное кино :) спасибо за коменты :good:

Антон
проходил мимо

Re: Проблема с Lightsquid

Непрочитанное сообщение Антон » 2010-05-28 7:29:08

Есть проблема. Стоит OpenSuse 11 , Squid, LightSquid.
как сделать чтобы по браузеру за трафиком мог следитьтолько админ??? В данный момент все кому не лень могут зайти со своего ПК и посмотреть. Я только второй месяц работаю с Unix, знания малы. Сервак настраивал предшественник, уолился,разбираюсь со всем сам.

Аватара пользователя
InventoR
ст. лейтенант
Сообщения: 1344
Зарегистрирован: 2006-12-10 19:43:25
Контактная информация:

Re: Проблема с Lightsquid

Непрочитанное сообщение InventoR » 2010-05-28 8:19:08

.htaccess

<directory>
allow from *
ну вот и сказочке конец, кто слушал, тот молодец.