lightsquid users report

[johns]

Не подскажете почему такое может происходить, в директории как видно созданы все необходимые файлы статистики для каждого пользователя:

Код: Выделить всё

[root@gw /data/www/report/20101125]# ls -l 192.168.1.*
-rw-r--r--  1 root  www  14871 Nov 25 21:00 192.168.1.10
-rw-r--r--  1 root  www    475 Nov 26 11:11 192.168.1.100
-rw-r--r--  1 root  www  17844 Nov 25 21:00 192.168.1.101
-rw-r--r--  1 root  www  18675 Nov 25 21:00 192.168.1.102
-rw-r--r--  1 root  www  34127 Nov 25 21:00 192.168.1.104
-rw-r--r--  1 root  www    164 Nov 26 11:11 192.168.1.105
-rw-r--r--  1 root  www  20748 Nov 25 21:00 192.168.1.106
-rw-r--r--  1 root  www   5149 Nov 25 21:00 192.168.1.107
-rw-r--r--  1 root  www    642 Nov 26 11:11 192.168.1.112
-rw-r--r--  1 root  www   8231 Nov 25 21:00 192.168.1.113
-rw-r--r--  1 root  www  44709 Nov 25 21:00 192.168.1.114
-rw-r--r--  1 root  www    781 Nov 25 21:00 192.168.1.115
-rw-r--r--  1 root  www  32984 Nov 25 21:00 192.168.1.116
-rw-r--r--  1 root  www   8933 Nov 25 21:00 192.168.1.118
-rw-r--r--  1 root  www  27482 Nov 25 21:00 192.168.1.119
-rw-r--r--  1 root  www  18172 Nov 25 21:00 192.168.1.121
-rw-r--r--  1 root  www    478 Nov 25 21:00 192.168.1.122
-rw-r--r--  1 root  www  60139 Nov 25 21:00 192.168.1.123
-rw-r--r--  1 root  www  42692 Nov 25 21:00 192.168.1.125
-rw-r--r--  1 root  www  26713 Nov 25 21:00 192.168.1.126
-rw-r--r--  1 root  www    327 Nov 26 11:11 192.168.1.127
-rw-r--r--  1 root  www  42303 Nov 25 21:00 192.168.1.128
-rw-r--r--  1 root  www   7647 Nov 25 21:00 192.168.1.130
-rw-r--r--  1 root  www  26017 Nov 25 21:00 192.168.1.131
-rw-r--r--  1 root  www   4707 Nov 25 21:00 192.168.1.133
-rw-r--r--  1 root  www   1736 Nov 26 11:11 192.168.1.134
-rw-r--r--  1 root  www    169 Nov 26 11:11 192.168.1.19
-rw-r--r--  1 root  www    820 Nov 26 11:11 192.168.1.20
-rw-r--r--  1 root  www    321 Nov 26 11:11 192.168.1.204
-rw-r--r--  1 root  www  18277 Nov 25 21:00 192.168.1.21
-rw-r--r--  1 root  www  38610 Nov 25 21:00 192.168.1.22
-rw-r--r--  1 root  www  17563 Nov 25 21:00 192.168.1.23
-rw-r--r--  1 root  www  54143 Nov 25 21:00 192.168.1.24
-rw-r--r--  1 root  www  19518 Nov 25 21:00 192.168.1.25
-rw-r--r--  1 root  www   2789 Nov 25 21:00 192.168.1.27
-rw-r--r--  1 root  www  96798 Nov 25 21:00 192.168.1.28
-rw-r--r--  1 root  www    326 Nov 26 11:11 192.168.1.29
-rw-r--r--  1 root  www  12706 Nov 25 21:00 192.168.1.3
-rw-r--r--  1 root  www  26808 Nov 25 21:00 192.168.1.30
-rw-r--r--  1 root  www   8911 Nov 25 21:00 192.168.1.31
-rw-r--r--  1 root  www   4018 Nov 26 11:11 192.168.1.32
-rw-r--r--  1 root  www   1137 Nov 26 11:11 192.168.1.33
-rw-r--r--  1 root  www  22158 Nov 25 21:00 192.168.1.43
-rw-r--r--  1 root  www   3954 Nov 25 21:00 192.168.1.66
-rw-r--r--  1 root  www    503 Nov 26 11:11 192.168.1.7

но почему-то

Код: Выделить всё

[root@gw /data/www/report/20101125]# cat .total
user: 12
size: 5354075
192.168.1.7                  2134126             388            5455
192.168.1.33                 1640234             523          120341
192.168.1.32                  787021             313            5874
192.168.1.134                 423722              47             467
192.168.1.112                 260482            1047             906
192.168.1.100                  26254               9               0
192.168.1.20                   25558              15           25558
192.168.1.204                  22951               6               0
192.168.1.29                   18919               9            1781
192.168.1.127                  13314               9            1027
192.168.1.19                    1266               3               0
192.168.1.105                    228               1             228

попали в отчет не все, а только 12
хотя

Код: Выделить всё

[root@gw /data/www/report/20101125]# ls -l 192.168.1.* | wc -l
      45

причем приблизительно такое за каждый день кроме сегодняшнего.
Пример конфига:

Код: Выделить всё

[root@gw /usr/local/etc/lightsquid]# grep "^[^#]" lightsquid.cfg
$cfgpath             ="/usr/local/etc/lightsquid";
$tplpath             ="/usr/local/www/lightsquid/tpl";
$langpath            ="/usr/local/share/lightsquid/lang";
$reportpath          ="/data/www/report";
$logpath             ="/data/squid/logs";
$ip2namepath         ="/usr/local/libexec/lightsquid";
$lockpath            =$reportpath;
$maxlocktime         = 30*60;
$debug               = 0;
$debug2              = 0;
$squidlogtype        = 0;
$skipurl             = '192\.168\.1\.';
$ip2name="dns";
%month2dec = ( Jan => 1, Feb => 2, Mar => 3, Apr => 4, May => 5,Jun => 6,
               Jul => 7, Aug => 8, Sep => 9, Oct => 10, Nov => 11,Dec => 12);
$timereport          = 1;
$lang                ="ru";
$templatename        ="base";
$DecOutType="class";
$decdelimiter        = " ";
$showgrouplink       = 1;
$showgroupid         = 1;
$showoversizelink    = 1;
$showputpost         = 1;
$putpostwarninglevel =15;
$userealname         = 1;
$bigfilelimit        = 2*1024*1024;
$perusertrafficlimit = 100*1024*1024;
$weekendmode="both";
$topsiteslimit       = 500;
$usertimelimit       = 200;

$graphreport         = 1;
$graphmaxuser=0.05*(1024*1024*1024);
$graphmaxall =5.50*(1024*1024*1024);
$barcolor="orange";

sub CreateGroupFile($) {
  my $path=shift;
  open Fi,"<$cfgpath/group.cfg";
  open Fo,">$path/.group";
  while (<Fi>) {
    print Fo $_;
  }
  close Fo;
  close Fi;
}
sub CreateRealnameFile($) {
  my $path=shift;
  open Fi,"<$cfgpath/realname.cfg";
  open Fo,">$path/.realname";
  while (<Fi>) {
    print Fo $_;
  }
  close Fo;
  close Fi;
}

Может быть кто-то сталкивался, а то лезть в чужой код последнее дело!

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[InventoR]

$skipurl = '192\.168\.1\.';
????
регулярка:
Символ точки '.'. Этот метасимвол указывает, что на данном месте в строке может находиться любой символ (за исключением символа перевода строки). Очень удобно использовать его, если вам нужно "пропустить" какую-нибудь букву в слове при проверке. Например регулярное выражение /.bc/ найдет в тексте и 'abc' и 'Abc' и 'Zbc' и '5bc'.

[InventoR]

#если вы хотите не учитывать статистику с некоторых сайтов - измените переменную
#Предупреждение !!!, не оставляйте эту переменную пустой !!!
#example, if you want skip LOCAL site, put it here
#$skipurl = "zdd.com|192\.168\.1\.|cnn.com";
$skipurl = "zzz\.zzz";

http://www.lissyara.su/articles/freebsd ... ightsquid/

[johns]

Так это директива отвечает за то попадает ли маска в статистические файлы, а не за формирование самих файлов:
Вот например есть файл 192.168.1.28

Код: Выделить всё

[root@gw /data/www/report/20101125]# cat 192.168.1.28 | awk '{ print $1"-"$2/(1024*1024)"M" }' | head
total:-196.887M
www.reserved.com-27.2493M
www.mail.ru-13.4345M
zolla.ru-10.676M
www.zarina.ru-8.89389M
www.banket-ubiley.ru-7.45347M
vkontakte.ru-7.16866M
starless.ru-6.39085M
bs.spb-komandor.ru-5.59698M
jean-marc.janiaczyk.pagesperso-orange.fr-5.53741M

но в файле .total

Код: Выделить всё

[root@gw /data/www/report/20101125]# cat .total
user: 12
size: 5354075
192.168.1.7                  2134126             388            5455
192.168.1.33                 1640234             523          120341
192.168.1.32                  787021             313            5874
192.168.1.134                 423722              47             467
192.168.1.112                 260482            1047             906
192.168.1.100                  26254               9               0
192.168.1.20                   25558              15           25558
192.168.1.204                  22951               6               0
192.168.1.29                   18919               9            1781
192.168.1.127                  13314               9            1027
192.168.1.19                    1266               3               0
192.168.1.105                    228               1             228

Такого пользователя нет и кстати на всякий случай попробовал заменит regexp чем-нибудь типа

Код: Выделить всё

$skipurl = "zzz\.zzz"; 

и сказать

Код: Выделить всё

./lightparser.pl yesterday

все равно не помогло. Файл .total сформировался не корректно.

[johns]

Проблема решилась, если кому-то интересно, то причина заключалась в том что rotate access.log был настроен неверно. Т.е. часть файлов была создана на основании вновь созданного access.log, а часть старого, это можно видеть при выводе

Код: Выделить всё

ls -l 192.168.1.*

- даты создания файлов. А файл .total содержит данные только последнего прохода. М.б. мои грабли сэкономят кому-то время
Теперь rotate настроен раз в неделю

Код: Выделить всё

00 00 * * 1 /usr/local/sbin/squid -k rotate

или можно так

Код: Выделить всё

00 00 * * * /usr/local/sbin/squid -k rotate

что тоже будет работать.

[skeletor]

$skipurl = '192\.168\.1\.';
????
регулярка:
Символ точки '.'. Этот метасимвол указывает, что на данном месте в строке может находиться любой символ (за исключением символа перевода строки). Очень удобно использовать его, если вам нужно "пропустить" какую-нибудь букву в слове при проверке. Например регулярное выражение /.bc/ найдет в тексте и 'abc' и 'Abc' и 'Zbc' и '5bc'.

Вы неправы. В данном случае точка экранируется и регулярка означает искать IP-шники 192.168.1.ХХХ.