Free-SA. Небольшая заметка

[Nebelwerfer]

Огромное спасибо, что откликнулись...

Это сильно зависит от того, какие пользователи доступны у вас на системе с Apache, который будет публиковать отчеты Free-SA.

Но, видите ли, это не совсем то, что мне необходимо... Или я чего-то не понимаю?...
Имеется домашняя локалка (20-30 юзеров), получающая нет через pf-nat+transparent proxy (squid), авторизация на прокси по IP+MAC. Хочется, чтобы Apache отдавал статистику по IP. Зашёл юзер, увидел свою статистику, обалдел и вышел Всего-то

opennet.ru:

>Такую софтину не грех использовать мелким операторам для предоставлении отчетов пользователям. Вот
>бы еще сделать в CGI автоопределение IP-пользователя и показывать ему его
>собственную статистику.

В принципе такую возможность можно добавить, но обычно отчеты доступны для изучения всем, а в некоторых компаниях, где используют free-sa пользователь при запуске IE сразу попадает на корпоративный сайт с его статистикой (это кстати, отрезвляет многих от посещения ненужных сайтов, т.к. посещенные им сайты видит не только он сам, правда в этой статистике нет информации по руководству компании - вырезается через опцию global_filter из free-sa.conf).

Вот-вот... а иногда, всё-же, бывает нужно. Не каждому хочется, чтобы сосед по площадке смотрел его отчёт по посещению сайтов соответстующего содержания

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[saper]

Тогда вам нужно или завести для них пользователей на вашей системе или самому сделать PHP/Perl/etc скрипт, который будет подгружать нужный отчет Free-SA по IP с которого идет соединение. В случае со скриптом очень важным будет сделать так, чтобы пользователи не могли увидеть чужие отчеты путем манипуляций с URL, параметров скрипта или IP.

[saper]

Первые две ссылки вам много чего предложат :-)
http://www.google.ru/search?hl=ru&q=apa ... sed+access

[Nebelwerfer]

Благодарствую. Данный вопрос можно считать исчерпанным. Будем, значить, думать...

[evincar]

Старую тему приходится поднимать. уж извиняйте, но самому что то не получается разобратся c правами на файлы интерфейса Free-SA.
Есть CentOS 5.3

Код: Выделить всё

evincar@wall free-sa$uname -a
Linux wall.local 2.6.18-128.el5xen #1 SMP Wed Jan 21 11:55:02 EST 2009 i686 i686 i386 GNU/Linux

Есть Free-SA собраная из сорцов.

Код: Выделить всё

OSTYPE = redhat-native-gcc4

Код: Выделить всё

evincar@wall free-sa$sudo free-sa -v
Пароль:
Free-SA 1.6.2 (http://free-sa.sourceforge.net)
Copyright (C) 1997, 2006-2009 Oleg Sapon <xsov@mail.ru>
License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>
This program comes with ABSOLUTELY NO WARRANTY.
This is free software, and you are welcome to redistribute it under certain conditions.
For details please read the file named COPYING.

в логах апача спятся ошибки

Код: Выделить всё

root@wall httpd$tail error_log | grep free-sa
[Mon Aug 10 15:09:48 2009] [error] [client 192.168.0.100] File does not exist: /var/www/html/favicon.ico, referer: http://192.168.0.100/free-sa/09.08.2009-10.08.2009-2/topuser.html
[Tue Aug 11 11:04:29 2009] [error] [client 192.168.0.100] Symbolic link not allowed or link target not accessible: /var/www/html/free-sa/rsa.css, referer: http://192.168.0.100/free-sa/
[Tue Aug 11 11:04:29 2009] [error] [client 192.168.0.100] Symbolic link not allowed or link target not accessible: /var/www/html/free-sa/sa.js, referer: http://192.168.0.100/free-sa/
[Tue Aug 11 11:04:29 2009] [error] [client 192.168.0.100] File does not exist: /var/www/html/favicon.ico, referer: http://192.168.0.100/free-sa/

Права установленны следующие

Код: Выделить всё

root@wall html$pwd
/var/www/html
root@wall html$ll | grep free
drwxr-xr-x 58 root root 4096 Авг 11 11:29 free-sa
root@wall html$cd free-sa/
root@wall free-sa$ll
lrwxrwxrwx 1 root root   20 Авг 10 14:11 c.png -> themes/default/c.png
lrwxrwxrwx 1 root root   20 Авг 10 14:11 d.png -> themes/default/d.png
lrwxrwxrwx 1 root root   20 Авг 10 14:11 g.png -> themes/default/g.png
lrwxrwxrwx 1 root root   22 Авг 10 14:11 gsa.css -> themes/default/gsa.css
-rw-r--r-- 1 root root 8519 Авг 11 11:29 index.html
lrwxrwxrwx 1 root root   22 Авг 10 14:11 lsa.css -> themes/default/lsa.css
lrwxrwxrwx 1 root root   22 Авг 10 14:11 rsa.css -> themes/default/rsa.css
lrwxrwxrwx 1 root root   12 Авг 10 14:11 sa.js -> themes/sa.js
lrwxrwxrwx 1 root root   20 Авг 10 14:11 s.png -> themes/default/s.png
drwxr-xr-x 7 root root 4096 Авг 10 14:11 themes

При попытке просмотра статистики "картинки не грузятсо". Пробовал дать права на папки и линки апачу - та же фигня получается...

[_Andy]

Есть Free-SA собраная из сорцов.

Почему пакет не собрали?

в логах апача спятся ошибки

Права установленны следующие

Код: Выделить всё

root@wall html$pwd
/var/www/html
root@wall html$ll | grep free
drwxr-xr-x 58 root root 4096 Авг 11 11:29 free-sa
root@wall html$cd free-sa/
root@wall free-sa$ll
lrwxrwxrwx 1 root root   20 Авг 10 14:11 c.png -> themes/default/c.png
lrwxrwxrwx 1 root root   20 Авг 10 14:11 d.png -> themes/default/d.png
lrwxrwxrwx 1 root root   20 Авг 10 14:11 g.png -> themes/default/g.png
lrwxrwxrwx 1 root root   22 Авг 10 14:11 gsa.css -> themes/default/gsa.css
-rw-r--r-- 1 root root 8519 Авг 11 11:29 index.html
lrwxrwxrwx 1 root root   22 Авг 10 14:11 lsa.css -> themes/default/lsa.css
lrwxrwxrwx 1 root root   22 Авг 10 14:11 rsa.css -> themes/default/rsa.css
lrwxrwxrwx 1 root root   12 Авг 10 14:11 sa.js -> themes/sa.js
lrwxrwxrwx 1 root root   20 Авг 10 14:11 s.png -> themes/default/s.png
drwxr-xr-x 7 root root 4096 Авг 10 14:11 themes

При попытке просмотра статистики "картинки не грузятсо". Пробовал дать права на папки и линки апачу - та же фигня получается...

Группу поменяйте на ту, от которой стартует апач (www кажется)

[saper]

У вас в настройках apache есть такая опция для директории /var/www/html ?

Код: Выделить всё

<Directory /var/www/html>
Options Indexes FollowSymLinks 
</Directory>

Если нет, то чтобы упростить все и не ухудшать безопасность, попробуйте так:

Код: Выделить всё

rm /var/www/html/*.js /var/www/html/*.css
cp /var/www/html/themes/default/*.css /var/www/html/
cp /var/www/html/themes/default/*.js /var/www/html/

Еще учтите, что в некоторых дистрибутивах в httpd.conf есть строки вида "Include /etc/apache2/default-server.conf", которые имеют более высокий приоритет над локальными настройками.

[saper]

Группу поменяйте на ту, от которой стартует апач (www кажется)

Судя по вышеприведенным данным, проблема не с группой, т.к. у index.html владелец root.root и он, как я понимаю, грузится.

[lion_lion]

#free-sa -s
SAERROR: [ShowLogI] Can't read log
#free-sa -d month
SAERROR: [ShowLogI] Can't read log
Ну вот собственно и ошибочка.......попробовал вашь патчик из статьи который, не захотел вообше становиться (может конечно я сам что то делал не так).......установка проводилась из портов штатным способом.... .

У вас журнал в каком то неизвестном для программы формате. Можете показать первые 3 строчки из него?

Привет. Я тут тоже на такуюже ошибку наткнулся.
Методом проб выяснил что парсеру не нравится в логе первая строка:
Sep 17 00:00:00 ххх newsyslog[59677]: logfile turned over
Может и у вас такая же проблема.

[xsaper]

#free-sa -s
SAERROR: [ShowLogI] Can't read log
#free-sa -d month
SAERROR: [ShowLogI] Can't read log
Ну вот собственно и ошибочка.......попробовал вашь патчик из статьи который, не захотел вообше становиться (может конечно я сам что то делал не так).......установка проводилась из портов штатным способом.... .

У вас журнал в каком то неизвестном для программы формате. Можете показать первые 3 строчки из него?

Привет. Я тут тоже на такуюже ошибку наткнулся.
Методом проб выяснил что парсеру не нравится в логе первая строка:
Sep 17 00:00:00 ххх newsyslog[59677]: logfile turned over
Может и у вас такая же проблема.

skip_errors="true" попробуйте в Free-SA 1.6.2 или log_skip_errors="yes" в Free-SA 2.0.0b2.

[James]

есть ли возможность формировать отчёт в к-л папку с статическим именем\путём? а то по free-sa -d day прыгает то 08.01.2010-08.01.2010-1, то 08.01.2010-08.01.2010-2, ну и сама папка ежедневно меняется. хочется статический линк.

[0dmin]

есть ли возможность формировать отчёт в к-л папку с статическим именем\путём? а то по free-sa -d day прыгает то 08.01.2010-08.01.2010-1, то 08.01.2010-08.01.2010-2, ну и сама папка ежедневно меняется. хочется статический линк.

у мя сделано след. образом:
есть 4 конфига для фрисы:

Код: Выделить всё

[13:11]  /usr/local/etc/free-sa >ls -lGah | grep .conf
-rw-r--r--   1 root   wheel   1,2K 11 янв 12:01 fsa_dayly.conf
-rw-r--r--   1 root   wheel   1,2K 11 янв 12:00 fsa_monthly.conf
-rw-r--r--   1 root   wheel   1,2K 28 авг 09:40 fsa_query.conf
-rw-r--r--   1 root   wheel   1,2K 11 янв 11:51 fsa_year.conf

fsa_dayly.conf - дневная стата;
fsa_monthly.conf - месячная;
sa_query.conf - по запросу;
fsa_year.conf - годовая стата;
в каждом конфиге есть переменная со своим значением - какой (где?) брать .log (из /usr/local/etc/squid) или где у вас там лежат логи Squid:

Код: Выделить всё

[13:18]  /usr/local/etc/free-sa >cat fsa_dayly.conf | grep log
log="/usr/local/squid/logs/dayly.tmp"

и куда уложить стату для етого лога:

Код: Выделить всё

[13:19]  /usr/local/etc/free-sa >cat fsa_dayly.conf | grep target
targetdir="/usr/local/www/data/stats/dayly"

дальше все банально:
есть /etc/periodic/daily/
-----------------/monthly/
---------------- и.т.д
в них есть некоторый скрипт

Код: Выделить всё

[13:22]  /etc/periodic/daily >ls -lGah | grep free
-rwxr-xr-x  1 root  wheel   347B 11 янв 12:02 000.free-sa_day.sh

и его содержание:

Код: Выделить всё

#!/bin/sh
log=/usr/local/squid/logs

#/usr/local/etc/rc.d/squid stop
#/dev/null > $log/dayly.tmp

cp $log/access.log $log/dayly.tmp
#/usr/local/etc/rc.d/squid start >> /dev/null

/dev/null > $log/access.log
/bin/cat < $log/dayly.tmp >> $log/monthly.log

/usr/local/bin/free-sa -f /usr/local/etc/free-sa/fsa_dayly.conf
/bin/rm -rf  $log/dayly.tmp

и.т.п для каждого периода (конструкции чутка отличаются)
Незнаю насколько мой метод корректен))))) но работает как часы))))))))))

[russko]

Использую последнюю версию в портах Free-sa 1.6.2.
При формировании отчета почти за месяц (с 1.02.2010-25.02.2010) вываливается с ошибкой: kernel: pid 16635 (free-sa), uid 0: exited on signal 11 (core dumped).

Код: Выделить всё

#

log="/usr/local/squid/logs/access.log"
#usertab="/usr/local/etc/free-sa/users"
downloads="/usr/local/etc/free-sa/downloads.sample"
#local_filter=""
#global_filter=""

targetdir="/usr1/apache/local.niti/htdocs/sq_new"
#tmpdir="/var/cache/free-sa"

#ts="true"
#paf="true"
#saf="true"
#pdn="true"
#sdn="true"
#cct="true"
#pst="true"
dld="true"
fullurl="true"
users="true"
#email=""

#paf_limit="50"
#saf_limit="50"
#pdn_limit="50"
#sdn_limit="50"
#cct_limit="50"
#pst_limit="50"
dld_limit="50"
lcf_limit="50"
url_limit="50"
#ts_limit="0"
#dld_min="0"
#rtr_timeout="5000"

name="Report"
logformat="0"
#skip_errors="false"
fulltraffic="true"
inameuser="true"
#user_unescape="false"
indicators="true"
overwrite="1"
#resolveip="false"
showinfo="true"
#site=""
#logo=""
locale="ru_RU.KOI8-R"
#rotate=""
divisor="b"
#tz_shift="0"

В чем может быть проблема? Очень уж больно на sarg возвращаться не хочется ))
Система - FreeBSD 8.0

[_Andy]

Ошибка сегментации. Вы ядро с миром пересобирали?
Хотелось бы получить log файл и core файл.

[russko]

Проблема вроде пока решена...причина была не в free-sa...в другой софтине )

[terminus]

Приветствую.

Попробовал эту утилиту вместо SARG - все хорошо работает, репорты генерит на ура. Но вот только никак не могу заставить работать free-sa.cgi! При открывании /cgi-bin/free-sa.cgi появляется просто белая страница где внутри в комментариях пишет что:

Код: Выделить всё

SAERROR: [ShowLogI] Can't read log

права на /var/log/squid/ выставлены в 777. Права на сам access.log так же выставлены в 666.
Пробовал менять овнера и группу овнера со squid на apache для access.log, но результата никакого.

У кого-нить получилось завести free-sa.cgi?

Я пробовал free-sa 1.6.2 и free-sa 2.0.0b3p8 - безрезультатно...
Возможность "реалтайм" мониторинга через free-sa.cgi выглядит очень вкусно! Завести бы ее

Fedora 12.

[_Сатана]

чета не усосал насчет цги какого-то.....
но вот а если в крон засунуть например каждые пять минуть формировать статистику?
вот с опеннета вырезка:

free-sa отрабатывает без проблем, подскажите как сделать что б , например каждый день делал отчет только за день , т.е. например в лайтсквиде создается каждый раз новый день и сколько было использовано траффика за день, во free-sa создается с начало создания файла access.log по сегодняшний день.
запускается /usr/local/bin/free-sa -f /usr/local/etc/free-sa/free-sa.conf
пробывал /usr/local/bin/free-sa -d 02.03.2009-02.03.2009
SAERROR: [SAusage] Incorrect dates range specified '02.03.2009-02.03.2009'

Это известная проблема. При запуске Free-SA (особенно через crond) важно указывать даты в локали, в которой вы запускаете программу. В вашем примере вы указали даты в русской локали, тогда как локаль запуска скорее всего C. Команда date +%x подскажет, как должна выглядеть дата в вашей текущей локали. Для локали C это: ММ/ДД/ГГ, т.е. 2 марта 2009 будет 03/02/09 и скорее всего команда /usr/local/bin/free-sa -d 03/02/09-03/02/09 отработает нормально.

Олег, спасибо, помогло. Тогда возникает следующий вопрос, а как тогда же в Cron правильно оформить, что б формировалось ежедневно такое?
Есть 2 варианта:
1. Сделать скрипт, в котором менять локаль до запуска Free-SA (обычно через скрипт и делают, т.к. нужно еще и дату рассчитать):
#!/bin/sh
export LC_ALL=ru_RU.KOI8-R
export LANG=ru_RU.KOI8-R
/usr/bin/free-sa -d 03.03.2009-03.03.2009

2. Запускать free-sa напрямую из crond, указывая даты в формате C (она же POSIX) локали:
/usr/bin/free-sa -d 03/03/09-03/03/09

Во втором варианте можно указать локаль через опцию locale в free-sa.conf. Это полезно, чтобы отчет был на русском. Учтите, что опция locale не влияет на формат даты, указываемой в командной строке, т.е. чтобы вы не указывали в опции locale, все равно придется даты указывать в локали запуска.

набрать date +%x и посмотреть в каком формате текущая локаль готова принимать дату, если вернет что то вроде 04/21/10, то так и нужно передавать дату в опции -d.

почти реалтаим...
а вообще напиши Олегу, он тебе подробно расскажет че да как

[terminus]

Это overkill.
на сурсфордже в багтракере вопрос создал

[j001n]

нужно исключить локальный хост из отчета. такое возможно?
как в SARG
exclude_string
exclude_hosts
exclude_users

[saper2]

нужно исключить локальный хост из отчета. такое возможно?
как в SARG
exclude_string
exclude_hosts
exclude_users

Посмотрите фильтры. Вам подойдет или global_filter или users_filter (наличие той или иной опции зависит от версии).

[terminus]

Сквид с авторизацией через ntlm. Free-sa 1.6. В отчетах free-sa почему-то много IP адресов вместо имен пользователей (имена тоже есть).
Опция inameuser в free-sa.conf не установлена (по умолчанию она true?). Есть ли возможность ограничить или отключить генерацию отчетов по IP?

Код: Выделить всё

cache_directory="/var/cache/free-sa"
target_directory="/var/www/html/free-sa"
log_file="/var/log/squid/access.log"
log_format="0"
log_skip_errors="no"

username_resolve_ip="no"
users_filter="/etc/free-sa/users.filter.sample"

local_filter="/etc/free-sa/HTTP_proxy_auth_failures.filter.sample"
local_filter="/etc/free-sa/HTTP_site_auth_failures.filter.sample"
local_filter="/etc/free-sa/HTTP_proxy_denied.filter.sample"
local_filter="/etc/free-sa/HTTP_site_denied.filter.sample"
local_filter="/etc/free-sa/HTTP_CONNECT_method.filter.sample"
local_filter="/etc/free-sa/HTTP_PUT+POST_method.filter.sample"
local_filter="/etc/free-sa/HTTP_downloads.filter.sample"
local_filter="/etc/free-sa/HTTP_downloads_archives.filter.sample"
local_filter="/etc/free-sa/HTTP_downloads_audio.filter.sample"
local_filter="/etc/free-sa/HTTP_downloads_cddvd.filter.sample"
local_filter="/etc/free-sa/HTTP_downloads_code.filter.sample"
local_filter="/etc/free-sa/HTTP_downloads_office.filter.sample"
local_filter="/etc/free-sa/HTTP_downloads_video.filter.sample"
local_filter="/etc/free-sa/HTTP_unusual_codes.filter.sample"

reports_bytes_divisor="M"
reports_indicators="yes"
reports_overwrite="2"
reports_rotate="year"
reports_url_limit="80"
real_time_timeout="5000"
server_efficiency_report="yes"
server_efficiency_bytes_divisor="no"
top_sites_report="yes"
top_sites_limit="0"
users_report="yes"

[skeletor]

У меня FreeBSD 8.1 amd64. при установке пишет

Код: Выделить всё

===>  free-sa-1.6.2 is marked as broken: build fails with error: CPU you selected does not support x86-64 instruction set.
*** Error code 1

Stop in /usr/ports/www/free-sa.

Открыл я Makefile и возник вопрос: могу ли я просто закоментить этот блок:

Код: Выделить всё

.else
EXTRA_PATCHES+= ${FILESDIR}/extra-patch-global-i386.mk
.if ${ARCH} != "i386"
BROKEN=         build fails with error: CPU you selected does not support x86-64 instruction set
.endif

Будет ли работать? Не будет ли выпадать в корку? Может есть другие способы поставить Free-Sa на amd64?

[killot]

Блин на работе эту фрису поставили и палят кто-где сидит.
Можно ка-нибудь логи не оставляя сидеть в инете?

[terminus]

дома надо голых теток смотреть, а не на работе...

[SAM]

Если кому интересно, почему free-sa ругается на логи. Все из-за того что логи ротируют newsyslog-ом. А надо самим сквидом. Тогда в заголовке файла не появляется запись о ротации, и free-sa без проблем выдает отчет.