Возможна ли расширенная статистика логов SQUID?

[awe007]

Добрый день.
Такая ситуация:
Имеется PFSense 2.2.4 (готовый дистрибутив, софтовый шлюз на базе FreeBSD 10). На нём в качестве прокси сервера установлен Squid.
Сейчас встала обыденная задача собирать статистику по юзерам - кто куда и сколько ходит.

Сначала была проблема, что в логи сквида писался не весь URL, а только домен (если быть точнее, то до знака "?"). Например посетил пользователь страницу www.vesti.ru/doc.html?id=2742518, а в логах я вижу только www.vesti.ru/doc.html. Что конкретно он смотрел на этом сайте - непонятно. Но эта проблема решилась добавлением в конфиг SQUID строки

Код: Выделить всё

strip_query_terms off

После этого в логи сквида стали попадать полные URL сайтов, а вот анализатор логов LightSquid всё равно показывает обрезанный URL

Собственно вопрос - можно ли заставить LightSquid (или какой-нибудь его аналог) отображать в статистике полные URL посещённых сайтов?

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[LBV]

free-sa вытягивает полный url

[awe007]

Спасибо большое за наводку!
А не знаете, его можно установить на сервер с PFSense ? Или придётся ставить его на отдельную машину и скармливать ему логи Squid?

[LBV]

Не использовал PFSense, если есть консоль и пакеты, то конечно можно

[awe007]

Поставил пакет

Код: Выделить всё

[2.2.4-RELEASE][root@x.host.ru]/: pkg install free-sa-devel-2.0.0b6.7
Updating FreeBSD repository catalogue...
FreeBSD repository is up-to-date.
All repositories are up-to-date.
The following 1 package(s) will be affected (of 0 checked):

New packages to be INSTALLED:
        free-sa-devel: 2.0.0b6.7

93 KiB to be downloaded.

Proceed with this action? [y/N]: y
Fetching free-sa-devel-2.0.0b6.7.txz: 100%   93 KiB  95.0kB/s    00:01    
Checking integrity... done (0 conflicting)
[1/1] Installing free-sa-devel-2.0.0b6.7...
[1/1] Extracting free-sa-devel-2.0.0b6.7: 100%

в конфиге прописал где лежат логи сквида, и куда выгружать отчёты, но вот запустить не могу. Может подскажете, как его на FreeBSD запустить, чтобы он пропарсил логи?

пробовал команды

Код: Выделить всё

# free-sa -d 14.04.2016-14.04.2016

и

Код: Выделить всё

# /usr/bin/free-sa -d 14.04.2016-14.04.2016

в обоих случаях

Код: Выделить всё

free-sa: Command not found.

Отправлено спустя 16 минут 6 секунд:
неправильно я писал путь к запускному файлу. Надо было /usr/local/bin/free-sa

Отправлено спустя 7 минут 36 секунд:
Осталось понять, как должна задаваться дата.
man free-sa пишет что не найдена команда man. В PFSense урезанная FreeBSD

на сайте программы никакой документации я тоже не нашёл..

при запуске

Код: Выделить всё

 /usr/local/bin/free-sa -d 14.04.2016

пишет вот что:
SAERROR: [SAusage] Incorrect dates range specified '14.04.2016'.
Please ensure that dates were supplied in proper locale.

Самое малое осталось - в каком формате ему надо задавать дату?

[LBV]

Код: Выделить всё

#!/bin/sh
dat=`date +%x`
/usr/local/bin/free-sa -d ${dat}-

этот скрипт по крону, раз в 5 мин например, в конфиге указать нужную локаль через locale

[awe007]

[2.2.4-RELEASE][root@x.host.ru]/: /bin/sh /usr/local/etc/free-sa/start.sh

-'.RROR: [SAusage] Incorrect dates range specified '04/15/16
Please ensure that dates were supplied in proper locale.


в start.sh вышеуказанный текст

Отправлено спустя 34 минуты 32 секунды:
Что то с локалью.. читал где-то что в дистрибутиве PFSense удалены папки, в которых эти локали хранятся.. если я правильно понял.

[LBV]

Формат например 15.04.2016, так что подбери его через

Код: Выделить всё

date +{формат}

и в комманде

Код: Выделить всё

/usr/local/bin/free-sa -d 14.04.2016-

должен стоять "-" после даты , если указываешь 1 день. А локали можно закинуть с образа FreeBSD.