Free-SA. Небольшая заметка

Проблемы с установкой, настройкой и работой системных и сетевых программ.

Модераторы: GRooVE, alexco

Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Andy
ст. лейтенант
Сообщения: 1117
Зарегистрирован: 2007-03-04 7:48:58
Откуда: Mytischi

Free-SA. Небольшая заметка

Непрочитанное сообщение Andy » 2009-02-18 20:56:23

http://www.lissyara.su/?id=1495
Анализатор логов Squid'а. Отечественная разработка. Мне очень понравился.
Jul 16 19:37:15 freebsd sshd[4152]: Invalid user idiot from 210.75.200.104

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
Raven2000
-=_UNIX_=-
Сообщения: 4433
Зарегистрирован: 2006-10-29 17:59:13
Откуда: Там, где нас нет.
Контактная информация:

Re: Free-SA. Небольшая заметка

Непрочитанное сообщение Raven2000 » 2009-02-18 21:42:56

Занялся статьями это похвально!
ну чтож совсем неплохо ;)
Если хочешь разобраться... Так иди и разбирайся!
[ igNix.ru | Технология жизни - технологии будущего ] [ Forum.igNix.ru ]

Andy
ст. лейтенант
Сообщения: 1117
Зарегистрирован: 2007-03-04 7:48:58
Откуда: Mytischi

Re: Free-SA. Небольшая заметка

Непрочитанное сообщение Andy » 2009-02-18 22:04:10

Raven2000 писал(а):Занялся статьями это похвально!
ну чтож совсем неплохо ;)
Да это так, по случаю написал. Ибо в порты несколько версий
закидывал.
Jul 16 19:37:15 freebsd sshd[4152]: Invalid user idiot from 210.75.200.104

Аватара пользователя
kassper
проходил мимо
Сообщения: 3
Зарегистрирован: 2007-12-03 20:40:45

Re: Free-SA. Небольшая заметка

Непрочитанное сообщение kassper » 2009-02-19 12:53:40

Подскажите пожалуйста.
Free-SA при обработки лога squid выкидывает ошибку: Segmentation fault (core dumped).
В /var/log/messages пишет: kernel: pid 14532 (free-sa), uid 0: exited on signal 11 (core dumped)
Причем файлы он создает, но не полностью.


bombording
проходил мимо
Сообщения: 5
Зарегистрирован: 2009-01-20 23:49:59

Re: Free-SA. Небольшая заметка

Непрочитанное сообщение bombording » 2009-02-19 13:08:53

Скажите. В чём принципиальное отличае от lightsquid'a ?
И правда ли что он обрабатывает логи как Sarg ? Тобишь создаёт довольно увесистые папки с отчётами....

Lehan
рядовой
Сообщения: 44
Зарегистрирован: 2008-05-29 12:55:10

Re: Free-SA. Небольшая заметка

Непрочитанное сообщение Lehan » 2009-02-19 16:14:06

kassper писал(а):Подскажите пожалуйста.
Free-SA при обработки лога squid выкидывает ошибку: Segmentation fault (core dumped).
В /var/log/messages пишет: kernel: pid 14532 (free-sa), uid 0: exited on signal 11 (core dumped)
Причем файлы он создает, но не полностью.
Скорее всего в конфиге установлен параметр:

Код: Выделить всё

divisor="v"
Нужно поставить, например:

Код: Выделить всё

divisor="b"

Ingham
проходил мимо

Re: Free-SA. Небольшая заметка

Непрочитанное сообщение Ingham » 2009-02-19 17:03:54

kassper писал(а):Подскажите пожалуйста.
Free-SA при обработки лога squid выкидывает ошибку: Segmentation fault (core dumped).
В /var/log/messages пишет: kernel: pid 14532 (free-sa), uid 0: exited on signal 11 (core dumped)
Причем файлы он создает, но не полностью.
У меня такая же ситуация, стоит divisor="b"
При обработке старого лога log.0 обработал все правильно и в корку не вывалился :((

_Andy
проходил мимо

Re: Free-SA. Небольшая заметка

Непрочитанное сообщение _Andy » 2009-02-19 18:12:07

bombording писал(а):Скажите. В чём принципиальное отличае от lightsquid'a ?
Не знаю, лайтсквид не использовал. А принципиально то, что это отечественная разработка.
bombording писал(а):И правда ли что он обрабатывает логи как Sarg ? Тобишь создаёт довольно увесистые папки с отчётами....
Насчет увесистой отчетности у сарга не знаю, ибо тоже не использую. Cобственно, что мешает попробовать и выбрать то,
что устраивает именно Вас?

saper
проходил мимо

Re: Free-SA. Небольшая заметка

Непрочитанное сообщение saper » 2009-02-19 22:33:14

kassper писал(а):Подскажите пожалуйста.
Free-SA при обработки лога squid выкидывает ошибку: Segmentation fault (core dumped).
В /var/log/messages пишет: kernel: pid 14532 (free-sa), uid 0: exited on signal 11 (core dumped)
Причем файлы он создает, но не полностью.
Мужики, неужели было трудно отчет об ошибке отправить автору? Я бы проверил и устранил ошибку.

saper
проходил мимо

Re: Free-SA. Небольшая заметка

Непрочитанное сообщение saper » 2009-02-20 2:24:35

Размеры директорий с отчетами для максимально детальных отчетов (конфигурации как в примерах в статье):
1. Free-SA: ~ 50% от размера журнала access.log (при ufr_split="false", это значение по-умолчанию)
2. SARG: ~800% от размера журнала access.log

Вот более точные данные для журнала access.log размером 56'063'300:
1. Free-SA: 28'399'920, время генерации: real 0m3.985s, user 0m3.134s, sys 0m0.682s
2. SARG: 410'701'995, время генерации: real 0m54.568s, user 0m32.577s, sys 0m13.319s

Чтобы исправить segmentation fault описанный выше, необходимо в файле /usr/ports/www/free-sa/.../free-sa-1.5.1/src/work/w_internal.c в функции SAB3 в цикле while заменить условие i < 6 на i < 5. Это исправление будет внесено в новую версию Free-SA. Релиз постараюсь сделать поскорее.

_Andy
проходил мимо

Re: Free-SA. Небольшая заметка

Непрочитанное сообщение _Andy » 2009-02-20 8:50:17

Код: Выделить всё

--- free-sa-1.5.1/src/work/w_internal.c.orig	2009-02-20 08:43:44.000000000 +0300
+++ free-sa-1.5.1/src/work/w_internal.c	2009-02-20 08:45:46.000000000 +0300
@@ -96,7 +96,7 @@
     static char retval[6];
     short int i = 0;
 
-    while(i < 6 && ibytes <= SAB3variants[i].vlimit) i++;
+    while(i < 5 && ibytes <= SAB3variants[i].vlimit) i++;
     SAsnprintf(retval, sizeof(retval), "%.0f%s", round(ibytes / SAB3variants[i].divisor), SAB3variants[i].munit);
     
     return retval;
Пока патч сделал. Если кому надо срочно.

Аватара пользователя
kassper
проходил мимо
Сообщения: 3
Зарегистрирован: 2007-12-03 20:40:45

Re: Free-SA. Небольшая заметка

Непрочитанное сообщение kassper » 2009-02-20 9:26:28

Lehan писал(а):
kassper писал(а):Подскажите пожалуйста.
Free-SA при обработки лога squid выкидывает ошибку: Segmentation fault (core dumped).
В /var/log/messages пишет: kernel: pid 14532 (free-sa), uid 0: exited on signal 11 (core dumped)
Причем файлы он создает, но не полностью.
Скорее всего в конфиге установлен параметр:

Код: Выделить всё

divisor="v"
Нужно поставить, например:

Код: Выделить всё

divisor="b"
Спасибо все заработало!!!!!!!! :smile:

_Andy
проходил мимо

Re: Free-SA. Небольшая заметка

Непрочитанное сообщение _Andy » 2009-02-21 10:39:11

kassper писал(а):
Lehan писал(а):Скорее всего в конфиге установлен параметр:

Код: Выделить всё

divisor="v"
Нужно поставить, например:

Код: Выделить всё

divisor="b"
Спасибо все заработало!!!!!!!! :smile:
А Вам не кажется, что выбранный способ "исправления" данной ошибки в корне неверен?
Иными словами, Вы вылечили симптомы, но никак не болезнь. Наложите патч, не занимайтесь
ерундой.

Аватара пользователя
MarvinFS
рядовой
Сообщения: 28
Зарегистрирован: 2008-11-26 17:41:01
Откуда: E-burg
Контактная информация:

Re: Free-SA. Небольшая заметка

Непрочитанное сообщение MarvinFS » 2009-02-22 11:36:28

а посоветуйте где подглядеть скрипты для free-sa?
хочу получать ежедневные репорты за текущий месяц в количестве 30 шт либо 31 если 31 день.
и ежемесячные репорты на 12 месяцев текущего года...
CU round,
MarvinFS

esl
рядовой
Сообщения: 14
Зарегистрирован: 2009-01-27 16:35:35

Re: Free-SA. Небольшая заметка

Непрочитанное сообщение esl » 2009-02-23 19:12:40

_Andy писал(а): Не знаю, лайтсквид не использовал. А принципиально то, что это отечественная разработка.
гм, а по вашему какая разработка LightSquid ?
зы спрашиваю как автор, интересно понять ....
LightSquid author.
Homesite: http://lightsquid.sf.net

_Andy
проходил мимо

Re: Free-SA. Небольшая заметка

Непрочитанное сообщение _Andy » 2009-02-24 15:36:38

esl писал(а):
_Andy писал(а): Не знаю, лайтсквид не использовал. А принципиально то, что это отечественная разработка.
гм, а по вашему какая разработка LightSquid ?
зы спрашиваю как автор, интересно понять ....
_Andy писал(а):Не знаю, лайтсквид не использовал
. То, что Вы пишите по-русски, еще не означает, что
это отечественная разработка. :) А если серьезно, то я узнал что Lightsquid отечественный продукт, после того
как Free-SA заинтересовался.

_Andy
проходил мимо

Re: Free-SA. Небольшая заметка

Непрочитанное сообщение _Andy » 2009-02-24 15:51:08

MarvinFS писал(а):а посоветуйте где подглядеть скрипты для free-sa?
хочу получать ежедневные репорты за текущий месяц в количестве 30 шт либо 31 если 31 день.
и ежемесячные репорты на 12 месяцев текущего года...
А самому написать?

Аватара пользователя
MarvinFS
рядовой
Сообщения: 28
Зарегистрирован: 2008-11-26 17:41:01
Откуда: E-burg
Контактная информация:

Re: Free-SA. Небольшая заметка

Непрочитанное сообщение MarvinFS » 2009-02-24 16:01:52

прошу прощения грипую лежу дома... вопрос дебильный! :)
CU round,
MarvinFS

esl
рядовой
Сообщения: 14
Зарегистрирован: 2009-01-27 16:35:35

Re: Free-SA. Небольшая заметка

Непрочитанное сообщение esl » 2009-02-24 17:07:48

_Andy писал(а):
esl писал(а):
_Andy писал(а): Не знаю, лайтсквид не использовал. А принципиально то, что это отечественная разработка.
гм, а по вашему какая разработка LightSquid ?
зы спрашиваю как автор, интересно понять ....
_Andy писал(а):Не знаю, лайтсквид не использовал
. То, что Вы пишите по-русски, еще не означает, что
это отечественная разработка. :) А если серьезно, то я узнал что Lightsquid отечественный продукт, после того
как Free-SA заинтересовался.
Грустно все это .....
тогда ищите "отечественную" ос
ибо все разработки "врагов"
грустно
LightSquid author.
Homesite: http://lightsquid.sf.net

_Andy
проходил мимо

Re: Free-SA. Небольшая заметка

Непрочитанное сообщение _Andy » 2009-02-24 20:05:21

MarvinFS писал(а):прошу прощения грипую лежу дома... вопрос дебильный! :)

Код: Выделить всё

#!/bin/sh
export LANG=ru_RU.KOI8-R
awk="/usr/bin/awk"
xargs="/usr/bin/xargs"
cal="/usr/bin/cal"
cat="/bin/cat"
squid="/usr/local/sbin/squid"
freesa="/usr/local/bin/free-sa"
date="/bin/date"
kill="/bin/kill"
squidpidfile="/var/log/squid/logs/squid.pid"
#current day
currentday=`$date +%d`
#today's date
today=`$date +%x`
#yesterday date
yesterday=`date -v -1d +%d`
#first day in month
firstday=`date -v-"$yesterday"d +%x`
#days in month
dayinmonth=`$cal | $xargs | $awk '{print $NF}'`

 if [ $currentday -eq $dayinmonth ]
  then
   $kill -9 `$cat $squidpidfile`
    $freesa -d $firstday-$today
    $squid -k rotate
   $squid -D
  else
   $kill -9 `$cat $squidpidfile`
    $freesa -d $firstday-$today
   $squid -D
 fi
exit 0
Вот мой недописанный скрипт. Он считает статистику за текущий день и за месяц. Каждый месяц идет ротация логов.
Подход несколько неверный, поэтому я его перепишу, однако он может послужить стартовой площадкой своему скрипту.

_Andy
проходил мимо

Re: Free-SA. Небольшая заметка

Непрочитанное сообщение _Andy » 2009-02-24 20:12:57

esl писал(а):Грустно все это .....
тогда ищите "отечественную" ос
ибо все разработки "врагов"
грустно
Во-первых, я пошутил. Я не ищу отечественную ос (хотя бы потому, что уже есть достойные продукты на базе ядра Linux) и для меня отрадно, что автор данной программы - соотечественник.
Во-вторых, я использую другую программу. Я не утверждаю, что Free-SA заведомо лучше или хуже, нежели LightSquid,
но если Вы удручены тем, что про Вашу программу так мало написали, может стоит связаться с автором и дополнить
его статью деталями?
p.S: Хорошо, что разработчики программ появляются на этом форуме! Надеюсь это приведет лишь к усовершенствованию
имеющихся продуктов.

samodelkin
проходил мимо
Сообщения: 4
Зарегистрирован: 2009-02-27 13:34:07

Re: Free-SA. Небольшая заметка

Непрочитанное сообщение samodelkin » 2009-02-27 13:38:23

Пользуемся фрисой, нравится :)
Выбрана была за скорость работы в основном.
Единственный минус - сложно генерировать лог скажем суммарный за месяц, при условии что ежедневные логи достаточно большого объема и хранятся архивами.


Гость
проходил мимо

Re: Free-SA. Небольшая заметка

Непрочитанное сообщение Гость » 2009-03-02 20:52:33

samodelkin писал(а):Пользуемся фрисой, нравится :)
Выбрана была за скорость работы в основном.
Спасибо.
samodelkin писал(а):Единственный минус - сложно генерировать лог скажем суммарный за месяц, при условии что ежедневные логи достаточно большого объема и хранятся архивами.
А чем неудобен вариант, описанный в последнем вопросе в FAQ на Free-SA?