Ротация логов squid

Простые/общие вопросы по UNIX системам. Спросите здесь, если вы новичок

Модераторы: vadim64, terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
k0ma
сержант
Сообщения: 217
Зарегистрирован: 2010-12-07 8:13:09
Откуда: Глубоко в Сибири

Ротация логов squid

Непрочитанное сообщение k0ma » 2015-03-14 10:48:37

Код: Выделить всё

# uname -a
FreeBSD proxy 10.1-RELEASE-p5 FreeBSD 10.1-RELEASE-p5 #0: Sat Jan 31 19:35:51 KRAT 2015     root@proxy:/usr/obj/usr/src/sys/SRV-GW-CORE  amd64
Установлен squid +lightsquid, прозрачный прокси сервер.

Код: Выделить всё

# pkg info |grep squid
lightsquid-1.8_2               Light and fast web based squid proxy traffic analyser
squid33-3.3.13_2               HTTP Caching Proxy
При запуске скрипта, не по крону(по крону думаю так же долго), ужасно долго отрабатывает скрипт, ротация логов.

Код: Выделить всё

# ee /usr/local/etc/squid/RotateAccessLog
#!/bin/sh
ArcCount=12
/usr/local/www/apache24/data/lightsquid/lightparser.pl today
/usr/local/sbin/squid -k rotate || return 1
sleep 10
rm /var/log/squid/cache.log.1 2>/dev/null
rm /var/log/squid/store.log.1 2>/dev/null
i=$(($ArcCount-1))
cd /var/log/squid || return 1
rm access.log.$i.bz2 2>/dev/null
while [ $i -gt 0 ]
do
   mv access.log.$(($i-1)).bz2 access.log.$i.bz2 2>/dev/null
    i=$(($i-1))
done
bzip2 access.log.0
глянул на top

Код: Выделить всё

  PID USERNAME    THR PRI NICE   SIZE    RES STATE   C   TIME    WCPU COMMAND
79016 root          1 102    0 18572K  8904K CPU3    3  11:06 100.00% bzip2
понятно что архивация логов, но почему же так долго? минут 30 в среднем.
2гб озу, 6гб swap
глянул на логи, такое ощущение что я 1 раз сегодня, за неделю(или больше) сделал ротацию логов

Код: Выделить всё

# ls -lh
total 1457188
-rw-r-----  1 squid  squid   1.2M Mar 14 14:37 access.log
-rw-r-----  1 squid  squid   1.2G Mar 14 14:21 access.log.0
-rw-------  1 root   squid   197M Mar 14 14:37 access.log.0.bz2
-rw-r-----  1 squid  squid    30M Feb 25 15:55 access.log.2.bz2
-rw-r-----  1 squid  squid   5.1M Feb 24 07:42 access.log.3.bz2
-rw-r-----  1 squid  squid   1.2K Feb 22 11:57 access.log.4.bz2
-rw-r-----  1 squid  squid   461B Mar 14 14:21 cache.log
-rw-r-----  1 squid  squid   154K Mar 14 14:10 cache.log.0
ужс... как узнать крон отрабатывает вообще или нет?

Код: Выделить всё

00      01      01      *       *       root /usr/local/etc/squid/RotateAccessLog
в час ночи каждый день, каждый месяц, верно?

Отправлено спустя 9 минут 25 секунд:

Код: Выделить всё

# ls -lh /var/log/squid/
total 326084
-rw-r-----  1 squid  squid   2.5M Mar 14 14:47 access.log
-rw-r-----  1 squid  squid   281M Mar 10 21:34 access.log.0.bz2
-rw-r-----  1 squid  squid    30M Feb 25 15:55 access.log.2.bz2
-rw-r-----  1 squid  squid   5.1M Feb 24 07:42 access.log.3.bz2
-rw-r-----  1 squid  squid   1.2K Feb 22 11:57 access.log.4.bz2
-rw-r-----  1 squid  squid   1.9K Mar 14 14:41 cache.log
-rw-r-----  1 squid  squid   154K Mar 14 14:10 cache.log.0
После завершения ротации логов, минут 20 точно было
:bn:

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

snorlov
подполковник
Сообщения: 3844
Зарегистрирован: 2008-09-04 11:51:25
Откуда: Санкт-Петербург

Ротация логов squid

Непрочитанное сообщение snorlov » 2015-03-15 12:44:05

В час ночи первого числа каждого месяца...
k0ma писал(а): 00 01 01 * * root /usr/local/etc/squid/RotateAccessLog
А вот так каждый день

Код: Выделить всё

00      01      *      *       *       root /usr/local/etc/squid/RotateAccessLog

mr.fr
ефрейтор
Сообщения: 53
Зарегистрирован: 2014-10-09 11:12:35

Ротация логов squid

Непрочитанное сообщение mr.fr » 2015-03-15 16:35:22

у squid'a же ротация логов запускается squid -k rotate
зачем архивировать?

Аватара пользователя
k0ma
сержант
Сообщения: 217
Зарегистрирован: 2010-12-07 8:13:09
Откуда: Глубоко в Сибири

Ротация логов squid

Непрочитанное сообщение k0ma » 2015-03-15 16:52:35

Делали по скрипту, затем и архивацию включили, было 1,5 гб, стало 300мб.
:bn:

snorlov
подполковник
Сообщения: 3844
Зарегистрирован: 2008-09-04 11:51:25
Откуда: Санкт-Петербург

Ротация логов squid

Непрочитанное сообщение snorlov » 2015-03-15 17:21:42

k0ma писал(а):Делали по скрипту, затем и архивацию включили, было 1,5 гб, стало 300мб.
Если уж критично место на диске, то позвольте узнать, а зачем вам столько количество логов? Вы что-нибудь потом с ними делаете? Лучше обработать действующий лог чем-нибудь, тем же sarg'ом к примеру для удобного для человека восприятия, а потом сделать rotate...

Аватара пользователя
wien
сержант
Сообщения: 151
Зарегистрирован: 2014-06-26 18:38:44
Откуда: DafaultCity
Контактная информация:

Ротация логов squid

Непрочитанное сообщение wien » 2015-03-17 10:47:47

У меня в кроне скрипт, который парсит (lightsquid) действующий лог и бэкапит его после обработки ежедневно в 3 часа ночи. Чтобы все это хозяйство заработало нужно:
1. в конфиг сквида добавить logfile_rotate 100, где 100 в моем случае кол-во хранимых логов, можешь указать столько сколько нужно.
2. Поместить скрипт следующего содержания в крон:

Код: Выделить всё

/usr/local/www/lightsquid/lightparser.pl
/usr/local/sbin/squid -k rotate
Вместо первой строки, где указан мой парсер - нужно указать свой.

Аватара пользователя
kharkov_max
капитан
Сообщения: 1811
Зарегистрирован: 2008-10-03 14:56:40

Ротация логов squid

Непрочитанное сообщение kharkov_max » 2015-03-18 8:52:18

Или /etc/newsyslog.conf, тока права укажите на squid