Скрипт обработки логов squid

[InventoR]

Извините пожалуйста, в программировании не силен, стараюсь, учусь, но пока слабоват еще очень. Проблема вот какая:
каждую ночь идет ротация логов сквида, логи падают в папку /usr/local/squid/log_backup/$date с названием к примеру 2008-08-01.ac.tar.gz
что надо?
надо первого числа нового месяца формировать автоматически статистику по всему squid за месяц, обработка происходит sargом
что делал раньше:
в ручную копировал все файлы из папки log_backup за текущий месяц в папку log_ac
потом делал

Код: Выделить всё

ls |grep 2008-08 >> 2008-08.txt.sh
chmod +x 2008-08.txt.sh
mcedit 2008-08.txt.sh

в файле были такие вот данные

Код: Выделить всё

2008-08-01.ac.log.gz
.......

в начало строки добавлял

Код: Выделить всё

 gunzip 2008-08-01.ac.log.gz && ......

потом

Код: Выделить всё

 ls |grep ".ac.log" > 2008-08.ac.sh

ну там дальше

Код: Выделить всё

cat 2008-08-01.ac.log && >> 2008-08.txt

....
потом

Код: Выделить всё

sarg -f /usr/local/etc/sarg/sarg-2008-08.conf  -l /usr/local/squid/log_ac/2008-08.txt

но это все жутко напрягает, помогите плиз с автоматизацией.

думаю надо:
получить список нужных для распаковки логов

Код: Выделить всё

ls /usr/local/squid/log_backup |grep 2008-08

результат загнать в масив
дальше из директорий которые в массиве скопировать файлы с доступом 2008-08-01.ac.log.gz в папку /usr/local/squid/log_ac
произвести gunzip этих файлов.
получить снова их список, загнать в масив, сделать перенаправление вывода каждого файла в один общий 2008-08.txt
и пропарсить его саргом, предварительно создавши sarg-2008-08.conf в принципе через редактор sed
ну а дальше

Код: Выделить всё

sarg -f $sarg.conf -l $access.log

помогите плиз все это произвести в автомате.

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[zg]

выложи

Код: Выделить всё

ls -1 /usr/local/squid/log_backup/

и

Код: Выделить всё

ls -1 /usr/local/squid/log_backup/$date

[InventoR]

Код: Выделить всё

.......
drwxr-xr-x    2 root     wheel         512 Aug  6 23:55 2008-08-06
drwxr-xr-x    2 root     wheel         512 Aug  7 23:55 2008-08-07
drwxr-xr-x    2 root     wheel         512 Aug  8 23:56 2008-08-08
drwxr-xr-x    2 root     wheel         512 Aug  9 23:55 2008-08-09
drwxr-xr-x    2 root     wheel         512 Aug 10 23:55 2008-08-10
drwxr-xr-x    2 root     wheel         512 Aug 11 23:56 2008-08-11
drwxr-xr-x    2 root     wheel         512 Aug 12 23:55 2008-08-12
...........
drwxr-xr-x    2 root     wheel         512 Aug 26 23:55 2008-08-26
drwxr-xr-x    2 root     wheel         512 Aug 27 23:56 2008-08-27
drwxr-xr-x    2 root     wheel         512 Aug 28 23:55 2008-08-28
drwxr-xr-x    2 root     wheel         512 Aug 29 23:56 2008-08-29
drwxr-xr-x    2 root     wheel         512 Aug 30 23:55 2008-08-30

Код: Выделить всё

15:46 root@mx [etc]#ls -l /usr/local/squid/logbackup/2008-08-25
total 10068
-rw-r-----    1 squid    squid     3369351 Aug 25 23:55 2008-08-25.ac.log.gz
-rw-r-----    1 squid    squid        2753 Aug 25 23:55 2008-08-25.ca.log.gz
-rw-r-----    1 squid    squid     6895832 Aug 25 23:55 2008-08-25.st.log.gz
15:46 root@mx [etc]#

[zg]

примерно так

Код: Выделить всё

#!/bin/sh

DATE=2008-08

SOME_DIR=.
SOME_LOG=./full_log.txt

find "${SOME_DIR}" -name "${DATE}*.ac.log.gz" -type f | xargs -I % zcat % > "${SOME_LOG}"

[InventoR]

спасибо огромное работает.

[zg]

можно обойтись только find

Код: Выделить всё

find "${SOME_DIR}" -name "${DATE}*.ac.log.gz" -exec zcat {} \; > "${SOME_LOG}"

вобщем файнд рулит

[4eJLoBek]

Люди!!! у меня та же проблема, каждый месяц сводить дневные отчёты сарга, расскажи пожалусто подробнее идею генерации месячного отчёта

[Alex Keda]

Код: Выделить всё

man cat

[zg]

Люди!!! у меня та же проблема, каждый месяц сводить дневные отчёты сарга, расскажи пожалусто подробнее идею генерации месячного отчёта

сводишь двеные логи за месяц в один большой лог, а потом подсовываешь его саргу. На выходе получается месячный отчёт.

[4eJLoBek]

Люди!!! у меня та же проблема, каждый месяц сводить дневные отчёты сарга, расскажи пожалусто подробнее идею генерации месячного отчёта

сводишь двеные логи за месяц в один большой лог, а потом подсовываешь его саргу. На выходе получается месячный отчёт.

Просите, но я в этом деле новичок, попытаюсь задать вопрос поточнее:
почитал хелп к саргу, пытаюсь сенерировать отчёт вручну вот таким вот образом
sarg -d 01/11/2008-31/11/2008
а он мне выдаёт отчёт за 30.11 , аможет быть потомушто уже логи сквида затёрты? вообщем я не знаю, подскажите как быть!!! кто знает...
буду очень благодарен........))))

[zg]

кто знает...

действительно, кто знает всяко бывает

а может быть потомушто уже логи сквида затёрты?

ты мануал почитай, там всё наверняка расписано