Webalizer, AWStats дял сайтов

Проблемы с установкой, настройкой и работой системных и сетевых программ.

Модераторы: GRooVE, alexco

Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
ProFTP
подполковник
Сообщения: 3388
Зарегистрирован: 2008-04-13 1:50:04
Откуда: %&й
Контактная информация:

Webalizer, AWStats дял сайтов

Непрочитанное сообщение ProFTP » 2008-07-19 7:11:42

читал, искал не понял как сделать для сайтов нескольких... то есть есть несоклько лог файлов apache, один файл proftp (вообще в mysql), другой постфикс

как сделать чтобы пользователь зашел под своим логином и посмотрел свою статистику используя свой лог файл?

или нужно для каждого сайта это делать?
и лог файл apache в mysql храниться

как тут быть, может аналоги?
Pеrl FAQ
perl -e 'print join"",map $$_[rand@$_],([0..9,'a'..'z','A'..'Z'])x30'
ИзображениеИзображение

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

LiNer
рядовой
Сообщения: 45
Зарегистрирован: 2008-06-20 16:29:29
Контактная информация:

Re: Webalizer, AWStats дял сайтов

Непрочитанное сообщение LiNer » 2008-07-19 8:09:00

для нескольких сайтов возможно. У меня так стоит. В доках написано как сделать. Я сам не разбирался, так как юзаю панель. Можете установить Webmin и с помощью модуля awstats (есть на оф. сайте) сконфигурировать.

Больше проблем будет с логами. Единственное что я нашел: http://www.howtoforge.com/awstats_ispconfig

Аватара пользователя
ProFTP
подполковник
Сообщения: 3388
Зарегистрирован: 2008-04-13 1:50:04
Откуда: %&й
Контактная информация:

Re: Webalizer, AWStats дял сайтов

Непрочитанное сообщение ProFTP » 2008-07-19 8:15:23

можешь конфиг показать, если я добавлю сайт, мне нужно всегда парсить конфиг самого awstats'a? вносить путь к лог файлу apache?

переделвать там будет сложно, там идет статиски паралельно...
Pеrl FAQ
perl -e 'print join"",map $$_[rand@$_],([0..9,'a'..'z','A'..'Z'])x30'
ИзображениеИзображение

Аватара пользователя
ProFTP
подполковник
Сообщения: 3388
Зарегистрирован: 2008-04-13 1:50:04
Откуда: %&й
Контактная информация:

Re: Webalizer, AWStats дял сайтов

Непрочитанное сообщение ProFTP » 2008-07-19 9:51:10

или работает с нескольки сайтами AWStats?

как посмотреть для одно и другого? аутентификацию акаунта всталю свою...
Pеrl FAQ
perl -e 'print join"",map $$_[rand@$_],([0..9,'a'..'z','A'..'Z'])x30'
ИзображениеИзображение

LiNer
рядовой
Сообщения: 45
Зарегистрирован: 2008-06-20 16:29:29
Контактная информация:

Re: Webalizer, AWStats дял сайтов

Непрочитанное сообщение LiNer » 2008-07-19 11:43:53

c одной поправкой. логи у меня в тектовых файлах. думаю переделать под sql можно если awstats такое поддерживает

Вот пример конфига. такой ispmanager делает для каждого сайта.
Вложения
awstats.fae.su.conf.txt
(51.56 КБ) 78 скачиваний

Аватара пользователя
ProFTP
подполковник
Сообщения: 3388
Зарегистрирован: 2008-04-13 1:50:04
Откуда: %&й
Контактная информация:

Re: Webalizer, AWStats дял сайтов

Непрочитанное сообщение ProFTP » 2008-07-19 11:51:20

Код: Выделить всё

SiteDomain="fae.su"
данные конфиг для одного сайта или для двух?
Pеrl FAQ
perl -e 'print join"",map $$_[rand@$_],([0..9,'a'..'z','A'..'Z'])x30'
ИзображениеИзображение

LiNer
рядовой
Сообщения: 45
Зарегистрирован: 2008-06-20 16:29:29
Контактная информация:

Re: Webalizer, AWStats дял сайтов

Непрочитанное сообщение LiNer » 2008-07-19 12:13:09

такой конфиг для одного сайта. для других аналогичный.

Аватара пользователя
ProFTP
подполковник
Сообщения: 3388
Зарегистрирован: 2008-04-13 1:50:04
Откуда: %&й
Контактная информация:

Re: Webalizer, AWStats дял сайтов

Непрочитанное сообщение ProFTP » 2008-07-19 12:16:31

то есть 2 программы надо устанавливать?

я хочу вставить в свой движок, чтобы конкретный пользователь смотрел статистику своих сайтов...
Pеrl FAQ
perl -e 'print join"",map $$_[rand@$_],([0..9,'a'..'z','A'..'Z'])x30'
ИзображениеИзображение

LiNer
рядовой
Сообщения: 45
Зарегистрирован: 2008-06-20 16:29:29
Контактная информация:

Re: Webalizer, AWStats дял сайтов

Непрочитанное сообщение LiNer » 2008-07-19 12:26:30

Чего-то мы друг друга не понимаем...

Вторая программа может быть если придется логи из sql ею вытаскивать. И ещё у меня awstats генерит статичные хтмл файлы с доступом вида http://<site>/webstat

Аватара пользователя
ProFTP
подполковник
Сообщения: 3388
Зарегистрирован: 2008-04-13 1:50:04
Откуда: %&й
Контактная информация:

Re: Webalizer, AWStats дял сайтов

Непрочитанное сообщение ProFTP » 2008-07-19 12:41:51

ну у меня не один лог файл, а несколько для каждого сайта, он сразу будет читать из нескольких?

тогда прйдеться в один лог файл толкать?

то есть нужно чтобы лог файл ассоциировался с доменом?... :(
Pеrl FAQ
perl -e 'print join"",map $$_[rand@$_],([0..9,'a'..'z','A'..'Z'])x30'
ИзображениеИзображение

LiNer
рядовой
Сообщения: 45
Зарегистрирован: 2008-06-20 16:29:29
Контактная информация:

Re: Webalizer, AWStats дял сайтов

Непрочитанное сообщение LiNer » 2008-07-19 12:56:35

Я сам до конца не понял принципа работы этого анализатора....

у меня 1 конфиг = 1 сайт . они лежат в /usr/local/etc/awstats

А зачем у тебя 2 конфига?

Аватара пользователя
ProFTP
подполковник
Сообщения: 3388
Зарегистрирован: 2008-04-13 1:50:04
Откуда: %&й
Контактная информация:

Re: Webalizer, AWStats дял сайтов

Непрочитанное сообщение ProFTP » 2008-07-19 13:06:29

LiNer писал(а): А зачем у тебя 2 конфига?
какие 2 конфига? 2 лог файла, ну чтобы найти в нем все по данному сайту, все все в одно то среди 100метров разве что-то можно будет найти...

ладно посмотрю - может сделаю по другому как-то...
но вообще ворос остался... :pardon:
Pеrl FAQ
perl -e 'print join"",map $$_[rand@$_],([0..9,'a'..'z','A'..'Z'])x30'
ИзображениеИзображение

LiNer
рядовой
Сообщения: 45
Зарегистрирован: 2008-06-20 16:29:29
Контактная информация:

Re: Webalizer, AWStats дял сайтов

Непрочитанное сообщение LiNer » 2008-07-19 13:10:37

тьфу ты! 2 лога, конечно! на доступ и на ошибки! все правильно. Верной дорогой идете, товарищи!

BI_J
сержант
Сообщения: 154
Зарегистрирован: 2008-09-19 12:21:10

Re: Webalizer, AWStats дял сайтов

Непрочитанное сообщение BI_J » 2008-09-30 20:47:48

Подскажите как вы прописали его в httpd.conf
В конце установке AWStats выдал пример того что нужно добавить httpd.conf

Я попробовал его прикрутить к виртуальному хосту, так как у меня и офсайт и еще разные утилиты привязаны к виртуальным хостам.

Сделал вот такую штуку:

Код: Выделить всё

<VirtualHost 192.168.0.2:80>
    ServerAdmin hostmaster@domen.com.ua
    DocumentRoot /usr/local/www/cgi-bin/awstats/cgi-bin
    ServerName awstats.domen.com.ua
   <Directory "/usr/local/www/cgi-bin/awstats/">
        Options None
        AllowOverride None
        Order allow,deny
        Allow from all
    </Directory>
</VirtualHost>
И при вводе в браузер http://awstats.cinet.com.ua/awstats.pl он мне выдает содержимое файла awstats.pl

подскажите как это исправить ??

Аватара пользователя
manefesto
Группенфюррер
Сообщения: 6934
Зарегистрирован: 2007-07-20 8:27:30
Откуда: Пермь
Контактная информация:

Re: Webalizer, AWStats дял сайтов

Непрочитанное сообщение manefesto » 2008-09-30 21:10:01

добавь что-то вроде

Код: Выделить всё

AddHandler cgi-script .cgi
я такой яростный шо аж пиздеЦ
Изображение

BI_J
сержант
Сообщения: 154
Зарегистрирован: 2008-09-19 12:21:10

Re: Webalizer, AWStats дял сайтов

Непрочитанное сообщение BI_J » 2008-09-30 21:25:00

manefesto

неа, тоже самое :(

BI_J
сержант
Сообщения: 154
Зарегистрирован: 2008-09-19 12:21:10

Re: Webalizer, AWStats дял сайтов

Непрочитанное сообщение BI_J » 2008-09-30 22:29:03

После первого запуска
/usr/local/www/cgi-bin/awstats/cgi-bin/awstats.pl -config=in-www.domen.com.ua
На страничке статистике после запуски появилась информация.

после перезапуска скрипта, говорит что добавлено 78 записей.

Код: Выделить всё

Parsed lines in file: 78
 Found 0 dropped records,
 Found 0 corrupted records,
 Found 0 old records,
 Found 78 new qualified records.
В самом верху вэб странички появилось:
Последнее обновление: Необновленный (Смотрите 'Создать/Обновить' на странице awstats_setup.html)
А уже существующая информация обнулилась :(

при выполнении такого:
perl /usr/local/www/cgi-bin/awstats/cgi-bin/awstats.pl -config=in-www.domen.com.ua -output -staticlinks > mysite.html
все на месте

Что это такое ?? Как же оно по крону будет обновляться ??

Аватара пользователя
wnd
сержант
Сообщения: 261
Зарегистрирован: 2008-02-28 4:42:10
Откуда: Донецк -> Киев -> Chicago

Re: Webalizer, AWStats дял сайтов

Непрочитанное сообщение wnd » 2008-10-01 7:24:49

ProFTP писал(а):читал, искал не понял как сделать для сайтов нескольких... то есть есть несоклько лог файлов apache, один файл proftp (вообще в mysql), другой постфикс
как тут быть, может аналоги?
А если генерить статически файлы, раскладывать по разным каталогам, а доступ к каталогам закрывать .htaccess
место много будет жрать и не очень красиво, наверное
If builders built buildings the way programmers wrote programs, then the first woodpecker that came along would destroy civilization.

BI_J
сержант
Сообщения: 154
Зарегистрирован: 2008-09-19 12:21:10

Re: Webalizer, AWStats дял сайтов

Непрочитанное сообщение BI_J » 2008-10-01 17:16:59

Немного разобрался.
Проблема возникла после включения пимпы для обновления в браузере. Там замануха с правами на файлы.
Проще чаще запускать с crontaba. Что и было сделано.

samsobaka
проходил мимо

Re: Webalizer, AWStats дял сайтов

Непрочитанное сообщение samsobaka » 2010-02-02 18:46:26

У меня Awstats дереданит два лога и выдает статистику
1. по почте
2. по сайту

В принципе етих логов можно деребанить скоко хоч и получать отчет по ним
Вот пример из /usr/local/www/data/awstats
конфиг файлы лежат в
-rw-r--r-- 1 root www 61295 Feb 1 17:45 awstats.xxx.ua.conf
-rw-r--r-- 1 root wheel 61467 Feb 1 17:46 awstats.mail.xxx.ua.conf

Кусок конфига по почте awstats.mail.xxx.ua.conf (то что касаемо деребана логов)

LogFile="perl /usr/local/www/awstats/tools/maillogconvert.pl standard < /var/log/maillog |"
LogType=M
LogFormat="%time2 %email %email_r %host %host_r %method %url %code %bytesd"


Кусок конфига по сайту awstats.xxx.ua.conf (то что касаямо деребана логов)
LogFile"="/var/log/volyn.log"
LogType=W
LogFormat = "%host %other %logname %time1 %methodurl %code %bytesd %refererquot %uaquot"

Запускаем по крону крону (с ключами -update и -config )

# AWSTATS WEB SITE ХХХ.UA
*/5 * * * * root /usr/local/www/data/awstats/cgi-bin/awstats.pl -update -config=awstats.xxx.ua.conf
# AWSTAT MAIL
*/5 * * * * root /usr/local/www/data/awstats/cgi-bin/awstats.pl -update -config=awstats.xxx.ua.conf

После отработки крона получаем два .ТХТ файла с отчетами в /usr/local/www/data/awstats

root@oblenergy# ls | grep txt
-rw-r--r-- 1 root wheel 11046 Jan 27 19:30 awstats012010.xxx.ua.txt (по сайту)
-rw-r--r-- 1 root wheel 41819 Jan 27 19:32 awstats012010.mail.xxx.ua.txt (по почте)

В браузере по вебу отчет РАЗНЫЕ ОЧТЕТЫ смотрим так
по почте
http://oblenergy.itt.net.ua/awstats/aws ... ail.xxx.ua
по сайту
http://oblenergy.itt.net.ua/awstats/aws ... fig=xxx.ua

Так шо етих отчетов можно наплодить и смотреть сколько угодно
Еще добавте вот ето для GeoIp
http://www.snippets.crisp-studio.com/vi ... ispmanager
и НЕЗАБУДЬТЕ ОБНОВТЬ БАЗУ ПЛАГИНОВ
http://ihtiandr.info/web/67-awstats-geo ... ation.html

Получите красивый отчет с флажками стран доменными адресами городами и телефонами
типа
GeoIP Cities
Страны Регионы Города: 25 Почта Процент
Ukraine Kyyivs'ka Oblast' Kiev 6 0 %
Ukraine Dnipropetrovs'ka Oblast' Dnipropetrovsk 4 0 %
Netherlands Noord-Holland Amsterdam 4 0 %
Russian Federation Moscow City Moscow 4 0 %
United States New Jersey Highland lakes 2 0 %
Philippines Manila
----------------------------------------
Вернуться на главную страницу

Organizations
Organizations : 29 Почта Процент
AS16265 LEASEWEB AS 4 0 %
AS6703 Optima Telecom 4 0 %
AS21219 CJSC DATAGROUP 4 0 %
AS25229 Volia Autonomous System 4 0 %
AS8001 2 0 %
AS20655 http://www.e-styleisp.ru 2 0 %
AS9198 Kazakhtelecom Corporate Sales Administration 2 0 %
AS6877 Utel Mobile Internet Service ASN 2 0 %
AS8359 COMSTAR-Direct global network

SHT
проходил мимо

Re: Webalizer, AWStats дял сайтов

Непрочитанное сообщение SHT » 2010-03-07 12:18:42

Добрый день.
Долго пытался разобраться сам, но в итоге обращаюсь за помощью.
Настраиваю awstats для парсинга логов proftpd.

в proftpd.conf

Код: Выделить всё

TransferLog none
SystemLog /var/log/proftpd-error.log
LogFormat awstats "%t   %h %u %m %f %s %b"
ExtendedLog /var/log/ftp/proftpd-extended.log read,write awstats
Директорию создал, файлик пишется, логи в него пишутся.

в httpd.conf

Код: Выделить всё

Alias /awstatsclasses "/usr/local/www/awstats/classes/"
Alias /awstatscss "/usr/local/www/awstats/css/"
Alias /awstatsicons "/usr/local/www/awstats/icons/"
ScriptAlias /awstats/ "/usr/local/www/awstats/cgi-bin/"

<Directory "/usr/local/www/awstats/">
   Options None
   AllowOverride None
   Order deny,allow
   Deny from all
   Allow from 127.0.0.1
   Allow from 10.0.0.2
   Allow from 10.0.0.21
</Directory>
в броузере все открывается, кнопку обновления вручную прописал..

в самом конфиге ftp.xxx.yyy.ru.conf

Код: Выделить всё

LogFile="/var/log/ftp/proftpd-extended.log"
SiteDomain=ftp.xxx.yyy.ru.conf
HostAliases="localhost 127.0.0.1 REGEX[^.*\.xxx.yyy\.ru$]"
LogType=F
AllowToUpdateStatsFromBrowser=1
#Между значениями следующей строки - табуляция А НЕ ПРОБЕЛЫ!
#LogFormat="%time1   %host %logname %method %url %code %bytesd"
LogFormat="%time1 %host %logname %method  %url  %code %bytesd"
LogSeparator="\t"
NotPageList=""
DirIcons="/awstatsicons"
...
и т.д. по инструкции
Запуск теста в консоли

Код: Выделить всё

/usr/local/www/awstats/cgi-bin/awstats.pl -config=ftp.sht.artx.ru
Create/Update database for config "/etc/awstats/awstats.ftp.sht.artx.ru.conf" by AWStats version 6.9 (build 1.92
5)
From data in log file "/var/log/ftp/proftpd-extended.log"...
Phase 1 : First bypass old records, searching new record...
Searching new records from beginning of log file...
Jumped lines in file: 0
Parsed lines in file: 18
 Found 0 dropped records,
[b] Found 18 corrupted records,
[/b] Found 0 old records,
 Found 0 new qualified records.
Удалял файлик логов фтп, качал заново. Появляется "Foun 1 corrupted records".
Статистика не обновляется.
В разделителях "%t.." - везде табуляция.
Что еще смотреть.. я хз.

proftpd-1.3.2
awstats-6.9,1

:sorry:

SHT
проходил мимо
Сообщения: 6
Зарегистрирован: 2010-03-07 12:22:09

Re: Webalizer, AWStats дял сайтов

Непрочитанное сообщение SHT » 2010-03-13 16:11:48

О ! Пошел в очередной раз просматривать конфиги... и обнаружил, что мне ж все "по-русски" говорит..

Код: Выделить всё

Corrupted record line 18 (bad date format for month, may be month are not in english ?): [07/мар/2010:12:05:54 +0300]   10.0
.0.21   ftp     RETR    /usr/home/ftp/upload/hlds.tar   226     507860992
как поправить, чтобы в лог фтп писался месяц по english ?

upd: просьба модераторам, в предыдущем посте заменить имя домена на xxx.yyy по последнем

Код: Выделить всё

спасибо

upd2: по этой ссылке нашел один из методов возврата лога proftpd в english, но что-то мне он не кажется совсем прямым
http://dmitrykhn.homedns.org/wp/2010/02/fail2ban-watch-proftp-and-dovecot/

SHT
проходил мимо
Сообщения: 6
Зарегистрирован: 2010-03-07 12:22:09

Re: Webalizer, AWStats дял сайтов

Непрочитанное сообщение SHT » 2010-03-29 21:15:45

Еще разок подниму последний вопрос. Как сказать proftpd, чтобы писал в ExtendedLog название месяца на английском? Иначе awstats не парсит лог.

Код: Выделить всё

[07/[b]мар[/b]/2010:12:05:54 +0300]    10.0.0.21       ftp     RETR

Аватара пользователя
Raven2000
-=_UNIX_=-
Сообщения: 4423
Зарегистрирован: 2006-10-29 17:59:13
Откуда: Там, где нас нет.
Контактная информация:

Re: Webalizer, AWStats дял сайтов

Непрочитанное сообщение Raven2000 » 2010-03-30 9:54:07

а с чего он у тебя на русском?
Что в конфиге профтп выкладывай его.

Код: Выделить всё

# Log
SystemLog       /var/log/ftp/proftpd-error.log
LogFormat awstats "%t   %h      %u      %m      %f      %s      %b"
ExtendedLog /var/log/ftp/proftpd-extended.log read,write awstats
TransferLog     None
Если хочешь разобраться... Так иди и разбирайся!
[ igNix.ru | Технология жизни - технологии будущего ] [ Forum.igNix.ru ]

SHT
проходил мимо
Сообщения: 6
Зарегистрирован: 2010-03-07 12:22:09

Re: Webalizer, AWStats дял сайтов

Непрочитанное сообщение SHT » 2010-03-30 12:55:08

Код: Выделить всё

ServerName                      "SHT FTP Server"
ServerType                      standalone
DefaultServer                   off
DefaultAddress                  192.168.xx.yy
ScoreboardFile                  /var/run/proftpd/proftpd.scoreboard
LangEngine on
UseEncoding KOI8-R CP1251
Port                            21
Umask                           022
MaxInstances            30

User                            nobody
Group                           nogroup
AllowOverwrite          on

# Bar use of SITE CHMOD by default
<Limit SITE_CHMOD>
  DenyAll
</Limit>

# Логи
SyslogLevel notice
UseReverseDNS off
IdentLookups off
#TransferLog /var/log/proftpd-tranfer.log
TransferLog none
SystemLog /var/log/proftpd-error.log
LogFormat awstats       "%t     %h      %u      %m      %f      %s      %b"
#ExtendedLog /var/log/xferlog read,write awstats
ExtendedLog /var/log/ftp/proftpd-extended.log read,write awstats

<Anonymous ~ftp>
 User                         ftp
        Group                           ftp
   UserAlias                    anonymous ftp
   MaxClients                   50
   DisplayLogin                 welcome.msg
   DisplayChdir         .message
   <Limit WRITE>
     DenyAll
        AllowUser sht
#  IgnoreHidden on
   </Limit>

  ### Limit WRITE everywhere in the anonymous chroot
        <Directory />
        HideFiles ^\$.*$
        </Directory>
        <Directory upload/*>
                <Limit WRITE>
                        AllowAll
                </Limit>
                <Limit READ>
                        AllowAll
                </Limit>
        </Directory>
</Anonymous>
Вот как-то так ^^
Спасибо, что отозвались.