Apache2 - статистика по сайтам.

[gmn]

Привет.
Есть Apache2, PHP, MySQL.
Есть на этом Апаче несколько вирт. сайтов.
Что хотелочь бы?
А хочется считать (а как же ), по каждому сайту количество запросов, трафик, нагрузку на CPU, кол-во запросов к MySQL.
А потом по этоим счетчикам рисовать с помощью rrdtool красивые картинки
Может кто уже делал подобное, чтобы самому с нуля не выдумывать?
P.S. Каждый сайт под своим юзером - suexec, suphp.
Это программа максимум.
Можно попроще - трафик, кол-во запросов и использование CPU, т.е. без MySQL, но желательно, не в целом по всему Apache, а по каждому сайту отдельно.

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[manefesto]

ты хочешь чтобы было видно на сколько грузится проц если заходят на твой виртуал хост ??? Ты логически помысли, с какой периодичностью надо логировать сколько отжирает проца процесс httpd. А сколько процессов httpd висит одновременно и какой за что отвечает? Мне кажется это НЕ РЕАЛЬНО, хотя хз

[gmn]

Но почему логировать?
Не обязательно ведь парсить логи и не только Apache получается ...
Может какой-то mod для Apache2?
Типа как mod_accounting (помоему, так пишется) для Apache1.

[askon]

Я через webalizer делал + для каждого виртсайта свой access лог.

[paix]

один из вариантов - парсить вывод httpd-status и данные заносить в мускиль. Реально действующих приблуд я не видел. Для Directadmin есть примочка (http://www.directadmin.com/forum/showthread.php?t=1650) Если юзать без директадмина - прийдется напильником поработать.

Вариант по хостам\хитам - парсить логи апача. (Если будет нужно могу самописный скрипт дать)
В принципе лично меня устраивает знать за сутки сколько уникальных хостов по домену.

Для статистки трафик - соотвествущие модуля для апача.

Для статистики акаунтинга (сколько процессорного времени) и то в реалтайме афаик не получится -
acct (lin,free)
sysstat (lin)

если динамика от юзера запускается - то особо проблем нет. Для акаунтинга мускили - лично не делал, но афаик у гугла были соотвествующие патчи. Но имхо стоит больше смотреть не в строну рестрикшинов пользователей, а грамотного тюнинга и распределения ресурсов системы.

[gmn]

один из вариантов - парсить вывод httpd-status и данные заносить в мускиль. Реально действующих приблуд я не видел. Для Directadmin есть примочка (http://www.directadmin.com/forum/showthread.php?t=1650) Если юзать без директадмина - прийдется напильником поработать.

Спасибо.

Вариант по хостам\хитам - парсить логи апача. (Если будет нужно могу самописный скрипт дать)
В принципе лично меня устраивает знать за сутки сколько уникальных хостов по домену.

Вот без "парсить" думал обойтись

Для статистки трафик - соотвествущие модуля для апача.
Для статистики акаунтинга (сколько процессорного времени) и то в реалтайме афаик не получится -
acct (lin,free)
sysstat (lin)
если динамика от юзера запускается - то особо проблем нет.

Да, каждый сайт от своего юзера.
Можно подробнее на счет "acct" ?
В Apache2 есть такой модуль (mod_accounting в Apache1 был)? Что-то я не нашел.

[paix]

Вот без "парсить" думал обойтись

На самом деле, парсить не слишком накладно У меня например время парсинга около 10сек на 20-25к хостов.
По крайней мере, это самый дешевый, в том числе и ресурсодешевый, и самый простой вариант имхо.

Можно подробнее на счет "acct" ?
В Apache2 есть такой модуль (mod_accounting в Apache1 был)? Что-то я не нашел.

man acct
http://www.freebsd.org/doc/en_US.ISO885 ... nting.html

http://www.opennet.ru/prog/sml/76.shtml

[gmn]

Спасибо.
Давай скриптик

[paix]

Спасибо.
Давай скриптик

Код: Выделить всё

#!/bin/sh
# sk.paix@gmail.com
# Script for printing statistics from apache logs

#whreis virtualhost logs are
logdir="/var/log/httpd/domains"
#draft statistics file
statfile="/tmp/wwwstat.txt"

echo > $statfile
for i in  `find $logdir \! \( -name '*.bytes' -or -name '*.error.log*' -or -name '*.log.1' \)  \
                 -and  \( \! -empty  -type f \) `
    do
        domain=`echo $i | sed -e 's/^.*domains\///' -e 's/\.log//'`
        uniq_hosts=`cat $i | awk '{print $1}' | sort -u | wc -l`
        printf "%s\t%s\n" $uniq_hosts $domain >> $statfile
    done

echo
echo "##### Summary hosts for all domains: #####"
total=`cat $statfile | awk '{ total += $1;}  END { print total }'`
echo $total
echo
echo "##### Unique hosts statistics(per virtualdomain): #####"
cat $statfile | sort -g -r
echo

#### statistics
echo "`date +%d-%m-%y_%H:%M` : $total" >> /var/log/hosts.log

Естественно, подрихтовать под себя.

[gmn]

... Но имхо стоит больше смотреть не в строну рестрикшинов пользователей, а грамотного тюнинга и распределения ресурсов системы.

Думал, что оттюнил Apache.
Но, оказалось, что нет. Вот что получил в один момент:

Код: Выделить всё

last pid: 35314;  load averages: 50.03, 42.08, 24.39
308 processes: 13 running, 262 sleeping, 2 zombie, 31 lock
CPU states: 40.3% user,  0.0% nice,  9.7% system,  0.0% interrupt, 50.0% idle
Mem: 685M Active, 265M Inact, 227M Wired, 68M Cache, 112M Buf, 757M Free

Сделано практически по статье с данного сайта (http://www.lissyara.su/?id=1066). Но немного с моими корректировками для Apache2.
Привожу ниже свои настройки.
/etc/sysctl.conf

Код: Выделить всё

# For Apache
vfs.vmiodirenable=1
kern.maxfiles=65536
net.inet.icmp.icmplim=300
kern.ipc.maxsockbuf=2097152
kern.ipc.somaxconn=8192
kern.ipc.maxsockets=16424
net.inet.tcp.rfc1323=1
net.inet.tcp.delayed_ack=0
net.inet.tcp.sendspace=65535
net.inet.tcp.recvspace=65535
net.inet.udp.recvspace=65535
net.inet.udp.maxdgram=57344
net.local.stream.recvspace=65535
net.local.stream.sendspace=65535

Код: Выделить всё

/boot/loader.conf
kern.maxusers="512"
kern.ipc.msgmnb=16384
kern.ipc.msgseg=768
kern.ipc.msgssz=128
kern.ipc.msgtql=3072
kern.ipc.msgmni=60
accf_data_load="YES"
accf_http_load="YES"

Класс webuser:

Код: Выделить всё

webuser:\
        :copyright=/etc/COPYRIGHT:\
        :welcome=/etc/motd:\
        :setenv=MAIL=/var/mail/$,BLOCKSIZE=K,EDITOR=ee:\
        :path=/bin /usr/bin /usr/local/bin:\
        :manpath=/usr/share/man /usr/local/man:\
        :nologin=/sbin/nologin:\
        :ftp-chroot:\
        :ftp-dir=~:\
        :cputime=5m:\
        :datasize=512M:\
        :stacksize=4M:\
        :memorylocked=64M:\
        :memoryuse=256M:\
        :filesize=512M:\
        :coredumpsize=0:\
        :openfiles=1024:\
        :maxproc=64:\
        :sbsize=unlimited:\
        :priority=20:\
        :requirehome:\
        :umask=026:\
        :tc=default:

Железо:

Код: Выделить всё

hw.model: Intel(R) Xeon(TM) CPU 2.40GHz
hw.ncpu: 2
hw.physmem: 2137939968

Что еще "подкрутить"?

[Alex Keda]

фастЦГИ

[gmn]

Этого не достаточно?:

Код: Выделить всё

php-cgi -v
PHP 5.2.4 with Suhosin-Patch 0.9.6.2 (cgi-fcgi) (built: Oct  2 2007 08:57:43)
Copyright (c) 1997-2007 The PHP Group

[paix]

Товарищ, ты тюнил не то.

Какие сисктл, увеличенные буфера и т.д. ???
если у тебя на каждый реквест от клиента апач считывает бинарь пхп в память с винта???

Посмотри на вывод своего топа, там же есть даже идл ресурсы! почему же лоад такой? включаем голову.
К тебе пришло допустим пару десятков реквестов к апачу(к пхп) и апач пытается у тебя считать эти самые пару десятков бинарников одновременно. Естественно получается очередь процессов, и лоад скачет. Уверен, что
top -mio показал бы тебе очень веселую картину

The load average is the sum of the run queue length and the number of jobs currently running on the CPUs.

Тюнь апач+пхп, ставь фастцжи для нагруженных хостов и будет счастье

[Alex Keda]

Товарищ, ты тюнил не то.

Какие сисктл, увеличенные буфера и т.д. ???
если у тебя на каждый реквест от клиента апач считывает бинарь пхп в память с винта???

не думаю. думаю даже не так.
считал он его один раз - первый.
после чего поклал в кэш и брал дальше оттуда.
дальше события развиваются интересно - для запуска ему его надо скопировать из одной области памяти в другую, и создать форк.
несмотря на то что форки во фре очень быстрые, операция копирования из одной области памяти в другую - накладна.
плюс форки, и ещё чё-нить притащится - отсюда и проблемы.
==========
вышеперечисленных недостатков лишён фаст-цги

[gmn]

вышеперечисленных недостатков лишён фаст-цги

Такс, хорошо. Что FastCGI хорошо - это понятно.
Но работает ли он, что-то не пойму.
В процессах вижу php-cgi от разных юзеров (т.е. запросы к разным сайтам).
Если посмотреть php-cgi -v, то:

Код: Выделить всё

PHP 5.2.4 with Suhosin-Patch 0.9.6.2 (cgi-fcgi)

Т.е. FastCGI включен?
И приведенная выше загрузка была вызвана чем, я даже не понял
Продолжалась пару минут.
А сервер работает уже пару месяцев (правда основного сайта там небыло ) с настроенными ранее конфигами.
Но так как сегодня проблема возникла - возник и вопрос - "а все ли я верно сделал?".
P.S. Конфиг вирт. хоста такой приблизительно (практически из доки lissyara):

Код: Выделить всё

<VirtualHost *:80>
    ScriptAlias /cgi-bin/ /www/sites/user-dev/cgi-bin/
    <Directory /www/sites/user-dev/cgi-bin>
        AllowOverride None
        Options None
        Order allow,deny
        Allow from all
    </Directory>

    SuexecUserGroup user-dev user-dev
    suPHP_Engine on
    DocumentRoot /www/sites/user-dev/www
    ServerName user-dev.local
    # Директория пользователя
    <Directory /www/sites/user-dev/www>
      Options Indexes FollowSymLinks MultiViews Includes
      AllowOverride All
      Order deny,allow
      Allow from all
    </Directory>
    DirectoryIndex index.php index.html
    LogFormat "%h %t %V \"%r\" %>s %b %D \"%{Referer}i\" \"%{User-Agent}i\"" mylog
    ErrorLog /www/sites/user-dev/log/error.log
    CustomLog /www/sites/user-dev/log/access.log mylog
    # For PHP
    php_admin_value open_basedir /www/sites/user-dev/www
    php_admin_value safe_mode_include_dir /www/sites/user-dev/www
    php_admin_value safe_mode_exec_dir /www/sites/user-dev/www
    php_admin_value doc_root /www/sites/user-dev/www
    php_admin_value upload_tmp_dir /www/sites/user-dev/tmp
    php_admin_value session.save_path /www/sites/user-dev/tmp
</VirtualHost>

Т.е. все вроде бы правильно.
Смутила загрузка, котрая была и сессии PHP, которые упорно сохраняются в /tmp, а не в session.save_path

[Alex Keda]

эт у тя чистый cgi
====
а про сессии - надо править php.ini для аждого - оно понимает тока полный путь....

[paix]

не думаю. думаю даже не так.
считал он его один раз - первый.
после чего поклал в кэш и брал дальше оттуда.
дальше события развиваются интересно - для запуска ему его надо скопировать из одной области памяти в другую, и создать форк.
несмотря на то что форки во фре очень быстрые, операция копирования из одной области памяти в другую - накладна.
плюс форки, и ещё чё-нить притащится - отсюда и проблемы.
==========
вышеперечисленных недостатков лишён фаст-цги

Еслибы твоя теория была справедлива, то апач бы вообще не обращался к винту для считывания php-cgi.
См. top -mio

Фаст-цжи обладает другим недостатком...Запустить его для парочки сотен виртхостов скажем так накладно.
Но для нагруженных хостов - просто необходимо.

2gmn я же написал чем была вызвана загрузка. Кури в сторону понятия load average.
+ http://www.lissyara.su/?id=1360

[paix]

кстати, gmn, ты случайно не забыл мод_пхп из конфига апача вынести?
а то, подозреваю у тебя там жуткий зоопарк

php_admin_value в php-cgi то не работают.. впрочем как и в suphp.

PS. кто нибудь мне обьяснит вообще зачем использовать suphp если есть обычный php-suexec ???

[gmn]

кстати, gmn, ты случайно не забыл мод_пхп из конфига апача вынести?
а то, подозреваю у тебя там жуткий зоопарк
php_admin_value в php-cgi то не работают.. впрочем как и в suphp.
PS. кто нибудь мне обьяснит вообще зачем использовать suphp если есть обычный php-suexec ???

Нет, я сознательно mod_php в Apache не отключал. Так как он работает быстрее, чем php-cgi.
Включил "suPHP_Engine on".
И скрипты php-ные запускаются у каждого сайта от своего юзера - проверено.
Только вот сесии почему-то все пишут в общий /tmp, хотя в конфиге у каждого указано, где им сохранять.

[gmn]

И еще, в статье http://www.lissyara.su/?id=1360 указано на порт www/mod_fastcgi.
Но он для Apache1 а не Apache2:

Код: Выделить всё

Port:   mod_fastcgi-2.4.2_1
Path:   /usr/ports/www/mod_fastcgi
Info:   A fast-cgi module for Apache
Maint:  ports@FreeBSD.org
B-deps: apache-1.3.39_2 expat-2.0.0_1 perl-5.8.8
R-deps: apache-1.3.39_2 expat-2.0.0_1 perl-5.8.8
WWW:    http://www.fastcgi.com/

А для Apache2 похоже, этот:

Код: Выделить всё

Port:   mod_fcgid-2.1_2
Path:   /usr/ports/www/mod_fcgid
Info:   An alternative FastCGI module for Apache2
Maint:  hemi@puresimplicity.net
B-deps: apache-2.0.61_2 expat-2.0.0_1 libiconv-1.9.2_2 perl-5.8.8
R-deps: apache-2.0.61_2 expat-2.0.0_1 libiconv-1.9.2_2 perl-5.8.8
WWW:    http://fastcgi.coremail.cn/

[Alex Keda]

Еслибы твоя теория была справедлива, то апач бы вообще не обращался к винту для считывания php-cgi.
См. top -mio

это не теория. а реальность.
Из практики, видел как на машине с 3 гигами памяти в кэше лежала киношка на полтора гига.
когда я её копировал с этой машины по сети - лямпочка диска даже не мигнула ни разу, а в iostat -w 1 всё было по нулям.
Именно поэтому я утверждею что два мегабайта - он считает один раз. Проблема в копировании из одной области памяти в другую, и в форках.
==========
кстати, именно поэтому никогда не будет оракла под фрю - она не умеет полностью отдавать кэширование приложению.

Фаст-цжи обладает другим недостатком...Запустить его для парочки сотен виртхостов скажем так накладно.
Но для нагруженных хостов - просто необходимо.

показать top c пятисот виртуалхостов? ))
==========
вы путаете понятия. ибо уменя хостов 500 а юзеров чуть больше 60.

[Alex Keda]

И еще, в статье http://www.lissyara.su/?id=1360 указано на порт www/mod_fastcgi.
Но он для Apache1 а не Apache2

2.0

Код: Выделить всё

serv# pkg_info | grep apac
apache-2.0.61_2     Version 2 of Apache web server with prefork MPM.
serv# pkg_info | grep fast
gd-2.0.35,1         A graphics library for fast creation of images
mod_fastcgi-2.4.2_1 A fast-cgi module for Apache
serv#

1.3

Код: Выделить всё

hosting$ pkg_info | grep fast
apache-1.3.37_4     The extremely popular Apache http server. Very fast, very c
gd-2.0.35,1         A graphics library for fast creation of images
mod_fastcgi-2.4.2_1 A fast-cgi module for Apache
hosting$

ему монописуально.

[paix]

кстати, gmn, ты случайно не забыл мод_пхп из конфига апача вынести?
а то, подозреваю у тебя там жуткий зоопарк
php_admin_value в php-cgi то не работают.. впрочем как и в suphp.
PS. кто нибудь мне обьяснит вообще зачем использовать suphp если есть обычный php-suexec ???

Нет, я сознательно mod_php в Apache не отключал. Так как он работает быстрее, чем php-cgi.
Включил "suPHP_Engine on".
И скрипты php-ные запускаются у каждого сайта от своего юзера - проверено.
Только вот сесии почему-то все пишут в общий /tmp, хотя в конфиге у каждого указано, где им сохранять.

Если ты все делал по статье лиса "Настройка хостинга под apache + PHP + MySQL"
то пхп у тебя запускается в режиме cgi. А твой мод_пхп только болтается в памяти, и все эти директивы как зайцу стоп сигнал, потому что модулю никаких обращений не передается.

Супхп в твоем случае тоже нифига не делает. Супхп запускает тотже самый пхп-цжи только типа у него настройки расширенные.(хотя имхо изврат)

Скрипты у тебя запускаются от юзера - т.к. пхп-цжи через суэкзек запускается.

Сессии не сохраняются так как они только для модуля, и в твоей конфигурации аж ничегошеньки не делают(модуль не работает.)

Если ты правильно вынесеш из конфига полностью мод_пхп, его директивы, и супхп то имхо даже не заметиш разницы в работе.

Однако редкий зоопарк у тебя

2lissyara
есть какието линки подтверждающие кеширование бинаря в памяти?
киношка из кеша мне ни о чем не говорит. Т.к. нельзя сравнивать работу различных механизмов(аля апаче суэкзек и обычное копирование)
Если представить что таки кешируется бинарь пхп, то что произойдет если прийдет реквест к другому домену, владелец которого другой юзер?

Вдогонку, а memcached тогда как работает? Если фря не умеет отдавать кеширование приложению?
По поводу виртуалхостов и юзеров, я в курсе понятий. Имелось в виду, что много различных доменов с различными владельцами.

[Alex Keda]

а какие нужны подтверждения?
=======
вы считаете, что апач с суэкзеком самомтоятельно читают файл поблочно с диска, в обход ОС, в отличие от ftp и samba на которых я наблюдал вышеописанный случай?
кэширует ОС, и кладёт в свободную память - можно заметить что на любой магине, на которой даже нет нагрузки после работы с диском становиться меньше свободной памяти. хотя число приложений в памяти не изменилось.
собственно, поому что кэширует ОС проблем с
>Если представить что таки кешируется бинарь пхп, то что произойдет если прийдет реквест к другому домену, владелец которого другой юзер?
нету.
=========
memcached - это чё?

[gmn]

Однако редкий зоопарк у тебя

Похоже, что да
Тогда помогите, пожалуйста, разобраться. Не могу понять ... Опишу несколько вариантов.
1-й вариант.
Работа PHP, как модуль Апача + suexec + suphp.
httpd.conf:

Код: Выделить всё

LoadModule php5_module        libexec/apache2/libphp5.so
LoadModule suphp_module       libexec/apache2/mod_suphp.so

Конфиг вирт. хоста:

Код: Выделить всё

    AddType application/x-httpd-php .php
    PHPIniDir /www/sites/test/etc

    suPHP_Engine on
    php_admin_value open_basedir /www/sites/test/www
    php_admin_value safe_mode_include_dir /www/sites/test/www
    php_admin_value safe_mode_exec_dir /www/sites/test/www
    php_admin_value doc_root /www/sites/test/www
    php_admin_value upload_tmp_dir /www/sites/test/tmp
    php_admin_value session.save_path /www/sites/test/tmp

Получаю:
Server API CGI/FastCGI
Loaded Configuration File /usr/local/etc/php.ini
В процессах вижу php-cgi от юзера, который указан в конфиге вирт. хоста - "SuexecUserGroup test test"

2-й вариант.
Должен быть PHP, как CGI.
В httpd.conf загрузку модулей php5 и suphp заремил.
В конфиге вирт. сайта:

Код: Выделить всё

# suPHP_Engine on
# php_admin_value - заремил все.
# PHPIniDir
Action  application/x-httpd-php /cgi-bin/php-cgi

Получаю:
Server API CGI/FastCGI
Loaded Configuration File /www/sites/test/cgi-bin/php.ini
upload_tmp_dir no value no value

В итоге ясно и не ясно следующее:
PHP, как модуль, работает быстрее, по сравнению с php-cgi (по результатам ab -n 100 -c 100 -t 2 http:/test/) - это ясно.
Не ясно, как при 2-м варианте (php-cgi) задать переменные (те же upload_tmp_dir, session.save_path) из скрипта (в статье lissyara), создающего конфиг вирт. хоста и использующего один общий файл php.ini, как эталон, для всех создаваемых сайтов?
Почему при первом варианте (php как модуль + suphp) не обрабатываются директивы из конфига php_admin_value ?
И третий вопрос: что я потеряю при переходе на чистый php-cgi (пока тулить fastcgi не буду)? (читал, что вроди бы с http-авторизацией есть проблемы (но не проверял)).