Apache2 - статистика по сайтам.

Проблемы установки, настройки и работы Правильной Операционной Системы

Модератор: terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
gmn
сержант
Сообщения: 239
Зарегистрирован: 2007-02-28 18:01:37
Откуда: UA, Kiev
Контактная информация:

Re: Apache2 - статистика по сайтам.

Непрочитанное сообщение gmn » 2007-10-23 16:21:24

gmn писал(а):Почему при первом варианте (php как модуль + suphp) не обрабатываются директивы из конфига php_admin_value ?
При включенном suphp не обрабатываются, при отключенном - обрабатываются.
Но при отключенном suPHP и все процессы httpd (а не php-cgi) запускаются от юзера www, а не от юзера вирт. хоста :(
Где золотая середина? :)

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
gmn
сержант
Сообщения: 239
Зарегистрирован: 2007-02-28 18:01:37
Откуда: UA, Kiev
Контактная информация:

Re: Apache2 - статистика по сайтам.

Непрочитанное сообщение gmn » 2007-10-23 16:33:32

В общем, начал понимать разницу между mod_php, suphp, и php как cgi ...
"suphp и mod_php заменяют, а не дополняют друг друга".
Т.е. надо было или

Код: Выделить всё

LoadModule php5_module        libexec/apache2/libphp5.so
или

Код: Выделить всё

LoadModule suphp_module       libexec/apache2/mod_suphp.so
Или же ни первое ни второе, а как описано в статье lissyara (и радом с php-cgi положить php.ini):

Код: Выделить всё

Action  application/x-httpd-php /cgi-bin/php-cgi
Пока хочу остановиться все же на варианте suPHP.

paix
лейтенант
Сообщения: 863
Зарегистрирован: 2007-09-24 12:41:05
Откуда: dn.ua
Контактная информация:

Re: Apache2 - статистика по сайтам.

Непрочитанное сообщение paix » 2007-10-23 17:03:13

!!! Гуглить на предмет mod_php, suphp, php as cgi

http://www.suphp.org
suphp использует php-cgi, и не поддерживает php_admin value.

gmn обрати внимание на обработчик пхп.

AddHandler application/x-httpd-php .php
Action application/x-httpd-php /cgi-bin/php-cgi

первая строчка означает добавить хендлер для файлов .php
вторая - для этих файлов применить соотвествующее действие.

лис в своем скрипте копирует каждому в папку свой пхп бинарь. Имхо это плохой способ.
Лучше: создать файл cgi-bin/php-cgi, выставить права владельца виртуалхоста.
Содержимое:

Код: Выделить всё

#!/bin/sh
#exec /usr/bin/php5-cgi  -c "../php.ini"
exec /usr/bin/php5-cgi
в закоментированной строчке показано как запусть php-cgi с заданным конфигом.

2lissyara
Пусть грубо, но memchached: http://www.google.ru/search?num=30&hl=r ... %7Clang_ru
такие вещи таки надо знать.

По поводу мапинга бинарей пхп в память - снимаю шляпу. Кеширует он их, хоть и хреновенько...и не совсем понятно как. Но в любом случае - на каждый реквест создается новый процесс.
With best wishes, Sergej Kandyla

Аватара пользователя
gmn
сержант
Сообщения: 239
Зарегистрирован: 2007-02-28 18:01:37
Откуда: UA, Kiev
Контактная информация:

Re: Apache2 - статистика по сайтам.

Непрочитанное сообщение gmn » 2007-10-23 18:33:04

paix писал(а):!!! Гуглить на предмет mod_php, suphp, php as cgi
http://www.suphp.org
suphp использует php-cgi, и не поддерживает php_admin value.
gmn обрати внимание на обработчик пхп.

AddHandler application/x-httpd-php .php
Action application/x-httpd-php /cgi-bin/php-cgi

первая строчка означает добавить хендлер для файлов .php
вторая - для этих файлов применить соотвествующее действие.
Да вот при suphp "Action application/x-httpd-php /cgi-bin/php-cgi" уже и не надо.
По крайней мере на тестовом сервере не добавлял - работает.
И так, suphp.
В конфиге apache:

Код: Выделить всё

cat httpd.conf | grep php
#LoadModule php5_module        libexec/apache2/libphp5.so
LoadModule suphp_module       libexec/apache2/mod_suphp.so
#AddType application/x-httpd-php .php
#AddType application/x-httpd-php-source .phps
В конфиге вирт. хоста (что касается php):

Код: Выделить всё

    # For PHP
    AddType application/x-httpd-php .php
    suPHP_Engine on
    suPHP_ConfigPath /www/sites/test/etc
"phpinfo();" работает.
И переменные читаются с конфига в каталоге данного пользователя.

Но !
Попробовал перевести на рабочем сервере с гибридного зоопарка на нормальный suphp - не пошло :(

Вылетают ошибки в браузере "No input file specified".

paix
лейтенант
Сообщения: 863
Зарегистрирован: 2007-09-24 12:41:05
Откуда: dn.ua
Контактная информация:

Re: Apache2 - статистика по сайтам.

Непрочитанное сообщение paix » 2007-10-23 18:51:52

suphp достаточно AddHandler

http://www.google.com/search?num=30&hl= ... meta=lr%3D

+ логи
+ изучение suphp

+ вынисение этого зоопарка.
With best wishes, Sergej Kandyla

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Apache2 - статистика по сайтам.

Непрочитанное сообщение Alex Keda » 2007-10-23 19:00:15

paix писал(а): 2lissyara
Пусть грубо, но memchached: http://www.google.ru/search?num=30&hl=r ... %7Clang_ru
такие вещи таки надо знать.

По поводу мапинга бинарей пхп в память - снимаю шляпу. Кеширует он их, хоть и хреновенько...и не совсем понятно как. Но в любом случае - на каждый реквест создается новый процесс.
ну, кэшировать умеет и винда. поэтому тут я и не сомневался.
а про форки - да. никто и не отрицает - накладно...
========
ща почитаю ссылочку.
Убей их всех! Бог потом рассортирует...

Аватара пользователя
gmn
сержант
Сообщения: 239
Зарегистрирован: 2007-02-28 18:01:37
Откуда: UA, Kiev
Контактная информация:

Re: Apache2 - статистика по сайтам.

Непрочитанное сообщение gmn » 2007-10-23 19:39:48

paix писал(а):suphp достаточно AddHandler
Это я понял и так.
Поэтому оставил только "AddType application/x-httpd-php .php"
paix писал(а): http://www.google.com/search?num=30&hl= ... meta=lr%3D
+ логи
+ изучение suphp
+ вынисение этого зоопарка.
http://ua2.php.net/security.cgi-bin
В PHP, указывая во время компиляции опцию --enable-force-cgi-redirect, а таке опции doc_root и user_dir во время выполнения скрипта, можно предотвратить подобные атаки для директорий с ограниченным доступом. Более детально приведенные опции, а также их комбинации будут рассмотрены ниже.
Если указать doc_root - вообще ничего не работает. Если заремить - но хотя бы несколько сайтов "частично" работают.

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Apache2 - статистика по сайтам.

Непрочитанное сообщение Alex Keda » 2007-10-23 20:02:50

ставь фастцги.
на данном сервере где сайт, я пеерходил с конфига из первой статьи на когфиг из второй.
полдня переходил - параллельно работали обе схемы...
Убей их всех! Бог потом рассортирует...

paix
лейтенант
Сообщения: 863
Зарегистрирован: 2007-09-24 12:41:05
Откуда: dn.ua
Контактная информация:

Re: Apache2 - статистика по сайтам.

Непрочитанное сообщение paix » 2007-10-23 21:08:40

fastcgi это конечно классно.

Но опять же..если большое число различных доменов под разными пользователями - то нафиг нужно держать в памяти фастцжи сервер??? Для какихто забытых богом виртхостов с посещгой 10 хостов в сутки?

Имхо фастцжи стоит использовать при посещаге от 500 уник. хостов в сутки, (либо в случае использования сервера в локалке, либо в случае запуска сервера для многих доменов у которого один владелец.)
With best wishes, Sergej Kandyla

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Apache2 - статистика по сайтам.

Непрочитанное сообщение Alex Keda » 2007-10-23 22:45:32

вообще-то, они запускаются тока при заходе юзера.
и мрут потом.
хотя бывает и не мрут - но на хосте где мало рамы удалось добиться чтоб мёрли сразу практически :)))
Убей их всех! Бог потом рассортирует...

Аватара пользователя
gmn
сержант
Сообщения: 239
Зарегистрирован: 2007-02-28 18:01:37
Откуда: UA, Kiev
Контактная информация:

Re: Apache2 - статистика по сайтам.

Непрочитанное сообщение gmn » 2007-10-23 23:06:15

paix писал(а):suphp достаточно AddHandler
http://www.google.com/search?num=30&hl= ... meta=lr%3D
+ логи
+ изучение suphp
+ вынисение этого зоопарка.
Уже сделано несколько часов назад :)
В итоге имеем.
В httpd.conf только:

Код: Выделить всё

LoadModule suphp_module       libexec/apache2/mod_suphp.so
В конфиге вирт. хоста:

Код: Выделить всё

    # For PHP
    AddType application/x-httpd-php .php
    suPHP_Engine on
    suPHP_ConfigPath /www/sites/test/etc
В конфиги php.ini каждого сайта добавляю:

Код: Выделить всё

open_basedir = /www/sites/test
doc_root = www
upload_tmp_dir = tmp
session.save_path  = /www/sites/test/tmp
session.name = test
cgi.fix_pathinfo = 1
И все работает с suphp ...

Теперь вопрос выбора акселератора. :)
В fastcgi не вижу смысла (делая выводы из вашей переписки :), может и преждевременные, но вопрос ниже), так как будет несколько основных сайтов + мелкие.
Т.е. - какие есть варианты?
Предлагают http://eaccelerator.net/
Пробовал кто использовать? Какие плюсы? Недостатки?

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Apache2 - статистика по сайтам.

Непрочитанное сообщение Alex Keda » 2007-10-23 23:31:58

у меня на хостинге стоит, в компани с фастцги...
работает :)
Убей их всех! Бог потом рассортирует...

paix
лейтенант
Сообщения: 863
Зарегистрирован: 2007-09-24 12:41:05
Откуда: dn.ua
Контактная информация:

Re: Apache2 - статистика по сайтам.

Непрочитанное сообщение paix » 2007-10-24 6:11:15

gmn писал(а): И все работает с suphp ...

Теперь вопрос выбора акселератора. :)
В fastcgi не вижу смысла (делая выводы из вашей переписки :), может и преждевременные, но вопрос ниже), так как будет несколько основных сайтов + мелкие.
Т.е. - какие есть варианты?
Предлагают http://eaccelerator.net/
Пробовал кто использовать? Какие плюсы? Недостатки?
Чел, ну ты даеш!!! Какой блин акселератор если у тебя пхп в режиме CGI запускается???
Мало того что такое нельзя сделать, так сколько раз уже советовали тебе, поставь фастцжи - это будет самая лучшая акселерация для тебя! Если не хватит, то тогда уже будеш пробовать opcode cachers

PS. где ты увидел что мы говорили что фастцжи это плохо? Так получилось, что мы обсуждаем конструктивные особенности построения хостинг систем на основе твоего заопарка, вот и все. Если как говорит лис, у него мрут фастцжи сервера по таймауту, это замечательно!(мож я маленько недокурил доки по mod_fastcgi). В обычном режиме (php-fpm, spwan-fcgi, internal process manager) они не мрут, хотя эту конфигурацию не обсуждали.

PS2. и чтоже тебе мешает поставить фастцжи для нагруженных виртхостов???
AddHandler php-fastcgi .php
Action php-fastcgi /cgi-bin/php-cgi
в конфиг вирт. хоста
+ правиш содержимое /cgi-bin/php-cgi для варианта fastcgi
(предварительно mod_fastcgi поставить и сконфигурить!!!! а то будеш опять писать что не работает ;)
With best wishes, Sergej Kandyla

Аватара пользователя
gmn
сержант
Сообщения: 239
Зарегистрирован: 2007-02-28 18:01:37
Откуда: UA, Kiev
Контактная информация:

Re: Apache2 - статистика по сайтам.

Непрочитанное сообщение gmn » 2007-10-24 9:07:06

paix писал(а): Чел, ну ты даеш!!! Какой блин акселератор если у тебя пхп в режиме CGI запускается???
:)
А у lissyara работает:
lissyara писал(а):у меня на хостинге стоит, в компани с фастцги... работает :)

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Apache2 - статистика по сайтам.

Непрочитанное сообщение Alex Keda » 2007-10-24 10:05:51

э...
а сами разницу между цитатами не видите - fastCGI и просто CGI
Убей их всех! Бог потом рассортирует...

Аватара пользователя
gmn
сержант
Сообщения: 239
Зарегистрирован: 2007-02-28 18:01:37
Откуда: UA, Kiev
Контактная информация:

Re: Apache2 - статистика по сайтам.

Непрочитанное сообщение gmn » 2007-10-25 12:14:34

Привет.
Возвращаясь к теме, теперь уже FastCGI.
lissyara, по твоей статье http://www.lissyara.su/?id=1360
Попробовал сделать. Получилось.
Но, если хочу задать для вирт. хоста свои настройки php - надо чтобы в cgi-bin вместе с php.sh был еще и php.ini, иначе для всех сайтов получается один конфиг /usr/local/etc/php.ini
Или d php.sh так:

Код: Выделить всё

#!/bin/sh

PHP_FCGI_CHILDREN=4
export PHP_FCGI_CHILDREN
#PHP_FCGI_MAX_REQUESTS=5000
#export PHP_FCGI_MAX_REQUESTS

exec /usr/local/bin/php-cgi -c /www/sites/test/etc/
Спасибо за статейку.

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Apache2 - статистика по сайтам.

Непрочитанное сообщение Alex Keda » 2007-10-25 12:36:30

Код: Выделить всё

#!/bin/sh

PHP_FCGI_CHILDREN=6
export PHP_FCGI_CHILDREN
#PHP_FCGI_MAX_REQUESTS=5000
#export PHP_FCGI_MAX_REQUESTS
PHPRC="/home/serge/etc/php.ini"
export PHPRC

exec /usr/local/bin/php-cgi
test#     
в камментах описано.
тока файл от юзеров лочь - иначе потавят себе по гигу рамы и сервак положат
Убей их всех! Бог потом рассортирует...

Аватара пользователя
gmn
сержант
Сообщения: 239
Зарегистрирован: 2007-02-28 18:01:37
Откуда: UA, Kiev
Контактная информация:

Re: Apache2 - статистика по сайтам.

Непрочитанное сообщение gmn » 2007-10-25 12:50:45

lissyara писал(а): тока файл от юзеров лочь - иначе потавят себе по гигу рамы и сервак положат
У них права только на чтение файлов. Кроме каталогов /tmp и /www.

P.S. Запустил ab -c 5 -n 100 http://test/ - много прироста в "Requests per second"не увидел :(
В корне сайта Joomla.
Было (php-cgi) - Requests per second: 1.82 [#/sec] (mean)
Стало (fastcgi) - Requests per second: 2.29 [#/sec] (mean)

paix
лейтенант
Сообщения: 863
Зарегистрирован: 2007-09-24 12:41:05
Откуда: dn.ua
Контактная информация:

Re: Apache2 - статистика по сайтам.

Непрочитанное сообщение paix » 2007-10-25 13:38:05

lissyara писал(а): тока файл от юзеров лочь - иначе потавят себе по гигу рамы и сервак положат
Есть другое решение - сделать отдельный каталог с правами юзера и туда ложить враппер фастцжи и конфиг.
Подробно в конце топика: http://www.directadmin.com/forum/showthread.php?t=16399

4gmn имхо аб практически бесполезная тулза. Реально оценить нагрузку можно только на рабочем, нагруженном сайте.
В твоем случае при очень частых запросах одной и тойже картинки, апач просто отдает этот кусок кода из памяти в прокешированном виде.

Важно понимать принцип, что на каждый запрос цжи запускает отдельный процесс, а фастцжи работает в режиме сервера. Т.е. один процесс обрабатует много реквестов
With best wishes, Sergej Kandyla

Аватара пользователя
gmn
сержант
Сообщения: 239
Зарегистрирован: 2007-02-28 18:01:37
Откуда: UA, Kiev
Контактная информация:

Re: Apache2 - статистика по сайтам.

Непрочитанное сообщение gmn » 2007-10-25 14:18:24

paix писал(а): Важно понимать принцип, что на каждый запрос цжи запускает отдельный процесс, а фастцжи работает в режиме сервера. Т.е. один процесс обрабатует много реквестов
Я прежде чем использовать, почитал, что такое fastcgi, "с чем его едят" :)
Так что в чем его отличие от php-cgi понял.

Аватара пользователя
gmn
сержант
Сообщения: 239
Зарегистрирован: 2007-02-28 18:01:37
Откуда: UA, Kiev
Контактная информация:

Re: Apache2 - статистика по сайтам.

Непрочитанное сообщение gmn » 2007-10-25 14:28:44

Спасибо всем за помощь.

Хочу теперь вернуться к тому, с чего типик начинался - статистика ...
Apache2.0, несколько вирт. хостов.
Хотел изначально статистику по каждому вирт. хосту, но теперь пока передумал.
Хочу (желательно по SNMP) получать инфу, сколько запросов в целом Apache обслужил в единицу времени.
Видел модуль SNMP для Apache. Но он, помоему, для первого апача (http://mod-apache-snmp.sourceforge.net/ ... tm#EXAMPLE).
Можно делать (как я для exim делаю) - скрипт, котрый считает записи в логе, кладет результаты в файл, а snmpd считывает файлик и отадет клиенту, запросившему данные.
Но в моем случае с Apache логи пишутся в домашний каталог юзера, и у каждого сайта свои лог-файлы.
Т.е. если сайтов будет много - то парсить придется много логов.
В общем, можно ли через server-status или другим путем получать статистику с самого демона httpd суммарно по всем обслуженным запросам?

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Apache2 - статистика по сайтам.

Непрочитанное сообщение Alex Keda » 2007-10-25 15:52:26

paix писал(а):
lissyara писал(а): тока файл от юзеров лочь - иначе потавят себе по гигу рамы и сервак положат
Есть другое решение - сделать отдельный каталог с правами юзера и туда ложить враппер фастцжи и конфиг.
Подробно в конце топика: http://www.directadmin.com/forum/showthread.php?t=16399

4gmn имхо аб практически бесполезная тулза. Реально оценить нагрузку можно только на рабочем, нагруженном сайте.
В твоем случае при очень частых запросах одной и тойже картинки, апач просто отдает этот кусок кода из памяти в прокешированном виде.

Важно понимать принцип, что на каждый запрос цжи запускает отдельный процесс, а фастцжи работает в режиме сервера. Т.е. один процесс обрабатует много реквестов

Код: Выделить всё

serv# more /usr/local/directadmin/scripts/custom/create_php-cgi_dir.sh
#!/bin/sh
#
# domain_create_pre.sh          - Runs BEFORE a domain is created
# domain_create_post.sh         - Runs AFTER a domain is created
# domain_destroy_pre.sh           - Runs BEFORE a domain is destroyed
# domain_destroy_post.sh          - Runs AFTER a domain is destroyed
#
###########################################################################
#
# environmental variables:
# bandwidth=# or unlimited
# cgi=ON or OFF
# defaultdomain=yes or no
# domain=domain.com
# ssl=ON or OFF
# suspended=yes or no
# username=ownerofdomain
#
###########################################################################
#
# /home/admin/nsupdate
#

PHPBIN="/usr/local/directadmin/data/users/$1/php-bin"

mkdir $PHPBIN

echo '#!/bin/sh' > $PHPBIN/php
echo ' ' >> $PHPBIN/php
# echo '#PHPRC="/usr/local/etc/da/php.ini"' >> $PHPBIN/php
# echo '#export PHPRC' >> $PHPBIN/php
echo 'PHP_FCGI_CHILDREN=4' >> $PHPBIN/php
echo 'export PHP_FCGI_CHILDREN' >> $PHPBIN/php
echo '#PHP_FCGI_MAX_REQUESTS=5000' >> $PHPBIN/php
echo '#export PHP_FCGI_MAX_REQUESTS' >> $PHPBIN/php
echo ' ' >> $PHPBIN/php
echo 'exec /usr/local/bin/php-cgi' >> $PHPBIN/php

chmod 555 $PHPBIN/php
chmod 111 $PHPBIN
chown -R $1:$1 $PHPBIN
это то, из чего написалась собственно статья.
хостинг по наследству такой достался - админ старый пропал...
заметим - очень похоже на твой :)
Убей их всех! Бог потом рассортирует...

paix
лейтенант
Сообщения: 863
Зарегистрирован: 2007-09-24 12:41:05
Откуда: dn.ua
Контактная информация:

Re: Apache2 - статистика по сайтам.

Непрочитанное сообщение paix » 2007-10-25 16:51:43

lissyara писал(а): это то, из чего написалась собственно статья.
хостинг по наследству такой достался - админ старый пропал...
заметим - очень похоже на твой :)
я не старый ;)
а чем собственно не нравится решения класть пхп-врапеер и пхп.ини в недоступные пользователю директории?

PS. как раз таки лично в той статье что я писал, я распихивал все юзерам в бины, а потом думал как это защитить, типа счфлагов и прочей бутафории ;)
With best wishes, Sergej Kandyla

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Apache2 - статистика по сайтам.

Непрочитанное сообщение Alex Keda » 2007-10-26 0:06:24

да всем нравиться.
тока я люблю всё держать в одном месте.
=========
а что не старый я и так догадался - старый знал какой файл в системе менять чтобы поднять лимиты у апача - а я спрашивал на форуме - мне не ответил никто :)
тем не менее - идея-то твоя, тока её до ума попилили :)
Убей их всех! Бог потом рассортирует...

paix
лейтенант
Сообщения: 863
Зарегистрирован: 2007-09-24 12:41:05
Откуда: dn.ua
Контактная информация:

Re: Apache2 - статистика по сайтам.

Непрочитанное сообщение paix » 2007-10-26 11:10:31

На самом деле я недавно на этом форуме. Пару недель. Решил чтото спросить, ну и стал общаться ;)

Вопрос такой, можно ли суэкзеку сделать несколько документ рутов и юсер дир?
А то я сам стал сомневаться в возможности вышепредложенного решения ;)
With best wishes, Sergej Kandyla