упал Apache ни с того ни с сего....

[savio]

сегодня ни с того не с сего упал апач............
в логе

Код: Выделить всё

...
[Thu Feb 12 15:13:47 2009] [error] Cannot remove module mod_perl.c: not found in module list
[Thu Feb 12 15:13:50 2009] [error] Cannot remove module mod_perl.c: not found in module list
[Thu Feb 12 15:13:51 2009] [notice] Apache/1.3.37 (Unix) PHP/5.2.6 mod_ssl/2.8.28 OpenSSL/0.9.7e-p1 FrontPage/5.0.2.2510 configured -- resuming normal operations
[Thu Feb 12 15:13:51 2009] [notice] suEXEC mechanism enabled (wrapper: /usr/sbin/suexec)
[Thu Feb 12 15:13:51 2009] [notice] Accept mutex: flock (Default: flock)
[Thu Feb 12 15:17:39 2009] [error] server reached MaxClients setting, consider raising the MaxClients setting

апач наплодил много httpd-дочерних процессов.
в чем может быть дело? как вычыслить проблему?
перезагрузка не помогла. пару минут и все начинается снова.......

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[savio]

апач на сервера на котором хостинг.
вот щас такая картина

Код: Выделить всё

[Thu Feb 12 15:27:41 2009] [notice] caught SIGTERM, shutting down
[Thu Feb 12 15:27:41 2009] [error] Cannot remove module mod_perl.c: not found in module list
[Thu Feb 12 15:27:44 2009] [error] Cannot remove module mod_perl.c: not found in module list
[Thu Feb 12 15:27:45 2009] [notice] Apache/1.3.37 (Unix) PHP/5.2.6 mod_ssl/2.8.28 OpenSSL/0.9.7e-p1 FrontPage/5.0.2.2510 configured -- resuming normal operations
[Thu Feb 12 15:27:45 2009] [notice] suEXEC mechanism enabled (wrapper: /usr/sbin/suexec)
[Thu Feb 12 15:27:45 2009] [notice] Accept mutex: flock (Default: flock)
/which: not found
/which: not found
/which: not found
/which: not found
/which: not found
/which: not found
/which: not found
/which: not found
/which: not found
/which: not found
/which: not found
/which: not found
/which: not found
/which: not found
/which: not found
/which: not found
/which: not found

[hizel]

систему, порты какие обновляли?

[savio]

дело в том что никто ничего не обновлял

Код: Выделить всё

[root@/var/log/httpd]# uname -a
FreeBSD  6.2-STABLE FreeBSD 6.2-STABLE #8: Wed Sep  3 13:45:02 EEST 2008     root@xxx.com.ua:/usr/obj/usr/src/sys/kernel  i386
[root@ /var/log/httpd]#

Код: Выделить всё

ps ax|grep httpd
34141  ??  S      0:00.52 /usr/sbin/httpd -DHAVE_MMAP_STATIC -DHAVE_VHOST_ALIAS -DHAVE_ENV -DHAVE_DEFINE -DHAVE_LOG_CONFIG -DHAVE_LOG_AGENT -DHAVE_LOG_REFERER -DHAVE_MIME_MAGIC
34142  ??  S      0:00.60 /usr/sbin/httpd -DHAVE_MMAP_STATIC -DHAVE_VHOST_ALIAS -DHAVE_ENV -DHAVE_DEFINE -DHAVE_LOG_CONFIG -DHAVE_LOG_AGENT -DHAVE_LOG_REFERER -DHAVE_MIME_MAGIC
34143  ??  S      0:00.20 /usr/sbin/httpd -DHAVE_MMAP_STATIC -DHAVE_VHOST_ALIAS -DHAVE_ENV -DHAVE_DEFINE -DHAVE_LOG_CONFIG -DHAVE_LOG_AGENT -DHAVE_LOG_REFERER -DHAVE_MIME_MAGIC
34144  ??  S      0:00.21 /usr/sbin/httpd -DHAVE_MMAP_STATIC -DHAVE_VHOST_ALIAS -DHAVE_ENV -DHAVE_DEFINE -DHAVE_LOG_CONFIG -DHAVE_LOG_AGENT -DHAVE_LOG_REFERER -DHAVE_MIME_MAGIC
34146  ??  S      0:00.15 /usr/sbin/httpd -DHAVE_MMAP_STATIC -DHAVE_VHOST_ALIAS -DHAVE_ENV -DHAVE_DEFINE -DHAVE_LOG_CONFIG -DHAVE_LOG_AGENT -DHAVE_LOG_REFERER -DHAVE_MIME_MAGIC
34149  ??  S      0:00.11 /usr/sbin/httpd -DHAVE_MMAP_STATIC -DHAVE_VHOST_ALIAS -DHAVE_ENV -DHAVE_DEFINE -DHAVE_LOG_CONFIG -DHAVE_LOG_AGENT -DHAVE_LOG_REFERER -DHAVE_MIME_MAGIC
...

и так далеее.....

[savio]

это может быть какая-то атака?
в конфиге указано

Код: Выделить всё

MaxClients 450

плодится 450 процесов httpd и апач умирает.... ни на один сайт не зайти....
какие есть вариенты возникновения проблемы?

[zingel]

Код: Выделить всё

httpd -M

Код: Выделить всё

httpd -LS

и смотреть логи апача на предмет кривых запросов к *.cgi

[savio]

все оказалось намного проще.
есть такой модуль в апаче как mod_status
в конфиге апача

Код: Выделить всё

ExtendedStatus On
<Location /httpd-status>
SetHandler server-status
</Location>

потом по http://мойдомен/httpd-status
увидел какой домен на хостинге плодит дочернии процесы.
вот и все

[kirgudu]

Лимитом пожать всех к чеГтовой бабушке. В добавок поставь monit, чтобы смотрел за апачем и стартавал в случае чего.

[savio]

а не подскажите как залимитировать? а то читаю доку по апаче там где Limit и шото туго идет..........

[zingel]

Код: Выделить всё

MaxKeepAliveRequests 100
KeepAliveTimeout 5
ServerLimit 50
StartServers 15
MinSpareServers 15
MaxSpareServers 20
MaxClients 50
MaxRequestsPerChild 500 

Код: Выделить всё

cd /usr/ports/www/mod_limitipconn2 && make install clean

Код: Выделить всё

<Directory / >
MaxConnPerIP 4

</Directory>

[savio]

в принципе это решает тока одну проблему, когда с "мира" досят сервер...
У меня же ситуация была немного другая. На хостинге, на одном из доменов index.php искал некий файл(это я потом в логах посмотрел)при этом плодил максимальное число дочерних процесов httpd.
получается что конект был с локалхоста... если залимитирую свою же реальную айпишку хостинга то при атаке с этого домена, наверное будут проблемы у других хостяшихся клиентов..............

[zingel]

на одном из доменов index.php искал некий файл

и как же он это делал?

[zg]

на одном из доменов index.php искал некий файл

и как же он это делал?

тоже интересно -))) если чё код выложи, не думаю, что автор будет подавать в суд -)))

[savio]

значит я никак не мог понять почему плодятся дочернии и не мог вычислить какой домен это все делает, поке не открыл для себя mod_status.

когда попробовал зайти на проблемный домен, то скрипты сайта искали некий графический файлик на диске который отсутсвувал...(в логах было permision denied )
скрипты зазендены да и не в этом дело специально ли или ошибка с криптах клиента.
как то нада защищатся от такого.........

[zingel]

если это чужой файлик, на твойм хостинге, сделай ему

Код: Выделить всё

chmod 0

и предупреди клиента, что так нельзя делать

[savio]

зделать chmod кому, етому чужома файлику...? а если завтра кто-то другой запросит еще какой-то другой файлик... наверное это не выход....
ну я конечно сделал suspend всему аккаунту из всеми его доменами в DirectAdmin думаю он задумается после этого, немного жостко но что есть то есть....

моя мысль по поводу этой ситуации раздвоилась
1) нужно както лимитировать количество httpd-процесов на каждый домен. а такое возможно кстати?

Код: Выделить всё

<Directory / >
MaxConnPerIP 4
</Directory>

не пойдет, на айпишке висит много разных доменов....
2) нету ничего универсального, но то они и есть админы и так далее что бы смотреть и устранять проблемы....

что скажете по поводу 1) ? есть в апаче решение?

[zingel]

а такое возможно кстати?

апачь пилить и логинконф ещё прикручивать и джайл

/me - родосто пустил слюну и заверещал, почувствовав беседу про пиленный апач и вирт.хостинг

[savio]

понятно.... тогда вариант номер 2

[kirgudu]

Еще выход, засунуть апач после nginx'а. Снимает загрузку ой-ой как.

[zingel]

нихера не снимет а создаст ему геморой с нджинксом ещё, если много коннектов, то не снимет

[kirgudu]

нихера не снимет а создаст ему геморой с нджинксом ещё, если много коннектов, то не снимет

Еще как снимает. Проверено веками и многочисленными флудами. Гимороя совершенно нет.

[zingel]

не спорь с дядей с большого хостинга, для того чтобы он снимал как следует ему нужно будет перелопатить половину конфигов фряхи и перетрясти всё ядро и весь сисктл с лоадерконфом, это геморой для него непомерный

[kirgudu]

не спорь с дядей с большого хостинга, для того чтобы он снимал как следует ему нужно будет перелопатить половину конфигов фряхи и перетрясти всё ядро и весь сисктл с лоадерконфом, это геморой для него непомерный

При флуде nginx и fwsm только и спасает.

[zingel]

ну спасает то он спасает, но при этом пхп-то форкается и генерит локальные треды, а нджинкс от этого не сильно спасает, ему первый вариант нужен, особо когда нджинкс - другая тачка совсем например, ему нужно убивать ненужные пхпшные процессы которые по ps -uxwr в handling-статусе тебе ли не знать

[zg]

Ну у меня тоже опыт не мелкий c ~ 1'000'000 клиентов.

если учесть, что делегированных доменов в зоне ru всего миллион двести, данная цифра выглядит как-то странно -))) http://resident.su/ru/

даже у ру-центра пока нет миллиона договоров NIC-D, а у тебя есть -))) верится слабо