стала забиваться очередь к php-fpm

Проблемы с установкой, настройкой и работой системных и сетевых программ.

Модераторы: GRooVE, alexco

Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
tull
ефрейтор
Сообщения: 51
Зарегистрирован: 2008-02-23 19:02:38

стала забиваться очередь к php-fpm

Непрочитанное сообщение tull » 2011-09-19 21:50:27

FreeBSD 8.1, php 5.3.8, nginx 1.0.6

Звонят, говорят сайт не работает.
Смотрю netstat -Lan, вижу, что к сокету php-fpm очередь (раньше такого никогда не наблюдал, всегда было 0/0/4096), и она еще и растет. Передернул php-fpm.Через некоторое время - опять тоже самое.
На машине вообще ничего не делалось уже очень давно. Места для логов и т.п. везде достаточно.
Обновил php и nginx (было 5.3.6, 1.0.3). Все равно такая же фигня, и происходит это каждые 7-15 мин. Смотрел логи nginx за этот момент - ничего подозрительного.

Средняя нагрузка на машину небольшая (для ее конфигурации), обычно load average меньше 0.5. Памяти - навалом.
Когда происходит эта загрузка очереди, нагрузка на машине становится нулевой, т.к. сайт перестает отвечать.

Была мысль, что ддосят (у нас бывает периодически). Но у меня крутится скрипт, который смотрит в логах nginx, нет ли большого кол-ва обращений с одного ip. Проверил - все тихо.

Посоветуйте в каком направлении копать.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
Electronik
капитан
Сообщения: 1593
Зарегистрирован: 2008-11-15 17:32:56
Откуда: Минск
Контактная информация:

Re: стала забиваться очередь к php-fpm

Непрочитанное сообщение Electronik » 2011-09-19 23:12:00

а сейчас какая очередь?
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог

tull
ефрейтор
Сообщения: 51
Зарегистрирован: 2008-02-23 19:02:38

Re: стала забиваться очередь к php-fpm

Непрочитанное сообщение tull » 2011-09-19 23:57:38

Electronik писал(а):а сейчас какая очередь?
Как только хоть какая-то очередь образуется, она дальше только растет, и сайт уже не отвечает.
Пока в качестве временного решения я запустил скрипт, который каждые несколько секунд проверяет очередь для этого сокета, и в случае чего сразу перезапускает php-fpm.

tull
ефрейтор
Сообщения: 51
Зарегистрирован: 2008-02-23 19:02:38

Re: стала забиваться очередь к php-fpm

Непрочитанное сообщение tull » 2011-11-03 1:27:39

опять эта фигня стала периодически проявляться.
смотрел лог nginx за время, предшествующее появлению очереди - вообще ничего подозрительного, самые обычные запросы.
при этом за много лет использования nginx+php-fpm на этом сайте у меня и близко не было ничего и близко похожего.

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: стала забиваться очередь к php-fpm

Непрочитанное сообщение LMik » 2011-11-03 8:50:13

tull писал(а):опять эта фигня стала периодически проявляться.
смотрел лог nginx за время, предшествующее появлению очереди - вообще ничего подозрительного, самые обычные запросы.
при этом за много лет использования nginx+php-fpm на этом сайте у меня и близко не было ничего и близко похожего.
Когда нет очереди посмотрите как долго открываются страницы. Попробуйте увеличить количество процессов пхп.
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

tull
ефрейтор
Сообщения: 51
Зарегистрирован: 2008-02-23 19:02:38

Re: стала забиваться очередь к php-fpm

Непрочитанное сообщение tull » 2011-11-03 14:17:37

LMik писал(а):Когда нет очереди посмотрите как долго открываются страницы. Попробуйте увеличить количество процессов пхп.
мгновенно открываются даже в пиковое время.
у меня показывается время выполнения - сам php-скрипт отрабатывает за 0.007 сек (а для анонимов, которым все отдается из кэша, еще быстрее), а mysql максимум за 0.2 сек (опять-таки, это в самом худшем случае, когда все mysql-запросы делаются, а не берутся из кэша).

процессов хватает (кстати, как посмотреть, сколько реально используется в пике?). посещаемость не росла, и их хватало при куда бОльшей нагрузке.
у меня были случаи, когда загрузка резко вырастала на порядок (давали ссылку на фишках и прочих сверхпопулярных ресурсах, что приводило к наплыву десятков тысяч посетителей). все просто прекрасно работало (на более слабой машине!), никаких тормозов не было, т.к. большинству посетителей (анонимам, коих over 99%) все отдается из кэша. поверьте там все происходит ооооочень быстро - берутся готовые куски из memcached, а к mysql даже коннекта не происходит.

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: стала забиваться очередь к php-fpm

Непрочитанное сообщение LMik » 2011-11-03 16:05:15

tull писал(а):
LMik писал(а):Когда нет очереди посмотрите как долго открываются страницы. Попробуйте увеличить количество процессов пхп.
мгновенно открываются даже в пиковое время.
у меня показывается время выполнения - сам php-скрипт отрабатывает за 0.007 сек (а для анонимов, которым все отдается из кэша, еще быстрее), а mysql максимум за 0.2 сек (опять-таки, это в самом худшем случае, когда все mysql-запросы делаются, а не берутся из кэша).

процессов хватает (кстати, как посмотреть, сколько реально используется в пике?). посещаемость не росла, и их хватало при куда бОльшей нагрузке.
у меня были случаи, когда загрузка резко вырастала на порядок (давали ссылку на фишках и прочих сверхпопулярных ресурсах, что приводило к наплыву десятков тысяч посетителей). все просто прекрасно работало (на более слабой машине!), никаких тормозов не было, т.к. большинству посетителей (анонимам, коих over 99%) все отдается из кэша. поверьте там все происходит ооооочень быстро - берутся готовые куски из memcached, а к mysql даже коннекта не происходит.
А догонитесь ка до 8 стейбл.
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

tull
ефрейтор
Сообщения: 51
Зарегистрирован: 2008-02-23 19:02:38

Re: стала забиваться очередь к php-fpm

Непрочитанное сообщение tull » 2011-11-04 18:31:56

LMik писал(а):А догонитесь ка до 8 стейбл.
Блин, стремно. Сервер за границей, физически недоступен. А я криворукий. Вдруг напортачу, и он не запустится...

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: стала забиваться очередь к php-fpm

Непрочитанное сообщение LMik » 2011-11-04 19:35:36

tull писал(а):
LMik писал(а):А догонитесь ка до 8 стейбл.
Блин, стремно. Сервер за границей, физически недоступен. А я криворукий. Вдруг напортачу, и он не запустится...
Там нечего портачить, а за границей навеняка есть KVM
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!