стала забиваться очередь к php-fpm
Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
-
- ефрейтор
- Сообщения: 51
- Зарегистрирован: 2008-02-23 19:02:38
стала забиваться очередь к php-fpm
FreeBSD 8.1, php 5.3.8, nginx 1.0.6
Звонят, говорят сайт не работает.
Смотрю netstat -Lan, вижу, что к сокету php-fpm очередь (раньше такого никогда не наблюдал, всегда было 0/0/4096), и она еще и растет. Передернул php-fpm.Через некоторое время - опять тоже самое.
На машине вообще ничего не делалось уже очень давно. Места для логов и т.п. везде достаточно.
Обновил php и nginx (было 5.3.6, 1.0.3). Все равно такая же фигня, и происходит это каждые 7-15 мин. Смотрел логи nginx за этот момент - ничего подозрительного.
Средняя нагрузка на машину небольшая (для ее конфигурации), обычно load average меньше 0.5. Памяти - навалом.
Когда происходит эта загрузка очереди, нагрузка на машине становится нулевой, т.к. сайт перестает отвечать.
Была мысль, что ддосят (у нас бывает периодически). Но у меня крутится скрипт, который смотрит в логах nginx, нет ли большого кол-ва обращений с одного ip. Проверил - все тихо.
Посоветуйте в каком направлении копать.
Звонят, говорят сайт не работает.
Смотрю netstat -Lan, вижу, что к сокету php-fpm очередь (раньше такого никогда не наблюдал, всегда было 0/0/4096), и она еще и растет. Передернул php-fpm.Через некоторое время - опять тоже самое.
На машине вообще ничего не делалось уже очень давно. Места для логов и т.п. везде достаточно.
Обновил php и nginx (было 5.3.6, 1.0.3). Все равно такая же фигня, и происходит это каждые 7-15 мин. Смотрел логи nginx за этот момент - ничего подозрительного.
Средняя нагрузка на машину небольшая (для ее конфигурации), обычно load average меньше 0.5. Памяти - навалом.
Когда происходит эта загрузка очереди, нагрузка на машине становится нулевой, т.к. сайт перестает отвечать.
Была мысль, что ддосят (у нас бывает периодически). Но у меня крутится скрипт, который смотрит в логах nginx, нет ли большого кол-ва обращений с одного ip. Проверил - все тихо.
Посоветуйте в каком направлении копать.
Услуги хостинговой компании Host-Food.ru
Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/
- Electronik
- капитан
- Сообщения: 1593
- Зарегистрирован: 2008-11-15 17:32:56
- Откуда: Минск
- Контактная информация:
Re: стала забиваться очередь к php-fpm
а сейчас какая очередь?
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог
Блог
-
- ефрейтор
- Сообщения: 51
- Зарегистрирован: 2008-02-23 19:02:38
Re: стала забиваться очередь к php-fpm
Как только хоть какая-то очередь образуется, она дальше только растет, и сайт уже не отвечает.Electronik писал(а):а сейчас какая очередь?
Пока в качестве временного решения я запустил скрипт, который каждые несколько секунд проверяет очередь для этого сокета, и в случае чего сразу перезапускает php-fpm.
-
- ефрейтор
- Сообщения: 51
- Зарегистрирован: 2008-02-23 19:02:38
Re: стала забиваться очередь к php-fpm
опять эта фигня стала периодически проявляться.
смотрел лог nginx за время, предшествующее появлению очереди - вообще ничего подозрительного, самые обычные запросы.
при этом за много лет использования nginx+php-fpm на этом сайте у меня и близко не было ничего и близко похожего.
смотрел лог nginx за время, предшествующее появлению очереди - вообще ничего подозрительного, самые обычные запросы.
при этом за много лет использования nginx+php-fpm на этом сайте у меня и близко не было ничего и близко похожего.
- LMik
- капитан
- Сообщения: 1852
- Зарегистрирован: 2007-07-17 9:14:39
- Откуда: МО
- Контактная информация:
Re: стала забиваться очередь к php-fpm
Когда нет очереди посмотрите как долго открываются страницы. Попробуйте увеличить количество процессов пхп.tull писал(а):опять эта фигня стала периодически проявляться.
смотрел лог nginx за время, предшествующее появлению очереди - вообще ничего подозрительного, самые обычные запросы.
при этом за много лет использования nginx+php-fpm на этом сайте у меня и близко не было ничего и близко похожего.
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!
Виpус детям не игpушка, не товаpищ и не дpуг!
-
- ефрейтор
- Сообщения: 51
- Зарегистрирован: 2008-02-23 19:02:38
Re: стала забиваться очередь к php-fpm
мгновенно открываются даже в пиковое время.LMik писал(а):Когда нет очереди посмотрите как долго открываются страницы. Попробуйте увеличить количество процессов пхп.
у меня показывается время выполнения - сам php-скрипт отрабатывает за 0.007 сек (а для анонимов, которым все отдается из кэша, еще быстрее), а mysql максимум за 0.2 сек (опять-таки, это в самом худшем случае, когда все mysql-запросы делаются, а не берутся из кэша).
процессов хватает (кстати, как посмотреть, сколько реально используется в пике?). посещаемость не росла, и их хватало при куда бОльшей нагрузке.
у меня были случаи, когда загрузка резко вырастала на порядок (давали ссылку на фишках и прочих сверхпопулярных ресурсах, что приводило к наплыву десятков тысяч посетителей). все просто прекрасно работало (на более слабой машине!), никаких тормозов не было, т.к. большинству посетителей (анонимам, коих over 99%) все отдается из кэша. поверьте там все происходит ооооочень быстро - берутся готовые куски из memcached, а к mysql даже коннекта не происходит.
- LMik
- капитан
- Сообщения: 1852
- Зарегистрирован: 2007-07-17 9:14:39
- Откуда: МО
- Контактная информация:
Re: стала забиваться очередь к php-fpm
А догонитесь ка до 8 стейбл.tull писал(а):мгновенно открываются даже в пиковое время.LMik писал(а):Когда нет очереди посмотрите как долго открываются страницы. Попробуйте увеличить количество процессов пхп.
у меня показывается время выполнения - сам php-скрипт отрабатывает за 0.007 сек (а для анонимов, которым все отдается из кэша, еще быстрее), а mysql максимум за 0.2 сек (опять-таки, это в самом худшем случае, когда все mysql-запросы делаются, а не берутся из кэша).
процессов хватает (кстати, как посмотреть, сколько реально используется в пике?). посещаемость не росла, и их хватало при куда бОльшей нагрузке.
у меня были случаи, когда загрузка резко вырастала на порядок (давали ссылку на фишках и прочих сверхпопулярных ресурсах, что приводило к наплыву десятков тысяч посетителей). все просто прекрасно работало (на более слабой машине!), никаких тормозов не было, т.к. большинству посетителей (анонимам, коих over 99%) все отдается из кэша. поверьте там все происходит ооооочень быстро - берутся готовые куски из memcached, а к mysql даже коннекта не происходит.
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!
Виpус детям не игpушка, не товаpищ и не дpуг!
-
- ефрейтор
- Сообщения: 51
- Зарегистрирован: 2008-02-23 19:02:38
Re: стала забиваться очередь к php-fpm
Блин, стремно. Сервер за границей, физически недоступен. А я криворукий. Вдруг напортачу, и он не запустится...LMik писал(а):А догонитесь ка до 8 стейбл.
- LMik
- капитан
- Сообщения: 1852
- Зарегистрирован: 2007-07-17 9:14:39
- Откуда: МО
- Контактная информация:
Re: стала забиваться очередь к php-fpm
Там нечего портачить, а за границей навеняка есть KVMtull писал(а):Блин, стремно. Сервер за границей, физически недоступен. А я криворукий. Вдруг напортачу, и он не запустится...LMik писал(а):А догонитесь ка до 8 стейбл.
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!
Виpус детям не игpушка, не товаpищ и не дpуг!