NGINX + Apache большая нагрузка

Настройка сетевых служб, маршрутизации, фаерволлов. Проблемы с сетевым оборудованием.
Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Nova
проходил мимо
Сообщения: 7
Зарегистрирован: 2008-02-16 17:18:18

NGINX + Apache большая нагрузка

Непрочитанное сообщение Nova » 2008-06-01 14:36:17

Собственно сабж данная связка сейчас выдает вот это

OS FreeBSD 6.3


504 Gateway Time-out

Количество коннектов

Код: Выделить всё

de125# sockstat -c4 -p80 | wc -l
     1239
de125#
конфиг

httpd.conf

Код: Выделить всё

Timeout 300
KeepAlive On
MaxKeepAliveRequests 100
KeepAliveTimeout 15
MinSpareServers 5
MaxSpareServers 10
StartServers 5
MaxClients 256
MaxRequestsPerChild 10000
Конфиг nginx.conf

Код: Выделить всё

user  www;
worker_processes  1;

pid         /var/run/nginx.pid;

events {
    worker_connections  2000;
}

http {
    include       mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] $request '
                      '"$status" $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log         off;

    client_header_timeout       3m;
    client_body_timeout         3m;
    client_max_body_size        100m;
    client_header_buffer_size   1k;
    large_client_header_buffers 4 4k;
    send_timeout                3m;

    output_buffers      1 32k;
    postpone_output     1460;
    sendfile    on;
    tcp_nopush  on;
    tcp_nodelay on;
    keepalive_timeout   10;
    gzip                off;
    gzip_min_length     1100;

    server {
        listen       xx.xx.xx.xx:80;
        server_name  localhost;

        location /
        {
                client_max_body_size  20M;
                proxy_pass http://127.0.0.1:80;
                proxy_redirect off;

                proxy_set_header Host                 $host;
                proxy_set_header X-Real-IP            $remote_addr;

                proxy_connect_timeout 90;
                proxy_send_timeout    90;
                proxy_read_timeout    120;
#                proxy_send_lowat      8192;

                proxy_buffer_size          4k;
                proxy_buffers              4 32k;

                proxy_busy_buffers_size    64k;
                proxy_temp_file_write_size 64k;
                proxy_temp_path            /var/tmp/nginx;
       }
    }
}
Nginx вываливаетья в 504 Gateway Time-out когда свыше 700 подключений.
Кто что может подсказать что тюнинговать ?

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2460 рублей (8 CPU, 8Gb RAM, 2x500Gb HDD, RAID 3ware 9750):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35035
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: NGINX + Apache большая нагрузка

Непрочитанное сообщение Alex Keda » 2008-06-01 14:50:28

то, к чему нгинкс зпросы проксирует.
Убей их всех! Бог потом рассортирует...

Nova
проходил мимо
Сообщения: 7
Зарегистрирован: 2008-02-16 17:18:18

Re: NGINX + Apache большая нагрузка

Непрочитанное сообщение Nova » 2008-06-01 14:53:32

lissyara писал(а):то, к чему нгинкс зпросы проксирует.
Пример конфига можно в студию )
то что апач тюнить нада я догадался )

Аватара пользователя
serge
майор
Сообщения: 2131
Зарегистрирован: 2006-07-30 15:34:14
Откуда: Саратов
Контактная информация:

Re: NGINX + Apache большая нагрузка

Непрочитанное сообщение serge » 2008-06-01 15:16:51

Nova писал(а):Пример конфига можно в студию )
то что апач тюнить нада я догадался )
Может Ваш сперва посмотрим? :roll:

Nova
проходил мимо
Сообщения: 7
Зарегистрирован: 2008-02-16 17:18:18

Re: NGINX + Apache большая нагрузка

Непрочитанное сообщение Nova » 2008-06-01 15:22:49

serge писал(а):
Nova писал(а):Пример конфига можно в студию )
то что апач тюнить нада я догадался )
Может Ваш сперва посмотрим? :roll:

Код: Выделить всё

Timeout 300
KeepAlive On
MaxKeepAliveRequests 100
KeepAliveTimeout 15
MinSpareServers 5
MaxSpareServers 10
StartServers 5
MaxClients 256
MaxRequestsPerChild 10000
Что еще из конфига выкусить ?
по моему больше там смртреть не начто.

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35035
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: NGINX + Apache большая нагрузка

Непрочитанное сообщение Alex Keda » 2008-06-01 15:24:38

помоему это -

Код: Выделить всё

de125# sockstat -c4 -p80 | wc -l
     1239
de125#
на порядки больше этого:

Код: Выделить всё

Timeout 300
KeepAlive On
MaxKeepAliveRequests 100
KeepAliveTimeout 15
MinSpareServers 5
MaxSpareServers 10
StartServers 5
MaxClients 256
MaxRequestsPerChild 10000
Убей их всех! Бог потом рассортирует...

Nova
проходил мимо
Сообщения: 7
Зарегистрирован: 2008-02-16 17:18:18

Re: NGINX + Apache большая нагрузка

Непрочитанное сообщение Nova » 2008-06-01 15:26:57

ну 700 конектов держит на таком конфиге.
Ну а как видите у меня сейчас их больше.

Аватара пользователя
serge
майор
Сообщения: 2131
Зарегистрирован: 2006-07-30 15:34:14
Откуда: Саратов
Контактная информация:

Re: NGINX + Apache большая нагрузка

Непрочитанное сообщение serge » 2008-06-01 15:33:42

Nova писал(а):de125# sockstat -c4 -p80 | wc -l     1239de125#
А разве это не коннекты на nginx ? :roll: Или апач на 80 порту висит?

======
Посмотрел повнимательнее. Апач на 127.0.0.1:80, nginx на 80 порту на внешнем интерфейсе. Не нужно ли эту цифру (1239) между ними делить поровну?

Аватара пользователя
serge
майор
Сообщения: 2131
Зарегистрирован: 2006-07-30 15:34:14
Откуда: Саратов
Контактная информация:

Re: NGINX + Apache большая нагрузка

Непрочитанное сообщение serge » 2008-06-01 15:43:08

Я б еще посмотрел насколько шустро апач возвращает контент при такой нагрузке. Что-то кажется что nginx просто его не дожидается от него. А тут уже нужно смотреть на способ генерации контента. Там что php, perl, python или еще ченить? Как вызывается например php - модуль, cgi, fcgi?

Nova
проходил мимо
Сообщения: 7
Зарегистрирован: 2008-02-16 17:18:18

Re: NGINX + Apache большая нагрузка

Непрочитанное сообщение Nova » 2008-06-01 15:48:19

php как модуль.
контент статический.

Аватара пользователя
serge
майор
Сообщения: 2131
Зарегистрирован: 2006-07-30 15:34:14
Откуда: Саратов
Контактная информация:

Re: NGINX + Apache большая нагрузка

Непрочитанное сообщение serge » 2008-06-01 15:55:44

Nova писал(а):php как модуль.
контент статический.
Нет ли тут противоречий? Зачем для отдачи статического контента нужен php, а при наличие nginx вообще и сам Apache?

Аватара пользователя
serge
майор
Сообщения: 2131
Зарегистрирован: 2006-07-30 15:34:14
Откуда: Саратов
Контактная информация:

Re: NGINX + Apache большая нагрузка

Непрочитанное сообщение serge » 2008-06-01 15:57:15

С количеством коннектов разобрались? Это точно коннекты к Apache? Покажите загрузку процессора процессами Apache.

Nova
проходил мимо
Сообщения: 7
Зарегистрирован: 2008-02-16 17:18:18

Re: NGINX + Apache большая нагрузка

Непрочитанное сообщение Nova » 2008-06-01 15:58:12

Товарищи мыж не про мой контент говорим , а говорим а том как увеличить количество слотов для отдачи апачу.

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35035
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: NGINX + Apache большая нагрузка

Непрочитанное сообщение Alex Keda » 2008-06-01 16:01:01

гатевай таймаут - это когда нгингс не дождался ответа от апача.
значит пилить надо апач.
Убей их всех! Бог потом рассортирует...

Nova
проходил мимо
Сообщения: 7
Зарегистрирован: 2008-02-16 17:18:18

Re: NGINX + Apache большая нагрузка

Непрочитанное сообщение Nova » 2008-06-01 16:01:20

Код: Выделить всё

last pid:  2193;  load averages: 73.54, 74.38, 81.61  up 0+02:15:17    15:59:39
543 processes: 3 running, 540 sleeping

Mem: 410M Active, 19M Inact, 85M Wired, 40K Cache, 29M Buf, 470M Free
Swap: 2005M Total, 2005M Free


  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
  831 mysql     264  20    0   348M   271M kserel 0 132:13  7.62% mysqld
  601 bind        1  96    0  4476K  3600K select 0   0:09  0.00% named
  669 www         1   4    0  7620K  7072K kqread 0   0:09  0.00% nginx
  661 root        1  96    0 18204K 12744K select 0   0:03  0.00% httpsd
  925 root        1  96    0  6348K  3368K select 0   0:00  0.00% sshd
 1847 www         1   4    0 18396K 13300K sbwait 0   0:00  0.00% httpsd
 1936 www         1   4    0 18396K 13300K sbwait 0   0:00  0.00% httpsd
 1711 www         1   4    0 18388K 13272K sbwait 0   0:00  0.00% httpsd
 1734 www         1   4    0 18388K 13276K sbwait 0   0:00  0.00% httpsd
 1699 www         1   4    0 18328K 13160K sbwait 0   0:00  0.00% httpsd
 1808 www         1   4    0 18388K 13264K sbwait 0   0:00  0.00% httpsd
 1698 www         1   4    0 18352K 13184K sbwait 0   0:00  0.00% httpsd
 1709 www         1   4    0 18392K 13244K sbwait 0   0:00  0.00% httpsd
 1828 www         1   4    0 18392K 13312K sbwait 0   0:00  0.00% httpsd
 1701 www         1   4    0 18332K 13168K sbwait 0   0:00  0.00% httpsd
 1809 www         1   4    0 18388K 13300K sbwait 0   0:00  0.00% httpsd
 1700 www         1   4    0 18328K 13160K sbwait 0   0:00  0.00% httpsd
 1703 www         1   4    0 18388K 13240K sbwait 0   0:00  0.00% httpsd
Последний раз редактировалось Alex Keda 2008-06-01 16:02:20, всего редактировалось 1 раз.
Причина: [code][/code] - для кого?

Аватара пользователя
serge
майор
Сообщения: 2131
Зарегистрирован: 2006-07-30 15:34:14
Откуда: Саратов
Контактная информация:

Re: NGINX + Apache большая нагрузка

Непрочитанное сообщение serge » 2008-06-01 16:03:21

Код: Выделить всё

MinSpareServers 5
MaxSpareServers 10
StartServers 5
MaxClients 256
Увеличь эти значения тупо в 5-10 раз и будет решение для
Nova писал(а):увеличить количество слотов для отдачи апачу
Но проблему в целом это может не решить.

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35035
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: NGINX + Apache большая нагрузка

Непрочитанное сообщение Alex Keda » 2008-06-01 16:03:51

топ странный...
==========
вы знаете, при таком LA - это нормальное поведение.
я бы рекомендовал увеличить мощщности машины. Голов добавить и т.п.
Убей их всех! Бог потом рассортирует...

Аватара пользователя
serge
майор
Сообщения: 2131
Зарегистрирован: 2006-07-30 15:34:14
Откуда: Саратов
Контактная информация:

Re: NGINX + Apache большая нагрузка

Непрочитанное сообщение serge » 2008-06-01 16:07:32

Сорри конечно, но я вообще не понимаю смысла проксирования на Apache при статическом контенте. Удалите Apache совсем из этой цепочки.

Аватара пользователя
serge
майор
Сообщения: 2131
Зарегистрирован: 2006-07-30 15:34:14
Откуда: Саратов
Контактная информация:

Re: NGINX + Apache большая нагрузка

Непрочитанное сообщение serge » 2008-06-01 17:20:45

Решился вопрос чтоли или нет?

Аватара пользователя
Morty
ст. лейтенант
Сообщения: 1370
Зарегистрирован: 2007-07-17 23:25:12

Re: NGINX + Apache большая нагрузка

Непрочитанное сообщение Morty » 2008-06-02 22:30:31

ого

Код: Выделить всё

load averages: 73.54, 74.38, 81.61
даже не обратил внимания пока Лис не написал
у меня была полная Ж при 25-30, по ssh очень трудно было зайти,
а таких значений как тут никогда не видел

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35035
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: NGINX + Apache большая нагрузка

Непрочитанное сообщение Alex Keda » 2008-06-02 22:51:42

ну, LA сложный показатель
я 600 видел - машина великолепно работала....
просто была большая дисковая очередь....
Убей их всех! Бог потом рассортирует...