NGINX + Apache большая нагрузка

[Nova]

Собственно сабж данная связка сейчас выдает вот это

OS FreeBSD 6.3


504 Gateway Time-out

Количество коннектов

Код: Выделить всё

de125# sockstat -c4 -p80 | wc -l
     1239
de125#

конфиг

httpd.conf

Код: Выделить всё

Timeout 300
KeepAlive On
MaxKeepAliveRequests 100
KeepAliveTimeout 15
MinSpareServers 5
MaxSpareServers 10
StartServers 5
MaxClients 256
MaxRequestsPerChild 10000

Конфиг nginx.conf

Код: Выделить всё

user  www;
worker_processes  1;

pid         /var/run/nginx.pid;

events {
    worker_connections  2000;
}

http {
    include       mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] $request '
                      '"$status" $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log         off;

    client_header_timeout       3m;
    client_body_timeout         3m;
    client_max_body_size        100m;
    client_header_buffer_size   1k;
    large_client_header_buffers 4 4k;
    send_timeout                3m;

    output_buffers      1 32k;
    postpone_output     1460;
    sendfile    on;
    tcp_nopush  on;
    tcp_nodelay on;
    keepalive_timeout   10;
    gzip                off;
    gzip_min_length     1100;

    server {
        listen       xx.xx.xx.xx:80;
        server_name  localhost;

        location /
        {
                client_max_body_size  20M;
                proxy_pass http://127.0.0.1:80;
                proxy_redirect off;

                proxy_set_header Host                 $host;
                proxy_set_header X-Real-IP            $remote_addr;

                proxy_connect_timeout 90;
                proxy_send_timeout    90;
                proxy_read_timeout    120;
#                proxy_send_lowat      8192;

                proxy_buffer_size          4k;
                proxy_buffers              4 32k;

                proxy_busy_buffers_size    64k;
                proxy_temp_file_write_size 64k;
                proxy_temp_path            /var/tmp/nginx;
       }
    }
}

Nginx вываливаетья в 504 Gateway Time-out когда свыше 700 подключений.
Кто что может подсказать что тюнинговать ?

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Alex Keda]

то, к чему нгинкс зпросы проксирует.

[Nova]

то, к чему нгинкс зпросы проксирует.

Пример конфига можно в студию )
то что апач тюнить нада я догадался )

[serge]

Пример конфига можно в студию )
то что апач тюнить нада я догадался )

Может Ваш сперва посмотрим?

[Nova]

Пример конфига можно в студию )
то что апач тюнить нада я догадался )

Может Ваш сперва посмотрим?

Код: Выделить всё

Timeout 300
KeepAlive On
MaxKeepAliveRequests 100
KeepAliveTimeout 15
MinSpareServers 5
MaxSpareServers 10
StartServers 5
MaxClients 256
MaxRequestsPerChild 10000

Что еще из конфига выкусить ?
по моему больше там смртреть не начто.

[Alex Keda]

помоему это -

Код: Выделить всё

de125# sockstat -c4 -p80 | wc -l
     1239
de125#

на порядки больше этого:

Код: Выделить всё

Timeout 300
KeepAlive On
MaxKeepAliveRequests 100
KeepAliveTimeout 15
MinSpareServers 5
MaxSpareServers 10
StartServers 5
MaxClients 256
MaxRequestsPerChild 10000

[Nova]

ну 700 конектов держит на таком конфиге.
Ну а как видите у меня сейчас их больше.

[serge]

de125# sockstat -c4 -p80 | wc -l     1239de125#

А разве это не коннекты на nginx ? Или апач на 80 порту висит?

======
Посмотрел повнимательнее. Апач на 127.0.0.1:80, nginx на 80 порту на внешнем интерфейсе. Не нужно ли эту цифру (1239) между ними делить поровну?

[serge]

Я б еще посмотрел насколько шустро апач возвращает контент при такой нагрузке. Что-то кажется что nginx просто его не дожидается от него. А тут уже нужно смотреть на способ генерации контента. Там что php, perl, python или еще ченить? Как вызывается например php - модуль, cgi, fcgi?

[Nova]

php как модуль.
контент статический.

[serge]

php как модуль.
контент статический.

Нет ли тут противоречий? Зачем для отдачи статического контента нужен php, а при наличие nginx вообще и сам Apache?

[serge]

С количеством коннектов разобрались? Это точно коннекты к Apache? Покажите загрузку процессора процессами Apache.

[Nova]

Товарищи мыж не про мой контент говорим , а говорим а том как увеличить количество слотов для отдачи апачу.

[Alex Keda]

гатевай таймаут - это когда нгингс не дождался ответа от апача.
значит пилить надо апач.

[Nova]

Код: Выделить всё

last pid:  2193;  load averages: 73.54, 74.38, 81.61  up 0+02:15:17    15:59:39
543 processes: 3 running, 540 sleeping

Mem: 410M Active, 19M Inact, 85M Wired, 40K Cache, 29M Buf, 470M Free
Swap: 2005M Total, 2005M Free


  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
  831 mysql     264  20    0   348M   271M kserel 0 132:13  7.62% mysqld
  601 bind        1  96    0  4476K  3600K select 0   0:09  0.00% named
  669 www         1   4    0  7620K  7072K kqread 0   0:09  0.00% nginx
  661 root        1  96    0 18204K 12744K select 0   0:03  0.00% httpsd
  925 root        1  96    0  6348K  3368K select 0   0:00  0.00% sshd
 1847 www         1   4    0 18396K 13300K sbwait 0   0:00  0.00% httpsd
 1936 www         1   4    0 18396K 13300K sbwait 0   0:00  0.00% httpsd
 1711 www         1   4    0 18388K 13272K sbwait 0   0:00  0.00% httpsd
 1734 www         1   4    0 18388K 13276K sbwait 0   0:00  0.00% httpsd
 1699 www         1   4    0 18328K 13160K sbwait 0   0:00  0.00% httpsd
 1808 www         1   4    0 18388K 13264K sbwait 0   0:00  0.00% httpsd
 1698 www         1   4    0 18352K 13184K sbwait 0   0:00  0.00% httpsd
 1709 www         1   4    0 18392K 13244K sbwait 0   0:00  0.00% httpsd
 1828 www         1   4    0 18392K 13312K sbwait 0   0:00  0.00% httpsd
 1701 www         1   4    0 18332K 13168K sbwait 0   0:00  0.00% httpsd
 1809 www         1   4    0 18388K 13300K sbwait 0   0:00  0.00% httpsd
 1700 www         1   4    0 18328K 13160K sbwait 0   0:00  0.00% httpsd
 1703 www         1   4    0 18388K 13240K sbwait 0   0:00  0.00% httpsd

[serge]

Код: Выделить всё

MinSpareServers 5
MaxSpareServers 10
StartServers 5
MaxClients 256

Увеличь эти значения тупо в 5-10 раз и будет решение для

увеличить количество слотов для отдачи апачу

Но проблему в целом это может не решить.

[Alex Keda]

топ странный...
==========
вы знаете, при таком LA - это нормальное поведение.
я бы рекомендовал увеличить мощщности машины. Голов добавить и т.п.

[serge]

Сорри конечно, но я вообще не понимаю смысла проксирования на Apache при статическом контенте. Удалите Apache совсем из этой цепочки.

[serge]

Решился вопрос чтоли или нет?

[Morty]

ого

Код: Выделить всё

load averages: 73.54, 74.38, 81.61

даже не обратил внимания пока Лис не написал
у меня была полная Ж при 25-30, по ssh очень трудно было зайти,
а таких значений как тут никогда не видел

[Alex Keda]

ну, LA сложный показатель
я 600 видел - машина великолепно работала....
просто была большая дисковая очередь....