при возрастании пакетов от 9000 увеличивается пинг.

[XacaH]

Добрый день.
У меня такая проблема. Стоит в сети роутер с двумя сетевушками, одна к провайдеру, вторая в сеть. PF + IPFW. FreeBSD 6.2

Код: Выделить всё

rsh localhost stat
Interface em1: received 124217820, 5 m average 8280931 bytes/sec, 11875 pkts/sec, dropped 13093410
Flow entries made: 9146
Memory usage: 1000 kbytes.
Free slots for rsh clients: 9
IPCAD uptime is 14 days 22:13

При такой кол-ве пакетов пинг на шлюз провайдера возрастает до 30ти. если еще на 100 - 200 пакетов больше - до 50ти.
На сервер стоит сетевушка гигабитная в сторону провайдера. в сеть тоже гигабитная, но подлюкчена к 100мбитному свичу.
Подскажите пожалуйста, что изменить, чтобы пинг не увеличивался при возрастании кол-ва пакетов. Спасибо.

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[paradox]

примеры

и тег коде поюзайте

[hizel]

посмотрите чем у вас больше всего занята железка, например с помощью systat -v
какие функции выполняет ipfw какие pf ?

[ShadowFlamed]

ipfw - выполняет функцию Шейпинга клиентов и Разрешения/Запрещения трафика
pf - выполняет функцию защиты сервера (блокирования портов и тп), и пропускает весь транзитный трафик
ipcad - собирает трафик, и с помощью php складируеться в базу mysql

Проблема не в количестве пакетов в секунду, проблема в Торрент трафике, в случае запуска несколькими клиентами торрентов и несколько закачек на большой скорости 3-4 мегабайта в сек, полоса не загружена на 100%, но это вызывает странную реакцию сервера, увеличиваеться пинг, случаеться это в пик загрузки.


systat -v - не очень умею пользоваться, но вот вывод:

Код: Выделить всё

    3 users    Load  0.30  0.26  0.25                  Nov 20 22:17

Mem:KB    REAL            VIRTUAL                       VN PAGER   SWAP PAGER
        Tot   Share      Tot    Share    Free           in   out     in   out
Act  146820    7864   322056    18552   66656  count
All  236500   11656  2478736    31088          pages
Proc:                                                            Interrupts
  r   p   d   s   w   Csw  Trp  Sys  Int  Sof  Flt        cow    3994 total
             61      5543    9  768    4 2331             zfod        atkbd0 1
                                                          ozfod       ata0 irq14
 6.3%Sys  20.3%Intr  0.0%User  0.0%Nice 73.4%Idle        %ozfod     4 atapci1 23
|    |    |    |    |    |    |    |    |    |    |       daefr  1995 cpu0: time
===++++++++++                                             prcfr  1995 cpu1: time
                                       144 dtbuf          totfr
Namei     Name-cache   Dir-cache     69516 desvn          react
   Calls    hits   %    hits   %     59249 numvn          pdwak
                                     17377 frevn          pdpgs
                                                          intrn
Disks   ad0   ad6                                  182248 wire
KB/t   0.00 12.00                                  150616 act
tps       0     4                                  613540 inact
MB/s   0.00  0.05                                   28480 cache
%busy     0     0                                   38176 free

[hizel]

странно не вижу я куда у него 20% CPU на прерывания уходит
судя по табличке прерываний на сетевушках у вас включен polling?
хорошо бы посмотреть netstat -m
и понаблюдать за vmstat без параметров, кто больше хавает процессор
в тюнинговали ядро и sysctl переменные под большую сетевую производительность ?

[ShadowFlamed]

странно не вижу я куда у него 20% CPU на прерывания уходит
судя по табличке прерываний на сетевушках у вас включен polling?

включен на обоих сетевых, сетевые Intel 1000 Pro
top -S

Код: Выделить всё

last pid: 46143;  load averages:  0.38,  0.28,  0.25                               up 14+23:00:41  22:26:19
102 processes: 3 running, 87 sleeping, 12 waiting
CPU states:  0.4% user,  0.0% nice,  7.5% system, 19.5% interrupt, 72.6% idle
Mem: 146M Active, 599M Inact, 186M Wired, 27M Cache, 110M Buf, 31M Free
Swap: 1883M Total, 8K Used, 1883M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
   11 root        2 171 ki31     0K    16K CPU0   0 252.3H 125.98% idle
    0 root       10 -68    0     0K    72K -      0  49.4H  6.79% kernel
   12 root       12 -60    -     0K    96K WAIT   0   0:00  2.49% intr
 1032 root        3  59  -15 17552K 13756K select 1  82:25  0.00% ipcad
   13 root        1  44    -     0K     8K -      0  58:06  0.00% yarrow
   16 root        1  44    -     0K     8K syncer 0  27:39  0.00% syncer

хорошо бы посмотреть netstat -m

к сожалению, это не возможно, но такая же ситуация была и когда оно работало
з.Ы.

Код: Выделить всё

netstat -m
netstat: memstat_mtl_find: zone mbuf_jumbo_pagesize not found

и понаблюдать за vmstat без параметров, кто больше хавает процессор

почти не изменяеться при увеличении и уменьшении пинга

Код: Выделить всё

procs      memory      page                    disks     faults      cpu
 r b w     avm    fre   flt  re  pi  po    fr  sr ad0 ad6   in   sy   cs us sy id
 0 0 0  322424  54376   451   0   0   0   362   1   0   0    5  263 1511  7 15 78

в тюнинговали ядро и sysctl переменные под большую сетевую производительность ?

было много попыток тюнинга, но на данный момент только:

Код: Выделить всё

kern.polling.enable=1
net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1
net.inet.icmp.icmplim=30
net.inet.tcp.msl=7500
kern.ipc.somaxconn=32768

[paradox]

Код: Выделить всё

netstat -m
netstat: memstat_mtl_find: zone mbuf_jumbo_pagesize not found

замысловато

[ShadowFlamed]

замысловато

баг возник при обновлении Оси (надежда что это частично решит проблему нагрузки), будет исправлен как только появиться время.

[paradox]

тогда обновисть нормально
и приступим опять)

[hizel]

неприятно =(
у меня только идея нагуглить всяких радостей по тюнингу freebsd и попробовать
хорошо бы ещё знать какие параметры вы уже пробовали менять

например для поллинга

Код: Выделить всё

kern.polling.burst_max=1000
kern.polling.idle_poll=0
kern.polling.each_burst=50

[ShadowFlamed]

неприятно =(
у меня только идея нагуглить всяких радостей по тюнингу freebsd и попробовать
хорошо бы ещё знать какие параметры вы уже пробовали менять

Всевозможно связаные с TCP/IP стэком, но поллинг не тюнил. в данный момент попробывал - эффекта не дало.
Можно ли как-то определить где узкое место?

На данный момент то что действительно нужно сделать - это вернуть к stable
т.к.:

Код: Выделить всё

uname -v
FreeBSD 8.0-CURRENT #0: Sun Oct 26 10:09:05 UTC 2008     root@core:/usr/src/sys/i386/compile/core2ule

[hizel]

о хосподи и это на продакшн стоит!?
только релиз!

[XacaH]

Да, но стояла 6.2 до этого. и всё работало точно так же..

[XacaH]

К сожалению систему обновить нет возможности, т.к. это роутер и инет людям прерывать надолго нельзя Тяжелые последствия. Может есть какие то варианты решения проблемы с текущей системой?

[wel]

У меня такая проблема. Стоит в сети роутер с двумя сетевушками, одна к провайдеру, вторая в сеть. PF + IPFW. FreeBSD 6.2

УГУ тоже самое 14000pps и загрузка под 99% по прерываниям, а с поллингом просто пинг поднимается и иногда зависает, ipfw(dummynet)+pf(nat)+mpd4+freebsd 6.2

( http://forum.lissyara.su/viewtopic.php? ... 35#p128535 )

[XacaH]

У меня при ~22000 pps, по прерываниям 7 - 10%
поменял уже проц на Q6600, 4х ядерный, мать поменял, сетевушку поставил серверную, 2х портовую. Стало чуть лучше, но не на много. Пинг растет до 50 - 70 на сервер. Думаю может у свичей какой то ограничение. Свичи простенькие, 8 портов ДЛИНК гигабитные, неуправляемые.

[wel]

У меня при ~22000 pps, по прерываниям 7 - 10%
поменял уже проц на Q6600, 4х ядерный, мать поменял, сетевушку поставил серверную, 2х портовую. Стало чуть лучше, но не на много. Пинг растет до 50 - 70 на сервер. Думаю может у свичей какой то ограничение. Свичи простенькие, 8 портов ДЛИНК гигабитные, неуправляемые.

У Меня старый П4 2.8ГГц без СМП