при возрастании пакетов от 9000 увеличивается пинг.

Проблемы установки, настройки и работы Правильной Операционной Системы

Модератор: terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
XacaH
проходил мимо

при возрастании пакетов от 9000 увеличивается пинг.

Непрочитанное сообщение XacaH » 2008-11-20 22:43:48

Добрый день.
У меня такая проблема. Стоит в сети роутер с двумя сетевушками, одна к провайдеру, вторая в сеть. PF + IPFW. FreeBSD 6.2

Код: Выделить всё

rsh localhost stat
Interface em1: received 124217820, 5 m average 8280931 bytes/sec, 11875 pkts/sec, dropped 13093410
Flow entries made: 9146
Memory usage: 1000 kbytes.
Free slots for rsh clients: 9
IPCAD uptime is 14 days 22:13
При такой кол-ве пакетов пинг на шлюз провайдера возрастает до 30ти. если еще на 100 - 200 пакетов больше - до 50ти.
На сервер стоит сетевушка гигабитная в сторону провайдера. в сеть тоже гигабитная, но подлюкчена к 100мбитному свичу.
Подскажите пожалуйста, что изменить, чтобы пинг не увеличивался при возрастании кол-ва пакетов. Спасибо.
Последний раз редактировалось manefesto 2008-11-21 14:22:52, всего редактировалось 1 раз.
Причина: Убедительная просьба юзать теги [code] при оформлении листингов.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

paradox
проходил мимо
Сообщения: 11620
Зарегистрирован: 2008-02-21 18:15:41

Re: при возрастании пакетов от 9000 увеличивается пинг.

Непрочитанное сообщение paradox » 2008-11-20 22:58:13

примеры

и тег коде поюзайте

Аватара пользователя
hizel
дядя поня
Сообщения: 9031
Зарегистрирован: 2007-06-29 10:05:02
Откуда: Выборг

Re: при возрастании пакетов от 9000 увеличивается пинг.

Непрочитанное сообщение hizel » 2008-11-20 23:07:57

посмотрите чем у вас больше всего занята железка, например с помощью systat -v
какие функции выполняет ipfw какие pf ?
В дурацкие игры он не играет. Он просто жуткий, чу-чу, паровозик, и зовут его Блейн. Блейн --- это Боль.

ShadowFlamed
проходил мимо
Сообщения: 9
Зарегистрирован: 2008-11-20 23:09:57

Re: при возрастании пакетов от 9000 увеличивается пинг.

Непрочитанное сообщение ShadowFlamed » 2008-11-20 23:17:48

ipfw - выполняет функцию Шейпинга клиентов и Разрешения/Запрещения трафика
pf - выполняет функцию защиты сервера (блокирования портов и тп), и пропускает весь транзитный трафик
ipcad - собирает трафик, и с помощью php складируеться в базу mysql

Проблема не в количестве пакетов в секунду, проблема в Торрент трафике, в случае запуска несколькими клиентами торрентов и несколько закачек на большой скорости 3-4 мегабайта в сек, полоса не загружена на 100%, но это вызывает странную реакцию сервера, увеличиваеться пинг, случаеться это в пик загрузки.


systat -v - не очень умею пользоваться, но вот вывод:

Код: Выделить всё

    3 users    Load  0.30  0.26  0.25                  Nov 20 22:17

Mem:KB    REAL            VIRTUAL                       VN PAGER   SWAP PAGER
        Tot   Share      Tot    Share    Free           in   out     in   out
Act  146820    7864   322056    18552   66656  count
All  236500   11656  2478736    31088          pages
Proc:                                                            Interrupts
  r   p   d   s   w   Csw  Trp  Sys  Int  Sof  Flt        cow    3994 total
             61      5543    9  768    4 2331             zfod        atkbd0 1
                                                          ozfod       ata0 irq14
 6.3%Sys  20.3%Intr  0.0%User  0.0%Nice 73.4%Idle        %ozfod     4 atapci1 23
|    |    |    |    |    |    |    |    |    |    |       daefr  1995 cpu0: time
===++++++++++                                             prcfr  1995 cpu1: time
                                       144 dtbuf          totfr
Namei     Name-cache   Dir-cache     69516 desvn          react
   Calls    hits   %    hits   %     59249 numvn          pdwak
                                     17377 frevn          pdpgs
                                                          intrn
Disks   ad0   ad6                                  182248 wire
KB/t   0.00 12.00                                  150616 act
tps       0     4                                  613540 inact
MB/s   0.00  0.05                                   28480 cache
%busy     0     0                                   38176 free


Аватара пользователя
hizel
дядя поня
Сообщения: 9031
Зарегистрирован: 2007-06-29 10:05:02
Откуда: Выборг

Re: при возрастании пакетов от 9000 увеличивается пинг.

Непрочитанное сообщение hizel » 2008-11-20 23:23:57

странно не вижу я куда у него 20% CPU на прерывания уходит
судя по табличке прерываний на сетевушках у вас включен polling?
хорошо бы посмотреть netstat -m
и понаблюдать за vmstat без параметров, кто больше хавает процессор
в тюнинговали ядро и sysctl переменные под большую сетевую производительность ?
В дурацкие игры он не играет. Он просто жуткий, чу-чу, паровозик, и зовут его Блейн. Блейн --- это Боль.

ShadowFlamed
проходил мимо
Сообщения: 9
Зарегистрирован: 2008-11-20 23:09:57

Re: при возрастании пакетов от 9000 увеличивается пинг.

Непрочитанное сообщение ShadowFlamed » 2008-11-20 23:34:59

hizel писал(а):странно не вижу я куда у него 20% CPU на прерывания уходит
судя по табличке прерываний на сетевушках у вас включен polling?
включен на обоих сетевых, сетевые Intel 1000 Pro :)
top -S

Код: Выделить всё

last pid: 46143;  load averages:  0.38,  0.28,  0.25                               up 14+23:00:41  22:26:19
102 processes: 3 running, 87 sleeping, 12 waiting
CPU states:  0.4% user,  0.0% nice,  7.5% system, 19.5% interrupt, 72.6% idle
Mem: 146M Active, 599M Inact, 186M Wired, 27M Cache, 110M Buf, 31M Free
Swap: 1883M Total, 8K Used, 1883M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
   11 root        2 171 ki31     0K    16K CPU0   0 252.3H 125.98% idle
    0 root       10 -68    0     0K    72K -      0  49.4H  6.79% kernel
   12 root       12 -60    -     0K    96K WAIT   0   0:00  2.49% intr
 1032 root        3  59  -15 17552K 13756K select 1  82:25  0.00% ipcad
   13 root        1  44    -     0K     8K -      0  58:06  0.00% yarrow
   16 root        1  44    -     0K     8K syncer 0  27:39  0.00% syncer

hizel писал(а):хорошо бы посмотреть netstat -m
к сожалению, это не возможно, но такая же ситуация была и когда оно работало :)
з.Ы.

Код: Выделить всё

netstat -m
netstat: memstat_mtl_find: zone mbuf_jumbo_pagesize not found
hizel писал(а):и понаблюдать за vmstat без параметров, кто больше хавает процессор
почти не изменяеться при увеличении и уменьшении пинга

Код: Выделить всё

procs      memory      page                    disks     faults      cpu
 r b w     avm    fre   flt  re  pi  po    fr  sr ad0 ad6   in   sy   cs us sy id
 0 0 0  322424  54376   451   0   0   0   362   1   0   0    5  263 1511  7 15 78
hizel писал(а):в тюнинговали ядро и sysctl переменные под большую сетевую производительность ?
было много попыток тюнинга, но на данный момент только:

Код: Выделить всё

kern.polling.enable=1
net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1
net.inet.icmp.icmplim=30
net.inet.tcp.msl=7500
kern.ipc.somaxconn=32768

paradox
проходил мимо
Сообщения: 11620
Зарегистрирован: 2008-02-21 18:15:41

Re: при возрастании пакетов от 9000 увеличивается пинг.

Непрочитанное сообщение paradox » 2008-11-20 23:42:55

Код: Выделить всё

netstat -m
netstat: memstat_mtl_find: zone mbuf_jumbo_pagesize not found
замысловато

ShadowFlamed
проходил мимо
Сообщения: 9
Зарегистрирован: 2008-11-20 23:09:57

Re: при возрастании пакетов от 9000 увеличивается пинг.

Непрочитанное сообщение ShadowFlamed » 2008-11-20 23:45:17

paradox писал(а):замысловато
баг возник при обновлении Оси (надежда что это частично решит проблему нагрузки), будет исправлен как только появиться время.

paradox
проходил мимо
Сообщения: 11620
Зарегистрирован: 2008-02-21 18:15:41

Re: при возрастании пакетов от 9000 увеличивается пинг.

Непрочитанное сообщение paradox » 2008-11-20 23:49:47

тогда обновисть нормально
и приступим опять)

Аватара пользователя
hizel
дядя поня
Сообщения: 9031
Зарегистрирован: 2007-06-29 10:05:02
Откуда: Выборг

Re: при возрастании пакетов от 9000 увеличивается пинг.

Непрочитанное сообщение hizel » 2008-11-20 23:52:11

неприятно =(
у меня только идея нагуглить всяких радостей по тюнингу freebsd и попробовать
хорошо бы ещё знать какие параметры вы уже пробовали менять

например для поллинга

Код: Выделить всё

kern.polling.burst_max=1000
kern.polling.idle_poll=0
kern.polling.each_burst=50
В дурацкие игры он не играет. Он просто жуткий, чу-чу, паровозик, и зовут его Блейн. Блейн --- это Боль.

ShadowFlamed
проходил мимо
Сообщения: 9
Зарегистрирован: 2008-11-20 23:09:57

Re: при возрастании пакетов от 9000 увеличивается пинг.

Непрочитанное сообщение ShadowFlamed » 2008-11-21 0:03:12

hizel писал(а):неприятно =(
у меня только идея нагуглить всяких радостей по тюнингу freebsd и попробовать
хорошо бы ещё знать какие параметры вы уже пробовали менять
Всевозможно связаные с TCP/IP стэком, но поллинг не тюнил. в данный момент попробывал - эффекта не дало.
Можно ли как-то определить где узкое место?

На данный момент то что действительно нужно сделать - это вернуть к stable :)
т.к.:

Код: Выделить всё

uname -v
FreeBSD 8.0-CURRENT #0: Sun Oct 26 10:09:05 UTC 2008     root@core:/usr/src/sys/i386/compile/core2ule
Последний раз редактировалось manefesto 2008-11-21 14:25:06, всего редактировалось 1 раз.
Причина: Убедительная просьба юзать теги [code] при оформлении листингов.

Аватара пользователя
hizel
дядя поня
Сообщения: 9031
Зарегистрирован: 2007-06-29 10:05:02
Откуда: Выборг

Re: при возрастании пакетов от 9000 увеличивается пинг.

Непрочитанное сообщение hizel » 2008-11-21 0:18:57

о хосподи и это на продакшн стоит!? :shock:
только релиз!
В дурацкие игры он не играет. Он просто жуткий, чу-чу, паровозик, и зовут его Блейн. Блейн --- это Боль.

XacaH
проходил мимо

Re: при возрастании пакетов от 9000 увеличивается пинг.

Непрочитанное сообщение XacaH » 2008-11-21 11:43:25

Да, но стояла 6.2 до этого. и всё работало точно так же..

XacaH
рядовой
Сообщения: 42
Зарегистрирован: 2008-11-30 16:00:18
Откуда: Kiev
Контактная информация:

Re: при возрастании пакетов от 9000 увеличивается пинг.

Непрочитанное сообщение XacaH » 2009-01-04 18:22:33

К сожалению систему обновить нет возможности, т.к. это роутер и инет людям прерывать надолго нельзя :( Тяжелые последствия. Может есть какие то варианты решения проблемы с текущей системой?

wel
сержант
Сообщения: 170
Зарегистрирован: 2007-02-27 11:59:41

Re: при возрастании пакетов от 9000 увеличивается пинг.

Непрочитанное сообщение wel » 2009-01-05 5:17:38

У меня такая проблема. Стоит в сети роутер с двумя сетевушками, одна к провайдеру, вторая в сеть. PF + IPFW. FreeBSD 6.2
УГУ тоже самое 14000pps и загрузка под 99% по прерываниям, а с поллингом просто пинг поднимается и иногда зависает, ipfw(dummynet)+pf(nat)+mpd4+freebsd 6.2

( http://forum.lissyara.su/viewtopic.php? ... 35#p128535 )

XacaH
рядовой
Сообщения: 42
Зарегистрирован: 2008-11-30 16:00:18
Откуда: Kiev
Контактная информация:

Re: при возрастании пакетов от 9000 увеличивается пинг.

Непрочитанное сообщение XacaH » 2009-01-05 13:31:19

У меня при ~22000 pps, по прерываниям 7 - 10%
поменял уже проц на Q6600, 4х ядерный, мать поменял, сетевушку поставил серверную, 2х портовую. Стало чуть лучше, но не на много. Пинг растет до 50 - 70 на сервер. Думаю может у свичей какой то ограничение. Свичи простенькие, 8 портов ДЛИНК гигабитные, неуправляемые.

wel
сержант
Сообщения: 170
Зарегистрирован: 2007-02-27 11:59:41

Re: при возрастании пакетов от 9000 увеличивается пинг.

Непрочитанное сообщение wel » 2009-01-05 14:37:30

XacaH писал(а):У меня при ~22000 pps, по прерываниям 7 - 10%
поменял уже проц на Q6600, 4х ядерный, мать поменял, сетевушку поставил серверную, 2х портовую. Стало чуть лучше, но не на много. Пинг растет до 50 - 70 на сервер. Думаю может у свичей какой то ограничение. Свичи простенькие, 8 портов ДЛИНК гигабитные, неуправляемые.
У Меня старый П4 2.8ГГц без СМП