Страница 1 из 1
при возрастании пакетов от 9000 увеличивается пинг.
Добавлено: 2008-11-20 22:43:48
XacaH
Добрый день.
У меня такая проблема. Стоит в сети роутер с двумя сетевушками, одна к провайдеру, вторая в сеть.
PF + IPFW. FreeBSD 6.2
Код: Выделить всё
rsh localhost stat
Interface em1: received 124217820, 5 m average 8280931 bytes/sec, 11875 pkts/sec, dropped 13093410
Flow entries made: 9146
Memory usage: 1000 kbytes.
Free slots for rsh clients: 9
IPCAD uptime is 14 days 22:13
При такой кол-ве пакетов пинг на шлюз провайдера возрастает до 30ти. если еще на 100 - 200 пакетов больше - до 50ти.
На сервер стоит сетевушка гигабитная в сторону провайдера. в сеть тоже гигабитная, но подлюкчена к 100мбитному свичу.
Подскажите пожалуйста, что изменить, чтобы пинг не увеличивался при возрастании кол-ва пакетов. Спасибо.
Re: при возрастании пакетов от 9000 увеличивается пинг.
Добавлено: 2008-11-20 22:58:13
paradox
примеры
и тег коде поюзайте
Re: при возрастании пакетов от 9000 увеличивается пинг.
Добавлено: 2008-11-20 23:07:57
hizel
посмотрите чем у вас больше всего занята железка, например с помощью systat -v
какие функции выполняет ipfw какие pf ?
Re: при возрастании пакетов от 9000 увеличивается пинг.
Добавлено: 2008-11-20 23:17:48
ShadowFlamed
ipfw - выполняет функцию Шейпинга клиентов и Разрешения/Запрещения трафика
pf - выполняет функцию защиты сервера (блокирования портов и тп), и пропускает весь транзитный трафик
ipcad - собирает трафик, и с помощью php складируеться в базу mysql
Проблема не в количестве пакетов в секунду, проблема в Торрент трафике, в случае запуска несколькими клиентами торрентов и несколько закачек на большой скорости 3-4 мегабайта в сек, полоса не загружена на 100%, но это вызывает странную реакцию сервера, увеличиваеться пинг, случаеться это в пик загрузки.
systat -v - не очень умею пользоваться, но вот вывод:
Код: Выделить всё
3 users Load 0.30 0.26 0.25 Nov 20 22:17
Mem:KB REAL VIRTUAL VN PAGER SWAP PAGER
Tot Share Tot Share Free in out in out
Act 146820 7864 322056 18552 66656 count
All 236500 11656 2478736 31088 pages
Proc: Interrupts
r p d s w Csw Trp Sys Int Sof Flt cow 3994 total
61 5543 9 768 4 2331 zfod atkbd0 1
ozfod ata0 irq14
6.3%Sys 20.3%Intr 0.0%User 0.0%Nice 73.4%Idle %ozfod 4 atapci1 23
| | | | | | | | | | | daefr 1995 cpu0: time
===++++++++++ prcfr 1995 cpu1: time
144 dtbuf totfr
Namei Name-cache Dir-cache 69516 desvn react
Calls hits % hits % 59249 numvn pdwak
17377 frevn pdpgs
intrn
Disks ad0 ad6 182248 wire
KB/t 0.00 12.00 150616 act
tps 0 4 613540 inact
MB/s 0.00 0.05 28480 cache
%busy 0 0 38176 free
Re: при возрастании пакетов от 9000 увеличивается пинг.
Добавлено: 2008-11-20 23:23:57
hizel
странно не вижу я куда у него 20% CPU на прерывания уходит
судя по табличке прерываний на сетевушках у вас включен polling?
хорошо бы посмотреть netstat -m
и понаблюдать за vmstat без параметров, кто больше хавает процессор
в тюнинговали ядро и sysctl переменные под большую сетевую производительность ?
Re: при возрастании пакетов от 9000 увеличивается пинг.
Добавлено: 2008-11-20 23:34:59
ShadowFlamed
hizel писал(а):странно не вижу я куда у него 20% CPU на прерывания уходит
судя по табличке прерываний на сетевушках у вас включен polling?
включен на обоих сетевых, сетевые Intel 1000 Pro
top -S
Код: Выделить всё
last pid: 46143; load averages: 0.38, 0.28, 0.25 up 14+23:00:41 22:26:19
102 processes: 3 running, 87 sleeping, 12 waiting
CPU states: 0.4% user, 0.0% nice, 7.5% system, 19.5% interrupt, 72.6% idle
Mem: 146M Active, 599M Inact, 186M Wired, 27M Cache, 110M Buf, 31M Free
Swap: 1883M Total, 8K Used, 1883M Free
PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND
11 root 2 171 ki31 0K 16K CPU0 0 252.3H 125.98% idle
0 root 10 -68 0 0K 72K - 0 49.4H 6.79% kernel
12 root 12 -60 - 0K 96K WAIT 0 0:00 2.49% intr
1032 root 3 59 -15 17552K 13756K select 1 82:25 0.00% ipcad
13 root 1 44 - 0K 8K - 0 58:06 0.00% yarrow
16 root 1 44 - 0K 8K syncer 0 27:39 0.00% syncer
hizel писал(а):хорошо бы посмотреть netstat -m
к сожалению, это не возможно, но такая же ситуация была и когда оно работало
з.Ы.
Код: Выделить всё
netstat -m
netstat: memstat_mtl_find: zone mbuf_jumbo_pagesize not found
hizel писал(а):и понаблюдать за vmstat без параметров, кто больше хавает процессор
почти не изменяеться при увеличении и уменьшении пинга
Код: Выделить всё
procs memory page disks faults cpu
r b w avm fre flt re pi po fr sr ad0 ad6 in sy cs us sy id
0 0 0 322424 54376 451 0 0 0 362 1 0 0 5 263 1511 7 15 78
hizel писал(а):в тюнинговали ядро и sysctl переменные под большую сетевую производительность ?
было много попыток тюнинга, но на данный момент только:
Код: Выделить всё
kern.polling.enable=1
net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1
net.inet.icmp.icmplim=30
net.inet.tcp.msl=7500
kern.ipc.somaxconn=32768
Re: при возрастании пакетов от 9000 увеличивается пинг.
Добавлено: 2008-11-20 23:42:55
paradox
Код: Выделить всё
netstat -m
netstat: memstat_mtl_find: zone mbuf_jumbo_pagesize not found
замысловато
Re: при возрастании пакетов от 9000 увеличивается пинг.
Добавлено: 2008-11-20 23:45:17
ShadowFlamed
paradox писал(а):замысловато
баг возник при обновлении Оси (надежда что это частично решит проблему нагрузки), будет исправлен как только появиться время.
Re: при возрастании пакетов от 9000 увеличивается пинг.
Добавлено: 2008-11-20 23:49:47
paradox
тогда обновисть нормально
и приступим опять)
Re: при возрастании пакетов от 9000 увеличивается пинг.
Добавлено: 2008-11-20 23:52:11
hizel
неприятно =(
у меня только идея нагуглить всяких радостей по тюнингу freebsd и попробовать
хорошо бы ещё знать какие параметры вы уже пробовали менять
например для поллинга
Код: Выделить всё
kern.polling.burst_max=1000
kern.polling.idle_poll=0
kern.polling.each_burst=50
Re: при возрастании пакетов от 9000 увеличивается пинг.
Добавлено: 2008-11-21 0:03:12
ShadowFlamed
hizel писал(а):неприятно =(
у меня только идея нагуглить всяких радостей по тюнингу freebsd и попробовать
хорошо бы ещё знать какие параметры вы уже пробовали менять
Всевозможно связаные с TCP/IP стэком, но поллинг не тюнил. в данный момент попробывал - эффекта не дало.
Можно ли как-то определить где узкое место?
На данный момент то что действительно нужно сделать - это вернуть к stable
т.к.:
Код: Выделить всё
uname -v
FreeBSD 8.0-CURRENT #0: Sun Oct 26 10:09:05 UTC 2008 root@core:/usr/src/sys/i386/compile/core2ule
Re: при возрастании пакетов от 9000 увеличивается пинг.
Добавлено: 2008-11-21 0:18:57
hizel
о хосподи и это на продакшн стоит!?
только релиз!
Re: при возрастании пакетов от 9000 увеличивается пинг.
Добавлено: 2008-11-21 11:43:25
XacaH
Да, но стояла 6.2 до этого. и всё работало точно так же..
Re: при возрастании пакетов от 9000 увеличивается пинг.
Добавлено: 2009-01-04 18:22:33
XacaH
К сожалению систему обновить нет возможности, т.к. это роутер и инет людям прерывать надолго нельзя
Тяжелые последствия. Может есть какие то варианты решения проблемы с текущей системой?
Re: при возрастании пакетов от 9000 увеличивается пинг.
Добавлено: 2009-01-05 5:17:38
wel
У меня такая проблема. Стоит в сети роутер с двумя сетевушками, одна к провайдеру, вторая в сеть. PF + IPFW. FreeBSD 6.2
УГУ тоже самое 14000pps и загрузка под 99% по прерываниям, а с поллингом просто пинг поднимается и иногда зависает, ipfw(dummynet)+pf(nat)+mpd4+freebsd 6.2
(
http://forum.lissyara.su/viewtopic.php? ... 35#p128535 )
Re: при возрастании пакетов от 9000 увеличивается пинг.
Добавлено: 2009-01-05 13:31:19
XacaH
У меня при ~22000 pps, по прерываниям 7 - 10%
поменял уже проц на Q6600, 4х ядерный, мать поменял, сетевушку поставил серверную, 2х портовую. Стало чуть лучше, но не на много. Пинг растет до 50 - 70 на сервер. Думаю может у свичей какой то ограничение. Свичи простенькие, 8 портов ДЛИНК гигабитные, неуправляемые.
Re: при возрастании пакетов от 9000 увеличивается пинг.
Добавлено: 2009-01-05 14:37:30
wel
XacaH писал(а):У меня при ~22000 pps, по прерываниям 7 - 10%
поменял уже проц на Q6600, 4х ядерный, мать поменял, сетевушку поставил серверную, 2х портовую. Стало чуть лучше, но не на много. Пинг растет до 50 - 70 на сервер. Думаю может у свичей какой то ограничение. Свичи простенькие, 8 портов ДЛИНК гигабитные, неуправляемые.
У Меня старый П4 2.8ГГц без СМП