Freebsd 9 падения скорости

Простые/общие вопросы по UNIX системам. Спросите здесь, если вы новичок

Модераторы: vadim64, terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
warzoni
сержант
Сообщения: 186
Зарегистрирован: 2008-07-04 17:17:59
Откуда: Ukraine,Kiev
Контактная информация:

Freebsd 9 падения скорости

Непрочитанное сообщение warzoni » 2013-11-18 20:35:16

Здравствуйте, не могу определить падения скорости.

Максимально выжимаем 800 мегабит, а должно быть 1.5 гигабита, реально lagg может филонить ?

Канал собран на lagg0 c двумя гигабитными интерфейсами.

Код: Выделить всё

lagg0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=401bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,VLAN_HWTSO>
        ether a0:36:9f:14:f2:26
        media: Ethernet autoselect
        status: active
        laggproto lacp lagghash l2,l3,l4
        laggport: igb3 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
        laggport: igb2 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>

Может быть из за высокого количества пакетов ? система не выжимает ? ;)

Код: Выделить всё

            input        (Total)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
    227325     0     0  168633880     223282     0  151230108     0
    226764     0     0  168987711     221343     0  150338353     0
    225223     0     0  166795469     221480     0  152404757     0
    222980     0     0  164421312     217130     0  149916691     0
    228052     0     0  172087088     222292     0  151399941     0
Последний раз редактировалось f_andrey 2013-11-19 9:56:57, всего редактировалось 1 раз.
Причина: Автору. пожалуйста, выбирайте соответствующий раздел форума, если приведёте больше логов, это повысит вероятность ответов, а не флуда

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
skeletor
майор
Сообщения: 2486
Зарегистрирован: 2007-11-16 18:22:04
Откуда: Kiev
Контактная информация:

Re: Freebsd 9 падения скорости

Непрочитанное сообщение skeletor » 2013-11-19 12:19:54

А вы тюнили сетевой стек? Попробуйте включить jumbo frames, отключить TSO4, прибить жёстко дуплекс, возможно поможет.
Но скажу из опыта: когда-то давно сталкивался с похожей проблемой: lagg работал хреново, зато arrg на Solaris - просто отлично, на том же сервере. В итоге тогда в проблеме не разобрался, так как время поджимало и просто перешёл на Solaris.
"Винда съела дрова и резет здесь не фурычит."
"Все говорят, что у меня /dev/hands криво и я всё делаю через /dev/ass. А у меня этих фалов вообще нет!"

warzoni
сержант
Сообщения: 186
Зарегистрирован: 2008-07-04 17:17:59
Откуда: Ukraine,Kiev
Контактная информация:

Re: Freebsd 9 падения скорости

Непрочитанное сообщение warzoni » 2013-11-19 14:53:32

skeletor писал(а):А вы тюнили сетевой стек? Попробуйте включить jumbo frames, отключить TSO4, прибить жёстко дуплекс, возможно поможет.
Но скажу из опыта: когда-то давно сталкивался с похожей проблемой: lagg работал хреново, зато arrg на Solaris - просто отлично, на том же сервере. В итоге тогда в проблеме не разобрался, так как время поджимало и просто перешёл на Solaris.
А вы тюнили сетевой стек?
Да тюнил.

Код: Выделить всё

hw.igb.rxd=4096
hw.igb.txd=4096
kern.hz="1000" - что включаю, что выключаю, разницы сильно нету.

Сейчас без поллинга карты работают.
Попробуйте включить jumbo frames
Это хорошо было-бы если бы его на другой стороне поддерживали.

Код: Выделить всё

 interface: lagg0
      flags: <UP,DONE>
 recvpipe  sendpipe  ssthresh  rtt,msec    mtu        weight    expire
       0         0         0         0      1500         1         0
Но как видно там 1500.


отключить TSO4, прибить жёстко дуплекс

tso - выключил проверю но не думаю что в нем трабла.

-

по поводу дуплекса не совсем понял.

ifconfig igb2

Код: Выделить всё

igb2: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=400bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,VLAN_HWTSO>
        ether a0:36:9f:14:f2:26
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active

Код: Выделить всё

ifconfig igb3
igb3: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=400bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,VLAN_HWTSO>
        ether a0:36:9f:14:f2:26
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active
тут и так full duplex ..

warzoni
сержант
Сообщения: 186
Зарегистрирован: 2008-07-04 17:17:59
Откуда: Ukraine,Kiev
Контактная информация:

Re: Freebsd 9 падения скорости

Непрочитанное сообщение warzoni » 2013-11-19 15:01:16

Вот atop нагрузки по igb - когда убираю шейпер упираюсь в скорость и выше не в какую, а должно быть выше гигабита 1.5, с выключенным tso
Вложения
123.jpg

warzoni
сержант
Сообщения: 186
Зарегистрирован: 2008-07-04 17:17:59
Откуда: Ukraine,Kiev
Контактная информация:

Re: Freebsd 9 падения скорости

Непрочитанное сообщение warzoni » 2013-11-19 15:08:42

А вы тюнили сетевой стек?

Не все добавилось вот продолжения.

net.inet.ip.fw.dyn_buckets=59152
net.inet.ip.fw.dyn_max=500000
net.inet.icmp.icmplim=10
net.graph.maxdgram=5000000
net.graph.recvspace=5000000
kern.ipc.maxsockbuf=15500000
net.link.ether.inet.proxyall=1
net.inet.ip.redirect=0
kern.ipc.maxsockets=5000000
kern.ipc.nmbclusters=5000000
kern.maxfiles=204800
kern.maxfilesperproc=500000
kern.ipc.somaxconn=2024
#net.inet.tcp.reass.maxsegments=50000
kern.ipc.maxsockets=5000000
net.inet.tcp.sendbuf_max=5000000
net.inet.ip.dummynet.hash_size=60000
net.inet.tcp.tcbhashsize=5000
net.inet.ip.fw.curr_dyn_buckets=5000
net.inet.ip.dummynet.io_fast=1
net.inet.ip.dummynet.pipe_slot_limit=1000
net.inet.ip.dummynet.pipe_byte_limit=3048576
#net.link.lagg.default_use_flowid=0

net.inet.tcp.icmp_may_rst=0
net.inet.tcp.drop_synfin=1

Аватара пользователя
skeletor
майор
Сообщения: 2486
Зарегистрирован: 2007-11-16 18:22:04
Откуда: Kiev
Контактная информация:

Re: Freebsd 9 падения скорости

Непрочитанное сообщение skeletor » 2013-11-19 15:30:50

warzoni писал(а): Это хорошо было-бы если бы его на другой стороне поддерживали.

Код: Выделить всё

 interface: lagg0
      flags: <UP,DONE>
 recvpipe  sendpipe  ssthresh  rtt,msec    mtu        weight    expire
       0         0         0         0      1500         1         0
Но как видно там 1500.
На какой другой стороне? Куда кабель подключен? в свитч или прямо в другой хост? Жёстко прибить - это значит не autoselect, а вручную на сетевых выставить.
"Винда съела дрова и резет здесь не фурычит."
"Все говорят, что у меня /dev/hands криво и я всё делаю через /dev/ass. А у меня этих фалов вообще нет!"

warzoni
сержант
Сообщения: 186
Зарегистрирован: 2008-07-04 17:17:59
Откуда: Ukraine,Kiev
Контактная информация:

Re: Freebsd 9 падения скорости

Непрочитанное сообщение warzoni » 2013-11-19 15:34:08

skeletor писал(а):
warzoni писал(а): Это хорошо было-бы если бы его на другой стороне поддерживали.

Код: Выделить всё

 interface: lagg0
      flags: <UP,DONE>
 recvpipe  sendpipe  ssthresh  rtt,msec    mtu        weight    expire
       0         0         0         0      1500         1         0
Но как видно там 1500.
На какой другой стороне? Куда кабель подключен? в свитч или прямо в другой хост? Жёстко прибить - это значит не autoselect, а вручную на сетевых выставить.
root@amt:~ # route get 'ip my default GW'
route to: xxx
destination: xxxx
mask: 255.255.255.248
interface: lagg0
flags: <UP,DONE>
recvpipe sendpipe ssthresh rtt,msec mtu weight expire
0 0 0 0 1500 1 0

на другой стороне маршрутизатор отдаёт 1500. на 9000 mtu, разве можно мне поднимать ?

autoselect - окей зделаю.


Может ихнее оборудования не справляется, и не могут отдать 1.5 G ? вот только как их уличить в этом проверку делаю только с одной стороны...

Аватара пользователя
skeletor
майор
Сообщения: 2486
Зарегистрирован: 2007-11-16 18:22:04
Откуда: Kiev
Контактная информация:

Re: Freebsd 9 падения скорости

Непрочитанное сообщение skeletor » 2013-11-19 15:38:47

Возможно вы упираетесь во что-то другое. А вообще - попробуйте протестировать максимальную скорость между хостами через iperf/ttcp.
Можно ещё поиграться с lagg и сделать не lacp, а roundrobin что бы понять, что-то меняется или нет по скорости.
Уличить их можно только меряя скорость с обеих сторон.
"Винда съела дрова и резет здесь не фурычит."
"Все говорят, что у меня /dev/hands криво и я всё делаю через /dev/ass. А у меня этих фалов вообще нет!"

warzoni
сержант
Сообщения: 186
Зарегистрирован: 2008-07-04 17:17:59
Откуда: Ukraine,Kiev
Контактная информация:

Re: Freebsd 9 падения скорости

Непрочитанное сообщение warzoni » 2013-11-19 15:41:01

Выставил .

Код: Выделить всё

 ifconfig igb2
igb2: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=400bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,VLAN_HWTSO>
        ether a0:36:9f:14:f2:26
        media: Ethernet 1000baseT (1000baseT <full-duplex>)
        status: active
 ifconfig igb3
igb3: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=400bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,VLAN_HWTSO>
        ether a0:36:9f:14:f2:26
        media: Ethernet 1000baseT (1000baseT <full-duplex>)
        status: active
Можно ещё поиграться с lagg и сделать не lacp, а roundrobin
lacp думаю тут больше актуальнее чем roundrobin - тем более lacp работает с обоих сторон.


Вторая сторона говорит все ок у них, и в тупую морозятся тесты не могут дать тпа нету у них оборудования в нашей местности для тестов :smile:

warzoni
сержант
Сообщения: 186
Зарегистрирован: 2008-07-04 17:17:59
Откуда: Ukraine,Kiev
Контактная информация:

Re: Freebsd 9 падения скорости

Непрочитанное сообщение warzoni » 2013-11-19 15:53:41

Ситуация не меняется, единственное cpu немного разгрузил, зато поднялось на irq нагрузка :smile:

Даже чисто логически, 2 гигабита в агрегации , и 1 гигабит не выжать с агригации, бред какойто видать режут других причин не вижу.

максимальную скорость между хостами через iperf/ttcp

Да у меня клиенты это тест, убрал шейпер и вижу , так как их ну очень много :smile: - а локальная сетевая - 10G - поэтому они могут грузить по самые не хочу...
Вложения
123.jpg

Аватара пользователя
skeletor
майор
Сообщения: 2486
Зарегистрирован: 2007-11-16 18:22:04
Откуда: Kiev
Контактная информация:

Re: Freebsd 9 падения скорости

Непрочитанное сообщение skeletor » 2013-11-19 16:20:08

warzoni писал(а): root@amt:~ # route get 'ip my default GW'
route to: xxx
destination: xxxx
mask: 255.255.255.248
interface: lagg0
flags: <UP,DONE>
recvpipe sendpipe ssthresh rtt,msec mtu weight expire
0 0 0 0 1500 1 0

на другой стороне маршрутизатор отдаёт 1500. на 9000 mtu, разве можно мне поднимать ?
А с чего вы взяли, что на той стороне mtu 1500? route get показывает локальный mtu, а не удалённый. Попросите провайдера увеличить mtu, если возможно.
"Винда съела дрова и резет здесь не фурычит."
"Все говорят, что у меня /dev/hands криво и я всё делаю через /dev/ass. А у меня этих фалов вообще нет!"

warzoni
сержант
Сообщения: 186
Зарегистрирован: 2008-07-04 17:17:59
Откуда: Ukraine,Kiev
Контактная информация:

Re: Freebsd 9 падения скорости

Непрочитанное сообщение warzoni » 2013-11-19 16:26:29

skeletor писал(а):
warzoni писал(а): root@amt:~ # route get 'ip my default GW'
route to: xxx
destination: xxxx
mask: 255.255.255.248
interface: lagg0
flags: <UP,DONE>
recvpipe sendpipe ssthresh rtt,msec mtu weight expire
0 0 0 0 1500 1 0

на другой стороне маршрутизатор отдаёт 1500. на 9000 mtu, разве можно мне поднимать ?
А с чего вы взяли, что на той стороне mtu 1500? route get показывает локальный mtu, а не удалённый. Попросите провайдера увеличить mtu, если возможно.
Я делаю get удалённого маршрутизатора по его ip получаю mtu его

Код: Выделить всё

 To confirm the MTU used between two specific devices, use:

        route get <destination_IP_address>

Аватара пользователя
skeletor
майор
Сообщения: 2486
Зарегистрирован: 2007-11-16 18:22:04
Откуда: Kiev
Контактная информация:

Re: Freebsd 9 падения скорости

Непрочитанное сообщение skeletor » 2013-11-19 16:43:18

Если хотите определить mtu, то вот примитивный вариант http://gregalbrecht.com/2008/06/10/detecting-mtu/

А вот пример для команды get route, который показывает, что это не так:

сервер 1

Код: Выделить всё

# ifconfig em0
em0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 9000
        options=209b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_MAGIC>
        ether 00:07:e9:3f:cf:9d
        inet 10.1.5.5 netmask 0xffffff00 broadcast 10.1.5.255
        inet6 fe80::207:e9ff:fe3f:cf9d%em0 prefixlen 64 scopeid 0x5 
        nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active
# route get 10.1.5.1
   route to: 10.1.5.1
destination: 10.1.5.0
       mask: 255.255.255.0
        fib: 0
  interface: em0
      flags: <UP,DONE,PINNED>
 recvpipe  sendpipe  ssthresh  rtt,msec    mtu        weight    expire
       0         0         0         0      9000         1         0 
сервер 2

Код: Выделить всё

$ ifconfig em0             
em0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=4019b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4,VLAN_HWTSO>
        ether 00:22:64:89:9e:cf
        inet 10.1.5.1 netmask 0xffff0000 broadcast 10.1.255.255                                                                                                                                                                                                        
        media: Ethernet autoselect (1000baseT <full-duplex>)                                                                                                                                                                                                                   
        status: active                                         
$ route get 10.1.5.5
   route to: 10.1.5.5                                                                                                                                                                                                                                                          
destination: 10.1.0.0                                                                                                                                                                                                                                                          
       mask: 255.255.0.0                                                                                                                                                                                                                                                       
  interface: em0                                                                                                                                                                                                                                                               
      flags: <UP,DONE>                                                                                                                                                                                                                                                         
 recvpipe  sendpipe  ssthresh  rtt,msec    mtu        weight    expire                                                                                                                                                                                                         
       0         0         0         0      1500         1         0    
"Винда съела дрова и резет здесь не фурычит."
"Все говорят, что у меня /dev/hands криво и я всё делаю через /dev/ass. А у меня этих фалов вообще нет!"

warzoni
сержант
Сообщения: 186
Зарегистрирован: 2008-07-04 17:17:59
Откуда: Ukraine,Kiev
Контактная информация:

Re: Freebsd 9 падения скорости

Непрочитанное сообщение warzoni » 2013-11-19 16:48:11

Окей, вы правда думаете поможет ? я думаю Jumbo Frames - актуальны на 10G а не на на таких как у меня скоростях..

Аватара пользователя
skeletor
майор
Сообщения: 2486
Зарегистрирован: 2007-11-16 18:22:04
Откуда: Kiev
Контактная информация:

Re: Freebsd 9 падения скорости

Непрочитанное сообщение skeletor » 2013-11-19 17:08:07

Советую проверить. Jumbo frames можно использовать и на Гигабите. А вот использование их на 100 мбит не сильно даст выиграть в скорости.
Если бы я знал, что это 100% поможет, я бы так и сказал. В вашем же случае нужно пробовать и пробовать и пробовать... разные советы.
"Винда съела дрова и резет здесь не фурычит."
"Все говорят, что у меня /dev/hands криво и я всё делаю через /dev/ass. А у меня этих фалов вообще нет!"

warzoni
сержант
Сообщения: 186
Зарегистрирован: 2008-07-04 17:17:59
Откуда: Ukraine,Kiev
Контактная информация:

Re: Freebsd 9 падения скорости

Непрочитанное сообщение warzoni » 2013-11-30 18:18:52

Проблему решил.

Суть заключалось в том что igb не определяли автоматичиски que - по CPU ( должно но не делало, причины кроются в
двух процессорных системах
, либо
ALTQ
как было замечено в списке рассылок. )

Код: Выделить всё

/*
** This will autoconfigure based on
** the number of CPUs if left at 0.
*/
static int igb_num_queues = 0;
TUNABLE_INT("hw.igb.num_queues", &igb_num_queues);

Поэтому надо было установить в ручную значения hw.igb.num_queues.

Аватара пользователя
skeletor
майор
Сообщения: 2486
Зарегистрирован: 2007-11-16 18:22:04
Откуда: Kiev
Контактная информация:

Re: Freebsd 9 падения скорости

Непрочитанное сообщение skeletor » 2013-12-04 17:18:58

И какое значение вы выставили?
"Винда съела дрова и резет здесь не фурычит."
"Все говорят, что у меня /dev/hands криво и я всё делаю через /dev/ass. А у меня этих фалов вообще нет!"

Аватара пользователя
skeletor
майор
Сообщения: 2486
Зарегистрирован: 2007-11-16 18:22:04
Откуда: Kiev
Контактная информация:

Re: Freebsd 9 падения скорости

Непрочитанное сообщение skeletor » 2013-12-05 12:33:37

В сети рекомендуют ставить значение не больше 4: hw.igb.num_queues=4, и то, даже пишут, что лучше ставить 3.
"Винда съела дрова и резет здесь не фурычит."
"Все говорят, что у меня /dev/hands криво и я всё делаю через /dev/ass. А у меня этих фалов вообще нет!"

warzoni
сержант
Сообщения: 186
Зарегистрирован: 2008-07-04 17:17:59
Откуда: Ukraine,Kiev
Контактная информация:

Re: Freebsd 9 падения скорости

Непрочитанное сообщение warzoni » 2013-12-05 16:44:31

Да все равно результата нету,позже отпишусь, от Lagg уходим, на 10G должны перейти. Думаю все стабилизируется сразу..

loki636
проходил мимо
Сообщения: 1
Зарегистрирован: 2014-11-19 17:32:20

Re: Freebsd 9 падения скорости

Непрочитанное сообщение loki636 » 2014-11-19 18:01:13

Извините за некропостерство, но ifconfig lagg0 promisc решит проблему.

Аватара пользователя
Neus
капитан
Сообщения: 1779
Зарегистрирован: 2008-09-08 21:59:56

Re: Freebsd 9 падения скорости

Непрочитанное сообщение Neus » 2014-11-19 18:33:36

Какую проблему?