FreeBSD 8.1 Загрузка 15% на прерываниях

[LMik]

Может быть конечно не в тему... но как у вас получилось 2*4 = 16 ядер. Без гипертрединга не обошлось, и сейчас у вас упор приходится 2 раза на пол ядра.

На сервере такого класса с хорошими серверными адаптерами от интел можно элементарно прокачать 2 гигабита с ipfw натом и думинетом. Полинг вам не нужен. Нужно рыть в сторону отложенных прерываний.

2*4 * 2 потока, загрузка сейчас 25% всего процессора, т.е. 2 ядра или *2 = 4 CPU
С отложенными прерываниями результат в начале темы.
Про полинг уже писал, что толку 0.
С NAT'ом серых ip на белый? Пользователей с тарифами до 5Мбит/сек? О_о Сильно сомневаюсь.
Если есть реальный пример, как "элементарно" прокачать до 2-х гигабит, буду рад посмотреть.

Срочно вырубить гипертрединг, те самые ваши потоки. 1 поток = пол ядра, и быстрее чем один поток у вас сейчас ни один процесс работать не может.
Про отложенные прерывания что-то не нашел, ткните плз. и покажите netstat -I em0 -w 1 -d

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Gendos]

Код: Выделить всё

dmesg

show

[mmvds]

Код: Выделить всё

dmesg

show

dmesg.boot прикрепляю

[Gendos]

правила ipfw можно было бы глянуть, но думаю гугли на тему дров к своим сетевым.. мусолится тема по сетке

[Gendos]

Перечитал первую страницу уже все обсуждалось

[LMik]

Ещё раз повторюсь - гипертрединг вырубайте - он тут вам не в помощь, а наоборот.
Второе - отложенные прерывания - перечитал 2 раза уже всю тему, не нашел где вы попробовали

В man em ясно написанно

Код: Выделить всё

LOADER TUNABLES
     Tunables can be set at the loader(8) prompt before booting the kernel or
     stored in loader.conf(5).

     hw.em.rxd
             Number of receive descriptors allocated by the driver.  The
             default value is 256.  The 82542 and 82543-based adapters can
             handle up to 256 descriptors, while others can have up to 4096.

     hw.em.txd
             Number of transmit descriptors allocated by the driver.  The
             default value is 256.  The 82542 and 82543-based adapters can
             handle up to 256 descriptors, while others can have up to 4096.

     hw.em.rx_int_delay
             This value delays the generation of receive interrupts in units
             of 1.024 microseconds.  The default value is 0, since adapters
             may hang with this feature being enabled.

     hw.em.rx_abs_int_delay
             If hw.em.rx_int_delay is non-zero, this tunable limits the maxi-
             mum delay in which a receive interrupt is generated.

     hw.em.tx_int_delay
             This value delays the generation of transmit interrupts in units
             of 1.024 microseconds.  The default value is 64.

     hw.em.tx_abs_int_delay
             If hw.em.tx_int_delay is non-zero, this tunable limits the maxi-
             mum delay in which a transmit interrupt is generated.

Поставьте последние 4 значения в райноне 250-300 и увидите разницу. Первые 2 можно на максимум выкрутить. Всё в живую через sysctl (кроме гипертрединга конечно)

[Gendos]

Ещё раз повторюсь - гипертрединг вырубайте - он тут вам не в помощь, а наоборот.
Второе - отложенные прерывания - перечитал 2 раза уже всю тему, не нашел где вы попробовали

В man em ясно написанно

Код: Выделить всё

LOADER TUNABLES
     Tunables can be set at the loader(8) prompt before booting the kernel or
     stored in loader.conf(5).

     hw.em.rxd
             Number of receive descriptors allocated by the driver.  The
             default value is 256.  The 82542 and 82543-based adapters can
             handle up to 256 descriptors, while others can have up to 4096.

     hw.em.txd
             Number of transmit descriptors allocated by the driver.  The
             default value is 256.  The 82542 and 82543-based adapters can
             handle up to 256 descriptors, while others can have up to 4096.

     hw.em.rx_int_delay
             This value delays the generation of receive interrupts in units
             of 1.024 microseconds.  The default value is 0, since adapters
             may hang with this feature being enabled.

     hw.em.rx_abs_int_delay
             If hw.em.rx_int_delay is non-zero, this tunable limits the maxi-
             mum delay in which a receive interrupt is generated.

     hw.em.tx_int_delay
             This value delays the generation of transmit interrupts in units
             of 1.024 microseconds.  The default value is 64.

     hw.em.tx_abs_int_delay
             If hw.em.tx_int_delay is non-zero, this tunable limits the maxi-
             mum delay in which a transmit interrupt is generated.

Поставьте последние 4 значения в райноне 250-300 и увидите разницу. Первые 2 можно на максимум выкрутить. Всё в живую через sysctl (кроме гипертрединга конечно)

+100 за tx rx delay

[mmvds]

Отключил гипертрейдинг, разницы не заметил, разве что раньше CPU0 нагружалось на 25%, теперь на 50

Данные на 8 вечера с отключенным гипертрейдингом

Код: Выделить всё

last pid: 23283;  load averages:  1.52,  1.28,  1.03                 up 0+08:49:40  20:00:49
150 processes: 13 running, 102 sleeping, 35 waiting
CPU 0:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 1:  0.0% user,  0.0% nice,  100% system,  0.0% interrupt,  0.0% idle
CPU 2:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 3:  0.0% user,  0.0% nice,  0.5% system,  0.0% interrupt, 99.5% idle
CPU 4:  0.0% user,  0.0% nice, 67.3% system,  0.0% interrupt, 32.7% idle
CPU 5:  0.0% user,  0.0% nice,  0.0% system,  2.0% interrupt, 98.0% idle
CPU 6:  0.0% user,  0.0% nice,  0.0% system, 98.5% interrupt,  1.5% idle
CPU 7:  0.0% user,  0.0% nice,  0.0% system, 81.6% interrupt, 18.4% idle
Mem: 26M Active, 14M Inact, 195M Wired, 276K Cache, 30M Buf, 2725M Free
Swap: 4096M Total, 4096M Free

  PID USERNAME  PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
   11 root      171 ki31     0K   128K RUN     5 520:14 100.00% {idle: cpu5}
   11 root      171 ki31     0K   128K CPU0    0 512:31 100.00% {idle: cpu0}
   11 root      171 ki31     0K   128K CPU2    2 506:02 100.00% {idle: cpu2}
   12 root      -68    -     0K   592K CPU6    6 305:57 100.00% {irq261: em1}
    0 root      -68    0     0K   272K CPU1    1  63:03 100.00% {em1 rxq}
   11 root      171 ki31     0K   128K CPU3    3 504:15 96.29% {idle: cpu3}
    0 root      -68    0     0K   272K CPU4    4 192:57 88.57% {dummynet}
   12 root      -68    -     0K   592K CPU7    7 221:29 87.35% {irq256: em0}
   11 root      171 ki31     0K   128K RUN     4 233:45 25.88% {idle: cpu4}
   11 root      171 ki31     0K   128K RUN     7 307:28 19.58% {idle: cpu7}
   11 root      171 ki31     0K   128K RUN     6 365:45  1.56% {idle: cpu6}
   12 root      -68    -     0K   592K WAIT    5   4:39  0.98% {irq262: em1}
   12 root      -32    -     0K   592K WAIT    0   2:54  0.68% {swi4: clock}
   12 root      -68    -     0K   592K WAIT    0   5:07  0.59% {irq257: em0}
    0 root      -68    0     0K   272K -       2   2:14  0.10% {em1 txq}
   11 root      171 ki31     0K   128K RUN     1 478:33  0.00% {idle: cpu1}

netstat -I em0 -w 1 -d

Код: Выделить всё

            input          (em0)           output
   packets  errs idrops      bytes    packets  errs      bytes colls drops
     29738     0     0   13728338      31912     0   30770747     0     0
     28700     0     0   13456933      31385     0   30516464     0     0
     28474     0     0   12571133      31603     0   30824631     0     0
     28599     0     0   12969777      31411     0   30384890     0     0
     27792     0     0   12754804      30123     0   28871181     0     0
     28127     0     0   12836584      30378     0   28594664     0     0
     29815     0     0   14060199      32254     0   30555386     0     0
     29035     0     0   13567583      31045     0   29490910     0     0
     28879     0     0   14107875      30690     0   28891751     0     0
     29626     0     0   13835103      32178     0   30953627     0     0
     29250     0     0   13043412      32281     0   31329982     0     0
     29347     0     0   13649675      31912     0   30707030     0     0
     29177     0     0   13447184      32085     0   31383137     0     0
     30039     0     0   14179546      32748     0   31405196     0     0
     29936     0     0   14090196      32983     0   32008803     0     0
     29899     0     0   13713790      32948     0   32286738     0     0
     29839     0     0   13781803      32437     0   31499903     0     0
     28970     0     0   13422593      31429     0   30477080     0     0
     29704     0     0   13763137      32153     0   31040421     0     0
     29269     0     0   13894334      31975     0   30795695     0     0

По-поводу файрвола, приводил на 1-ой странице.
Кстати ограничить кол-во исходящих подключений с 1 Ip так и не удалось, ограничиваю 1 Ip - все ок, ограничиваю все серые ip - сервер уходит в кернел паник (какой конкретно посмотреть не успел, перезапустил) http://forum.lissyara.su/viewtopic.php?f=53&t=31599

По-поводу отложенных прерываний, думал вы про это:
net.isr.direct=0

пакеты, приходящие через драйвер сетевой карты, могут обрабатываться сразу при sysctl net.isr.direct=1, либо сначала укладываться в очередь при нулевом значении этого параметра;

а так вышеприведенные параметры у меня сейчас такие:

Код: Выделить всё

cat /boot/loader.conf | grep hw
hw.em.rxd=4096
hw.em.txd=4096

Код: Выделить всё

cat /boot/loader.conf | grep hw
hw.em.rxd=4096
hw.em.txd=4096

Код: Выделить всё

cat /etc/sysctl.conf | grep dev.em
dev.em.0.rx_int_delay=600
dev.em.0.tx_int_delay=600
dev.em.0.rx_abs_int_delay=1000
dev.em.0.tx_abs_int_delay=1000
dev.em.0.rx_processing_limit=1024
dev.em.1.rx_int_delay=600
dev.em.1.tx_int_delay=600
dev.em.1.rx_abs_int_delay=1000
dev.em.1.tx_abs_int_delay=1000
dev.em.1.rx_processing_limit=1024

попробую с ними поиграться

[voider]

можешь вывести листинг прерываний? ,что на чём висит ,если увидишь что на одном прерывании вият 2 устройства ,то советую из развесить на разные irq

[LMik]

Был глюк под 8.1 (или 8.0, точно не помню) с отложенными прерываниями - они после ребута из sysctl загружались, но не применялись, попроубйте выполнить сейчас /etc/rc.d/sysctl restart и посмотрите в топ.

[mmvds]

можешь вывести листинг прерываний? ,что на чём висит ,если увидишь что на одном прерывании вият 2 устройства ,то советую из развесить на разные irq

Код: Выделить всё

vmstat -i
interrupt                          total       rate
irq1: atkbd0                        1135          0
irq18: ehci0 uhci5                     2          0
irq19: uhci2 uhci4*               852212          3
irq21: uhci1                          21          0
cpu0: timer                    565872968       1992
irq256: em0                   1963846094       6913
irq257: em0                   1602262249       5640
irq260: em0                            2          0
irq261: em1                   1987391520       6996
irq262: em1                   1809859835       6371
irq265: em1                     10276798         36
cpu1: timer                    565864332       1992
cpu4: timer                    565863340       1992
cpu3: timer                    565864344       1992
cpu5: timer                    565864345       1992
cpu2: timer                    565864193       1992
cpu6: timer                    565864313       1992
cpu7: timer                    565864344       1992
Total                        11901412047      41897

Был глюк под 8.1 (или 8.0, точно не помню) с отложенными прерываниями - они после ребута из sysctl загружались, но не применялись, попроубйте выполнить сейчас /etc/rc.d/sysctl restart и посмотрите в топ.

Код: Выделить всё

/etc/rc.d/sysctl restart

никакой реакции в топе

Еще при провалах скорости в dmesg сыпится:

Код: Выделить всё

interrupt storm detected on "irq261:"; throttling interrupt source
interrupt storm detected on "irq261:"; throttling interrupt source
interrupt storm detected on "irq261:"; throttling interrupt source
....

Но это в принципе и раньше было видно по 100.00% {irq261: em1}

[LMik]

А попробуйте ка

ev.em.0.rx_int_delay=600
dev.em.0.tx_int_delay=600
dev.em.0.rx_abs_int_delay=1000
dev.em.0.tx_abs_int_delay=1000
dev.em.1.rx_int_delay=600
dev.em.1.tx_int_delay=600
dev.em.1.rx_abs_int_delay=1000
dev.em.1.tx_abs_int_delay=1000

Все до 3000 поднять.

А тут
dev.em.0.rx_processing_limit=4000
dev.em.1.rx_processing_limit=4000

[31337Ghost]

Имею аналогичную проблему, сообщения в dmesg такие же, нагрузка по 45кpps на карту. Манипуляции с delay'ами ни к чему не приводят. Причем проблема "плавающая", т.е. раз в минуту пинги вырастают на 200мс с дропами, загрузка цпу на irq карточки, смотрящей внутрь сети - взлетает до 100%. Сервер так же как у автора является шейпером (дамминет) + pfнат. В фаерволле около 20 правил.

Хочется узнать чем закончилась эпопея у автора.

[mmvds]

Эпопея закончилась установкой еще одного шейпера и распределением нагрузки между ними.
Если возможности поставиь еще один шейпер нет, попробуйте поставить мониторинг портов по узлам, возможно есть паразитный узел с которого рассылается больше всего пакетов...

[31337Ghost]

Сегодня победил, в итоге - устранил косяк с маршрутами - ибо часть локального трафика бегала через сетевуху шейпера.
Второе - самое главное - это отрезал uTP протокол uТоррента. После последнего действия стало сухо и тепло всем, ЦПУ принялся отдыхать и проблема исчерпалась (только эффект наступил не сразу, а через час примерно).

[mmvds]

Второе - самое главное - это отрезал uTP протокол uТоррента. После последнего действия стало сухо и тепло всем, ЦПУ принялся отдыхать и проблема исчерпалась (только эффект наступил не сразу, а через час примерно).

По-поводу второго пункта, расскажите пожалуйста как? У торентов же порты у всех разные, а отрубать весь UTP не вариант.

[31337Ghost]

Протокол отрезается методом фильтрации пакетов по содержимому. А то, что uTorrent'у отрезается протокол uTP - ничего страшного, просто он уменьшает свои аппетиты и больше берется качать по TCP.

[LMik]

Протокол отрезается методом фильтрации пакетов по содержимому. А то, что uTorrent'у отрезается протокол uTP - ничего страшного, просто он уменьшает свои аппетиты и больше берется качать по TCP.

А чем делали фильтрацию по содержимому?

[31337Ghost]

Фильтрация выполнена в ядре на L3 свиче DGS-3627G. Можно и на access'ах, в принципе, а можно и на самом шейпере - но было решено не нагружать его, и вырезать лишнее на подходе.

[LMik]

Фильтрация выполнена в ядре на L3 свиче DGS-3627G. Можно и на access'ах, в принципе, а можно и на самом шейпере - но было решено не нагружать его, и вырезать лишнее на подходе.

А дайте патерн пакета для свитча.

[31337Ghost]

Вот тут исчерпывающая информация: http://forum.nag.ru/forum/index.php?sho ... 025&st=960

[mmvds]

Фильтрация выполнена в ядре на L3 свиче DGS-3627G. Можно и на access'ах, в принципе, а можно и на самом шейпере - но было решено не нагружать его, и вырезать лишнее на подходе.

Спасибо, помогло снизить нагрузку по кол-ву пакетов примерно на 35%, конечно не панацея, но еще на пару месяцев без дополнительной железки ресурс продлен.

[LMik]

Фильтрация выполнена в ядре на L3 свиче DGS-3627G. Можно и на access'ах, в принципе, а можно и на самом шейпере - но было решено не нагружать его, и вырезать лишнее на подходе.

Спасибо, помогло снизить нагрузку по кол-ву пакетов примерно на 35%, конечно не панацея, но еще на пару месяцев без дополнительной железки ресурс продлен.

Похоже что-то изменилось, нифига uTP не получается старыми сигнатурами порезать

[mmvds]

Похоже что-то изменилось, нифига uTP не получается старыми сигнатурами порезать

У меня все по-прежнему работает, обратите внимание, что "В случае 802.1q трафика смещение нужно увеличить на 4 байта"
Проще ориентироваться на ACL Drops, если все работает, должны рости

[LMik]

Похоже что-то изменилось, нифига uTP не получается старыми сигнатурами порезать

У меня все по-прежнему работает, обратите внимание, что "В случае 802.1q трафика смещение нужно увеличить на 4 байта"
Проще ориентироваться на ACL Drops, если все работает, должны рости

Ну пакеты еще попадают какие то, но это минимум. Если посмотреть в uTorrent там 3.0 пиров уже 90%