Подскажите с сетевкой.

[Spank]

Взяли вот такой вот девайс "Сетевая карта Intel E1G42ETBLK Network Card PRO/1000 Gigabit ET Dual Port Server Adapter, PCI-E-4x
E1G42ETBLK " думали спадет нагрузка по прерываниям, а стало наоборот все еще хуже. Один порт вапще не понятно по какой причине резал скорость, нашли методом тыка.. По буферам показывает что их там "0". Ставил дрова от интела, та же самая история. Даже встроенная бге работает гораздо лучше чем этот интел. Если побороть это чудо нельзя, тогда подскажите какую сетевку можно поставить, что бы поменьше нагрузка по прерываниям была. Сейчас сеть загружена мегабит на 300, но дальше будет больше. Нужно 2 сетевки, на вход и выход. Пппое сервер... Так если я верно понимаю тут нужна сетевка с большим буфером, что бы прерывание срабатывало именно в момент заполнение буфера, а не по приходу пакета на ифейс.

Код: Выделить всё

[root@access2 /usr/local/etc/mpd5]# sysctl dev.igb.1.debug=1
dev.igb.1.debug: -1 -> -1
[root@access2 /usr/local/etc/mpd5]# dmesg |grep 'Packet buffer'
igb1: Packet buffer = Tx=0k Rx=0k

Вот как по сравнению с bge грузит, а нагрузка на ифейс больше процентов на 10... Причем сейчас еще заметил, что сервак местами перестает отвечать даже на пинги...

Код: Выделить всё

   31 root        1 -68    -     0K     8K CPU0    0 671:12 100.00% irq260: igb1
   37 root        1 -68    -     0K     8K WAIT    1 433:36 45.95% irq262: bge0

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[черт]

вот скажите мне - сколько можно про ОДНО И ТОЖЕ? вы компьютер вчера увидели? интернетом давно пользуетесь? бсд шник вы в каком поколении?? неужели руки до гугла как минимум не дотянули?
уже везде о интеллах размусоливалли что и как настроить что бы все работало
и у всех кто прочитал так и работает
как минимум на форуме наг.ру все вообще по полочкам с интелом разложили и тюнинг и тесты показывали
вот почему вас не хватило что бы все это найти и прочитать?а

[Spank]

Вы имеете ввиду что то типа этого ?

Код: Выделить всё

hw.em.rxd=4096
hw.em.txd=4096

Ща покопаю еще, а так то смотрел и не раз...

[Гость]

не только
это только буффер
а так тюнинга там целая страница...
еще и пуллинг итд

[Spank]

не только
это только буффер
а так тюнинга там целая страница...
еще и пуллинг итд

Код: Выделить всё

kern.hz=5000
kern.maxusers=512
kern.ipc.maxpipekva=400000000
net.graph.maxalloc=8192
hw.em.rxd=4096
hw.em.txd=4096

Код: Выделить всё

kern.ipc.maxsockbuf=8388608
net.graph.recvspace=1024000
net.graph.maxdgram=1024000
net.inet.ip.dummynet.io_fast=1

net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1

net.inet.tcp.sendspace=3217968
net.inet.tcp.recvspace=3217968
net.inet.ip.intr_queue_maxlen=5000

#kern.polling.burst_max=1000
#kern.polling.each_brust=1000

Пулинг не работает вапще с этой сетевкой, а с другими больше 100 мегабит получить не удалось... Да и для интела он не нужен у него там что то типа msi или что то в этом роде, когда буфер заполняется тогда стартует прерывание. Но тут то буфер 0!
На другом серве у мну стоят встроенные интелы, работаю отлично, буфера у них тока маленькие )))

[Spank_]

Проблему решили http://subnets.ru/blog/?p=1226
Сегодня потестирую скорости при нагрузках...

[Гость]

все же на наг ру дойдите
там четко рассписали только что, что rx/tx должны быть разного размера
хотя это сугубо индивидуально, но подбираеться

[Spank]

Сервак уже боевой, бутать бы его по минимуму... На нагру там для em, для igb я так полагаю есть какая то разница...
Щас вапще стала такая красота, при нагрузке... Причем если меняю параметр dev.igb.0.rx_processing_limit=4096, например на 100, то ошибок меньше становится, вапще внятного объяснения за что он отвечает не нашел нифига ((.

Код: Выделить всё

[root@access3 /usr/home/spank]# netstat -w1d -I igb1
            input         (igb1)           output
   packets  errs      bytes    packets  errs      bytes colls
     32729   394   18160540      29888     0   24186508     0
     30820   265   18428105      28836     0   23028985     0
     29886   103   17589564      29020     0   23967196     0
     31187   156   19558999      29666     0   23825010     0
     30551    24   17868731      29696     0   23713384     0

Сегодня ночью врублю в лоадер конф

Код: Выделить всё

if_igb_load="YES"
hw.igb.rxd=4096
hw.igb.txd=4096
hw.igb.enable_aim=1
hw.igb.low_latency=1000
hw.igb.ave_latency=2000
hw.igb.bulk_latency=4000
hw.igb.rx_process_limit=100
hw.igb.fc_setting=0

Эх, гадость какая это железо (((...

[Spank]

Сервак уже боевой, бутать бы его по минимуму... На нагру там для em, для igb я так полагаю есть какая то разница...
Щас вапще стала такая красота, при нагрузке... Причем если меняю параметр dev.igb.0.rx_processing_limit=4096, например на 100, то ошибок меньше становится, вапще внятного объяснения за что он отвечает не нашел нифига ((.

Код: Выделить всё

[root@access3 /usr/home/spank]# netstat -w1d -I igb1
            input         (igb1)           output
   packets  errs      bytes    packets  errs      bytes colls
     32729   394   18160540      29888     0   24186508     0
     30820   265   18428105      28836     0   23028985     0
     29886   103   17589564      29020     0   23967196     0
     31187   156   19558999      29666     0   23825010     0
     30551    24   17868731      29696     0   23713384     0

Сегодня ночью врублю в лоадер конф

Код: Выделить всё

if_igb_load="YES"
hw.igb.rxd=4096
hw.igb.txd=4096
hw.igb.enable_aim=1
hw.igb.low_latency=1000
hw.igb.ave_latency=2000
hw.igb.bulk_latency=4000
hw.igb.rx_process_limit=100
hw.igb.fc_setting=0

Эх, гадость какая это железо (((...

[Гость]

На нагру там для em, для igb я так полагаю есть какая то разница...

там есть две темы и по первой и по второй сетевке

[Spank]

Может я уже перезанимался совсем но поиск по igb не дает никаких результатов... Ищу на http://forum.nag.ru/ . Чет туплю видимо, ткни носом а?