Проблема с сервером SuperMicro SYS-6016T-NTRF4+

[Shuba]

Вообщем был куплен на контору сервер SuperMicro SYS-6016T-NTRF4+. В материнке встроено 4 сетевые карточки от Интела. Накатал на него FreeBSD 9.0. Сетевухи в нём определились от igb0 до igb3. Планируется задействовать все 4 сетевухи в разные подсети, но минимум нужно хотябы 3 рабочие. С этим возникли проблемы. Сетевухи igb0 и igb1 работают всегда, а вот сетевухи igb2 и igb3 поработают пару минут и сигнал с нааружи не воспринимают: пинги проходят, порты видны, но достучаться до сервисов в серваке - не реально. Притом из сервака можно достучаться наружу и в это время сервисы временно опять доступны, но не надолго. Также при одновременном подключении igb2 и igb3 последняя не пашет совсем, хотя igb2 некоторое время работает. На фаерволл не грешу, т.к. при отключении его проблема остаётсая.
Подозреваю, что дело в агрегации, но где она отключается - понятия не имею: в биосе ничего похожего не нашёл. man igb - курил, гугл - мучал: не помогло. Может кто подскажет, как решить данную проблему ну или толковую статью по тюнингу сетевых карт.
Вылаживаю конфиги:

Код: Выделить всё

igb0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
	options=401bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,VLAN_HWTSO>
	ether 00:25:90:72:4b:02
	inet xx.xxx.xx.xxx netmask 0xffffff00 broadcast 93.125.39.255
	inet6 fe80::225:90ff:fe72:4b02%igb0 prefixlen 64 scopeid 0x5 
	inet 172.16.1.6 netmask 0xffffff00 broadcast 172.16.1.255
	nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
	media: Ethernet autoselect (100baseTX <full-duplex>)
	status: active
igb1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
	options=401bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,VLAN_HWTSO>
	ether 00:25:90:72:4b:03
	inet 10.20.1.1 netmask 0xffffff00 broadcast 10.20.1.255
	inet6 fe80::225:90ff:fe72:4b03%igb1 prefixlen 64 scopeid 0x6 
	nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
	media: Ethernet autoselect (100baseTX <full-duplex>)
	status: active
igb2: flags=8802<BROADCAST,SIMPLEX,MULTICAST> metric 0 mtu 1500
	options=401bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,VLAN_HWTSO>
	ether 00:25:90:72:4b:04
	nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
	media: Ethernet autoselect
	status: no carrier
igb3: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
	options=401bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,VLAN_HWTSO>
	ether 00:25:90:72:4b:05
	inet 10.1.1.254 netmask 0xffffff00 broadcast 10.1.1.255
	inet6 fe80::225:90ff:fe72:4b05%igb3 prefixlen 64 scopeid 0x8 
	nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
	media: Ethernet autoselect (100baseTX <full-duplex>)
	status: active
ipfw0: flags=8801<UP,SIMPLEX,MULTICAST> metric 0 mtu 65536
	nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> metric 0 mtu 16384
	options=3<RXCSUM,TXCSUM>
	inet6 ::1 prefixlen 128 
	inet6 fe80::1%lo0 prefixlen 64 scopeid 0xe 
	inet 127.0.0.1 netmask 0xff000000 
	nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>

Код: Выделить всё

zfs_enable="YES"
defaultrouter="10.1.1.2"
ifconfig_igb0="inet xx.xxx.xx.xxx netmask 255.255.255.0"
ifconfig_igb0_alias0="inet 172.16.1.6 netmask 255.255.255.0"
# Сетевуха в демилитаризованную зону
ifconfig_igb1="inet 10.20.1.1 netmask 255.255.255.0"
# NetCard on Cisco 2960 in Vlan1
ifconfig_igb2="inet 10.10.1.10 netmask 255.255.255.0"
# Сетевуха в локалку
ifconfig_igb3="inet 10.1.1.254 netmask 255.255.255.0"
mousechar_start="3"
font8x8="cp866-8x8"
font8x14="cp866-8x14"
font8x16="cp866b-8x16"
scrnmap="koi8-r2cp866"
keymap="ru.koi8-r"
hostname="newserver.bnpo.by"
sshd_enable="YES"
gateway_enable="YES"
firewall_enable="YES"
firewall_logging="YES"
firewall_script="/etc/ipfw.rules"
firewall_nat_enable="YES"
firewall_nat_interface="igb0"
dummynet_enable="YES"

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Shuba]

Дело оказалось в mbuf clusters. После допиливания конфигов и перезагрузки всё заработало как часы. Приведу мои конфиги, можеет кому пригодится.

Код: Выделить всё

cat /boot/loader.conf
zfs_load="YES"
vfs.root.mountfrom="zfs:zroot"
# Тюнинг сетевух
hw.igb.rxd=4096
hw.igb.txd=4096
hw.igb.rx_process_limit=2048
hw.igb.num_queues=4
hw.igb.lro=0
hw.igb.fc_setting=0

Код: Выделить всё

cat /etc/sysctl.conf
net.inet.ip.intr_queue_maxlen=4096

net.inet.flowtable.enable=0
net.inet.ip.fw.one_pass=0
net.inet.udp.blackhole=1
net.inet.tcp.blackhole=2
net.inet.ip.fastforwarding=0
net.inet.tcp.drop_synfin=1

kern.maxfiles=204800
kern.maxfilesperproc=200000
kern.ipc.maxsockets=204800

net.route.netisr_maxqlen=4096
kern.ipc.nmbclusters=204800

dev.igb.0.rx_processing_limit=-1
dev.igb.1.rx_processing_limit=-1
dev.igb.2.rx_processing_limit=-1
dev.igb.3.rx_processing_limit=-1