Ошибки на интерфейсах

[HEDG_SS]

Появились дисконекты, завышения пингов .

Схема сети: локальные роутеры занимаются шейпингом клиентов(ipfw + pipe + tablearg) , потом траф идет на сервер NAT(pf nat), с него патч идет непосредственно в сервер BGP(quagga + ipfw), а дальше в инет.

Сервера: На ОС FreeBSD 7.0 (в ядре вырублены левые дрова и вшит фаервол).
Сетевые Intel 1000MT Desctop.
Проц Intel(R) Core(TM)2 Duo CPU E4600 @ 2.40GHz. ОЗУ -2G

Трафик не такой больой , железо должно нормально справляться.
CPU загружается в пике не более чем по 60% оба ядра (распаралеливание происходит нормально)
Для сетевых , это тоже вроде не предел... (250Mb/s, 30-35k pps, порядка 80k сессий )
В pf на нат отрублен scrub.

Почему берутся эти ошибки?
Чем отличается Error и Discards? В каких случаях возникают ошибки in и out (особенно связка маскарад(нат) net0 и Mart (bgp) net1, которые соединены напрямую патчем. )
Где может быть узкое место?
Куда еще можно покопать ??

Завышения пингов начинаются на сервере NAT. net0 - в сторону инета , net1 - в сторону локальной сети
сыпятся ошибки

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[baton4eg]

А почему взяли Intel Desktop? есть же спец с тегом Server
у меня похожая схема, только без BGP вначале. polling включен ?

[HEDG_SS]

Intel Desktop взял шеф (не знаю из каких соображений). После НГ Обещал поменять на серверные. Жду.
Как достоверно убедиться, что узкое место именно сетевые?

Pooling не включен (только ухудшает картину, пробовал HZ=1000 и HZ=2000)

Код: Выделить всё

# netstat -m
542/1513/2055 mbufs in use (current/cache/total)
539/1267/1806/25600 mbuf clusters in use (current/cache/total/max)
538/1126 mbuf+clusters out of packet secondary zone in use (current/cache)
0/2/2/12800 4k (page size) jumbo clusters in use (current/cache/total/max)
0/0/0/6400 9k jumbo clusters in use (current/cache/total/max)
0/0/0/3200 16k jumbo clusters in use (current/cache/total/max)
1215K/2920K/4135K bytes allocated to network (current/cache/total)
0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
0/0/0 requests for jumbo clusters denied (4k/9k/16k)
0/7/6656 sfbufs in use (current/peak/max)
0 requests for sfbufs denied
0 requests for sfbufs delayed
0 requests for I/O initiated by sendfile
0 calls to protocol drain routines

Код: Выделить всё

# cat /etc/sysctl.conf
#ICMP
net.inet.icmp.icmplim=100 #число ICMP "Unreachable" и TCP RST пакетов в секунду
net.inet.icmp.icmplim_output=0 #позволяет не отражать в логах факты превышения лимита
net.local.stream.recvspace=65535
net.local.stream.sendspace=65535
net.inet.tcp.sendspace=65535
net.inet.tcp.recvspace=65535
net.inet.ip.ttl=128
kern.polling.enable=0
kern.polling.user_frac=50

Что еще можно посмотреть?

[HEDG_SS]

Похоже роутер упирается в полку по pps.
Что можно посмотреть, покрутить на эту тему?
При достижении порога в 33-35 тыс pps начинают вылетать ошибки на интерфейсе.
Чем выше загррузка, тем больше ошибок.

Код: Выделить всё

# netstat -dw1 -I net0
            input         (net0)           output
   packets  errs      bytes    packets  errs      bytes colls drops
     35422     4   26539102      36858     0   24914472     0     0
     34535     0   26601292      34858     0   22401013     0     0
     34132     0   26226349      34636     0   21874593     0     0
     34214     0   26359563      34153     0   21122707     0     0
     34818     0   26786463      34459     0   21961438     0     0
     35216     3   26690424      35406     0   23497707     0     0
     34156     0   25734021      34759     0   23093725     0     0
     34236     0   26455331      34148     0   21725075     0     0
     33670     2   25503093      34730     0   22492029     0     0
     34482    13   25960634      34547     0   22189100     0     0
     34224     5   26121225      34847     0   22477384     0     0
     33780     0   25452546      34684     0   22496220     0     0
     32978     3   24462510      34992     0   23141471     0     0
     32734    10   24407832      33404     0   21955278     0     0
     32343    30   24560066      32837     0   20421298     0     0
     32893    11   24934547      33910     0   21318674     0     0
     32924     0   25541343      33491     0   21022059     0     0
     33360     0   25366320      33899     0   21443859     0     0
     32492    17   25536836      32360     0   20062492     0     0
     32288     0   25040178      32814     0   20910894     0     0
     33242     0   25753928      33945     0   21245507     0     0
     32992     3   25263700      33781     0   21624214     0     0
     34452     0   25489546      36152     0   24584446     0     0
     33734    29   25428046      34023     0   22222489     0     0
     33304    11   25337016      33213     0   20830454     0     0
     32452     0   24788134      32592     0   20290838     0     0
     32788     0   25389722      32897     0   19954775     0     0
     32828     0   25265098      33441     0   20349856     0     0
     32844     0   25341730      32900     0   20547989     0     0

[terminus]

http://groups.google.kz/group/fido7.ru. ... 12f2e7f125

[HEDG_SS]

2terminus
Спасибо.

Погуглил основательно...
Результат: в моем случае очень похоже , что уперлись либо в шину PCI либо в сетевую (Desctop на серверах стоять не должен, даже если он и Intel....).
насчет PCI часто встречал примерно следующий расчет (в моем случае он похоже верен...)
PCI может теоретическт пропустить 1Gbit, на практике меньше 20-30% + накладные расходы на fullduplex (pci однонаправленная шина, поэтому ей нужно время на переключение.). Многие пришли к порогу в 600Мб/с суммарного потока. У меня получилось суммарно ~520Мб/c.
Была поставлена 4-хголовая сетевая Intel® PRO/1000 PT в порт PCI-E 16x(на том же железе и ОС), после чего проблема полностью ушла. Был преодален порог в 40kpps (стало в пике 55kpps)и суммарный поток в 650Мб/с
P.S. В работе железа не силен, так что если есть технические неточности - сильно не пинайте

P.P.S. многие приходят к таким конфигурациям своих роутеров :
На геймерскую мать (больше портов PCI-E 4x и 16x) ставится хороший камень + ОЗУ, в обычный PCi - втыкается старое видео(если нет набортного), а в PCI-E - сетевые карточки(2-х и 4-х головые).

Всем СПАСИБО!!!