forum.lissyara.su

Добавлено: **2013-07-29 17:11:30**

Добрый день установлен шлюз с 4х портовой интеловой сетевой картой, на вышеупомянутой системе. Имеется 300мбитный канал. При большой сетевой нагрузке сервер начинает глючить(на секунду пропадает пинг, отваливаются сетевые сессии, аська, ссш). В логах ошибок нет.

Конфиг sysctl

Код: Выделить всё

dev.igb.0.rx_processing_limit=4096
dev.igb.1.rx_processing_limit=4096
dev.igb.2.rx_processing_limit=4096
dev.igb.3.rx_processing_limit=4096


# DEVICE_POLLING
#kern.polling.enable=1
#kern.polling.idle_poll=0
#kern.polling.user_frac=20

# direct dispatch
#net.isr.direct=1

# keep more unprocessed packets
net.inet.ip.intr_queue_maxlen=500

# entropy harvesting off (ipsec rng doesn't use /dev/random)
kern.random.sys.harvest.ethernet=0
kern.random.sys.harvest.interrupt=0
kern.random.sys.harvest.point_to_point=0

# 1: force hardware crypto
# 0: use hardware if available
# -1: force software crypto
net.inet.ipsec.crypto_support=0

# no IPsec debugging
net.inet.ipsec.debug=0

# duplicate SAD won't cause FAIL
net.key.preferred_oldsa=0

# prefer ESP auth to AH
net.key.esp_auth=1

# breaks ipnat if PR 72210 not fixed (we fixed it partially -- active ftp still breaks)
# also breaks 'subnet extrusion' somehow
net.inet.ip.fastforwarding=0

# required for subnet extrusion
net.inet.ip.redirect=0

# may fix panic in m_copym -- http://unix.derkeiler.com/Mailing-Lists/FreeBSD/current/2004-07/0816.html
# net.inet.tcp.sack.enable=0

# strong host model
net.inet.ip.check_interface=1

net.inet.icmp.drop_redirect=1
net.inet.icmp.log_redirect=0
#et.inet.ipf.fr_tcpidletimeout=3600

################
net.route.netisr_maxqlen=4096
kern.ipc.nmbclusters=400000
kern.ipc.maxsockbuf=83886080
net.inet.ip.intr_queue_maxlen=10240

Конфиг loader.conf

Код: Выделить всё

hw.igb.rxd=4096
hw.igb.txd=4096
hw.igb.max_interrupt_rate=32000
net.isr.defaultqlimit=4096
net.link.ifqmaxlen=10240

Железо
ProLiant DL380p Gen8

Добавлено: **2013-07-29 17:12:06**

Глючит только под нагрузкой , при большом количестве сессий (порядка 400 пользователей)

Добавлено: **2013-07-29 19:27:47**

Мда) ессли это вопрос для начинающих , то я папа-карло

Добавлено: **2013-07-29 20:50:01**

А патч em_sysctl-8.3.diff ставили ?

top -SP дайте при нагрузках
если какие то ошибки на коммутаторах? сетевых интерфейсах фряхи?

Добавлено: **2013-07-30 10:56:21**

baton4eg писал(а):А патч em_sysctl-8.3.diff ставили ?

top -SP дайте при нагрузках
если какие то ошибки на коммутаторах? сетевых интерфейсах фряхи?

Так причем тут этот патч , у меня сетевуха не em а igb. Патч этот разве для 9.1?

На комутаторах , сетевых интерфейсах фряхи ошибок почти нет, 1 инт резет был и еще пара каких то ошибок, за весь день работы.

top -SP сейчас выдать не могу. Т.к. если опять подключу этот глючный сервер, мне опу на британский флаг порвут)

Может подскажете как сэмулировать нагрузку? Причем глючит оно не от количества трафика, а от количества сессий , это точно. Т.к. работало без проблем при 100мбитном трафике, но народу было не больше 20 человек. Когда их становится порядка 400 начинаются лаги.

Добавлено: **2013-07-30 11:29:45**

darkomen писал(а):
baton4eg писал(а):А патч em_sysctl-8.3.diff ставили ?

top -SP дайте при нагрузках
если какие то ошибки на коммутаторах? сетевых интерфейсах фряхи?
Так причем тут этот патч , у меня сетевуха не em а igb. Патч этот разве для 9.1?

На комутаторах , сетевых интерфейсах фряхи ошибок почти нет, 1 инт резет был и еще пара каких то ошибок, за весь день работы.

top -SP сейчас выдать не могу. Т.к. если опять подключу этот глючный сервер, мне опу на британский флаг порвут)

Может подскажете как сэмулировать нагрузку? Причем глючит оно не от количества трафика, а от количества сессий , это точно. Т.к. работало без проблем при 100мбитном трафике, но народу было не больше 20 человек. Когда их становится порядка 400 начинаются лаги.

http://dadv.livejournal.com/139170.html?thread=318882

Опишите какие демоны крутятся, на чем реализован шейпер. Может система в какие то лимиты упирается?

Добавлено: **2013-07-30 11:55:45**

Эту статейку читал, лимиты выставлял как указано в ней, не помогло.

Ничего там особо нет, только маршрутизация и нат. Нат ipnat-ipfilter. В ядре была еще включена поддержка ipfw dummynet , планировал использовать. Сейчас пробую все лишнее отключит.

Также еще хочу попробовать вот это, не пробовал

ifconfig_igb0="-rxcsum -txcsum -lro -tso up"

Это отключает LRO TSO и checksum.
Работать с LRO на данный момент при большом потоке не реально.

Добавлено: **2013-07-30 11:58:50**

Еще вот рекомендуют такие опции добавить в ядро, добавил.
options ZERO_COPY_SOCKETS # man 9 zero_copy_sockets
## Несколько таблиц маршрутизации.
## Полезно при использовании jail
#options ROUTETABLES=10
options HZ=4000
options PANIC_REBOOT_WAIT_TIME=16
device lagg

Добавлено: **2013-07-31 16:02:42**

Может просто таблица NAT переполняется? Что выводят эти команды

Код: Выделить всё

# ipnat -s | grep inuse
# ipf -T list | grep ipf_nattable_max

?

Добавлено: **2013-07-31 17:29:38**

Нене, никогда небыло более 20 тыс сессий, точно не нат. На выходных буду тестить

Добавлено: **2013-08-01 13:27:52**

Посмотрите статистику ipnat'a, netstat -i, vmstat -i, top, gstat, trafshow. А вообще можно поднюнить такие sysctl'ы

Код: Выделить всё

security.bsd.see_other_uids=0 : запрещаем пользователям просматривать чужие процессы (будут видны только свои)
security.bsd.see_other_gids=0 : тоже самое, только группам
net.inet.tcp.blackhole=2 : пускаем запросы на закрытые порты в «чёрные дыры», то есть просто напросто убиваем, без всяких оповещений. Очень помогает при сканнировании портов. Это для протокола tcp.
net.inet.udp.blackhole=1 : тоже самое, но только для udp
security.bsd.hardlink_check_uid=1 : пользователи могут делать hardlink только на свои файлы
security.bsd.hardlink_check_gid=1 : тоже самое, но только для групп.
net.link.ether.ipfw=1 : ipfw2 позволяет фильтровать по MAC адресам
net.inet.icmp.drop_redirect=1 : ICMP REDIRECT пакеты игнорируются
net.inet.icmp.bmcastecho=0 : для защиты от SMURF атак (ICMP echo request на broadcast адрес)
net.inet.icmp.maskrepl=0 : запрет широковещательного запроса временного штампа
kern.ipc.somaxconn=32768 : защита от synflood атак (увеличиваем количество полуоткрытых сокетов)
net.inet.tcp.sendspace=64395 : размера TCP окна (Увеличенный размер окна позволит более эффективно передавать данные)
net.inet.tcp.recvspace=64395 : размера TCP окна (Увеличенный размер окна позволит более эффективно передавать данные)
net.link.ether.inet.max_age=1200 : для защиты от подмены Arp-записей
net.inet.ip.sourceroute=0: защита для локальных IP
net.inet.ip.accept_sourceroute=0 : защита для локальных IP
net.inet.tcp.drop_synfin=1 : небольшая защита
net.inet.tcp.syncookies=1 : от доса
net.inet.icmp.log_redirect=1
net.inet.ip.redirect=0
net.inet6.ip6.redirect=0
net.inet.ip.ttl=128 : Определяем TTL в заголовке IP-пакета
net.inet.tcp.rfc1323=1 : Указываем ОС изменять параметры window и timestamps в соответствии с RFC 1323.
net.inet.tcp.msl=15000
net.inet.icmp.icmplim=50
net.inet.tcp.log_in_vain=1
net.inet.udp.log_in_vain=1
net.link.ether.inet.log_arp_movements=1
net.inet.tcp.icmp_may_rst=0
security.bsd.conservative_signals=1
security.bsd.unprivileged_proc_debug=0
security.bsd.unprivileged_read_msgbuf=0
security.bsd.unprivileged_get_quota=0
vfs.usermount=0
kern.ps_showallprocs=0
net.inet.tcp.sack.enable=0
kern.ps_showallprocs=0: Разрешаем смотреть список всех процессов только root
kern.maxfiles=204800
kern.maxfilesperproc=200000
kern.ipc.maxsockets=204800

Для router’a

kern.ipc.maxsockbuf=2097152
kern.ipc.somaxconn=16192
kern.ipc.nmbjumbo9=100000
kern.ipc.nmbjumbo16=32000
kern.maxfiles=65536
kern.maxfilesperproc=32768
kern.random.sys.harvest.ethernet=0
kern.random.sys.harvest.interrupt=0
kern.random.sys.harvest.point_to_point=0
net.inet.ip.redirect=0
net.inet.tcp.delayed_ack=0
net.inet.tcp.sendspace=65536
net.inet.tcp.recvspace=65536
net.inet.udp.recvspace=65536
net.inet.udp.maxdgram=57344
net.local.stream.sendspace=65536
net.local.stream.recvspace=65536
hw.intr_storm_threshold=9000

Я на все своих серваках так тюню. Конечно, делайте с умом. За причинённый вред ответственности не несу.

Добавлено: **2013-08-05 9:14:30**

Продолжаются глюки....

Код: Выделить всё

[root@hq ~ ]# netstat -m
16383/8712/25095 mbufs in use (current/cache/total)
16381/7577/23958/400000 mbuf clusters in use (current/cache/total/max)
16381/5123 mbuf+clusters out of packet secondary zone in use (current/cache)
0/0/0/12800 4k (page size) jumbo clusters in use (current/cache/total/max)
0/0/0/6400 9k jumbo clusters in use (current/cache/total/max)
0/0/0/3200 16k jumbo clusters in use (current/cache/total/max)
36857K/17332K/54189K bytes allocated to network (current/cache/total)
0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
0/0/0 requests for mbufs delayed (mbufs/clusters/mbuf+clusters)
0/0/0 requests for jumbo clusters delayed (4k/9k/16k)
0/0/0 requests for jumbo clusters denied (4k/9k/16k)
0/0/0 sfbufs in use (current/peak/max)
0 requests for sfbufs denied
0 requests for sfbufs delayed
0 requests for I/O initiated by sendfile
0 calls to protocol drain routines
[root@hq ~ ]# netstat -Q
Configuration:
Setting                        Current        Limit
Thread count                         1            1
Default queue limit               4096        10240
Dispatch policy                 direct          n/a
Threads bound to CPUs         disabled          n/a

Protocols:
Name   Proto QLimit Policy Dispatch Flags
ip         1  10240   flow  default   ---
igmp       2   4096 source  default   ---
rtsock     3   4096 source  default   ---
arp        7   4096 source  default   ---
ether      9   4096 source   direct   ---
ip6       10   4096   flow  default   ---

Workstreams:
WSID CPU   Name     Len WMark   Disp'd  HDisp'd   QDrops   Queued  Handled
   0   0   ip         0     1   223729        0        0       20   223749
   0   0   igmp       0     0        4        0        0        0        4
   0   0   rtsock     0     2        0        0        0      107      107
   0   0   arp        0     0        5        0        0        0        5
   0   0   ether      0     0   377397        0        0        0   377397
   0   0   ip6        0     0        0        0        0        0        0


[root@hq ~ ]# vmstat -z
ITEM                   SIZE  LIMIT     USED     FREE      REQ FAIL SLEEP

UMA Kegs:               208,      0,      89,      13,      89,   0,   0
UMA Zones:             3456,      0,      89,       0,      89,   0,   0
UMA Slabs:              568,      0,   27424,       2,   34529,   0,   0
UMA RCntSlabs:          568,      0,   11979,       5,   11979,   0,   0
UMA Hash:               256,      0,       0,      15,       4,   0,   0
16 Bucket:              152,      0,     201,      24,     201,   0,   0
32 Bucket:              280,      0,     456,       6,     456,   0,   0
64 Bucket:              536,      0,     667,       5,     667,  89,   0
128 Bucket:            1048,      0,    2325,       0,    2325,1826,   0
VM OBJECT:              232,      0,   56211,    1501,  170988,   0,   0
MAP:                    232,      0,       8,      24,       8,   0,   0
KMAP ENTRY:             120, 530782,     178,    3170,  100833,   0,   0
MAP ENTRY:              120,      0,    1246,    2257,  265267,   0,   0
fakepg:                 120,      0,       0,      93,       8,   0,   0
mt_zone:               4112,      0,     328,      15,     328,   0,   0
16:                      16,      0,    3845,    2707, 1158537,   0,   0
32:                      32,      0,    5396,    2987,   75866,   0,   0
64:                      64,      0,    9068,    2860,  666653,   0,   0
128:                    128,      0,    8903,    5597, 3069718,   0,   0
256:                    256,      0,   13793,    4537, 8716065,   0,   0
512:                    512,      0,   30375,    3204, 1575070,   0,   0
1024:                  1024,      0,    3888,    3036, 3372930,   0,   0
2048:                  2048,      0,    5474,    2468,    7236,   0,   0
4096:                  4096,      0,     449,     970,   11539,   0,   0
Files:                   80,      0,      92,    1483,  901675,   0,   0
rl_entry:                40,      0,     420,    1932,     420,   0,   0
TURNSTILE:              136,      0,     802,     278,     802,   0,   0
umtx pi:                 96,      0,       0,       0,       0,   0,   0
MAC labels:              40,      0,       0,       0,       0,   0,   0
PROC:                  1192,      0,      51,     456,    8737,   0,   0
THREAD:                1160,      0,     590,     211,     590,   0,   0
SLEEPQUEUE:              80,      0,     802,     474,     802,   0,   0
VMSPACE:                392,      0,      32,     608,    8719,   0,   0
cpuset:                  72,      0,     105,      95,     105,   0,   0
audit_record:           960,      0,       0,       0,       0,   0,   0
mbuf_packet:            256,      0,   16381,    5123,151817003,   0,   0
mbuf:                   256,      0,       2,    3589,149842929,   0,   0
mbuf_cluster:          2048, 400000,   21504,    2454,   31482,   0,   0
mbuf_jumbo_page:       4096,  12800,       0,       0,       0,   0,   0
mbuf_jumbo_9k:         9216,   6400,       0,       0,       0,   0,   0
mbuf_jumbo_16k:       16384,   3200,       0,       0,       0,   0,   0
mbuf_ext_refcnt:          4,      0,       0,    1008,    3056,   0,   0
ttyinq:                 160,      0,     300,     516,     840,   0,   0
ttyoutq:                256,      0,     157,     353,     442,   0,   0
g_bio:                  248,      0,       0,    5325,  542438,   0,   0
ata_request:            328,      0,       0,     624,   75346,   0,   0
ata_composite:          336,      0,       0,       0,       0,   0,   0
vtnet_tx_hdr:            24,      0,       0,       0,       0,   0,   0
FPU_save_area:          832,      0,       0,       0,       0,   0,   0
VNODE:                  504,      0,  137795,     973, 3402316,   0,   0
VNODEPOLL:              112,      0,       1,      98,       2,   0,   0
S VFS Cache:            108,      0,  112854,   33204, 2068413,   0,   0
STS VFS Cache:          148,      0,       0,       0,       0,   0,   0
L VFS Cache:            328,      0,   31042,   55250, 1367548,   0,   0
LTS VFS Cache:          368,      0,       0,       0,       0,   0,   0
NAMEI:                 1024,      0,       0,     396, 4990917,   0,   0
NCLNODE:                568,      0,       0,       0,       0,   0,   0
DIRHASH:               1024,      0,    8014,     486,    8014,   0,   0
pipe:                   728,      0,       3,     482,    4066,   0,   0
Mountpoints:            824,      0,       5,       7,       5,   0,   0
ksiginfo:               112,      0,     495,    2013,    8082,   0,   0
itimer:                 344,      0,       0,       0,       0,   0,   0
KNOTE:                  128,      0,       0,     957,    1642,   0,   0
socket:                 680,  25602,      30,     414,    2805,   0,   0
ipq:                     56,  12537,       0,       0,       0,   0,   0
udp_inpcb:              392,  25600,       2,     538,    1258,   0,   0
udpcb:                   16,  25704,       2,    3190,    1258,   0,   0
tcp_inpcb:              392,  25600,       9,     441,      52,   0,   0
tcpcb:                  976,  25600,       9,     307,      52,   0,   0
tcptw:                   72,   5150,       0,       0,       0,   0,   0
syncache:               152,  15375,       0,      50,       6,   0,   0
hostcache:              136,  15372,       1,      55,       1,   0,   0
tcpreass:                40,  25032,       0,       0,       0,   0,   0
sackhole:                32,      0,       0,       0,       0,   0,   0
sctp_ep:               1384,  25600,       0,       0,       0,   0,   0
sctp_asoc:             2288,  40000,       0,       0,       0,   0,   0
sctp_laddr:              48,  80064,       0,    1296,      43,   0,   0
sctp_raddr:             704,  80000,       0,       0,       0,   0,   0
sctp_chunk:             136, 400008,       0,       0,       0,   0,   0
sctp_readq:             104, 400032,       0,       0,       0,   0,   0
sctp_stream_msg_out:    104, 400032,       0,       0,       0,   0,   0
sctp_asconf:             40, 400008,       0,       0,       0,   0,   0
sctp_asconf_ack:         48, 400032,       0,       0,       0,   0,   0
ripcb:                  392,  25600,       2,      98,       7,   0,   0
unpcb:                  240,  25600,      16,     672,    1481,   0,   0
rtentry:                200,      0,      91,     365,     104,   0,   0
selfd:                   56,      0,      90,    1737, 2130499,   0,   0
SWAPMETA:               288, 2024412,       0,       0,       0,   0,   0
FFS inode:              168,      0,  137751,    1179, 3402210,   0,   0
FFS1 dinode:            128,      0,       0,       0,       0,   0,   0
FFS2 dinode:            256,      0,  137751,    1134, 3402210,   0,   0

[root@hq ~ ]# netstat -i
Name    Mtu Network       Address              Ipkts Ierrs Idrop    Opkts Oerrs  Coll
usbus     0 <Link#1>                               0     0     0        0     0     0
igb0   1500 <Link#2>      ac:16:2d:98:dd:b4 30441483     0     0 34240067     0     0
igb0   1500 fe80::ae16:2d fe80::ae16:2dff:f        0     -     -        2     -     -
igb0   1500 172.17.2.0/30 172.17.2.1               0     -     -   226252     -     -
igb1   1500 <Link#3>      ac:16:2d:98:dd:b5 66574994     0     0 76032073     0     0
igb1   1500 fe80::ae16:2d fe80::ae16:2dff:f        0     -     -        1     -     -
igb2   1500 <Link#4>      ac:16:2d:98:dd:b6 54807940     0     0 39662974     0     0
igb2   1500 *.2.0   hq                       0     -     -        2     -     -
igb2   1500 fe80::ae16:2d fe80::ae16:2dff:f        0     -     -        1     -     -
igb2   1500 *.80.64/2 hq-tan                4862     -     -     5256     -     -
igb2   1500 *.80.64/2 *                        62     -     -        0     -     -
igb2   1500 *.80.64/2 collab                  48     -     -        0     -     -
igb2   1500 *.80.64/2 *.80.76             59     -     -        0     -     -
igb2   1500 *.80.64/2 *.80.77             48     -     -        0     -     -
igb2   1500 *.79.128/ *.79.135            35     -     -        0     -     -
igb2   1500 *.79.128/ *.79.130            34     -     -        0     -     -
igb2   1500 *.79.128/ *.79.132            39     -     -        0     -     -
igb2   1500 *.79.128/ *.79.136            38     -     -        0     -     -
igb2   1500 *.79.128/ *.79.138            37     -     -        0     -     -
igb3   1500 <Link#5>      ac:16:2d:98:dd:b7    26745     0     0    26625     0     0
igb3   1500 172.17.0.4/30 172.17.0.5               3     -     -    25878     -     -
igb3   1500 fe80::ae16:2d fe80::ae16:2dff:f        0     -     -        2     -     -
usbus     0 <Link#6>                               0     0     0        0     0     0
usbus     0 <Link#7>                               0     0     0        0     0     0
lo0   16384 <Link#8>                              20     0     0       20     0     0
lo0   16384 localhost     ::1                      0     -     -        0     -     -
lo0   16384 fe80::1%lo0   fe80::1                  0     -     -        0     -     -
lo0   16384 your-net      localhost               20     -     -       20     -     -
gif2*  1280 <Link#9>                               0     0     0        0     0     0
vlan3  1500 <Link#10>     ac:16:2d:98:dd:b5        0     0     0     3609     0     0
vlan3  1500 172.17.0.0/30 172.17.0.1               0     -     -        0     -     -
vlan3  1500 fe80::ae16:2d fe80::ae16:2dff:f        0     -     -        0     -     -
vlan1  1500 <Link#11>     ac:16:2d:98:dd:b5 66572499     0     0 76026607     0     0
vlan1  1500 172.17.0.16/3 172.17.0.18         253660     -     -    50109     -     -
vlan1  1500 fe80::ae16:2d fe80::ae16:2dff:f        0     -     -        1     -     -
vlan2  1500 <Link#12>     ac:16:2d:98:dd:b5     2514     0     0     1701     0     0
vlan2  1500 172.20.2.0    172.20.2.1               0     -     -        0     -     -
vlan2  1500 fe80::ae16:2d fe80::ae16:2dff:f        0     -     -        1     -     -
[root@hq ~ ]# vmstat -i
interrupt                          total       rate
irq1: atkbd0                          18          0
irq17: atapci0                    150684          0
irq20: ehci1                      565119          2
irq21: ehci0                      339622          1
cpu0:timer                      12012309         53
irq264: ciss0                     180658          0
irq265: igb0                    62332761        275
irq266: igb1                   125056768        553
irq267: igb2                    78291467        346
irq268: igb3                       53373          0
cpu1:timer                        693706          3
cpu20:timer                       739343          3
cpu11:timer                     22818403        100
cpu22:timer                       747647          3
cpu23:timer                       720692          3
cpu9:timer                        745536          3
cpu12:timer                     17611002         77
cpu2:timer                        690935          3
cpu16:timer                       777678          3
cpu10:timer                      7010394         31
cpu13:timer                       714189          3
cpu15:timer                       759813          3
cpu3:timer                        729253          3
cpu14:timer                       758514          3
cpu6:timer                        719304          3
cpu21:timer                       721425          3
cpu8:timer                        715366          3
cpu18:timer                       764250          3
cpu7:timer                        722382          3
cpu17:timer                       731711          3
cpu4:timer                        698788          3
cpu19:timer                       733969          3
cpu5:timer                        733391          3
Total                          341040470       1509
[root@hq ~ ]# ipnat -s
mapped  in      54769443        out     39668964
added   1471519 expired 1403758
no memory       0       bad nat 2133
inuse   15098
orphans 0
rules   654
wilds   0
hash efficiency 13.54%
bucket usage    99.90%
minimal length  0
maximal length  19
average length  7.383
TCP Entries per state
     0     1     2     3     4     5     6     7     8     9    10    11
     0    51    13     0  3454   128  3048     0     4     0  6253    54

last pid:  8741;  load averages:  0.06,  0.16,  0.12                                                                                            up 2+14:46:37  09:53:41
52 processes:  2 running, 49 sleeping, 1 waiting
CPU 0:   0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 1:   0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 2:   0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 3:   0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 4:   0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 5:   0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 6:   0.0% user,  0.0% nice,  0.4% system,  0.0% interrupt, 99.6% idle
CPU 7:   0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 8:   0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 9:   0.0% user,  0.0% nice,  0.4% system,  0.0% interrupt, 99.6% idle
CPU 10:  0.0% user,  0.0% nice,  2.0% system,  0.0% interrupt, 98.0% idle
CPU 11:  0.0% user,  0.0% nice,  6.3% system,  0.0% interrupt, 93.7% idle
CPU 12:  0.0% user,  0.0% nice,  2.7% system,  0.0% interrupt, 97.3% idle
CPU 13:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 14:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 15:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 16:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 17:  0.0% user,  0.0% nice,  0.4% system,  0.0% interrupt, 99.6% idle
CPU 18:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 19:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 20:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 21:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 22:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 23:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
Mem: 18M Active, 1082M Inact, 964M Wired, 1645M Buf, 13G Free
Swap: 16G Total, 16G Free

  PID USERNAME    THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
   11 root         24 155 ki31     0K   384K RUN    23 1505.2 2392.48% idle
    0 root         13 -52    0     0K   208K -      23  69:47 15.14% kernel
   18 root          1  16    -     0K    16K syncer 17   3:46  0.00% syncer
   12 root         37 -76    -     0K   592K WAIT    0   3:29  0.00% intr
   14 root          1 -16    -     0K    16K -      14   3:13  0.00% yarrow
 1794 root          1  20    0 12028K  2800K nanslp 17   2:46  0.00% ipmon
 1107 root          1  20    0 21444K  3256K select  6   0:21  0.00% ospfd
   15 root         12 -68    -     0K   192K -       9   0:20  0.00% usb
   13 root          3  -8    -     0K    48K -      14   0:06  0.00% geom
   20 root          1 -16    -     0K    16K sdflus  7   0:03  0.00% softdepflush
   16 root          1 -16    -     0K    16K tzpoll 12   0:02  0.00% acpi_thermal
    9 root          1 -16    -     0K    16K psleep 23   0:01  0.00% bufdaemon
   19 root          1 -16    -     0K    16K vlruwt 15   0:01  0.00% vnlru
 1523 root          1  20    0 12076K  1732K select 18   0:01  0.00% syslogd
 1626 root          1  20    0 14176K  1824K nanslp 11   0:01  0.00% cron
    6 root          1 -16    -     0K    16K psleep  2   0:00  0.00% pagedaemon
   17 root          1 -16    -     0K    16K coolin  6   0:00  0.00% acpi_cooling0
 1372 root          1  20    0 10376K  4412K select 20   0:00  0.00% devd
 1101 root          1  20    0 18724K  2764K select 21   0:00  0.00% zebra
 8716 root          1  22    0 72136K  5888K select  6   0:00  0.00% sshd
 8705 root          1  21    0 72136K  5888K select  0   0:00  0.00% sshd
 8695 root          1  21    0 72136K  5888K select 17   0:00  0.00% sshd
 1668 root          1  20    0 45332K  2340K wait   12   0:00  0.00% login
 8728 svs           1  21    0 45328K  2356K wait    1   0:00  0.00% su
 8719 svs           1  20    0 72136K  5884K select 21   0:00  0.00% sshd

Добавлено: **2013-08-05 11:24:40**

1) Попробуйте поочередно отключать сервисы и понаблюдать за работой

2) Я не любитель подгрудать на ходу модули.... Может стоит поллинг включить в ядро?
Тоже самое с натом, все в ядро и компилировать.
+ вопрос: а у Вас NAT работает только с одним ядром???

Добавлено: **2013-08-05 11:35:37**

Может проблема в сетках? Есть на что временно заменить для теста?

Добавлено: **2013-08-05 11:44:32**

dml писал(а):1) Попробуйте поочередно отключать сервисы и понаблюдать за работой

2) Я не любитель подгрудать на ходу модули.... Может стоит поллинг включить в ядро?
Тоже самое с натом, все в ядро и компилировать.
+ вопрос: а у Вас NAT работает только с одним ядром???

сервисы отключены все, или какие вы предлагаете отключать? Поллинг включал, так-же глючит. Ipnat вкомпилен в ядро...

Не знаю надо работает с одним ядром или нет

Добавлено: **2013-08-05 11:45:50**

dml писал(а):Может проблема в сетках? Есть на что временно заменить для теста?

Сетках что вы имеете ввиду? Сетевуха? Да очевидно что она корень всех проблем... Это intel IGB 4х портовая. До этого была broadcom 4х портовая с ней проблем было еще больше... Я честно говоря не знаю какую взять сетевуху чтобы небыло проблем.

Добавлено: **2013-08-05 11:59:24**

СТОП! IPNAT????
Вышлите, пожалуйста, все конфигурационные файлы на даный момент, которые Вы имеете (для настройки NAT).
это
/boot/loader.conf
/etc/rc.conf
/etc/rc.firewall
Может еще какие-то другие, которые например в /etc/rc.conf прописаны

* BIOS на сетках обновляли?

Добавлено: **2013-08-05 12:00:03**

пока хочу отключить lro

Добавлено: **2013-08-05 12:03:45**

Обновите фримваре на серверах была таже фигня но с ESXi. Там даже где то на сайте HP было описание бага.

Добавлено: **2013-08-05 12:05:41**

Я еще не тестировал с новым loader.conf некоторые параметры изменены

rc.firewall не использую

и использую ipfilter, с ним проблем точно нет т.к. на фре 7.1 и другом железе все работает отлично

Добавлено: **2013-08-05 12:06:36**

Dark_ASU писал(а):Обновите фримваре на серверах была таже фигня но с ESXi. Там даже где то на сайте HP было описание бага.

фирмваре обновлял.

Добавлено: **2013-08-05 12:07:00**

Как обновить BIOS на сетевухе?

Добавлено: **2013-08-05 12:08:52**

Закоментил нововведения

Код: Выделить всё

[root@hq ~ ]# cat /boot/loader.conf
hw.igb.rxd=4096
hw.igb.txd=4096
#hw.igb.rx_process_limit=2048
#hw.igb.num_queues=2
#hw.igb.lro=0
#hw.igb.fc_setting=0
hw.igb.max_interrupt_rate=32000

net.isr.defaultqlimit=4096
net.link.ifqmaxlen=10240

Добавлено: **2013-08-05 12:14:14**

-rxcsum -txcsum -lro -tso вот с этой байдой еще не тестил, на нее можно внимание не обращать. Также некоторые параметры изменены т.к. шлюз на данный момент не функционирует, чтобы к нему можно было лазить

Код: Выделить всё

hostname="hq"

network_interfaces="auto"
cloned_interfaces="gif2 vlan3 vlan170 vlan210"

# NB: zebra will add and/or override IPs and netmasks, keep zebra/zebra.conf in sync

# vlan tagged interfaces
#old fxp0:bge2
ifconfig_igb1="-rxcsum -txcsum -lro -tso up"

# GORG p2p
# old em0:bge0
#ifconfig_igb0="-rxcsum -txcsum -lro -tso inet 172.17.2.1 netmask 0xfffffffc up"

# Wi-Fi DMZ
ifconfig_vlan210="inet   172.20.2.1  netmask 0xffffff00 vlan 210   vlandev igb1"
# GONDOR p2p
ifconfig_vlan3="inet   172.17.0.1  netmask 0xfffffffc vlan 3   vlandev igb1"
# sw-over-1 p2p
ifconfig_vlan170="inet 172.17.0.18 netmask 0xfffffffc vlan 170 vlandev igb1"

# DMZ -- keep in sync with IP-DMZ* in ipf.meta
#old fxp1:bge3
ifconfig_igb2="-rxcsum -txcsum -lro -tso inet   *.2.2 netmask 0xffffff00"
ifconfig_igb2_alias1="inet *.80.66 netmask 0xffffffe0"
ifconfig_igb2_alias2="inet *.80.67 netmask 0xffffffe0"
ifconfig_igb2_alias3="inet *.80.69 netmask 0xffffffe0"
ifconfig_igb2_alias4="inet *.80.76 netmask 0xffffffe0"
ifconfig_igb2_alias5="inet *.80.77 netmask 0xffffffe0"
#ifconfig_igb2_alias5="inet *.80.81 netmask 0xffffffe0"
ifconfig_igb2_alias6="inet *.79.130 netmask 0xffffff80"
ifconfig_igb2_alias7="inet *.79.132 netmask 0xffffff80"
ifconfig_igb2_alias8="inet *.79.135 netmask 0xffffff80"
ifconfig_igb2_alias9="inet *.79.136 netmask 0xffffff80"
ifconfig_igb2_alias10="inet *.79.138 netmask 0xffffff80"

#ifconfig_igb2="inet   213.221.2.2 netmask 0xffffff00"
#ifconfig_igb2_alias0="inet *.80.66 netmask 0xffffffe0"


# GRAF point-to-point
#old fxp2
#ifconfig_bge4="inet    172.17.0.9  netmask 0xfffffffc"
# mq point-to-point
# fxp3
ifconfig_igb3="-rxcsum -txcsum -lro -tso inet    172.17.0.5  netmask 0xfffffffc"

# for ospf and ipsec, over p2p
#ifconfig_gif2="inet 172.17.1.1 172.17.1.2 netmask 0xffffffff tunnel 172.17.0.9 172.17.0.10 up"

static_routes=""
route_vlan1="10.0.0.0/8 172.17.0.17"
route_vlan4="192.168.0.0/24 172.17.0.17"
route_vlan171="172.17.0.20/30 172.17.0.17"
route_vlan174="172.17.0.28/30 172.17.0.17"
route_asa="172.21.4.0/24 172.17.0.17"
route_asa1="172.21.5.0/24 172.17.0.17"
route_vista="172.21.6.0/24 172.17.0.17"
route_vlan172="172.21.3.0/24 172.17.0.17"
route_vlan180="172.18.0.0/16 172.17.0.17"
route_vlan190="172.19.0.0/16 172.17.0.17"
route_vlan200="172.20.1.0/24 172.17.0.17"
#route_vlan210="172.20.2.0/24 172.17.0.17"
route_vlan270="172.27.0.0/16 172.17.0.17"
route_vlan290="172.29.0.0/16 172.17.0.17"
route_graf="172.24.0.0/16 172.17.2.2"
route_graf1="172.25.0.0/16 172.17.2.2"
route_bank="172.16.0.0/16 172.17.0.2"
route_gorg="172.28.1.0/24 172.17.2.2"
route_gorg1="172.28.3.0/24 172.17.2.2"
route_gorg2="172.28.30.0/24 172.17.2.2"
route_nic1="172.28.4.0/24 172.17.2.2"
route_nic2="172.100.1.0/24 172.17.2.2"
route_dc="172.31.0.0/16 172.17.2.2"
route_pit="192.168.20.0/24 172.17.2.2"
route_pit1="192.168.25.0/24 172.17.2.2"
route_pit2="192.168.30.0/24 172.17.2.2"
route_pit2="192.168.33.0/24 172.17.2.2"

gateway_enable="YES"
routed_enable="NO"
ipsec_enable="NO"
racoon_enable="NO"
#racoon_flags="-f /etc/racoon/racoon.conf"

ifconfig_igb0=" inet 10.2.4.150 netmask 255.0.0.0"
defaultrouter="10.1.1.1"
#defaultrouter="*.80.65"

firewall_enable="NO"

#firewall_enable="NO"
#firewall_script="/etc/rc.dummynet"
#firewall_type="open"
#firewall_logging="YES"

ipfilter_enable="YES"
ipfilter_program="/sbin/ipf"
ipfilter_metafile="/etc/ipf.meta"
ipfilter_datafile="/etc/ipf.data"
ipfilter_rules="/etc/ipf.conf"
ipfilter_flags=""
#ipfilter_variables="fr_icmpminfragmtu=0,fr_statemax=16787,fr_statesize=23993"
ipnat_enable="YES"
ipnat_program="/sbin/ipnat"
ipnat_metafile="/etc/ipnat.meta"
ipnat_datafile="/etc/ipnat.data"
ipnat_rules="/etc/ipnat.conf"
ipnat_flags=""
ipmon_enable="YES"
ipmon_program="/sbin/ipmon"
ipmon_flags="-D -o NS -P /var/run/ipmon2.pid /var/log/ipmon.log"
ipfs_enable="NO"
ipfs_program="/sbin/ipfs"
ipfs_flags=""
# ipfs_enable="YES"

tcp_extensions="NO"
tcp_keepalive="NO"
#log_in_vain="0"

#zebra_enable="YES"
#zebra_flags="-A 127.0.0.1"
#ospfd_enable="YES"
#ospfd_flags="-A 127.0.0.1"

quagga_enable="YES"
quagga_daemons="zebra ospfd"

# broken
snmpd_enable="NO"

sendmail_enable="NONE"
#dumpdev="NO"

# stops huge memory leak
devd_enable="YES"


sshd_enable="YES"
ntpd_enable="NO"
mpd_enable="NO"
# Set dumpdev to "AUTO" to enable crash dumps, "NO" to disable
dumpdev="AUTO"

Добавлено: **2013-08-05 12:20:52**

Попробуйте настроить так:
в ядро:

Код: Выделить всё

options         IPFIREWALL
options         IPFIREWALL_VERBOSE
options         IPFIREWALL_VERBOSE_LIMIT=150
options         IPFIREWALL_FORWARD
options         IPFIREWALL_NAT
options         DUMMYNET
options         LIBALIAS
options         IPFIREWALL_DEFAULT_TO_ACCEPT
options         ROUTETABLES=2

options         HZ="1000"

/etc/rc.conf

Код: Выделить всё

# IFCONFIG'S

# СМОТРИТ В МИР
ifconfig_fxp0="inet 11.11.11.11/30 -tso"
// LOCAL.NET
ifconfig_fxp1="inet 192.168.0.1/24"
ifconfig_fxp2="inet 192.168.1.1/24"
ifconfig_fxp3="inet 192.168.2.1/24"
ifconfig_fxp4="inet 192.168.3.1/24"
ifconfig_fxp5="inet 192.168.4.1/24"
ifconfig_re0="inet 172.16.0.1/16"

defaultrouter="11.11.11.12"

# ROUTER
gateway_enable="YES"
firewall_enable="YES"
firewall_nat_enable="YES"
firewall_nat_interface="fxp0"
firewall_script="/etc/rc.firewall"
firewall_type="open"
firewall_flags="unreg_only same_ports unregistered_only"

и /etc/rc.firewall
Зона

Код: Выделить всё

        case ${firewall_nat_enable} in
        [Yy][Ee][Ss])
                if [ -n "${firewall_nat_interface}" ]; then
                        if echo "${firewall_nat_interface}" | \
                                grep -q -E '^[0-9]+(\.[0-9]+){0,3}$'; then
                                firewall_nat_flags="ip ${firewall_nat_interface} ${firewall_nat_flags}"
                        else
                                firewall_nat_flags="if ${firewall_nat_interface} ${firewall_nat_flags}"
                        fi

Код: Выделить всё

        case ${firewall_nat_enable} in
        [Yy][Ee][Ss])
                if [ -n "${firewall_nat_interface}" ]; then
                        if echo "${firewall_nat_interface}" | \
                                grep -q -E '^[0-9]+(\.[0-9]+){0,3}$'; then
                                firewall_nat_flags="ip ${firewall_nat_interface} ${firewall_nat_flags}"
                        else
                                firewall_nat_flags="if ${firewall_nat_interface} ${firewall_nat_flags}"
                        fi
                        ${fwcmd} nat 123 config log ${firewall_nat_flags} \
                        redirect_port tcp 192.168.0.10:80 80 \
                        redirect_port udp 192.168.0.10:80 80 \
                        redirect_port tcp 192.168.0.10:53 53 \
                        redirect_port udp 192.168.0.10:53 53 \
                        redirect_port tcp 192.168.0.10:22 22 \
                        redirect_port udp 192.168.0.10:22 22 \
                        redirect_port tcp 192.168.0.3:22 21 \
                        redirect_port tcp 192.168.0.3:80 82 \
                        redirect_port tcp 192.168.0.10:2222 2222 \
                        redirect_port udp 192.168.0.10:2222 2222 \
                        redirect_port tcp 192.168.0.77:3389 3389

                        ${fwcmd} add 50 nat 123 ip4 from any to any via ${firewall_nat_interface}
#############################3
#                       ${fwcmd} add 2000 deny all from any to me dst-port 139 via ${firewall_nat_interface}
#                       ${fwcmd} add 2010 deny all from any to me dst-port 445 via ${firewall_nat_interface}
#                       ${fwcmd} add 2020 deny all from any to me dst-port 3306 via


                fi
                ;;
        esac

И должно быть Вам счастье ))

З.Ы. options HZ=4000 - не много??? Может сервер с нагрузкой не справляется.

Выше описанный конфиг работает на
Pendium Dual Core 3.0 Ghz (два ядра без Hyper-threading (может его Вам надо отключить?)) 2 GB RAM (DDR2).
Там значит бортовая гигабитаня сетка, четырехпортовая интеловская сетка (100 MBPS), и две интеловский однопортовых (100 MBPS).
Пров выдает 100 MBPS. Для 100 человек в конторе - всем хватает и ничего не логает.

forum.lissyara.su

Нестабильная работа FreeBSD 9.1

Нестабильная работа FreeBSD 9.1

Re: Нестабильная работа FreeBSD 9.1

Re: Нестабильная работа FreeBSD 9.1

Re: Нестабильная работа FreeBSD 9.1

Re: Нестабильная работа FreeBSD 9.1

Re: Нестабильная работа FreeBSD 9.1

Re: Нестабильная работа FreeBSD 9.1

Re: Нестабильная работа FreeBSD 9.1

Re: Нестабильная работа FreeBSD 9.1

Re: Нестабильная работа FreeBSD 9.1

Re: Нестабильная работа FreeBSD 9.1

Re: Нестабильная работа FreeBSD 9.1

Re: Нестабильная работа FreeBSD 9.1

Re: Нестабильная работа FreeBSD 9.1

Re: Нестабильная работа FreeBSD 9.1

Re: Нестабильная работа FreeBSD 9.1

Re: Нестабильная работа FreeBSD 9.1

Re: Нестабильная работа FreeBSD 9.1

Re: Нестабильная работа FreeBSD 9.1

Re: Нестабильная работа FreeBSD 9.1

Re: Нестабильная работа FreeBSD 9.1

Re: Нестабильная работа FreeBSD 9.1

Re: Нестабильная работа FreeBSD 9.1

Re: Нестабильная работа FreeBSD 9.1

Re: Нестабильная работа FreeBSD 9.1