Перегруз сетевой подсистемы

[wel]

дважды прогнать через pipe\queue
первый раз отрезаем скорость, второй раз балансируем по портам
да и использовать table+tablearg не помешает

без балансировки портов, трафик отрезается в четрые или два правила, не учитывая настройку пайпов и забивание таблицы айпишниками

Пример ПЛЗ ?...

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[wel]

Кстати как определить что проблема ТОЧНО в фаерволе, а не допустим в НАТЕ или еще где-то?

[hizel]

повтыкать в systat в динамике

пример можете посмотерть например в man ipfw в разделе LOOKUP TABLES

[wel]

Кстате нагрузка на сервер возросла после того как инет подаваться стал через vlan.
Я на втором НАСе сначала поднял mpd5+dummynet и натил тут же, default route на основной сервер...Загрузка была ~1-3%
Потом Я настроил отдельный Влан как и основной сервер и прописав внешний ип заметил что нагрузка возросла, сейчас у Меня 5-ть человек в онлайне, а нагрузка 25.0% interrupt...

# uname -a
FreeBSD nas1 7.1-RELEASE FreeBSD 7.1-RELEASE #5: Mon Jan 5 15:04:51 EET 2009 root@nas1:/usr/obj/usr/src/sys/NAS amd64

Код: Выделить всё

last pid: 61336;  load averages:  0.00,  0.00,  0.00                                                  up 1+20:11:28  05:30:25
65 processes:  3 running, 46 sleeping, 16 waiting
CPU:  0.0% user,  0.0% nice,  0.0% system, 25.0% interrupt, 75.0% idle
Mem: 15M Active, 214M Inact, 245M Wired, 44K Cache, 213M Buf, 1500M Free
Swap: 2047M Total, 2047M Free

  PID USERNAME    THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
   12 root          1 171 ki31     0K    16K RUN    0  42.3H 100.00% idle: cpu0
   11 root          1 171 ki31     0K    16K CPU1   1  42.0H 100.00% idle: cpu1
   15 root          1 -44    -     0K    16K WAIT   1 128:50  0.10% swi1: net
   13 root          1 -32    -     0K    16K WAIT   0  19:20  0.10% swi4: clock sio
   37 root          1 -68    -     0K    16K -      0  84:13  0.00% dummynet
   16 root          1 -16    -     0K    16K -      0   3:35  0.00% yarrow
   43 root          1  20    -     0K    16K syncer 0   1:23  0.00% syncer
   36 root          1   8    -     0K    16K pftm   0   0:15  0.00% pfpurge
   21 root          1 -28    -     0K    16K WAIT   0   0:10  0.00% swi5: +
 1011 root          1  44    0 22876K  3940K select 1   0:05  0.00% sshd
    4 root          1  -8    -     0K    16K -      0   0:05  0.00% g_down
    3 root          1  -8    -     0K    16K -      1   0:05  0.00% g_up
    2 root          1  -8    -     0K    16K -      1   0:04  0.00% g_event
  848 root          1  44    0  5688K  1368K select 0   0:02  0.00% syslogd
   29 root          1 -64    -     0K    16K WAIT   1   0:01  0.00% irq14: ata0
   45 root          1 -16    -     0K    16K sdflus 1   0:01  0.00% softdepflush
   42 root          1 -16    -     0K    16K psleep 0   0:00  0.00% bufdaemon
   44 root          1  -4    -     0K    16K vlruwt 0   0:00  0.00% vnlru
 1018 root          1   8    0  6744K  1416K nanslp 1   0:00  0.00% cron
  790 root          1  96    0  2180K   632K select 1   0:00  0.00% devd
    0 root          1 -16    0     0K     0K sched  1   0:00  0.00% swapper
   40 root          1 171 ki31     0K    16K pollid 0   0:00  0.00% idlepoll
   38 root          1 -16    -     0K    16K psleep 0   0:00  0.00% pagedaemon
61300 root          1  44    0 33768K  4760K select 0   0:00  0.00% sshd
    1 root          1   8    0  2176K   560K wait   0   0:00  0.00% init
61304 root          1  20    0 10100K  2808K pause  1   0:00  0.00% csh
61314 root          1  44    0 15496K  4236K select 1   0:00  0.00% mc
61316 root          1  20    0 10100K  2828K pause  0   0:00  0.00% csh
   28 root          1   8    -     0K    16K usbevt 0   0:00  0.00% usb1
   24 root          1   8    -     0K    16K usbevt 0   0:00  0.00% usb0
   34 root          1 -60    -     0K    16K WAIT   0   0:00  0.00% irq1: atkbd0
61336 root          1  44    0  8112K  2044K CPU0   0   0:00  0.00% top
 1088 root          1   5    0  5684K  1212K ttyin  0   0:00  0.00% getty
 1085 root          1   5    0  5684K  1212K ttyin  0   0:00  0.00% getty
 1092 root          1   5    0  5684K  1212K ttyin  0   0:00  0.00% getty

Код: Выделить всё

# netstat -w1
            input        (Total)           output
   packets  errs      bytes    packets  errs      bytes colls
       112     0       8186         27     0       2576     0
       127     0       9482         30     0       2228     0
       172     0      12671         49     0       3502     0

Код: Выделить всё

CPU: AMD Athlon(tm) 64 X2 Dual Core Processor 5400+ (2785.83-MHz K8-class CPU)
  Origin = "AuthenticAMD"  Id = 0x60fb2  Stepping = 2
  Features=0x178bfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,MMX,FXSR,SSE,SSE2,HTT>
  Features2=0x2001<SSE3,CX16>
  AMD Features=0xea500800<SYSCALL,NX,MMX+,FFXSR,RDTSCP,LM,3DNow!+,3DNow!>
  AMD Features2=0x11f<LAHF,CMP,SVM,ExtAPIC,CR8,Prefetch>
  Cores per package: 2
usable memory = 2133463040 (2034 MB)
avail memory  = 2058641408 (1963 MB)
ACPI APIC Table: <031108 APIC1839>
FreeBSD/SMP: Multiprocessor System Detected: 2 CPUs
 cpu0 (BSP): APIC ID:  0
 cpu1 (AP): APIC ID:  1
re0: <RealTek 8168/8168B/8168C/8168CP/8168D/8111B/8111C/8111CP PCIe Gigabit Ethernet> port 0xe800-0xe8ff mem 0xf7fff000-0xf7ffffff irq 16 at device 0.0 on pci3
re0: turning off MSI enable bit.
re0: Chip rev. 0x38000000
re0: MAC rev. 0x00000000

Код: Выделить всё

#ifconfig
re0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=38db<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,POLLING,VLAN_HWCSUM,WOL_UCAST,WOL_MCAST,WOL_MAGIC>
        ether 00:1d:92:e4:48:0c
        media: Ethernet autoselect (100baseTX <full-duplex>)
        status: active
vlan20: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=3<RXCSUM,TXCSUM>
        ether 00:1d:92:e4:48:0c
        inet XXX.XXX.143.5 netmask 0xfffffff8 broadcast XXX.XXX.143.7
        media: Ethernet autoselect (100baseTX <full-duplex>)
        status: active
        vlan: 20 parent interface: re0
vlan51: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=3<RXCSUM,TXCSUM>
        ether 00:1d:92:e4:48:0c
        inet 10.200.25.2 netmask 0xfffff800 broadcast 10.200.31.255
        media: Ethernet autoselect (100baseTX <full-duplex>)
        status: active
        vlan: 51 parent interface: re0

Может проблема в чем-то другом?
Основной сервер подключен в одному свичу-Длинку(Des-3028), а текущий НАС к другому свичу-Длинку(Des-3016)

[wel]

дважды прогнать через pipe\queue
первый раз отрезаем скорость, второй раз балансируем по портам
да и использовать table+tablearg не помешает

без балансировки портов, трафик отрезается в четрые или два правила, не учитывая настройку пайпов и забивание таблицы айпишниками

Пример ПЛЗ ?...

В общем нашел пример и сделал сам:
pipe такие 7 -вместо 250:)

Код: Выделить всё

/sbin/ipfw pipe 19 config mask dst-ip 0x000000ff bw 4200Kbit/s

Код: Выделить всё

>ipfw show
00001          0             0 deny ip from table(1) to me dst-port 22,2000-2010
00001          0             0 deny ip from table(2) to me dst-port 22,2000-2010
00001    2662067     833582443 deny ip from table(66) to any via ng*
00002     755669      38679749 deny ip from not 10.0.0.0/8 to me dst-port 1723
00003     433814      20869724 deny ip from table(25) to any dst-port 25
00008          0             0 deny ip from not 10.0.0.0/8 to me dst-port 3306,139,199
00008          0             0 deny ip from not 10.0.0.0/8 to me dst-port 1812,1813
00009        272         13104 allow log logamount 100000 ip from 10.0.0.0/8 to any dst-port 25
00009          0             0 allow log logamount 100000 ip from 192.168.0.0/16 to any dst-port 25
00012        252         16912 pipe 12 ip from not 10.0.0.0/8 to table(12) in
00012        328         14112 pipe 12 ip from table(12) to not 10.0.0.0/8 out
00013    1157092    1198227555 pipe 13 ip from not 10.0.0.0/8 to table(13) in
00013     922690     399077145 pipe 13 ip from table(13) to not 10.0.0.0/8 out
00014       4215       2865655 pipe 14 ip from not 10.0.0.0/8 to table(14) in
00014       3482        603116 pipe 14 ip from table(14) to not 10.0.0.0/8 out
00015     486793     405026953 pipe 15 ip from not 10.0.0.0/8 to table(15) in
00015     489467     305509298 pipe 15 ip from table(15) to not 10.0.0.0/8 out
00016    4256717    4943244940 pipe 16 ip from not 10.0.0.0/8 to table(16) in
00016    2905750     378851327 pipe 16 ip from table(16) to not 10.0.0.0/8 out
00017     451709     622402051 pipe 17 ip from not 10.0.0.0/8 to table(17) in
00017     305574      12668567 pipe 17 ip from table(17) to not 10.0.0.0/8 out
00018     462678     115019314 pipe 18 ip from not 10.0.0.0/8 to table(18) in
00018     682116     763889091 pipe 18 ip from table(18) to not 10.0.0.0/8 out
00019   37220932   36417472173 pipe 19 ip from not 10.0.0.0/8 to table(19) in
00019   31903263   16168714727 pipe 19 ip from table(19) to not 10.0.0.0/8 out
64997          1            40 reject tcp from any to any not established tcpflags fin
64997          0             0 reject tcp from any to any tcpflags syn,fin,ack,psh,rst,urg
64997         16           768 reject tcp from any to any tcpflags !syn,!fin,!ack,!psh,!rst,!urg
65535       2202        157889 allow ip from any to any

Код: Выделить всё

6.2-RELEASE-p12:server/>ipfw table 18 list | wc -l
       1
6.2-RELEASE-p12:server/>ipfw table 17 list | wc -l
       0
6.2-RELEASE-p12:server/>ipfw table 16 list | wc -l
      11
6.2-RELEASE-p12:server/>ipfw table 15 list | wc -l
       2
6.2-RELEASE-p12:server/>ipfw table 14 list | wc -l
       0
6.2-RELEASE-p12:server/>ipfw table 13 list | wc -l
       0
6.2-RELEASE-p12:server/>ipfw table 12 list | wc -l
       0
6.2-RELEASE-p12:server/>ipfw table 19 list | wc -l
      46

Посмотрю в пике нагрузки сколько будет...

[paix]

чтото у тебя отрицаний многовато.
Подумай сделать вдухе:

Код: Выделить всё

pass ip from 10.0.0.0/8 to any
pass ip from any to 10.0.0.0/8

и дальше уже нарезать пайпы по таблицам

Код: Выделить всё

pipe 12 ip from table(12) to not any out
etc....

[wel]

чтото у тебя отрицаний многовато.
Подумай сделать вдухе:

Код: Выделить всё

pass ip from 10.0.0.0/8 to any
pass ip from any to 10.0.0.0/8

и дальше уже нарезать пайпы по таблицам

Код: Выделить всё

pipe 12 ip from table(12) to not any out
etc....

Привык с тех времен когда траф к серву тоже попадал в пайп, сервер тоже из подсети 10.0.0.0/8...Можно в принципе убрать...
просто

Код: Выделить всё

pipe 12 ip from table(12) to any out via ng* 
etc....

не срабатывает -может чего-то не так пишу?

[paix]

Код: Выделить всё

- pipe 12 ip from table(12) to not any out
+ pipe 12 ip from table(12) to any out

это я ошибся, скопировав твой кусок и не удалив.