FreeBSD проблемы с сетью (ipfw_nat + драйвера от яндекса)

Все вопросы по установке, обновлению и эксплуатации FreeBSD: конфигурация и сопровождение.

Модератор: terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
ded
проходил мимо
Сообщения: 3
Зарегистрирован: 2010-01-26 10:04:11

FreeBSD проблемы с сетью (ipfw_nat + драйвера от яндекса)

Непрочитанное сообщение ded » 2010-01-26 11:58:20

Имеем:

Код: Выделить всё

uname -a
FreeBSD protos.ivc.com.ua 7.2-RELEASE-p5 FreeBSD 7.2-RELEASE-p5 #0: Mon Dec 14 11:29:20 EET 2009     root@protos:/usr/obj/usr/src/sys/GENERIC  i386

Код: Выделить всё

netstat -w 1 -I em0
            input          (em0)           output
   packets  errs      bytes    packets  errs      bytes colls
     32724     0   29643808      27442     0   10143102     0
     32630     0   30356536      27450     0    9966368     0
     32642     0   29868815      27305     0   10299926     0
     33297     0   30200426      27523     0   10090378     0

Код: Выделить всё

kern.polling.enable=0
net.graph.maxdgram=128000
net.graph.recvspace=128000

net.inet.tcp.delayed_ack=0
net.inet.tcp.sendspace=65535
net.inet.udp.recvspace=65535
net.inet.udp.maxdgram=57344


net.local.stream.recvspace=65535
net.local.stream.sendspace=65535

net.inet.ip.fastforwarding=1
net.isr.direct=1
dev.em.0.rx_kthreads=4
dev.em.1.rx_kthreads=4

Код: Выделить всё

00100 nat 1 ip from any to $EXT_IP in recv em0
00200 nat 1 ip from $INT_NET to any out xmit em0
Трафика пробегает порядка 250 мбит/с.
Периодически top начинает показывать такую картину:

Код: Выделить всё

last pid: 75341;  load averages:  6.85,  7.60,  5.51                            up 0+09:54:18  21:28:10
131 processes: 11 running, 104 sleeping, 1 zombie, 15 waiting
CPU 0:  1.5% user,  0.0% nice, 31.7% system,  1.2% interrupt, 65.6% idle
CPU 1:  1.0% user,  0.0% nice, 33.4% system,  0.0% interrupt, 65.6% idle
CPU 2:  1.2% user,  0.0% nice, 30.5% system,  1.9% interrupt, 66.4% idle
CPU 3:  0.2% user,  0.0% nice, 29.5% system,  0.0% interrupt, 70.3% idle
CPU 4:  0.2% user,  0.0% nice, 29.0% system,  0.0% interrupt, 70.7% idle
CPU 5:  0.2% user,  0.0% nice, 24.1% system,  1.0% interrupt, 74.7% idle
CPU 6:  0.2% user,  0.0% nice, 25.9% system,  0.0% interrupt, 73.9% idle
CPU 7:  0.2% user,  0.0% nice, 28.8% system,  0.2% interrupt, 70.7% idle
Mem: 129M Active, 472M Inact, 245M Wired, 292K Cache, 112M Buf, 1649M Free
Swap: 4096M Total, 4096M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME    CPU COMMAND
   11 root        1 171 ki31     0K     8K CPU7   7 458:09 76.27% idle: cpu7
   12 root        1 171 ki31     0K     8K CPU6   6 460:09 75.68% idle: cpu6
   13 root        1 171 ki31     0K     8K CPU5   5 459:47 75.68% idle: cpu5
   15 root        1 171 ki31     0K     8K CPU3   3 454:38 74.27% idle: cpu3
   17 root        1 171 ki31     0K     8K CPU1   1 432:56 73.68% idle: cpu1
   14 root        1 171 ki31     0K     8K CPU4   4 457:17 72.85% idle: cpu4
   16 root        1 171 ki31     0K     8K RUN    2 441:10 72.75% idle: cpu2
   18 root        1 171 ki31     0K     8K CPU0   0 430:58 71.88% idle: cpu0
   32 root        1  43    -     0K     8K WAIT   7 142:47 28.76% em0_rx_kthread_1
  196 root        1  43    -     0K     8K WAIT   1 142:24 28.37% em0_rx_kthread_3
  195 root        1  43    -     0K     8K WAIT   3 142:50 27.98% em0_rx_kthread_2
   36 root        1  43    -     0K     8K WAIT   6 119:56 27.20% em1_rx_kthread_1
   35 root        1  43    -     0K     8K WAIT   3 119:50 27.10% em1_rx_kthread_0
   31 root        1  43    -     0K     8K WAIT   5 142:47 26.76% em0_rx_kthread_0
  199 root        1  43    -     0K     8K CPU0   0 119:58 26.66% em1_rx_kthread_2
  200 root        1  43    -     0K     8K CPU4   4 119:40 25.78% em1_rx_kthread_3
   34 root        1 -68    -     0K     8K WAIT   0  12:29  3.76% em1_txcleaner
   19 root        1 -32    -     0K     8K WAIT   1  29:25  2.39% swi4: clock sio
   30 root        1 -68    -     0K     8K WAIT   2   9:21  2.39% em0_txcleaner
  902 bind       11   4    0   118M 97084K kqread 4   2:02  0.00% named
   22 root        1 -16    -     0K     8K -      0   1:25  0.00% yarrow
Начинают теряться пакеты, дико возрастают пинги, через некоторое время все стабилизируется.
И примерно раз в неделю сервак уходит в ребут, в /var/crash/info:

Panic String: page fault

kgdb выдает следующее:

Код: Выделить всё

Fatal trap 12: page fault while in kernel mode
cpuid = 5; apic id = 05
fault virtual address   = 0xbfc16aa4
fault code              = supervisor read, page not present
instruction pointer     = 0x20:0xc0ac8a8a
stack pointer           = 0x28:0xff0e5c00
frame pointer           = 0x28:0xff0e5c40
code segment            = base 0x0, limit 0xfffff, type 0x1b
                        = DPL 0, pres 1, def32 1, gran 1
processor eflags        = interrupt enabled, resume, IOPL = 0
current process         = 204 (em1_rx_kthread_3)
trap number             = 12
panic: page fault
cpuid = 5
Uptime: 5d20h48m6s
Physical memory: 2541 MB
До этого сервак нормально работал год, проблемы начались после перехода порога трафика в ~200 Мбит.
Срочно, помогите кто чем может))) Сервер в работе и ронять его нельзя!

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

ded
проходил мимо
Сообщения: 3
Зарегистрирован: 2010-01-26 10:04:11

Re: FreeBSD проблемы с сетью (ipfw_nat + драйвера от яндекса)

Непрочитанное сообщение ded » 2010-01-26 12:05:39

Перенес все на второй сервер, с такой же конфигурацией (т.е. возможные глюки железа мы исключили), 2 дня работы и crash (((

Код: Выделить всё

Fatal trap 12: page fault while in kernel mode
cpuid = 1; apic id = 01
fault virtual address   = 0xc
fault code              = supervisor read, page not present
instruction pointer     = 0x20:0xc08350f6
stack pointer           = 0x28:0xc599a894
frame pointer           = 0x28:0xc599a8c0
code segment            = base 0x0, limit 0xfffff, type 0x1b
                        = DPL 0, pres 1, def32 1, gran 1
processor eflags        = interrupt enabled, resume, IOPL = 0
current process         = 35 (em1_rx_kthread_0)
trap number             = 12
panic: page fault
cpuid = 1
Uptime: 2d8h10m8s
Physical memory: 2029 MB

Гость
проходил мимо

Re: FreeBSD проблемы с сетью (ipfw_nat + драйвера от яндекса)

Непрочитанное сообщение Гость » 2010-01-26 12:09:41

используйте драйвера em не от яндекса а родные
и будет вам счастье

ded
проходил мимо
Сообщения: 3
Зарегистрирован: 2010-01-26 10:04:11

Re: FreeBSD проблемы с сетью (ipfw_nat + драйвера от яндекса)

Непрочитанное сообщение ded » 2010-01-26 15:05:08

На родных дровах начинаются провалы по трафику при 25К :(

Аватара пользователя
terminus
майор
Сообщения: 2305
Зарегистрирован: 2007-10-29 11:27:35
Откуда: Рига

Re: FreeBSD проблемы с сетью (ipfw_nat + драйвера от яндекса)

Непрочитанное сообщение terminus » 2010-01-26 15:08:39

http://groups.google.kz/group/fido7.ru. ... 12f2e7f125

вот тут люди тюнили. вроде с успехом...
Модель: AST-PM-105/0044; Тип: Универсальный, ремонтный; Название: Терминус; Род повреждения: Распад функций; Выводы: Сдать на слом.

Гость
проходил мимо

Re: FreeBSD проблемы с сетью (ipfw_nat + драйвера от яндекса)

Непрочитанное сообщение Гость » 2010-01-26 15:09:22

потому что их нужно тюнить
на бсд форуме и наг ру уже обсуждалось, поищите