FreeBSD 8.1 и em - периодический watchdog_timeout

Простые/общие вопросы по UNIX системам. Спросите здесь, если вы новичок

Модераторы: vadim64, terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Ikinoki
мл. сержант
Сообщения: 70
Зарегистрирован: 2009-07-27 12:04:45

FreeBSD 8.1 и em - периодический watchdog_timeout

Непрочитанное сообщение Ikinoki » 2011-03-29 17:40:09

собственно проблема следующего рода
Система работала и с большими нагрузками, но watchdog_timeout не было.
Сейчас периодически вылетает, без всякой причины, не раз в минуту, а раз в 5-8 минут...
Пробовал включить isr вылетать стало еще жестче
сейчас появился, причину выяснить практически невозможно, т.к. бекапы sysctl.conf не делались...
sysctl.conf такой

Код: Выделить всё

kern.maxprocperuid=15000
net.link.ether.ipfw=1
net.inet.ip.fastforwarding=1
kern.ipc.maxsockets=20000000
kern.ipc.maxsockbuf=200480000
net.inet.ip.intr_queue_maxlen=65536
net.route.netisr_maxqlen=8192
net.inet.ip.random_id=1
dev.em.0.rx_processing_limit=-1
dev.em.0.rx_int_delay=0
dev.em.0.tx_int_delay=0
dev.em.0.rx_abs_int_delay=0
dev.em.0.tx_abs_int_delay=0
dev.em.1.rx_processing_limit=-1
dev.em.1.rx_int_delay=0
dev.em.1.tx_int_delay=0
dev.em.1.rx_abs_int_delay=0
dev.em.1.tx_abs_int_delay=0
kern.ipc.nmbclusters=67108864
kern.ipc.somaxconn=65535
kern.ipc.shm_use_phys=1
net.inet.ip.portrange.first=1024
net.inet.ip.portrange.last=65535
net.inet.ip.portrange.randomized=0
net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1
net.inet.tcp.msl=30000
net.inet.tcp.recvspace=65536
net.inet.tcp.rfc1323=1
net.inet.ip.fw.dyn_max=1048576
net.inet.tcp.delayed_ack=1
net.inet.tcp.delacktime=100
net.inet.tcp.fast_finwait2_recycle=1
net.inet.tcp.maxtcptw=5120
net.inet.tcp.nolocaltimewait=1
security.bsd.see_other_gids=0
security.bsd.see_other_uids=0
security.bsd.unprivileged_read_msgbuf=0
net.inet.ip.process_options=0
net.inet.tcp.drop_synfin=1
net.inet.tcp.tso=1
net.inet.tcp.inflight.enable=0
net.inet.tcp.sendspace=65536
net.inet.tcp.sendbuf_max=16777216
net.inet.tcp.recvbuf_max=16777216
loader.conf

Код: Выделить всё

net.inet.tcp.syncache.bucketlimit=100
kern.ipc.nsfbufs=10240
net.inet.tcp.tcbhashsize=8192
kern.ipc.shm_use_phys=1
net.inet.ip.fw.dyn_buckets=128
kern.maxusers=4096
kern.hz=1000
kern.maxfiles=400000
accf_data_load="YES"
accf_http_load="YES"
kern.maxfilesperproc=100000
kern.maxvnodes=3200000
net.inet.tcp.syncache.hashsize=65536
net.inet.tcp.hostcache.hashsize=65536
net.inet.tcp.hostcache.bucketlimit=100
kern.maxproc=150000
На интерфейсе в момент падения вот такой бардак

Код: Выделить всё

            input          (em0)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
      6818     0     0     548115      12229     0   16814798     0
      6116     0     0     517218      12216     0   16696673     0
      6618     0     0     569298      12255     0   16575170     0
      6517     0     0     554758      11524     0   15424840     0
      1331  1036     0     112771       2547     0    3980151     0
         0   595     0          0          0     0     341727     0
         0   396     0          0          0     0     301517     0
         0   368     0          0          0     0     194335     0
         0   337     0          0          0     0          0     0
         0   389     0          0          0     0          0     0
         0   334     0          0          0     0          0     0
         0   304     0          0          0     0          0     0
         0   289     0          0          0     0          0     0
         0   305     0          0          0     0          0     0
         0   338     0          0          0     0          0     0
         0   273     0          0          0     0          0     0
         0     0     0          0          0     1          0     0
         0     0     0          0          0     0          0     0
         0     0     0          0          0     0          0     0
      2850     0     0     314054       5286     0    5023651     0
      7730     0     0     729810      13052     0   16855363     0

Код: Выделить всё

dev.em.0.mac_stats.missed_packets: 1135901
dev.em.0.mac_stats.watchdog_timeouts: 204
...
dev.em.0.mac_stats.missed_packets: 1140865
dev.em.0.mac_stats.watchdog_timeouts: 205
буду благодарен, если кто поможет вылечить.
как видите траффик особо не нагружен - ~120 мбит/с
за время что писал увеличилось до 207 счетчик таймаутов.
Сейчас поменял

Код: Выделить всё

dev.em.0.rx_processing_limit=1000
dev.em.0.rx_int_delay=33
dev.em.0.tx_int_delay=33
dev.em.0.rx_abs_int_delay=600
dev.em.0.tx_abs_int_delay=600
смотрю как повляет.
Последний раз редактировалось f_andrey 2011-03-30 3:00:47, всего редактировалось 1 раз.
Причина: Автору, выбирайте пожалуйста раздел соответствуюший тематике вашего сообщения.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Ikinoki
мл. сержант
Сообщения: 70
Зарегистрирован: 2009-07-27 12:04:45

Re: FreeBSD 8.1 и em - периодический watchdog_timeout

Непрочитанное сообщение Ikinoki » 2011-03-29 17:49:56

И нет, это не помогло, даже уже не знаю с чем может быть связано...

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35198
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: FreeBSD 8.1 и em - периодический watchdog_timeout

Непрочитанное сообщение Alex Keda » 2011-03-30 1:46:44

дефолтовый sysctl верните.
пустой тобишь
Убей их всех! Бог потом рассортирует...

Ikinoki
мл. сержант
Сообщения: 70
Зарегистрирован: 2009-07-27 12:04:45

Re: FreeBSD 8.1 и em - периодический watchdog_timeout

Непрочитанное сообщение Ikinoki » 2011-03-30 2:57:23

Машина гигабитные ддосы фильтровала (и должна фильтровать), поэтому долго на дефолтном не пропашет.
Сейчас вкомпилили новые дрова яндекса и обновили ядро (был пререлизный билд 8.1, поставили 8.2 стэйбл).
Сначала включил net.isr и отключил fast_forwarding. Дал несколько ядер isr. Т.к. система вообще зависла до ребута (намертво причем зависла так).
НО не факт что это поможет, т.к. уже был вечер и нагрузка спала. Завтра посмотрим. Отпишусь о результатах.
Остальные настройки только на память влияют и большинство из них при работе уже с TCP или другими протоколами на машине, а не при l2/l3 рутинге.
Одно заметил что прерывания под 7-8 тысяч при падении. В общем результат уже завтра под нагрузкой известен будет, сейчас уже поздновато.

Аватара пользователя
baton4eg
сержант
Сообщения: 274
Зарегистрирован: 2009-10-11 14:36:35
Контактная информация:

Re: FreeBSD 8.1 и em - периодический watchdog_timeout

Непрочитанное сообщение baton4eg » 2011-03-30 7:37:09

В биосе отключите watchdog
Дайте вывод top -SP, flowcleaner там у вас не наглеет? (можно его отключить net.inet.flowtable.enable=0, в силу вступит только после перезагрузки)
"Все говорят, что у меня /dev/hands криво и я всё делаю через /dev/ass. А у меня этих файлов вообще нет!" (c)
"Я ем руками, она вилкой и ножом, я бью вилкой и ножом, она руками" (с)

Ikinoki
мл. сержант
Сообщения: 70
Зарегистрирован: 2009-07-27 12:04:45

Re: FreeBSD 8.1 и em - периодический watchdog_timeout

Непрочитанное сообщение Ikinoki » 2011-03-30 14:51:17

Сейчас вывод

Код: Выделить всё

last pid: 54225;  load averages:  0.29,  0.27,  0.25                                                        up 0+12:43:31  13:50:54
231 processes: 11 running, 183 sleeping, 2 zombie, 35 waiting
CPU 0:  3.6% user,  0.0% nice,  4.8% system,  0.0% interrupt, 91.7% idle
CPU 1:  0.0% user,  0.0% nice,  1.2% system,  0.0% interrupt, 98.8% idle
CPU 2:  0.0% user,  0.0% nice,  1.2% system,  0.0% interrupt, 98.8% idle
CPU 3:  0.0% user,  0.0% nice,  1.2% system,  0.0% interrupt, 98.8% idle
CPU 4:  0.0% user,  0.0% nice,  0.0% system,  1.2% interrupt, 98.8% idle
CPU 5:  2.4% user,  0.0% nice,  1.2% system,  0.0% interrupt, 96.4% idle
CPU 6:  0.0% user,  0.0% nice,  0.0% system,  8.4% interrupt, 91.6% idle
CPU 7:  0.0% user,  0.0% nice,  1.2% system,  0.0% interrupt, 98.8% idle
Mem: 876M Active, 1189M Inact, 1505M Wired, 2172K Cache, 1647M Buf, 12G Free
Swap: 
   11 root     171 ki31     0K   128K CPU3    3 749:42 100.00% {idle: cpu3}
   11 root     171 ki31     0K   128K CPU2    2 747:53 100.00% {idle: cpu2}
   11 root     171 ki31     0K   128K CPU7    7 746:07 100.00% {idle: cpu7}
   11 root     171 ki31     0K   128K CPU5    5 744:01 100.00% {idle: cpu5}
   11 root     171 ki31     0K   128K CPU4    4 741:10 100.00% {idle: cpu4}
   11 root     171 ki31     0K   128K RUN     0 737:29 100.00% {idle: cpu0}
   11 root     171 ki31     0K   128K CPU6    6 746:23 98.49% {idle: cpu6}
   11 root     171 ki31     0K   128K CPU1    1 742:13 97.07% {idle: cpu1}
   12 root     -44    -     0K   576K WAIT    6  25:05  5.18% {swi1: netisr 6}
   12 root     -44    -     0K   576K WAIT    3  15:12  3.08% {swi1: netisr 7}
    0 root     -16    0     0K   256K PKWAIT  1  15:50  2.20% {em1_rx0_1}
    0 root     -16    0     0K   256K RUN     0  15:53  2.10% {em1_rx0_0}
    0 root     -16    0     0K   256K PKWAIT  4   8:59  1.17% {em0_rx0_0}
    0 root     -16    0     0K   256K PKWAIT  7   8:59  1.07% {em0_rx0_1}
   12 root     -32    -     0K   576K WAIT    5   5:02  0.20% {swi4: clock}
    0 root     -68    0     0K   256K -       2   3:18  0.10% {dummynet}
   17 root      20    -     0K    16K syncer  0   4:27  0.00% syncer
    0 root     -16    0     0K   256K sched   0   2:12  0.00% {swapper}
   13 root     -16    -     0K    16K -       0   1:21  0.00% yarrow
   12 root     -44    -     0K   576K WAIT    1   1:18  0.00% {swi1: netisr 4}
   12 root      16    -     0K   576K WAIT    2   0:58  0.00% {swi16: em0_tx}
    0 root     -16    0     0K   256K PKWAIT  0   0:46  0.00% {em3_rx0_0}
    0 root     -16    0     0K   256K PKWAIT  0   0:46  0.00% {em3_rx0_1}
   12 root      16    -     0K   576K WAIT    4   0:44  0.00% {swi16: em1_tx}
 1668 bind      44    0   131M   111M kqread  1   0:38  0.00% {named}
   20 root      20    -     0K    16K c_flow  7   0:31  0.00% flowcleaner

Ikinoki
мл. сержант
Сообщения: 70
Зарегистрирован: 2009-07-27 12:04:45

Re: FreeBSD 8.1 и em - периодический watchdog_timeout

Непрочитанное сообщение Ikinoki » 2011-03-30 18:42:09

Вроде все впорядке, видимо буфферы захламились или утечка какая была в старых дровах на 8.1 пререлизе.
Поставил 8.2 стабильную и яндексовские дрова, полет нормальный пока что при той же нагрузке.
Всем спасибо.