Сервер зависает

[FilosofBeer]

Суть проблемы: Есть сервер на FreeBSD 7.2, он раздает инет через ipfw+nat, он работал пол года без проблем с одним интернет каналом. появился второй инет канал, поставил третью сетевуху, настроил систему по статье тут Пример 5, и сервер стал зависать, причем всегда через разные промежутки времени, может даже 12 часов проработать, а может зависать через каждые 10 минут. Сетевые карты были две одинаковые Длинк. Купил третью одинаковую Длинк сетевую. Сервер зависает, поэтому купил другую сетевую Compex, ситуация не изменилась. ПЕреставлял сетевые в разные PCI слоты, тоже не помогло. Увеличил обороты кулера проца на максиму, поставил дополнительный кулер на Северный мост, не помогло.
Какую инфу по железу надо и все данные по системе могу представить.
Помогите избавиться от зависаний сервера, у пользователей инета нервы уже пошаливают от перезагрузок. Многие играют через инет.

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Alex Keda]

питальник, для начала
сетевые нормальные - все три, для начала же.
из того чтовы пеерчисляли - нормальных я не видел в списках

[FilosofBeer]

Блок питания был куплен новый, пол года назад. IPower Model DR-8360BTX

[rnd]

блок питания у вас далеко не самый хороший, если это действительно сервер, то стоит поставить туда модель понадежней (FSP, Delta например) возможно из-за блока и виснет он, а еще если куллер крутиться это еще не говорит о том, что камень не перегревается..

[baton4eg]

логи, top покажи, попробуй обновить до 7.2-stable, сетевые dlink,realtek на роуетере могут не справлятся. Сколько мегабит трафика шейпите? так же полезно было прикрутить мониторинг (напр cacti) для диагностики (traf,proc,mem,error, etc)

[FilosofBeer]

Вот ТОР:

Код: Выделить всё

/usr/home/fill/>top
last pid:   994;  load averages:  0.00,  0.00,  0.00              up 0+00:31:55  08:13:46
23 processes:  1 running, 22 sleeping
CPU:  0.0% user,  0.0% nice,  0.4% system,  0.8% interrupt, 98.8% idle
Mem: 13M Active, 2096K Inact, 12M Wired, 192K Cache, 34M Buf, 215M Free
Swap: 512M Total, 512M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE    TIME   WCPU COMMAND
  920 root        1   4    0  8428K  2968K sbwait   0:00  0.00% sshd
  928 root        1  20    0  4468K  2064K pause    0:00  0.00% csh
  923 fill        1  44    0  8428K  3012K select   0:00  0.00% sshd
  710 unbound     4   4    0 20708K  6320K kqread   0:00  0.00% unbound
  681 root        1  44    0  3184K   944K select   0:00  0.00% syslogd
  994 root        1  44    0  3496K  1412K RUN      0:00  0.00% top
  925 fill        1   8    0  3464K  1260K wait     0:00  0.00% sh
  927 fill        1   8    0  3620K  1384K wait     0:00  0.00% su
  848 root        1   8    0  3212K   944K nanslp   0:00  0.00% cron
  889 root        1   5    0  3184K   808K ttyin    0:00  0.00% getty
  891 root        1   5    0  3184K   808K ttyin    0:00  0.00% getty
  893 root        1   5    0  3184K   808K ttyin    0:00  0.00% getty
  896 root        1   5    0  3184K   808K ttyin    0:00  0.00% getty
  895 root        1   5    0  3184K   808K ttyin    0:00  0.00% getty
  890 root        1   5    0  3184K   808K ttyin    0:00  0.00% getty
  892 root        1   5    0  3184K   808K ttyin    0:00  0.00% getty
  894 root        1   5    0  3184K   808K ttyin    0:00  0.00% getty
  841 root        1  44    0  5752K  2164K select   0:00  0.00% sshd
  568 root        1  44    0  1888K   416K select   0:00  0.00% devd
  150 root        1  20    0  1380K   640K pause    0:00  0.00% adjkerntz

ЩАс попробую обновиться до 7.2-stable.

сетевые dlink,realtek на роуетере могут не справлятся.

А как это несправление можно выявить ? До этого пол года два Длинка работало без проблем.

Сколько мегабит трафика шейпите?

А где это посмотреть ? Инет я урезаю по скорости через pipe:

Код: Выделить всё

/usr/home/fill/>vi /etc/firewall
.......
pipe 2 config bw 164Kbit/s mask dst-ip 0xffffffff queue 60 gred 0.002/10/30/0.1
pipe 5 config bw 820Kbit/s mask dst-ip 0xffffffff queue 60 gred 0.002/10/30/0.1
pipe 6 config bw 82Kbit/s mask dst-ip 0xffffffff queue 60 gred 0.002/10/30/0.1
..........
.........
add 30151 pipe tablearg ip from any to table(1) in recv vr1
add 30152 pipe tablearg ip from any to table(2) in recv rl0
........

так же полезно было прикрутить мониторинг (напр cacti) для диагностики (traf,proc,mem,error, etc)

Вот ещё было бы полезно узнать как это все прикрутить.

[snorlov]

Вот это мне не понятно

Код: Выделить всё

Mem: 13M Active, 2096K Inact, 12M Wired, 192K Cache, 34M Buf, 215M Free
Swap: 512M Total, 512M Free

Да и сам сервак не свопит... разве такое может быть...

[FilosofBeer]

Да и сам сервак не свопит... разве такое может быть...

Значит может и такое быть, раз это видно. Система же работает.
Вот ещё раз:

Код: Выделить всё

CPU:  0.0% user,  0.0% nice,  0.4% system,  1.2% interrupt, 98.4% idle
Mem: 12M Active, 5844K Inact, 18M Wired, 9840K Buf, 207M Free
Swap: 512M Total, 512M Free

[baton4eg]

будь добр ещё раз опиши симптомы, как виснет, что спасает, если монитор подключить к серверу можно ли печатать в консоле? помогает ли выдёргивание провода (сетевого с карты) от зависаний?
вывод tail -n 50 /var/log/messages
вывод top -S
вывод ipfw show
вывод vmstat -i

[FilosofBeer]

ещё раз опиши симптомы, как виснет, что спасает, если монитор подключить к серверу можно ли печатать в консоле? помогает ли выдёргивание провода (сетевого с карты) от зависаний?

симптомы: Просто зависает, нет сети, если подключить клаву, то она не реагирует на нажатие кнопок после зависания, если работать в консоле и зависло, то ничего не печатает. Спасает кнопка РЕСЕТ (маленькая такая, рядом с кнопкой ПОВЕР). Сетевой кабель не выдергивал, не проверял, проверю на будущее, следующее зависание скоро уже может быть, последнее было около 1,5 часа назад.

Код: Выделить всё

/usr/home/fill/>tail -n 50 /var/log/messages
Jan 31 10:00:00 Free newsyslog[937]: logfile turned over due to size>100K
Jan 31 10:00:04 Free kernel: arp: 192.168.2.1 is on rl0 but got reply from 00:19:cb:46:9f:1f on vr0
Jan 31 10:00:27 Free last message repeated 2 times
Jan 31 10:00:42 Free kernel: arp: 192.168.2.1 is on rl0 but got reply from 00:19:cb:46:9f:1f on vr0
Jan 31 11:45:23 Free kernel: arp: 192.168.2.1 is on rl0 but got reply from 00:19:cb:46:9f:1f on vr0
Jan 31 11:47:39 Free last message repeated 14 times
Jan 31 12:12:46 Free kernel: arp: 192.168.2.1 is on rl0 but got reply from 00:19:cb:46:9f:1f on vr0
Jan 31 12:12:56 Free kernel: arp: 192.168.2.1 is on rl0 but got reply from 00:19:cb:46:9f:1f on vr0
Jan 31 12:16:55 Free su: fill to root on /dev/ttyp0
Jan 31 12:27:17 Free su: fill to root on /dev/ttyp0
/usr/home/fill/>

Вот после перезагрузки:

Код: Выделить всё

/usr/home/fill/>tail -n 50 /var/log/messages
Jan 31 12:41:40 Free kernel: sio0: [FILTER]
Jan 31 12:41:40 Free kernel: sio1: <16550A-compatible COM port> port 0x2f8-0x2ff irq 3 on acpi0
Jan 31 12:41:40 Free kernel: sio1: type 16550A
Jan 31 12:41:40 Free kernel: sio1: [FILTER]
Jan 31 12:41:40 Free kernel: cpu0: <ACPI CPU> on acpi0
Jan 31 12:41:40 Free kernel: acpi_throttle0: <ACPI CPU Throttling> on cpu0
Jan 31 12:41:40 Free kernel: pmtimer0 on isa0
Jan 31 12:41:40 Free kernel: orm0: <ISA Option ROM> at iomem 0xc0000-0xccfff pnpid ORM0000 on isa0
Jan 31 12:41:40 Free kernel: sc0: <System console> at flags 0x100 on isa0
Jan 31 12:41:40 Free kernel: sc0: VGA <16 virtual consoles, flags=0x300>
Jan 31 12:41:40 Free kernel: vga0: <Generic ISA VGA> at port 0x3c0-0x3df iomem 0xa0000-0xbffff on isa0
Jan 31 12:41:40 Free kernel: atkbdc0: <Keyboard controller (i8042)> at port 0x60,0x64 on isa0
Jan 31 12:41:40 Free kernel: atkbd0: <AT Keyboard> irq 1 on atkbdc0
Jan 31 12:41:40 Free kernel: atkbd0: [GIANT-LOCKED]
Jan 31 12:41:40 Free kernel: atkbd0: [ITHREAD]
Jan 31 12:41:40 Free kernel: ppc0: <Parallel port> at port 0x378-0x37f irq 7 on isa0
Jan 31 12:41:40 Free kernel: ppc0: Generic chipset (NIBBLE-only) in COMPATIBLE mode
Jan 31 12:41:40 Free kernel: ppbus0: <Parallel port bus> on ppc0
Jan 31 12:41:40 Free kernel: ppbus0: [ITHREAD]
Jan 31 12:41:40 Free kernel: plip0: <PLIP network interface> on ppbus0
Jan 31 12:41:40 Free kernel: plip0: WARNING: using obsoleted IFF_NEEDSGIANT flag
Jan 31 12:41:40 Free kernel: lpt0: <Printer> on ppbus0
Jan 31 12:41:40 Free kernel: lpt0: Interrupt-driven port
Jan 31 12:41:40 Free kernel: ppi0: <Parallel I/O> on ppbus0
Jan 31 12:41:40 Free kernel: ppc0: [GIANT-LOCKED]
Jan 31 12:41:40 Free kernel: ppc0: [ITHREAD]
Jan 31 12:41:40 Free kernel: Timecounter "TSC" frequency 1262439351 Hz quality 800
Jan 31 12:41:40 Free kernel: Timecounters tick every 1.000 msec
Jan 31 12:41:40 Free kernel: ipfw2 initialized, divert loadable, nat enabled, rule-based forwarding disabled, default to deny, logging disabled
Jan 31 12:41:40 Free kernel: ad1: 19541MB <Maxtor 2B020H1 WAH21PB0> at ata0-slave UDMA100
Jan 31 12:41:40 Free kernel: GEOM_LABEL: Label for provider ad1s1a is ufsid/4ad237f278557bbf.
Jan 31 12:41:40 Free kernel: GEOM_LABEL: Label for provider ad1s1d is ufsid/4ad237f2a6464507.
Jan 31 12:41:40 Free kernel: GEOM_LABEL: Label for provider ad1s1e is ufsid/4ad237f5d7e86b44.
Jan 31 12:41:40 Free kernel: GEOM_LABEL: Label for provider ad1s1f is ufsid/4ad237f3b5a6c152.
Jan 31 12:41:40 Free kernel: Trying to mount root from ufs:/dev/ad1s1a
Jan 31 12:41:40 Free kernel: GEOM_LABEL: Label ufsid/4ad237f278557bbf removed.
Jan 31 12:41:40 Free kernel: GEOM_LABEL: Label for provider ad1s1a is ufsid/4ad237f278557bbf.
Jan 31 12:41:40 Free kernel: GEOM_LABEL: Label ufsid/4ad237f2a6464507 removed.
Jan 31 12:41:40 Free kernel: GEOM_LABEL: Label for provider ad1s1d is ufsid/4ad237f2a6464507.
Jan 31 12:41:40 Free kernel: GEOM_LABEL: Label ufsid/4ad237f3b5a6c152 removed.
Jan 31 12:41:40 Free kernel: GEOM_LABEL: Label for provider ad1s1f is ufsid/4ad237f3b5a6c152.
Jan 31 12:41:40 Free kernel: GEOM_LABEL: Label ufsid/4ad237f5d7e86b44 removed.
Jan 31 12:41:40 Free kernel: GEOM_LABEL: Label for provider ad1s1e is ufsid/4ad237f5d7e86b44.
Jan 31 12:41:40 Free kernel: GEOM_LABEL: Label ufsid/4ad237f278557bbf removed.
Jan 31 12:41:40 Free kernel: GEOM_LABEL: Label ufsid/4ad237f2a6464507 removed.
Jan 31 12:41:40 Free kernel: GEOM_LABEL: Label ufsid/4ad237f3b5a6c152 removed.
Jan 31 12:41:40 Free kernel: GEOM_LABEL: Label ufsid/4ad237f5d7e86b44 removed.
Jan 31 12:41:40 Free savecore: no dumps found
Jan 31 12:41:41 Free kernel: rl0: link state changed to UP
Jan 31 12:41:54 Free su: fill to root on /dev/ttyp0
/usr/home/fill/>

Код: Выделить всё

last pid:   912;  load averages:  0.14,  0.13,  0.06              up 0+00:02:30  12:43:32
59 processes:  2 running, 43 sleeping, 14 waiting
CPU:  0.0% user,  0.0% nice,  0.8% system,  1.9% interrupt, 97.3% idle
Mem: 11M Active, 5680K Inact, 16M Wired, 9680K Buf, 210M Free
Swap: 512M Total, 512M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE    TIME   WCPU COMMAND
   11 root        1 171 ki31     0K     8K RUN      1:52 99.17% idle
   20 root        1 -68    -     0K     8K WAIT     0:01  1.17% irq12: vr0 rl0
   21 root        1 -68    -     0K     8K WAIT     0:00  0.10% irq10: vr1
   13 root        1 -32    -     0K     8K WAIT     0:00  0.00% swi4: clock sio
   28 root        1 -68    -     0K     8K -        0:00  0.00% dummynet
   15 root        1 -16    -     0K     8K -        0:00  0.00% yarrow
  897 root        1   4    0  8428K  3908K sbwait   0:00  0.00% sshd
    4 root        1  -8    -     0K     8K -        0:00  0.00% g_down
  905 root        1  20    0  4468K  2288K pause    0:00  0.00% csh
    3 root        1  -8    -     0K     8K -        0:00  0.00% g_up
   22 root        1 -64    -     0K     8K WAIT     0:00  0.00% irq14: ata0
    2 root        1  -8    -     0K     8K -        0:00  0.00% g_event
  912 root        1  44    0  3496K  1696K RUN      0:00  0.00% top
  900 fill        1  44    0  8428K  3924K select   0:00  0.00% sshd
  681 root        1  44    0  3184K  1228K select   0:00  0.00% syslogd
  904 fill        1   8    0  3620K  1588K wait     0:00  0.00% su
  902 fill        1   8    0  3464K  1532K wait     0:00  0.00% sh
    1 root        1   8    0  1888K   488K wait     0:00  0.00% init
   34 root        1  20    -     0K     8K syncer   0:00  0.00% syncer
  889 root        1   5    0  3184K  1092K ttyin    0:00  0.00% getty
  893 root        1   5    0  3184K  1092K ttyin    0:00  0.00% getty
  891 root        1   5    0  3184K  1092K ttyin    0:00  0.00% getty
  890 root        1   5    0  3184K  1092K ttyin    0:00  0.00% getty
  892 root        1   5    0  3184K  1092K ttyin    0:00  0.00% getty
  848 root        1   8    0  3212K  1236K nanslp   0:00  0.00% cron
  896 root        1   5    0  3184K  1092K ttyin    0:00  0.00% getty
  895 root        1   5    0  3184K  1092K ttyin    0:00  0.00% getty
  894 root        1   5    0  3184K  1092K ttyin    0:00  0.00% getty
  841 root        1  45    0  5752K  3304K select   0:00  0.00% sshd
  708 unbound     4   4    0 19684K  6964K kqread   0:00  0.00% unbound
   35 root        1 -16    -     0K     8K sdflus   0:00  0.00% softdepflush
  568 root        1  44    0  1888K   564K select   0:00  0.00% devd
   16 root        1 -24    -     0K     8K WAIT     0:00  0.00% swi6: task queue
   12 root        1 -44    -     0K     8K WAIT     0:00  0.00% swi1: net
    0 root        1 -16    0     0K     0K sched    0:00  0.00% swapper
   32 root        1 -16    -     0K     8K psleep   0:00  0.00% bufdaemon
   24 root        1  -8    -     0K     8K -        0:00  0.00% fdc0
  150 root        1  20    0  1380K   804K pause    0:00  0.00% adjkerntz
   33 root        1  -4    -     0K     8K vlruwt   0:00  0.00% vnlru
   29 root        1 -16    -     0K     8K psleep   0:00  0.00% pagedaemon
   31 root        1 171 ki31     0K     8K pgzero   0:00  0.00% pagezero

Код: Выделить всё

/usr/home/fill/>ipfw show
00100    64    4630 allow ip from any to any via lo0
00200     0       0 deny ip from any to 127.0.0.0/8
00300     0       0 deny ip from 127.0.0.0/8 to any
00998 24696 1960777 setfib 0 ip from table(1) to any in recv vr0
00999  5295  417769 setfib 1 ip from table(2) to any in recv vr0
01000 24696 1960777 allow ip from table(1) to any via vr0
01001 24524 1442846 allow ip from any to table(1) via vr0
01005  5295  417769 allow ip from table(2) to any via vr0
01006  1963  958744 allow ip from any to table(2) via vr0
01040   451   38529 deny ip from any to any via vr0
10130   414   56056 nat 1 tcp from any to any out xmit vr1 limit src-addr 80
10131   414   56056 allow tcp from any to any out xmit vr1
10140 24140 1892790 nat 1 ip from any to any out xmit vr1
10141 24140 1892790 allow ip from any to any out xmit vr1
20130  1435  190055 nat 2 tcp from any to any out xmit rl0 limit src-addr 80
20131  1435  190055 allow tcp from any to any out xmit rl0
20140  3745  217025 nat 2 ip from any to any out xmit rl0
20141  3745  217025 allow ip from any to any out xmit rl0
20150 24474 1425713 nat 1 ip from any to any in recv vr1
20151  1923  956990 nat 2 ip from any to any in recv rl0
30151 24420 1412030 pipe tablearg ip from any to table(1) in recv vr1
30152  1884  946633 pipe tablearg ip from any to table(2) in recv rl0
30160 26336 2371109 allow ip from any to any
65534     0       0 deny ip from any to any
65535     8     423 deny ip from any to any
/usr/home/fill/>

Код: Выделить всё

/usr/home/fill/>vmstat -i
interrupt                          total       rate
irq0: clk                         193739        998
irq6: fdc0                             2          0
irq8: rtc                          24795        127
irq10: vr1                         70802        364
irq12: vr0 rl0                     87705        452
irq14: ata0                         1334          6
Total                             378377       1950
/usr/home/fill/>

[baton4eg]

судя по винту, железо старое, скорей всего проблема не в ОС а в железе. Есть возможность найти новое железо, с этого сервера снять винт, карты сетевые и протестировать? знаю что геморно, но мб что то другое предложит народ..

[Neus]

RAM глючит... как вариант

[FilosofBeer]

Карты протестил уже, нормально работают на других компах по Виндой.
Еще для размышлений: Если систему переделать под один интернет канал, как это было до этого, то она работает нормально, без зависаний.

[FilosofBeer]

У меня время отстает на два дня

Код: Выделить всё

/usr/home/fill/>date
Sun Jan 31 02:11:59 YEKT 2010

Это может влиять как нить ???

[terminus]

Код: Выделить всё

/usr/home/fill/>tail -n 50 /var/log/messages
Jan 31 10:00:00 Free newsyslog[937]: logfile turned over due to size>100K
Jan 31 10:00:04 Free kernel: arp: 192.168.2.1 is on rl0 but got reply from 00:19:cb:46:9f:1f on vr0
Jan 31 10:00:27 Free last message repeated 2 times
Jan 31 10:00:42 Free kernel: arp: 192.168.2.1 is on rl0 but got reply from 00:19:cb:46:9f:1f on vr0
Jan 31 11:45:23 Free kernel: arp: 192.168.2.1 is on rl0 but got reply from 00:19:cb:46:9f:1f on vr0
Jan 31 11:47:39 Free last message repeated 14 times
Jan 31 12:12:46 Free kernel: arp: 192.168.2.1 is on rl0 but got reply from 00:19:cb:46:9f:1f on vr0
Jan 31 12:12:56 Free kernel: arp: 192.168.2.1 is on rl0 but got reply from 00:19:cb:46:9f:1f on vr0

Эти два "интернетовских" канала и канал в локальную сеть точно отделены друг от друга ФИЗИЧЕСКИ? То есть подключения нигде не проходят через общий свитч, и таким образом не могут создавать какие-нить петли или штормы трафика?

Вот те сообщения про МАС адреса не на том интерфейсе - весьма интересны... Это что же значит - рутер спросил МАС адрес одного из гейтвеев, а получил ответ не со стороны кабеля идущего к гейтвею, а со стороны локальной сети.

[FilosofBeer]

Эти два "интернетовских" канала и канал в локальную сеть точно отделены друг от друга ФИЗИЧЕСКИ? То есть подключения нигде не проходят через общий свитч, и таким образом не могут создавать какие-нить петли или штормы трафика?

Да, физически отделены друз от друга. АДСЛ модемы напрямую подсоединены к сетевым картам vr1 и rl0, vr0 смотрит в локальную сеть, а там уже хабы, свичи и т.д.

Это что же значит - рутер спросил МАС адрес одного из гейтвеев, а получил ответ не со стороны кабеля идущего к гейтвею, а со стороны локальной сети.

Мне тоже очень интересно ка это может быть. А есть средства что бы провести какие нить эксперементы по этому вопросу, протестировать или просмотреть ?

[FilosofBeer]

Вот те сообщения про МАС адреса не на том интерфейсе - весьма интересны... Это что же значит - рутер спросил МАС адрес одного из гейтвеев, а получил ответ не со стороны кабеля идущего к гейтвею, а со стороны локальной сети.

В локалке появились такие же ИП адреса. Это хулиганы балуются.

[Neus]

В локалке появились такие же ИП адреса. Это хулиганы балуются.

Выпороть! при всем офисе!