Страница 1 из 1
Сервер зависает
Добавлено: 2010-02-01 16:09:53
FilosofBeer
Суть проблемы: Есть сервер на FreeBSD 7.2, он раздает инет через ipfw+nat, он работал пол года без проблем с одним интернет каналом. появился второй инет канал, поставил третью сетевуху, настроил систему по статье
тут Пример 5, и сервер стал зависать, причем всегда через разные промежутки времени, может даже 12 часов проработать, а может зависать через каждые 10 минут. Сетевые карты были две одинаковые Длинк. Купил третью одинаковую Длинк сетевую. Сервер зависает, поэтому купил другую сетевую Compex, ситуация не изменилась. ПЕреставлял сетевые в разные PCI слоты, тоже не помогло. Увеличил обороты кулера проца на максиму, поставил дополнительный кулер на Северный мост, не помогло.
Какую инфу по железу надо и все данные по системе могу представить.
Помогите избавиться от зависаний сервера, у пользователей инета нервы уже пошаливают от перезагрузок. Многие играют через инет.
Re: Сервер зависает
Добавлено: 2010-02-01 16:25:11
Alex Keda
питальник, для начала
сетевые нормальные - все три, для начала же.
из того чтовы пеерчисляли - нормальных я не видел в списках
Re: Сервер зависает
Добавлено: 2010-02-01 16:32:38
FilosofBeer
Блок питания был куплен новый, пол года назад. IPower Model DR-8360BTX
Re: Сервер зависает
Добавлено: 2010-02-01 17:17:01
rnd
блок питания у вас далеко не самый хороший, если это действительно сервер, то стоит поставить туда модель понадежней (FSP, Delta например) возможно из-за блока и виснет он, а еще если куллер крутиться это еще не говорит о том, что камень не перегревается..
Re: Сервер зависает
Добавлено: 2010-02-01 17:33:31
baton4eg
логи, top покажи, попробуй обновить до 7.2-stable, сетевые dlink,realtek на роуетере могут не справлятся. Сколько мегабит трафика шейпите? так же полезно было прикрутить мониторинг (напр cacti) для диагностики (traf,proc,mem,error, etc)
Re: Сервер зависает
Добавлено: 2010-02-01 17:42:28
FilosofBeer
Вот ТОР:
Код: Выделить всё
/usr/home/fill/>top
last pid: 994; load averages: 0.00, 0.00, 0.00 up 0+00:31:55 08:13:46
23 processes: 1 running, 22 sleeping
CPU: 0.0% user, 0.0% nice, 0.4% system, 0.8% interrupt, 98.8% idle
Mem: 13M Active, 2096K Inact, 12M Wired, 192K Cache, 34M Buf, 215M Free
Swap: 512M Total, 512M Free
PID USERNAME THR PRI NICE SIZE RES STATE TIME WCPU COMMAND
920 root 1 4 0 8428K 2968K sbwait 0:00 0.00% sshd
928 root 1 20 0 4468K 2064K pause 0:00 0.00% csh
923 fill 1 44 0 8428K 3012K select 0:00 0.00% sshd
710 unbound 4 4 0 20708K 6320K kqread 0:00 0.00% unbound
681 root 1 44 0 3184K 944K select 0:00 0.00% syslogd
994 root 1 44 0 3496K 1412K RUN 0:00 0.00% top
925 fill 1 8 0 3464K 1260K wait 0:00 0.00% sh
927 fill 1 8 0 3620K 1384K wait 0:00 0.00% su
848 root 1 8 0 3212K 944K nanslp 0:00 0.00% cron
889 root 1 5 0 3184K 808K ttyin 0:00 0.00% getty
891 root 1 5 0 3184K 808K ttyin 0:00 0.00% getty
893 root 1 5 0 3184K 808K ttyin 0:00 0.00% getty
896 root 1 5 0 3184K 808K ttyin 0:00 0.00% getty
895 root 1 5 0 3184K 808K ttyin 0:00 0.00% getty
890 root 1 5 0 3184K 808K ttyin 0:00 0.00% getty
892 root 1 5 0 3184K 808K ttyin 0:00 0.00% getty
894 root 1 5 0 3184K 808K ttyin 0:00 0.00% getty
841 root 1 44 0 5752K 2164K select 0:00 0.00% sshd
568 root 1 44 0 1888K 416K select 0:00 0.00% devd
150 root 1 20 0 1380K 640K pause 0:00 0.00% adjkerntz
ЩАс попробую обновиться до 7.2-stable.
сетевые dlink,realtek на роуетере могут не справлятся.
А как это несправление можно выявить ? До этого пол года два Длинка работало без проблем.
Сколько мегабит трафика шейпите?
А где это посмотреть ? Инет я урезаю по скорости через pipe:
Код: Выделить всё
/usr/home/fill/>vi /etc/firewall
.......
pipe 2 config bw 164Kbit/s mask dst-ip 0xffffffff queue 60 gred 0.002/10/30/0.1
pipe 5 config bw 820Kbit/s mask dst-ip 0xffffffff queue 60 gred 0.002/10/30/0.1
pipe 6 config bw 82Kbit/s mask dst-ip 0xffffffff queue 60 gred 0.002/10/30/0.1
..........
.........
add 30151 pipe tablearg ip from any to table(1) in recv vr1
add 30152 pipe tablearg ip from any to table(2) in recv rl0
........
так же полезно было прикрутить мониторинг (напр cacti) для диагностики (traf,proc,mem,error, etc)
Вот ещё было бы полезно узнать как это все прикрутить.
Re: Сервер зависает
Добавлено: 2010-02-01 21:38:19
snorlov
Вот это мне не понятно
Код: Выделить всё
Mem: 13M Active, 2096K Inact, 12M Wired, 192K Cache, 34M Buf, 215M Free
Swap: 512M Total, 512M Free
Да и сам сервак не свопит... разве такое может быть...
Re: Сервер зависает
Добавлено: 2010-02-01 21:42:58
FilosofBeer
Да и сам сервак не свопит... разве такое может быть...
Значит может и такое быть, раз это видно. Система же работает.
Вот ещё раз:
Код: Выделить всё
CPU: 0.0% user, 0.0% nice, 0.4% system, 1.2% interrupt, 98.4% idle
Mem: 12M Active, 5844K Inact, 18M Wired, 9840K Buf, 207M Free
Swap: 512M Total, 512M Free
Re: Сервер зависает
Добавлено: 2010-02-01 21:49:57
baton4eg
будь добр ещё раз опиши симптомы, как виснет, что спасает, если монитор подключить к серверу можно ли печатать в консоле? помогает ли выдёргивание провода (сетевого с карты) от зависаний?
вывод tail -n 50 /var/log/messages
вывод top -S
вывод ipfw show
вывод vmstat -i
Re: Сервер зависает
Добавлено: 2010-02-01 22:10:24
FilosofBeer
ещё раз опиши симптомы, как виснет, что спасает, если монитор подключить к серверу можно ли печатать в консоле? помогает ли выдёргивание провода (сетевого с карты) от зависаний?
симптомы: Просто зависает, нет сети, если подключить клаву, то она не реагирует на нажатие кнопок после зависания, если работать в консоле и зависло, то ничего не печатает. Спасает кнопка РЕСЕТ (маленькая такая, рядом с кнопкой ПОВЕР). Сетевой кабель не выдергивал, не проверял, проверю на будущее, следующее зависание скоро уже может быть, последнее было около 1,5 часа назад.
Код: Выделить всё
/usr/home/fill/>tail -n 50 /var/log/messages
Jan 31 10:00:00 Free newsyslog[937]: logfile turned over due to size>100K
Jan 31 10:00:04 Free kernel: arp: 192.168.2.1 is on rl0 but got reply from 00:19:cb:46:9f:1f on vr0
Jan 31 10:00:27 Free last message repeated 2 times
Jan 31 10:00:42 Free kernel: arp: 192.168.2.1 is on rl0 but got reply from 00:19:cb:46:9f:1f on vr0
Jan 31 11:45:23 Free kernel: arp: 192.168.2.1 is on rl0 but got reply from 00:19:cb:46:9f:1f on vr0
Jan 31 11:47:39 Free last message repeated 14 times
Jan 31 12:12:46 Free kernel: arp: 192.168.2.1 is on rl0 but got reply from 00:19:cb:46:9f:1f on vr0
Jan 31 12:12:56 Free kernel: arp: 192.168.2.1 is on rl0 but got reply from 00:19:cb:46:9f:1f on vr0
Jan 31 12:16:55 Free su: fill to root on /dev/ttyp0
Jan 31 12:27:17 Free su: fill to root on /dev/ttyp0
/usr/home/fill/>
Вот после перезагрузки:
Код: Выделить всё
/usr/home/fill/>tail -n 50 /var/log/messages
Jan 31 12:41:40 Free kernel: sio0: [FILTER]
Jan 31 12:41:40 Free kernel: sio1: <16550A-compatible COM port> port 0x2f8-0x2ff irq 3 on acpi0
Jan 31 12:41:40 Free kernel: sio1: type 16550A
Jan 31 12:41:40 Free kernel: sio1: [FILTER]
Jan 31 12:41:40 Free kernel: cpu0: <ACPI CPU> on acpi0
Jan 31 12:41:40 Free kernel: acpi_throttle0: <ACPI CPU Throttling> on cpu0
Jan 31 12:41:40 Free kernel: pmtimer0 on isa0
Jan 31 12:41:40 Free kernel: orm0: <ISA Option ROM> at iomem 0xc0000-0xccfff pnpid ORM0000 on isa0
Jan 31 12:41:40 Free kernel: sc0: <System console> at flags 0x100 on isa0
Jan 31 12:41:40 Free kernel: sc0: VGA <16 virtual consoles, flags=0x300>
Jan 31 12:41:40 Free kernel: vga0: <Generic ISA VGA> at port 0x3c0-0x3df iomem 0xa0000-0xbffff on isa0
Jan 31 12:41:40 Free kernel: atkbdc0: <Keyboard controller (i8042)> at port 0x60,0x64 on isa0
Jan 31 12:41:40 Free kernel: atkbd0: <AT Keyboard> irq 1 on atkbdc0
Jan 31 12:41:40 Free kernel: atkbd0: [GIANT-LOCKED]
Jan 31 12:41:40 Free kernel: atkbd0: [ITHREAD]
Jan 31 12:41:40 Free kernel: ppc0: <Parallel port> at port 0x378-0x37f irq 7 on isa0
Jan 31 12:41:40 Free kernel: ppc0: Generic chipset (NIBBLE-only) in COMPATIBLE mode
Jan 31 12:41:40 Free kernel: ppbus0: <Parallel port bus> on ppc0
Jan 31 12:41:40 Free kernel: ppbus0: [ITHREAD]
Jan 31 12:41:40 Free kernel: plip0: <PLIP network interface> on ppbus0
Jan 31 12:41:40 Free kernel: plip0: WARNING: using obsoleted IFF_NEEDSGIANT flag
Jan 31 12:41:40 Free kernel: lpt0: <Printer> on ppbus0
Jan 31 12:41:40 Free kernel: lpt0: Interrupt-driven port
Jan 31 12:41:40 Free kernel: ppi0: <Parallel I/O> on ppbus0
Jan 31 12:41:40 Free kernel: ppc0: [GIANT-LOCKED]
Jan 31 12:41:40 Free kernel: ppc0: [ITHREAD]
Jan 31 12:41:40 Free kernel: Timecounter "TSC" frequency 1262439351 Hz quality 800
Jan 31 12:41:40 Free kernel: Timecounters tick every 1.000 msec
Jan 31 12:41:40 Free kernel: ipfw2 initialized, divert loadable, nat enabled, rule-based forwarding disabled, default to deny, logging disabled
Jan 31 12:41:40 Free kernel: ad1: 19541MB <Maxtor 2B020H1 WAH21PB0> at ata0-slave UDMA100
Jan 31 12:41:40 Free kernel: GEOM_LABEL: Label for provider ad1s1a is ufsid/4ad237f278557bbf.
Jan 31 12:41:40 Free kernel: GEOM_LABEL: Label for provider ad1s1d is ufsid/4ad237f2a6464507.
Jan 31 12:41:40 Free kernel: GEOM_LABEL: Label for provider ad1s1e is ufsid/4ad237f5d7e86b44.
Jan 31 12:41:40 Free kernel: GEOM_LABEL: Label for provider ad1s1f is ufsid/4ad237f3b5a6c152.
Jan 31 12:41:40 Free kernel: Trying to mount root from ufs:/dev/ad1s1a
Jan 31 12:41:40 Free kernel: GEOM_LABEL: Label ufsid/4ad237f278557bbf removed.
Jan 31 12:41:40 Free kernel: GEOM_LABEL: Label for provider ad1s1a is ufsid/4ad237f278557bbf.
Jan 31 12:41:40 Free kernel: GEOM_LABEL: Label ufsid/4ad237f2a6464507 removed.
Jan 31 12:41:40 Free kernel: GEOM_LABEL: Label for provider ad1s1d is ufsid/4ad237f2a6464507.
Jan 31 12:41:40 Free kernel: GEOM_LABEL: Label ufsid/4ad237f3b5a6c152 removed.
Jan 31 12:41:40 Free kernel: GEOM_LABEL: Label for provider ad1s1f is ufsid/4ad237f3b5a6c152.
Jan 31 12:41:40 Free kernel: GEOM_LABEL: Label ufsid/4ad237f5d7e86b44 removed.
Jan 31 12:41:40 Free kernel: GEOM_LABEL: Label for provider ad1s1e is ufsid/4ad237f5d7e86b44.
Jan 31 12:41:40 Free kernel: GEOM_LABEL: Label ufsid/4ad237f278557bbf removed.
Jan 31 12:41:40 Free kernel: GEOM_LABEL: Label ufsid/4ad237f2a6464507 removed.
Jan 31 12:41:40 Free kernel: GEOM_LABEL: Label ufsid/4ad237f3b5a6c152 removed.
Jan 31 12:41:40 Free kernel: GEOM_LABEL: Label ufsid/4ad237f5d7e86b44 removed.
Jan 31 12:41:40 Free savecore: no dumps found
Jan 31 12:41:41 Free kernel: rl0: link state changed to UP
Jan 31 12:41:54 Free su: fill to root on /dev/ttyp0
/usr/home/fill/>
Код: Выделить всё
last pid: 912; load averages: 0.14, 0.13, 0.06 up 0+00:02:30 12:43:32
59 processes: 2 running, 43 sleeping, 14 waiting
CPU: 0.0% user, 0.0% nice, 0.8% system, 1.9% interrupt, 97.3% idle
Mem: 11M Active, 5680K Inact, 16M Wired, 9680K Buf, 210M Free
Swap: 512M Total, 512M Free
PID USERNAME THR PRI NICE SIZE RES STATE TIME WCPU COMMAND
11 root 1 171 ki31 0K 8K RUN 1:52 99.17% idle
20 root 1 -68 - 0K 8K WAIT 0:01 1.17% irq12: vr0 rl0
21 root 1 -68 - 0K 8K WAIT 0:00 0.10% irq10: vr1
13 root 1 -32 - 0K 8K WAIT 0:00 0.00% swi4: clock sio
28 root 1 -68 - 0K 8K - 0:00 0.00% dummynet
15 root 1 -16 - 0K 8K - 0:00 0.00% yarrow
897 root 1 4 0 8428K 3908K sbwait 0:00 0.00% sshd
4 root 1 -8 - 0K 8K - 0:00 0.00% g_down
905 root 1 20 0 4468K 2288K pause 0:00 0.00% csh
3 root 1 -8 - 0K 8K - 0:00 0.00% g_up
22 root 1 -64 - 0K 8K WAIT 0:00 0.00% irq14: ata0
2 root 1 -8 - 0K 8K - 0:00 0.00% g_event
912 root 1 44 0 3496K 1696K RUN 0:00 0.00% top
900 fill 1 44 0 8428K 3924K select 0:00 0.00% sshd
681 root 1 44 0 3184K 1228K select 0:00 0.00% syslogd
904 fill 1 8 0 3620K 1588K wait 0:00 0.00% su
902 fill 1 8 0 3464K 1532K wait 0:00 0.00% sh
1 root 1 8 0 1888K 488K wait 0:00 0.00% init
34 root 1 20 - 0K 8K syncer 0:00 0.00% syncer
889 root 1 5 0 3184K 1092K ttyin 0:00 0.00% getty
893 root 1 5 0 3184K 1092K ttyin 0:00 0.00% getty
891 root 1 5 0 3184K 1092K ttyin 0:00 0.00% getty
890 root 1 5 0 3184K 1092K ttyin 0:00 0.00% getty
892 root 1 5 0 3184K 1092K ttyin 0:00 0.00% getty
848 root 1 8 0 3212K 1236K nanslp 0:00 0.00% cron
896 root 1 5 0 3184K 1092K ttyin 0:00 0.00% getty
895 root 1 5 0 3184K 1092K ttyin 0:00 0.00% getty
894 root 1 5 0 3184K 1092K ttyin 0:00 0.00% getty
841 root 1 45 0 5752K 3304K select 0:00 0.00% sshd
708 unbound 4 4 0 19684K 6964K kqread 0:00 0.00% unbound
35 root 1 -16 - 0K 8K sdflus 0:00 0.00% softdepflush
568 root 1 44 0 1888K 564K select 0:00 0.00% devd
16 root 1 -24 - 0K 8K WAIT 0:00 0.00% swi6: task queue
12 root 1 -44 - 0K 8K WAIT 0:00 0.00% swi1: net
0 root 1 -16 0 0K 0K sched 0:00 0.00% swapper
32 root 1 -16 - 0K 8K psleep 0:00 0.00% bufdaemon
24 root 1 -8 - 0K 8K - 0:00 0.00% fdc0
150 root 1 20 0 1380K 804K pause 0:00 0.00% adjkerntz
33 root 1 -4 - 0K 8K vlruwt 0:00 0.00% vnlru
29 root 1 -16 - 0K 8K psleep 0:00 0.00% pagedaemon
31 root 1 171 ki31 0K 8K pgzero 0:00 0.00% pagezero
Код: Выделить всё
/usr/home/fill/>ipfw show
00100 64 4630 allow ip from any to any via lo0
00200 0 0 deny ip from any to 127.0.0.0/8
00300 0 0 deny ip from 127.0.0.0/8 to any
00998 24696 1960777 setfib 0 ip from table(1) to any in recv vr0
00999 5295 417769 setfib 1 ip from table(2) to any in recv vr0
01000 24696 1960777 allow ip from table(1) to any via vr0
01001 24524 1442846 allow ip from any to table(1) via vr0
01005 5295 417769 allow ip from table(2) to any via vr0
01006 1963 958744 allow ip from any to table(2) via vr0
01040 451 38529 deny ip from any to any via vr0
10130 414 56056 nat 1 tcp from any to any out xmit vr1 limit src-addr 80
10131 414 56056 allow tcp from any to any out xmit vr1
10140 24140 1892790 nat 1 ip from any to any out xmit vr1
10141 24140 1892790 allow ip from any to any out xmit vr1
20130 1435 190055 nat 2 tcp from any to any out xmit rl0 limit src-addr 80
20131 1435 190055 allow tcp from any to any out xmit rl0
20140 3745 217025 nat 2 ip from any to any out xmit rl0
20141 3745 217025 allow ip from any to any out xmit rl0
20150 24474 1425713 nat 1 ip from any to any in recv vr1
20151 1923 956990 nat 2 ip from any to any in recv rl0
30151 24420 1412030 pipe tablearg ip from any to table(1) in recv vr1
30152 1884 946633 pipe tablearg ip from any to table(2) in recv rl0
30160 26336 2371109 allow ip from any to any
65534 0 0 deny ip from any to any
65535 8 423 deny ip from any to any
/usr/home/fill/>
Код: Выделить всё
/usr/home/fill/>vmstat -i
interrupt total rate
irq0: clk 193739 998
irq6: fdc0 2 0
irq8: rtc 24795 127
irq10: vr1 70802 364
irq12: vr0 rl0 87705 452
irq14: ata0 1334 6
Total 378377 1950
/usr/home/fill/>
Re: Сервер зависает
Добавлено: 2010-02-01 22:26:29
baton4eg
судя по винту, железо старое, скорей всего проблема не в ОС а в железе. Есть возможность найти новое железо, с этого сервера снять винт, карты сетевые и протестировать? знаю что геморно, но мб что то другое предложит народ..
Re: Сервер зависает
Добавлено: 2010-02-01 22:35:51
Neus
RAM глючит... как вариант
Re: Сервер зависает
Добавлено: 2010-02-01 22:38:40
FilosofBeer
Карты протестил уже, нормально работают на других компах по Виндой.
Еще для размышлений: Если систему переделать под один интернет канал, как это было до этого, то она работает нормально, без зависаний.
Re: Сервер зависает
Добавлено: 2010-02-01 22:40:53
FilosofBeer
У меня время отстает на два дня
Код: Выделить всё
/usr/home/fill/>date
Sun Jan 31 02:11:59 YEKT 2010
Это может влиять как нить ???
Re: Сервер зависает
Добавлено: 2010-02-01 23:13:48
terminus
Код: Выделить всё
/usr/home/fill/>tail -n 50 /var/log/messages
Jan 31 10:00:00 Free newsyslog[937]: logfile turned over due to size>100K
Jan 31 10:00:04 Free kernel: arp: 192.168.2.1 is on rl0 but got reply from 00:19:cb:46:9f:1f on vr0
Jan 31 10:00:27 Free last message repeated 2 times
Jan 31 10:00:42 Free kernel: arp: 192.168.2.1 is on rl0 but got reply from 00:19:cb:46:9f:1f on vr0
Jan 31 11:45:23 Free kernel: arp: 192.168.2.1 is on rl0 but got reply from 00:19:cb:46:9f:1f on vr0
Jan 31 11:47:39 Free last message repeated 14 times
Jan 31 12:12:46 Free kernel: arp: 192.168.2.1 is on rl0 but got reply from 00:19:cb:46:9f:1f on vr0
Jan 31 12:12:56 Free kernel: arp: 192.168.2.1 is on rl0 but got reply from 00:19:cb:46:9f:1f on vr0
Эти два "интернетовских" канала и канал в локальную сеть точно отделены друг от друга ФИЗИЧЕСКИ? То есть подключения нигде не проходят через общий свитч, и таким образом не могут создавать какие-нить петли или штормы трафика?
Вот те сообщения про МАС адреса не на том интерфейсе - весьма интересны... Это что же значит - рутер спросил МАС адрес одного из гейтвеев, а получил ответ не со стороны кабеля идущего к гейтвею, а со стороны локальной сети.
Re: Сервер зависает
Добавлено: 2010-02-01 23:22:23
FilosofBeer
Эти два "интернетовских" канала и канал в локальную сеть точно отделены друг от друга ФИЗИЧЕСКИ? То есть подключения нигде не проходят через общий свитч, и таким образом не могут создавать какие-нить петли или штормы трафика?
Да, физически отделены друз от друга. АДСЛ модемы напрямую подсоединены к сетевым картам vr1 и rl0, vr0 смотрит в локальную сеть, а там уже хабы, свичи и т.д.
Это что же значит - рутер спросил МАС адрес одного из гейтвеев, а получил ответ не со стороны кабеля идущего к гейтвею, а со стороны локальной сети.
Мне тоже очень интересно ка это может быть. А есть средства что бы провести какие нить эксперементы по этому вопросу, протестировать или просмотреть ?
Re: Сервер зависает
Добавлено: 2010-02-03 9:14:19
FilosofBeer
Вот те сообщения про МАС адреса не на том интерфейсе - весьма интересны... Это что же значит - рутер спросил МАС адрес одного из гейтвеев, а получил ответ не со стороны кабеля идущего к гейтвею, а со стороны локальной сети.
В локалке появились такие же ИП адреса. Это хулиганы балуются.
Re: Сервер зависает
Добавлено: 2010-02-03 17:16:55
Neus
FilosofBeer писал(а):В локалке появились такие же ИП адреса. Это хулиганы балуются.
Выпороть! при всем офисе!