Сервер сам перегружается, примерно в одно и тоже время.

Простые/общие вопросы по UNIX системам. Спросите здесь, если вы новичок

Модераторы: vadim64, terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
ppvv
рядовой
Сообщения: 29
Зарегистрирован: 2014-04-16 21:18:51

Сервер сам перегружается, примерно в одно и тоже время.

Непрочитанное сообщение ppvv » 2014-07-13 1:20:21

Сервер сам перегружается, примерно в одно и тоже время. Это длится уже месяц.
В cron никаких заданий нет.
Лог до, и при перезагрузке.

Код: Выделить всё

Jul 12 12:27:05 nas kernel: arp: 192.168.1.1 moved from 84:c9:b2:f0:be:b7 to cc:b2:55:58:30:ab on em1
Jul 12 12:27:05 nas kernel: arp: 192.168.1.1 moved from cc:b2:55:58:30:ab to 84:c9:b2:f0:f3:46 on em1
Jul 12 12:27:05 nas kernel: arp: 192.168.1.1 moved from 84:c9:b2:f0:f3:46 to c8:d3:a3:c0:57:f7 on em1
Jul 12 12:27:05 nas kernel: arp: 192.168.1.1 moved from c8:d3:a3:c0:57:f7 to b8:a3:86:43:c5:4d on em1
Jul 12 12:27:06 nas kernel: arp: 192.168.1.1 moved from b8:a3:86:43:c5:4d to 00:13:49:62:56:06 on em1
Jul 12 12:27:11 nas kernel: arp: 192.168.2.1 moved from 80:1f:02:0a:8a:95 to 00:1f:1f:ee:5c:51 on em1
Jul 12 12:27:11 nas kernel: arp: 192.168.2.1 moved from 00:1f:1f:ee:5c:51 to 80:1f:02:43:31:e1 on em1
Jul 12 12:27:11 nas kernel: arp: 192.168.2.1 moved from 80:1f:02:43:31:e1 to 00:1d:72:18:01:29 on em1
Jul 12 12:29:45 nas syslogd: kernel boot file is /boot/kernel/kernel
Jul 12 12:29:45 nas kernel: Copyright (c) 1992-2012 The FreeBSD Project.
Jul 12 12:29:45 nas kernel: Copyright (c) 1979, 1980, 1983, 1986, 1988, 1989, 1991, 1992, 1993, 1994
Jul 12 12:29:45 nas kernel: The Regents of the University of California. All rights reserved.
Jul 12 12:29:45 nas kernel: FreeBSD is a registered trademark of The FreeBSD Foundation.
Jul 12 12:29:45 nas kernel: FreeBSD 8.3-PRERELEASE #2: Thu Mar  1 14:55:55 EET 2012
Jul 12 12:29:45 nas kernel: siv@ns1.bis.net.ua:/usr/obj/usr/src/sys/GENERIC amd64
Jul 12 12:29:45 nas kernel: Timecounter "i8254" frequency 1193182 Hz quality 0
Jul 12 12:29:45 nas kernel: CPU: Pentium(R) Dual-Core  CPU      E5300  @ 2.60GHz (2600.10-MHz K8-class CPU)
Jul 12 12:29:45 nas kernel: Origin = "GenuineIntel"  Id = 0x1067a  Family = 6  Model = 17  Stepping = 10
Jul 12 12:29:45 nas kernel: Features=0xbfebfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,DTS,ACPI,MMX,FXSR,SSE,SSE2,SS,HTT,TM,PBE
>
Jul 12 12:29:45 nas kernel: Features2=0x400e3bd<SSE3,DTES64,MON,DS_CPL,VMX,EST,TM2,SSSE3,CX16,xTPR,PDCM,XSAVE>
Jul 12 12:29:45 nas kernel: AMD Features=0x20100800<SYSCALL,NX,LM>
Jul 12 12:29:45 nas kernel: AMD Features2=0x1<LAHF>
Jul 12 12:29:45 nas kernel: TSC: P-state invariant
Jul 12 12:29:45 nas kernel: real memory  = 4294967296 (4096 MB)
Jul 12 12:29:45 nas kernel: avail memory = 3989540864 (3804 MB)
Jul 12 12:29:45 nas kernel: ACPI APIC Table: <INTEL DG43GT>
Jul 12 12:29:45 nas kernel: FreeBSD/SMP: Multiprocessor System Detected: 2 CPUs
Jul 12 12:29:45 nas kernel: FreeBSD/SMP: 1 package(s) x 2 core(s)
Jul 12 12:29:45 nas kernel: cpu0 (BSP): APIC ID:  0
Jul 12 12:29:45 nas kernel: cpu1 (AP): APIC ID:  1
Jul 12 12:29:45 nas kernel: ACPI Warning: 32/64X FACS address mismatch in FADT - 0xBDB62F40/0x00000000BDB68E40, using 32 (20101013/tbfadt-586)
Jul 12 12:29:45 nas kernel: ioapic0 <Version 2.0> irqs 0-23 on motherboard
После загрузки начинается чекдиск как будто пропало питание, но сервер на УПСе. УПС меняли не помогло.
Лог после загрузки.

Код: Выделить всё

Jul 12 11:18:03 nas kernel: bridge0: error setting interface capabilities on em0.302
Jul 12 11:18:03 nas kernel: ipfw2 (+ipv6) initialized, divert loadable, nat loadable, rule-based forwarding disabled, default to deny, logging disabled
Jul 12 11:18:03 nas kernel: DUMMYNET 0 with IPv6 initialized (100409)
Jul 12 11:18:03 nas kernel: load_dn_sched dn_sched FIFO loaded
Jul 12 11:18:03 nas kernel: load_dn_sched dn_sched QFQ loaded
Jul 12 11:18:03 nas kernel: load_dn_sched dn_sched RR loaded
Jul 12 11:18:03 nas kernel: load_dn_sched dn_sched WF2Q+ loaded
Jul 12 11:18:03 nas kernel: load_dn_sched dn_sched PRIO loaded
Jul 12 11:18:03 nas kernel: Bump sched buckets to 64 (was 0)
Jul 12 11:18:03 nas last message repeated 17 times
Jul 12 11:18:09 nas kernel: WARNING: attempt to domain_add(netgraph) after domainfinalize()
Jul 12 11:18:10 nas kernel: ng_ether_attach: can't name node em0.302
Jul 12 11:18:10 nas kernel: ng_ether_attach: can't name node em1.302
Jul 12 11:18:10 nas root: /etc/rc.d/sysctl: WARNING: unable to set net.isr.defaultqlimit=4096
Jul 12 11:18:10 nas root: /etc/rc.d/sysctl: WARNING: unable to set net.link.ifqmaxlen=10240
Jul 12 11:19:04 nas kernel: arp: 192.168.2.1 moved from 80:1f:02:0a:8a:95 to 00:1d:72:18:01:29 on em1
Jul 12 11:19:04 nas kernel: arp: 192.168.2.1 moved from 00:1d:72:18:01:29 to 80:1f:02:43:31:e1 on em1
Jul 12 11:19:04 nas kernel: arp: 192.168.2.1 moved from 80:1f:02:43:31:e1 to 00:1f:1f:ee:5c:51 on em1
Jul 12 11:19:11 nas fsck: /dev/ad6s1e: 177 files, 13 used, 506474 free (42 frags, 63304 blocks, 0.0% fragmentation)
Jul 12 11:19:21 nas kernel: arp: bc:f6:85:4c:cd:b5 attempts to modify permanent entry for 91.209.157.184 on vlan1
Jul 12 11:21:03 nas kernel: arp: 192.168.1.1 moved from 10:bf:48:93:0b:c8 to 84:c9:b2:f1:78:ea on em1
Jul 12 11:21:03 nas kernel: arp: 192.168.1.1 moved from 84:c9:b2:f1:78:ea to 00:1c:f0:d9:9c:66 on em1
Jul 12 11:21:03 nas kernel: arp: 192.168.1.1 moved from 00:1c:f0:d9:9c:66 to 9c:d6:43:37:c0:05 on em1
Jul 12 11:21:03 nas kernel: arp: 192.168.1.1 moved from 9c:d6:43:37:c0:05 to 9c:d6:43:36:cb:7c on em1
Jul 12 11:21:03 nas kernel: arp: 192.168.1.1 moved from 9c:d6:43:36:cb:7c to 9c:d6:43:36:96:13 on em1
Jul 12 11:21:03 nas kernel: arp: 192.168.1.1 moved from 9c:d6:43:36:96:13 to 9c:d6:43:3c:bb:f8 on em1
Jul 12 11:22:13 nas fsck: /dev/ad6s1f: 330618 files, 2102726 used, 44675865 free (99121 frags, 5572093 blocks, 0.2% fragmentation)
Jul 12 11:27:41 nas fsck: /dev/ad6s1d: Reclaimed: 0 directories, 0 files, 8 fragments
Jul 12 11:27:41 nas fsck: /dev/ad6s1d: 28890 files, 599084 used, 100958059 free (13091 frags, 12618121 blocks, 0.0% fragmentation)
Jul 12 11:30:51 nas kernel: nd6_setmtu0: new link MTU on ng200 (296) is too small for IPv6
Jul 12 11:39:25 nas kernel: arp: 192.168.2.1 moved from 00:1d:72:18:01:29 to 80:1f:02:0a:8a:95 on em1
Jul 12 11:39:25 nas kernel: arp: 192.168.2.1 moved from 80:1f:02:0a:8a:95 to 80:1f:02:43:31:e1 on em1
Может ли это быть через spoofing, не знаю как от него корректно избавится, без напряга для клиентов, сеть делал не я, сделана через ж...у.
Помогите расхлебать. Уже 3 сервера переделали к этому еще очередь не дошла.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Bayerische
капитан
Сообщения: 1820
Зарегистрирован: 2010-12-25 20:41:50
Откуда: Хлебная столица

Re: Сервер сам перегружается, примерно в одно и тоже время.

Непрочитанное сообщение Bayerische » 2014-07-13 6:31:10

Мониторинг поставьте. NUT, например.

ppvv
рядовой
Сообщения: 29
Зарегистрирован: 2014-04-16 21:18:51

Re: Сервер сам перегружается, примерно в одно и тоже время.

Непрочитанное сообщение ppvv » 2014-07-13 10:04:02

Я думаю УПС тут не причем, на нем еще сервак висит с ним все нормально, аптайм 72 дня.

Dmitriy_3206
проходил мимо

Re: Сервер сам перегружается, примерно в одно и тоже время.

Непрочитанное сообщение Dmitriy_3206 » 2014-07-13 13:25:05

У меня было что долбили на попытку подключения к 22 му порту.
И моя железяка перегружалась.
В PF начал заносить "атакующих" в таблицу, и просто drop-ать - больше не перегружался. Хотя это конечно странно что моя железка так себя вела.

Если подозреваешь сетевую активность - начни резать "деманов" целиком, либо как я по пороговым срабатыванием.

Bayerische
капитан
Сообщения: 1820
Зарегистрирован: 2010-12-25 20:41:50
Откуда: Хлебная столица

Re: Сервер сам перегружается, примерно в одно и тоже время.

Непрочитанное сообщение Bayerische » 2014-07-13 14:55:11

Остальное мониторьте. Munin, Nagios, Zabbix.

ppvv
рядовой
Сообщения: 29
Зарегистрирован: 2014-04-16 21:18:51

Re: Сервер сам перегружается, примерно в одно и тоже время.

Непрочитанное сообщение ppvv » 2014-07-13 20:52:49

И признаков что кто-то стучится на порты в логах нет. Но вот интересно почему запускается fsck, это признак некорректного выключения, может ли быть такое что серв тупо вырубается когда его атакуют?

Аватара пользователя
dekloper
ст. лейтенант
Сообщения: 1331
Зарегистрирован: 2008-02-24 15:43:19
Откуда: давно здесь сидим..
Контактная информация:

Re: Сервер сам перегружается, примерно в одно и тоже время.

Непрочитанное сообщение dekloper » 2014-07-14 6:31:19

Dmitriy_3206 писал(а): Если подозреваешь сетевую активность - начни резать "деманов" целиком, либо как я по пороговым срабатыванием.
я бы тоже посоветовал к демонам приглядеться.. если в одно и тоже время..
вполне возможно, что какой то "неправильный" демон ложит систему в корку и - ребут со всеми вытекающими..
ТОВАгИЩИ! БгАТЬЯ И СЕСТгЫ! ДОЛОЙ гАВНОДУШИЕ!

ppvv
рядовой
Сообщения: 29
Зарегистрирован: 2014-04-16 21:18:51

Re: Сервер сам перегружается, примерно в одно и тоже время.

Непрочитанное сообщение ppvv » 2014-07-14 10:03:09

Сервер работает уже года 3, а такая проблема только месяц. Сижу щас в серверной хочу убедится что кондиционер невиноват, а УПСы щелкают довольно часто.

Dmitriy_3206
проходил мимо

Re: Сервер сам перегружается, примерно в одно и тоже время.

Непрочитанное сообщение Dmitriy_3206 » 2014-07-14 10:25:04

Из фолькльора, источник не помню и дословно не приведу, но суть такова:

В одной конторе которую обслуживали стал регулярно два раза в неделю в одно и тоже время сгорать блок питания у компьютера. Потом в истории пишется всякое как они пытались решить. А потом заслали человека посидеть в один из дней понаблюдать. В общем секретарь поливала цветы, которые через пол часа писались на комп стоящий внизу :)

Другой баян про уборщиц с пылесосом....

В общем может действительно у тебя что то по электрике проходит,а упс скачки не всегда компенсирует.... От упса зависит

ppvv
рядовой
Сообщения: 29
Зарегистрирован: 2014-04-16 21:18:51

Re: Сервер сам перегружается, примерно в одно и тоже время.

Непрочитанное сообщение ppvv » 2014-07-14 10:44:30

З демонов работает только MPD5.

Код: Выделить всё

last pid: 62726;  load averages:  0.74,  0.79,  0.78                                                                                            up 0+23:19:59  10:39:05
38 processes:  1 running, 37 sleeping
CPU:  1.7% user,  0.0% nice, 61.4% system,  0.0% interrupt, 36.9% idle
Mem: 32M Active, 274M Inact, 506M Wired, 152K Cache, 408M Buf, 3020M Free
Swap: 4061M Total, 4061M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
 3449 root        2  76    0 31980K 10100K select  0  14:21  0.20% mpd5
 3400 root        1   1    0  6920K  1552K select  0   0:04  0.00% syslogd
60977 root        1  44    0  9372K  2240K CPU0    0   0:01  0.00% top
 1616 root        1  76    0  5248K  3212K select  1   0:00  0.00% devd
 3510 root        1  44    0  7976K  1628K nanslp  0   0:00  0.00% cron
61409 ppv         1  44    0 38104K  5340K select  1   0:00  0.00% sshd
60689 ppv         1  44    0 38104K  5340K select  0   0:00  0.00% sshd
62093 root        1  44    0 19300K  6188K select  0   0:00  0.00% mc
61113 ppv         1  44    0 38104K  5340K select  1   0:00  0.00% sshd
62094 root        1  46    0 10348K  3160K ttyin   0   0:00  0.00% csh
61117 root        1  44    0 10348K  3272K pause   1   0:00  0.00% csh
59375 root        1  44    0 10348K  3228K ttyin   0   0:00  0.00% csh
59371 kilsur      1  44    0 38104K  5340K select  0   0:00  0.00% sshd
61110 root        1  44    0 38104K  5316K sbwait  0   0:00  0.00% sshd
61406 root        1  44    0 38104K  5316K sbwait  1   0:00  0.00% sshd
60686 root        1  44    0 38104K  5316K sbwait  0   0:00  0.00% sshd
59368 root        1  45    0 38104K  5316K sbwait  0   0:00  0.00% sshd
61413 root        1  44    0 10348K  3232K pause   0   0:00  0.00% csh
60693 root        1  44    0 10348K  3232K pause   0   0:00  0.00% csh
 3506 root        1  44    0 26172K  4676K select  1   0:00  0.00% sshd
59374 kilsur      1  44    0 21732K  2044K wait    0   0:00  0.00% su
60692 ppv         1  44    0 21732K  2044K wait    1   0:00  0.00% su
61412 ppv         1  44    0 21732K  2044K wait    1   0:00  0.00% su
61116 ppv         1  44    0 21732K  2044K wait    0   0:00  0.00% su
59372 kilsur      1  44    0  8344K  1956K wait    0   0:00  0.00% sh
60690 ppv         1  44    0  8344K  1956K wait    0   0:00  0.00% sh
61410 ppv         1  44    0  8344K  1956K wait    1   0:00  0.00% sh
61114 ppv         1  44    0  8344K  1956K wait    1   0:00  0.00% sh
 3575 root        1  76    0  6916K  1320K ttyin   1   0:00  0.00% getty
 3574 root        1  76    0  6916K  1320K ttyin   0   0:00  0.00% getty
 3577 root        1  76    0  6916K  1320K ttyin   0   0:00  0.00% getty
61405 root        1  44    0  5828K  1080K kqread  0   0:00  0.00% tail
 3580 root        1  76    0  6916K  1320K ttyin   0   0:00  0.00% getty
 3576 root        1  76    0  6916K  1320K ttyin   0   0:00  0.00% getty
 3581 root        1  76    0  6916K  1320K ttyin   1   0:00  0.00% getty
 3578 root        1  76    0  6916K  1320K ttyin   0   0:00  0.00% getty
 3579 root        1  76    0  6916K  1320K ttyin   0   0:00  0.00% getty
tail -f /var/log/messages

Код: Выделить всё

Jul 14 10:32:00 nas kernel: arp: 192.168.1.1 moved from c8:d3:a3:e6:b5:33 to 40:4a:03:43:b7:67 on em1
Jul 14 10:32:00 nas kernel: arp: 192.168.1.1 moved from 40:4a:03:43:b7:67 to 84:c9:b2:f0:c5:6e on em1
Jul 14 10:32:00 nas kernel: arp: 192.168.1.1 moved from 84:c9:b2:f0:c5:6e to 84:c9:b2:f0:fa:12 on em1
Jul 14 10:32:00 nas kernel: arp: 192.168.1.1 moved from 84:c9:b2:f0:fa:12 to 00:13:49:62:56:06 on em1
Jul 14 10:32:00 nas kernel: arp: 192.168.1.1 moved from 00:13:49:62:56:06 to 1c:7e:e5:f1:de:03 on em1
Jul 14 10:32:00 nas kernel: arp: 192.168.1.1 moved from 1c:7e:e5:f1:de:03 to c8:d3:a3:e6:1a:7a on em1
Jul 14 10:32:00 nas kernel: arp: 192.168.1.1 moved from c8:d3:a3:e6:1a:7a to 84:c9:b2:f1:0c:69 on em1
Jul 14 10:32:00 nas kernel: arp: 192.168.1.1 moved from 84:c9:b2:f1:0c:69 to 84:c9:b2:f0:e5:81 on em1
Jul 14 10:32:00 nas kernel: arp: 192.168.1.1 moved from 84:c9:b2:f0:e5:81 to 28:10:7b:3b:a0:b6 on em1
Jul 14 10:32:00 nas kernel: arp: 192.168.1.1 moved from 28:10:7b:3b:a0:b6 to c8:d3:a3:c0:57:f7 on em1
Jul 14 10:32:00 nas kernel: arp: 192.168.1.1 moved from c8:d3:a3:c0:57:f7 to 84:c9:b2:ed:6e:87 on em1
Jul 14 10:32:00 nas kernel: arp: 192.168.1.1 moved from 84:c9:b2:ed:6e:87 to 00:0e:f4:e0:fa:66 on em1
Jul 14 10:32:00 nas kernel: arp: 192.168.1.1 moved from 00:0e:f4:e0:fa:66 to cc:b2:55:58:30:ab on em1
Jul 14 10:32:00 nas kernel: arp: 192.168.1.1 moved from cc:b2:55:58:30:ab to 28:10:7b:31:02:bf on em1
Jul 14 10:32:00 nas kernel: arp: 192.168.1.1 moved from 28:10:7b:31:02:bf to 84:c9:b2:f0:be:b7 on em1
Jul 14 10:32:00 nas kernel: arp: 192.168.1.1 moved from 84:c9:b2:f0:be:b7 to 84:c9:b2:f0:f3:46 on em1
Jul 14 10:32:00 nas kernel: arp: 192.168.1.1 moved from 84:c9:b2:f0:f3:46 to c8:d3:a3:da:b8:6b on em1
Jul 14 10:32:00 nas kernel: arp: 192.168.1.1 moved from c8:d3:a3:da:b8:6b to b8:a3:86:44:44:d6 on em1
Jul 14 10:32:00 nas kernel: arp: 192.168.1.1 moved from b8:a3:86:44:44:d6 to b8:a3:86:43:c5:4d on em1
Jul 14 10:32:00 nas kernel: arp: 192.168.1.1 moved from b8:a3:86:43:c5:4d to c8:d3:a3:e6:14:a4 on em1
Jul 14 10:32:00 nas kernel: arp: 192.168.1.1 moved from c8:d3:a3:e6:14:a4 to 84:c9:b2:f0:f1:ae on em1
Jul 14 10:32:00 nas kernel: arp: 192.168.1.1 moved from 84:c9:b2:f0:f1:ae to 1c:7e:e5:b5:99:33 on em1
Jul 14 10:39:04 nas kernel: arp: bc:f6:85:4c:cd:b5 attempts to modify permanent entry for xx.xx.xx.xx on vlan1
Сделать бы статическую таблицу но уже з пилингом а то тут билинга нет), вот попало работы студенту)

ppvv
рядовой
Сообщения: 29
Зарегистрирован: 2014-04-16 21:18:51

Re: Сервер сам перегружается, примерно в одно и тоже время.

Непрочитанное сообщение ppvv » 2014-07-15 18:17:50

Включил дампы, может что посоветуете.

Код: Выделить всё

<6>arp: 192.168.2.1 moved from 80:1f:02:0a:8a:95 to 00:1f:1f:ee:5c:51 on em1
<6>arp: 192.168.2.1 moved from 00:1f:1f:ee:5c:51 to 80:1f:02:43:31:e1 on em1


Fatal trap 12: page fault while in kernel mode
cpuid = 1; apic id = 01
fault virtual address   = 0x4
fault code              = supervisor read data, page not present
instruction pointer     = 0x20:0xffffffff81015e5c
stack pointer           = 0x28:0xffffff811a4cad90
frame pointer           = 0x28:0xffffff811a4cae90
code segment            = base 0x0, limit 0xfffff, type 0x1b
                        = DPL 0, pres 1, long 1, def32 0, gran 1
processor eflags        = interrupt enabled, resume, IOPL = 0
current process         = 0 (em1 taskq)
trap number             = 12
panic: page fault
cpuid = 1
KDB: stack backtrace:
#0 0xffffffff8063de8e at kdb_backtrace+0x5e
#1 0xffffffff8060b0a7 at panic+0x187
#2 0xffffffff80900b10 at trap_fatal+0x290
#3 0xffffffff80900e61 at trap_pfault+0x201
#4 0xffffffff8090131f at trap+0x3df
#5 0xffffffff808e8874 at calltrap+0x8
#6 0xffffffff81019b03 at fr_checknatout+0x403
#7 0xffffffff81033706 at fr_check+0xbd6
#8 0xffffffff806c734c at pfil_run_hooks+0x9c
#9 0xffffffff8071cf89 at ip_output+0x3e9
#10 0xffffffff8071a11a at ip_forward+0x2ea
#11 0xffffffff8071b75c at ip_input+0x52c
#12 0xffffffff806c650e at netisr_dispatch_src+0x7e
#13 0xffffffff81075d84 at ng_iface_rcvdata+0x104
#14 0xffffffff81064b70 at ng_apply_item+0x220
#15 0xffffffff81063c3e at ng_snd_item+0x2ce
#16 0xffffffff81064b70 at ng_apply_item+0x220
#17 0xffffffff81063c3e at ng_snd_item+0x2ce
Uptime: 1h41m13s
Dumping 306 out of 3980 MB:.............................................................................................................................................

Bayerische
капитан
Сообщения: 1820
Зарегистрирован: 2010-12-25 20:41:50
Откуда: Хлебная столица

Re: Сервер сам перегружается, примерно в одно и тоже время.

Непрочитанное сообщение Bayerische » 2014-07-15 20:53:30

Почему не хотите Мунин поставить? Нарисует, что напряглось, а что просело при перезагрузке, если процессы достаточно длительные.

ppvv
рядовой
Сообщения: 29
Зарегистрирован: 2014-04-16 21:18:51

Re: Сервер сам перегружается, примерно в одно и тоже время.

Непрочитанное сообщение ppvv » 2014-07-15 21:27:26

Честно я боюсь там что-то поломать ). Я студент опыта мало).
В результате пришел к выводу что то-то с netgraf. В ядро он не включен, используется стандартный netgraf MPD5.

Код: Выделить всё

#0  doadump () at pcpu.h:224
#1  0xffffffff8060abf0 in boot (howto=260) at /usr/src/sys/kern/kern_shutdown.c:441
#2  0xffffffff8060b091 in panic (fmt=Variable "fmt" is not available.
) at /usr/src/sys/kern/kern_shutdown.c:614
#3  0xffffffff80900b10 in trap_fatal (frame=0xc, eva=Variable "eva" is not available.
) at /usr/src/sys/amd64/amd64/trap.c:825
#4  0xffffffff80900e61 in trap_pfault (frame=0xffffff811a4cace0, usermode=0) at /usr/src/sys/amd64/amd64/trap.c:741
#5  0xffffffff8090131f in trap (frame=0xffffff811a4cace0) at /usr/src/sys/amd64/amd64/trap.c:478
#6  0xffffffff808e8874 in calltrap () at /usr/src/sys/amd64/amd64/exception.S:228
#7  0xffffffff81015e5c in nat_new (fin=0xffffff811a4caf50, np=Variable "np" is not available.
) at /usr/src/sys/modules/ipfilter/../../contrib/ipfilter/netinet/ip_nat.c:2610
#8  0xffffffff81019b03 in fr_checknatout (fin=0xffffff811a4caf50, passp=0xffffff811a4caf4c) at /usr/src/sys/modules/ipfilter/../../contrib/ipfilter/netinet/ip_nat.c:3861
#9  0xffffffff81033706 in fr_check (ip=0x1, hlen=20, ifp=Variable "ifp" is not available.
) at /usr/src/sys/modules/ipfilter/../../contrib/ipfilter/netinet/fil.c:2624
#10 0xffffffff806c734c in pfil_run_hooks (ph=Variable "ph" is not available.
) at /usr/src/sys/net/pfil.c:82
#11 0xffffffff8071cf89 in ip_output (m=0xffffff0003d09100, opt=Variable "opt" is not available.
) at /usr/src/sys/netinet/ip_output.c:511
#12 0xffffffff8071a11a in ip_forward (m=0xffffff0003d09100, srcrt=Variable "srcrt" is not available.
) at /usr/src/sys/netinet/ip_input.c:1521
#13 0xffffffff8071b75c in ip_input (m=0xffffff0003d09100) at /usr/src/sys/netinet/ip_input.c:729
#14 0xffffffff806c650e in netisr_dispatch_src (proto=1, source=Variable "source" is not available.
) at /usr/src/sys/net/netisr.c:859
#15 0xffffffff81075d84 in ng_iface_rcvdata (hook=Variable "hook" is not available.
) at /usr/src/sys/modules/netgraph/iface/../../../netgraph/ng_iface.c:785
#16 0xffffffff81064b70 in ng_apply_item (node=0xffffff01360ddb00, item=0xffffff0041275180, rw=0) at /usr/src/sys/modules/netgraph/netgraph/../../../netgraph/ng_base.c:2329
#17 0xffffffff81063c3e in ng_snd_item (item=Variable "item" is not available.
) at /usr/src/sys/modules/netgraph/netgraph/../../../netgraph/ng_base.c:2246
#18 0xffffffff81064b70 in ng_apply_item (node=0xffffff004135b300, item=0xffffff0041275180, rw=0) at /usr/src/sys/modules/netgraph/netgraph/../../../netgraph/ng_base.c:2329
#19 0xffffffff81063c3e in ng_snd_item (item=Variable "item" is not available.
) at /usr/src/sys/modules/netgraph/netgraph/../../../netgraph/ng_base.c:2246
#20 0xffffffff81078418 in ng_ppp_rcvdata (hook=Variable "hook" is not available.
) at /usr/src/sys/modules/netgraph/ppp/../../../netgraph/ng_ppp.c:1524
#21 0xffffffff81064b70 in ng_apply_item (node=0xffffff0041f9ba00, item=0xffffff0041275180, rw=0) at /usr/src/sys/modules/netgraph/netgraph/../../../netgraph/ng_base.c:2329
#22 0xffffffff81063c3e in ng_snd_item (item=Variable "item" is not available.
) at /usr/src/sys/modules/netgraph/netgraph/../../../netgraph/ng_base.c:2246
#23 0xffffffff81064b70 in ng_apply_item (node=0xffffff0041164200, item=0xffffff0041275180, rw=0) at /usr/src/sys/modules/netgraph/netgraph/../../../netgraph/ng_base.c:2329
#24 0xffffffff81063c3e in ng_snd_item (item=Variable "item" is not available.
) at /usr/src/sys/modules/netgraph/netgraph/../../../netgraph/ng_base.c:2246
#25 0xffffffff810710c6 in ng_pppoe_rcvdata_ether (hook=Variable "hook" is not available.
) at /usr/src/sys/modules/netgraph/pppoe/../../../netgraph/ng_pppoe.c:1657
#26 0xffffffff81064b70 in ng_apply_item (node=0xffffff004121a700, item=0xffffff0041275180, rw=0) at /usr/src/sys/modules/netgraph/netgraph/../../../netgraph/ng_base.c:2329
#27 0xffffffff81063c3e in ng_snd_item (item=Variable "item" is not available.
) at /usr/src/sys/modules/netgraph/netgraph/../../../netgraph/ng_base.c:2246
#28 0xffffffff806bc587 in ether_demux (ifp=0xffffff0003add000, m=0xffffff0003d09100) at /usr/src/sys/net/if_ethersubr.c:913
#29 0xffffffff806bc9b7 in ether_input (ifp=0xffffff0003add000, m=0xffffff0003d09100) at /usr/src/sys/net/if_ethersubr.c:755
#30 0xffffffff806bc4cf in ether_demux (ifp=0xffffff000388d000, m=0xffffff0003d09100) at /usr/src/sys/net/if_ethersubr.c:805
#31 0xffffffff806bc9b7 in ether_input (ifp=0xffffff000388d000, m=0xffffff0003d09100) at /usr/src/sys/net/if_ethersubr.c:755
#32 0xffffffff8034ee72 in lem_handle_rxtx (context=Variable "context" is not available.
) at /usr/src/sys/dev/e1000/if_lem.c:3554
#33 0xffffffff80649735 in taskqueue_run_locked (queue=0xffffff0003898300) at /usr/src/sys/kern/subr_taskqueue.c:250
#34 0xffffffff806498ce in taskqueue_thread_loop (arg=Variable "arg" is not available.
) at /usr/src/sys/kern/subr_taskqueue.c:387
#35 0xffffffff805dfcff in fork_exit (callout=0xffffffff80649880 <taskqueue_thread_loop>, arg=0xffffff800032a858, frame=0xffffff811a4cbc50) at /usr/src/sys/kern/kern_fork.c:876
#36 0xffffffff808e8dbe in fork_trampoline () at /usr/src/sys/amd64/amd64/exception.S:602
#37 0x0000000000000000 in ?? ()
#38 0x0000000000000000 in ?? ()
#39 0x0000000000000000 in ?? ()
#40 0x0000000000000000 in ?? ()
#41 0x0000000000000000 in ?? ()
#42 0x0000000000000000 in ?? ()
#43 0x0000000000000000 in ?? ()
#44 0x0000000000000000 in ?? ()
#45 0x0000000000000000 in ?? ()
#46 0x0000000000000000 in ?? ()
#47 0x0000000000000000 in ?? ()
#48 0x0000000000000000 in ?? ()
#49 0x0000000000000000 in ?? ()
#50 0x0000000000000000 in ?? ()
#51 0x0000000000000000 in ?? ()
---Type <return> to continue, or q <return> to quit---
#52 0x0000000000000000 in ?? ()
#53 0x0000000000000000 in ?? ()
#54 0x0000000000000000 in ?? ()
#55 0x0000000000000000 in ?? ()
#56 0x0000000000000000 in ?? ()
#57 0x0000000000000000 in ?? ()
#58 0x0000000000000000 in ?? ()
#59 0x0000000000000000 in ?? ()
#60 0x0000000000000000 in ?? ()
#61 0xffffffff80cfb480 in affinity ()
#62 0x0000000000000000 in ?? ()
#63 0x0000000000000000 in ?? ()
#64 0xffffff00038848c0 in ?? ()
#65 0xffffff811a4ca930 in ?? ()
#66 0xffffff811a4ca8d8 in ?? ()
#67 0xffffff0001a25460 in ?? ()
#68 0xffffffff80631012 in sched_switch (td=0xffffffff80649880, newtd=0xffffff800032a858, flags=Variable "flags" is not available.
) at /usr/src/sys/kern/sched_ule.c:1861
Previous frame inner to this frame (corrupt stack?)
В sysctl.conf модификации

Код: Выделить всё

dev.em.0.rx_int_delay=200
dev.em.0.tx_int_delay=200
dev.em.0.rx_abs_int_delay=4000
dev.em.0.tx_abs_int_delay=4000
dev.em.0.rx_processing_limit=4096

dev.em.1.rx_int_delay=200
dev.em.1.tx_int_delay=200
dev.em.1.rx_abs_int_delay=4000
dev.em.1.tx_abs_int_delay=4000
dev.em.1.rx_processing_limit=4096

#dev.igb.0.rx_processing_limit=4096
#dev.igb.1.rx_processing_limit=4096

# for rtsock
net.route.netisr_maxqlen=4096
# for other protocols (IP & PPPoE?)
net.isr.defaultqlimit=4096

# default outgoing interface queue length
# used by lagg etc.
net.link.ifqmaxlen=10240

kern.ipc.nmbclusters=400000
kern.ipc.maxsockbuf=83886080

net.inet.ip.dummynet.pipe_slot_limit=1000
net.inet.ip.dummynet.io_fast=1

net.inet.ip.fastforwarding=0
net.inet.ip.intr_queue_maxlen=10240

net.inet.tcp.blackhole=2 
net.inet.udp.blackhole=1
в /boot/loader.conf

Код: Выделить всё

net.graph.maxdata=65536
net.graph.maxalloc=65536

hw.em.rxd=4096
hw.em.txd=4096
hw.igb.rxd=4096
hw.igb.txd=4096
hw.igb.max_interrupt_rate=32000
hw.em.max_interrupt_rate=32000

ppvv
рядовой
Сообщения: 29
Зарегистрирован: 2014-04-16 21:18:51

Re: Сервер сам перегружается, примерно в одно и тоже время.

Непрочитанное сообщение ppvv » 2014-07-18 12:22:19

Есть у кого какие предложения, для решения проблемы?

guest
проходил мимо

Re: Сервер сам перегружается, примерно в одно и тоже время.

Непрочитанное сообщение guest » 2014-07-18 13:54:03

ppvv писал(а):Есть у кого какие предложения, для решения проблемы?
Вы логи то разбирали? А у Вас там жуть, какой нафик fsck?!

Изучите пока не наступит понимание:
http://dadv.livejournal.com/138951.html
- особенно вторая часть про патчи em/igb, netisr и тюнинг и использование cpuset - прибить тред к конкретному ядру

Все что написал Евгений Гроссбейн, актуально вплоть до 9.2, переход FreeBSD на SMP и особенно драйверов em/igb
на использование очередей и взаимосвязь с netisr, стало очень нетривиальной задачей тюнинга ядра и сетевого стека.

Вот серьезное исследование, выполненное melifaro (Александр Черников):

http://lists.freebsd.org/pipermail/free ... 43318.html

обсуждение сказанного продолжилось в сентябре 2013 и было предложено обсудить в междусобойчике на конференции,
а картина печальная...
Итог неизвестен:
https://wiki.freebsd.org/NewNetworking

с драйверами Intel - проблема, отпинать Jack Vogel никто не может, это уже давно не секрет, производительность, возможности
и драйвера остальных сетевых карт годятся только для WKS и не нагруженных систем.

ppvv
рядовой
Сообщения: 29
Зарегистрирован: 2014-04-16 21:18:51

Re: Сервер сам перегружается, примерно в одно и тоже время.

Непрочитанное сообщение ppvv » 2014-07-18 16:27:00

Система на FreeBSD 8.3-PRERELEASE.

Аватара пользователя
Electronik
капитан
Сообщения: 1593
Зарегистрирован: 2008-11-15 17:32:56
Откуда: Минск
Контактная информация:

Re: Сервер сам перегружается, примерно в одно и тоже время.

Непрочитанное сообщение Electronik » 2014-07-18 18:54:35

FreeBSD 8.3-PRERELEASE.
Пфффф........
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог

ppvv
рядовой
Сообщения: 29
Зарегистрирован: 2014-04-16 21:18:51

Re: Сервер сам перегружается, примерно в одно и тоже время.

Непрочитанное сообщение ppvv » 2014-07-23 11:59:27

guest писал(а):
ppvv писал(а):Есть у кого какие предложения, для решения проблемы?
Вы логи то разбирали? А у Вас там жуть, какой нафик fsck?!

Изучите пока не наступит понимание:
http://dadv.livejournal.com/138951.html
- особенно вторая часть про патчи em/igb, netisr и тюнинг и использование cpuset - прибить тред к конкретному ядру

Все что написал Евгений Гроссбейн, актуально вплоть до 9.2, переход FreeBSD на SMP и особенно драйверов em/igb
на использование очередей и взаимосвязь с netisr, стало очень нетривиальной задачей тюнинга ядра и сетевого стека.

Вот серьезное исследование, выполненное melifaro (Александр Черников):

http://lists.freebsd.org/pipermail/free ... 43318.html

обсуждение сказанного продолжилось в сентябре 2013 и было предложено обсудить в междусобойчике на конференции,
а картина печальная...
Итог неизвестен:
https://wiki.freebsd.org/NewNetworking

с драйверами Intel - проблема, отпинать Jack Vogel никто не может, это уже давно не секрет, производительность, возможности
и драйвера остальных сетевых карт годятся только для WKS и не нагруженных систем.
я поставил для интереса все на FreeBSD 9.3-RELEASE, пересобрал ядро включил

Код: Выделить всё

# netgraph options
options HZ=1000
options NETGRAPH
options NETGRAPH_PPPOE
options NETGRAPH_SOCKET
options NETGRAPH_CISCO
options NETGRAPH_ECHO
options NETGRAPH_FRAME_RELAY
options NETGRAPH_HOLE
options NETGRAPH_KSOCKET
options NETGRAPH_LMI
options NETGRAPH_RFC1490
options NETGRAPH_TTY
options NETGRAPH_ASYNC
options NETGRAPH_BPF
options NETGRAPH_ETHER
options NETGRAPH_IFACE
options NETGRAPH_KSOCKET
options NETGRAPH_L2TP
options NETGRAPH_MPPC_ENCRYPTION
options NETGRAPH_PPP
options NETGRAPH_PPTPGRE
options NETGRAPH_TEE
options NETGRAPH_UI
options NETGRAPH_VJC
конфиги перекинул те же, проблема осталась.