Падения FreeBSD7.0

goletsa · Непрочитанное сообщение **goletsa** » 2009-01-09 22:11:25

За последнии сутки фря упала уже три раза.
В логах пусто.
В core дампе:

kernel trap 12 with interrupts disabled


Fatal trap 12: page fault while in kernel mode
cpuid = 0; apic id = 00
fault virtual address   = 0x9
fault code              = supervisor read, page not present
instruction pointer     = 0x20:0xc07b45c9
stack pointer           = 0x28:0xe5697c78
frame pointer           = 0x28:0xe5697cbc
code segment            = base 0x0, limit 0xfffff, type 0x1b
                        = DPL 0, pres 1, def32 1, gran 1
processor eflags        = resume, IOPL = 0
current process         = 14 (swi4: clock sio)
trap number             = 12
panic: page fault
cpuid = 0
Uptime: 43m42s
Physical memory: 2032 MB
Dumping 150 MB:speed of paket: 620, speed_out of paket: 620

В /var/log/messages последнии записи перед ребутом:

Код: Выделить всё

Jan  9 21:41:46 router1 pdns_recursor[52144]: PowerDNS recursor 3.1.7 (C) 2001-2008 PowerDNS.COM BV (Oct  7 2008, 23:22:36, gcc 4.2.1 20070719  [FreeBSD]) starting up
Jan  9 21:41:46 router1 pdns_recursor[52144]: PowerDNS comes with ABSOLUTELY NO WARRANTY. This is free software, and you are welcome to redistribute it according to the terms of the GPL version 2.
Jan  9 21:41:46 router1 pdns_recursor[52144]: Operating in 32 bits mode
Jan  9 21:41:46 router1 pdns_recursor[52144]: Reading random entropy from '/dev/urandom'
Jan  9 21:41:46 router1 pdns_recursor[52144]: Only allowing queries from: 127.0.0.0/8, 10.0.0.0/8, 192.168.0.0/24, 172.16.0.0/16, 92.243.69.0/24
Jan  9 21:41:46 router1 pdns_recursor[52144]: Will not send queries to: 127.0.0.0/8, 10.0.0.0/8, 192.168.0.0/16, 172.16.0.0/12, ::1/128, fe80::/10
Jan  9 21:41:46 router1 pdns_recursor[52144]: Redirecting queries for zone 'tinconet.ru.' to: 192.168.0.3:53
Jan  9 21:41:46 router1 pdns_recursor[52144]: Inserting rfc 1918 private space zones
Jan  9 21:41:46 router1 pdns_recursor[52144]: Listening for UDP queries on 127.0.0.1:53
Jan  9 21:41:46 router1 pdns_recursor[52144]: Listening for UDP queries on 192.168.0.1:53
Jan  9 21:41:46 router1 pdns_recursor[52144]: Listening for UDP queries on 92.243.69.2:53
Jan  9 21:41:46 router1 pdns_recursor[52144]: Listening for TCP queries on 127.0.0.1:53
Jan  9 21:41:46 router1 pdns_recursor[52144]: Listening for TCP queries on 192.168.0.1:53
=-1, fp=0x0: Permission denied
Jan  9 20:31:00 router1 sendmail[84289]: n09HV05w084289: SYSERR(root): collect: Cannot write ./dfn09HV05w084289 (bfcommit, uid=25, gid=2
5): Permission denied
Jan  9 20:31:00 router1 sendmail[84289]: n09HV05w084289: SYSERR(root): queueup: cannot create queue file ./qfn09HV05w084289, euid=25, fd
=-1, fp=0x0: Permission denied
Jan  9 20:31:41 router1 fsck: /dev/ad4s1f: 376373 files, 2183076 used, 31617132 free (91372 frags, 3940720 blocks, 0.3% fragmentation)
Jan  9 20:31:57 router1 fsck: /dev/ad4s1d: 20339 files, 297868 used, 1214395 free (427 frags, 151746 blocks, 0.0% fragmentation)
Jan  9 20:44:53 router1 pdns_recursor[1661]: Ignoring answer from 10.9.12.17 on server socket!
Jan  9 20:45:59 router1 pdns_recursor[1661]: Ignoring answer from 10.9.12.17 on server socket!
Jan  9 20:45:59 router1 pdns_recursor[1661]: Ignoring answer from 10.9.12.17 on server socket!
Jan  9 20:46:04 router1 last message repeated 5 times
Jan  9 20:50:32 router1 sshd[98106]: error: ssh_msg_send: write
Jan  9 20:50:45 router1 su: test to root on /dev/ttyp1
Jan  9 20:57:00 router1 pdns_recursor[1661]: stats: 9095 questions, 5827 cache entries, 123 negative entries, 59% cache hits
Jan  9 20:57:00 router1 pdns_recursor[1661]: stats: throttle map: 2, ns speeds: 819
Jan  9 20:57:00 router1 pdns_recursor[1661]: stats: outpacket/query ratio 69%, 15% throttled, 0 no-delegation drops
Jan  9 20:57:00 router1 pdns_recursor[1661]: stats: 8 outgoing tcp connections, 2 queries running, 247 outgoing timeouts
Jan  9 21:00:01 router1 sendmail[2434]: n09I01Ef002434: SYSERR(root): collect: Cannot write ./dfn09I01Ef002434 (sm_io_flush||sm_io_error
, uid=25, gid=25): Input/output error
Jan  9 21:00:01 router1 sendmail[2434]: n09I01Ef002434: SYSERR(root): queueup: cannot create queue file ./qfn09I01Ef002434, euid=25, fd=
-1, fp=0x0: Permission denied
Jan  9 21:01:00 router1 sendmail[2479]: n09I1045002479: SYSERR(root): collect: Cannot write ./dfn09I1045002479 (bfcommit, uid=25, gid=25
): Permission denied
Jan  9 21:01:00 router1 sendmail[2479]: n09I1045002479: SYSERR(root): queueup: cannot create queue file ./qfn09I1045002479, euid=25, fd=
-1, fp=0x0: Permission denied
Jan  9 21:01:00 router1 sendmail[2480]: n09I10PT002480: SYSERR(root): collect: Cannot write ./dfn09I10PT002480 (bfcommit, uid=25, gid=25
): Permission denied
Jan  9 21:01:00 router1 sendmail[2480]: n09I10PT002480: SYSERR(root): queueup: cannot create queue file ./qfn09I10PT002480, euid=25, fd=
-1, fp=0x0: Permission denied
Jan  9 21:03:38 router1 pdns_recursor[1661]: Ignoring answer from 10.9.12.17 on server socket!
Jan  9 21:06:46 router1 pdns_recursor[1661]: Ignoring answer from 10.9.12.17 on server socket!
Jan  9 21:11:33 router1 syslogd: kernel boot file is /boot/kernel/kernel
Jan  9 21:11:33 router1 kernel: Copyright (c) 1992-2008 The FreeBSD Project.
Jan  9 21:11:33 router1 kernel: Copyright (c) 1979, 1980, 1983, 1986, 1988, 1989, 1991, 1992, 1993, 1994
Jan  9 21:11:33 router1 kernel: The Regents of the University of California. All rights reserved.
Jan  9 21:11:33 router1 kernel: FreeBSD is a registered trademark of The FreeBSD Foundation.
Jan  9 21:11:33 router1 kernel: FreeBSD 7.0-RELEASE-p6 #0: Sun Dec 14 21:19:35 MSK 2008

Сами дампы хранятся, как понять именно изза чего падает?

Хостинг HostFood.ru · **Хостинг HostFood.ru**

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

paradox · Непрочитанное сообщение **paradox** » 2009-01-09 22:17:14

на форуме уже было как продебажить по дампам
поищи и попробуй

а лучше до стеибла уже

Alex Keda

Код: Выделить всё

bt

в дебагере набери

goletsa · Непрочитанное сообщение **goletsa** » 2009-01-10 14:59:06

Из еще симтомов отваливается NAT (pf).

Т.е. сначала отваливает инет и юзеры начинают пинать меня (pppoe через mpd4 продолжает работать и связь с локальными ресурсами есть) а потом оно паникует.

goletsa · Непрочитанное сообщение **goletsa** » 2009-01-11 18:47:37

Код: Выделить всё

GNU gdb 6.1.1 [FreeBSD]
Copyright 2004 Free Software Foundation, Inc.
GDB is free software, covered by the GNU General Public License, and you are
welcome to change it and/or distribute copies of it under certain conditions.
Type "show copying" to see the conditions.
There is absolutely no warranty for GDB.  Type "show warranty" for details.
This GDB was configured as "i386-marcel-freebsd".

Unread portion of the kernel message buffer:
kernel trap 12 with interrupts disabled


Fatal trap 12: page fault while in kernel mode
cpuid = 0; apic id = 00
fault virtual address   = 0x9
fault code              = supervisor read, page not present
instruction pointer     = 0x20:0xc0798d3f
stack pointer           = 0x28:0xe5697c80
frame pointer           = 0x28:0xe5697cbc
code segment            = base 0x0, limit 0xfffff, type 0x1b
                        = DPL 0, pres 1, def32 1, gran 1
processor eflags        = resume, IOPL = 0
current process         = 14 (swi4: clock sio)
trap number             = 12
panic: page fault
cpuid = 0
Uptime: 1h40m0s
Physical memory: 2032 MB
Dumping 252 MB: 237 221 205 189 173 157 141 125 109 93 77 61 45 29 13

#0  doadump () at pcpu.h:195
        in pcpu.h
(kgdb) bt
#0  doadump () at pcpu.h:195
#1  0xc0786d87 in boot (howto=260) at /usr/src/sys/kern/kern_shutdown.c:409
#2  0xc0787049 in panic (fmt=) at /usr/src/sys/kern/kern_shutdown.c:563
#3  0xc0a09fec in trap_fatal (frame=0xe5697c40, eva=9) at /usr/src/sys/i386/i386/trap.c:899
#4  0xc0a0a94f in trap (frame=0xe5697c40) at /usr/src/sys/i386/i386/trap.c:280
#5  0xc09f155b in calltrap () at /usr/src/sys/i386/i386/exception.s:139
#6  0xc0798d3f in softclock (dummy=0x0) at /usr/src/sys/kern/kern_timeout.c:202
#7  0xc0768eeb in ithread_loop (arg=0xc5101250) at /usr/src/sys/kern/kern_intr.c:1036
#8  0xc0765ce9 in fork_exit (callout=0xc0768d40 <ithread_loop>, arg=0xc5101250, frame=0xe5697d38)
    at /usr/src/sys/kern/kern_fork.c:781
#9  0xc09f15d0 in fork_trampoline () at /usr/src/sys/i386/i386/exception.s:205
(kgdb) bt full
#0  doadump () at pcpu.h:195
No locals.
#1  0xc0786d87 in boot (howto=260) at /usr/src/sys/kern/kern_shutdown.c:409
	_giantcnt = (kgdb) 
#0  doadump () at pcpu.h:195
No locals.
#1  0xc0786d87 in boot (howto=260) at /usr/src/sys/kern/kern_shutdown.c:409
	_giantcnt = (kgdb) quit

goletsa · Непрочитанное сообщение **goletsa** » 2009-01-11 18:49:27

Ядро собрано с DEBUG

paradox · Непрочитанное сообщение **paradox** » 2009-01-11 18:58:19

а нет желание перейти на стеибл?

chd · Непрочитанное сообщение **chd** » 2009-01-11 19:02:38

уберите sio из ведра. и буде вам шастя

paradox · Непрочитанное сообщение **paradox** » 2009-01-11 19:05:09

там и clock на swi4 весит)))
может и часы выдернуть ему из материнки?)))

chd · Непрочитанное сообщение **chd** » 2009-01-11 19:10:40

paradox писал(а):там и clock на swi4 весит)))
может и часы выдернуть ему из материнки?)))

дык вот и узнаем. я лично 3ий раз вижу подобное.
а так очень интересно конечно поближе с корой пообщаться.

paradox · Непрочитанное сообщение **paradox** » 2009-01-11 19:14:04

замысловатая там ситуация
лучше обновиться до стеибл

chd · Непрочитанное сообщение **chd** » 2009-01-11 19:59:18

paradox писал(а):замысловатая там ситуация
лучше обновиться до стеибл

то что это sio сомнений нет. я только думаю что лечить это мало кому
интересно. убрали sio from -current. теперь uart

goletsa · Непрочитанное сообщение **goletsa** » 2009-01-11 21:03:29

RELENG_7_0 настолько плох? до этого очень долго вообще без падений работало.
И второй сервак на схожем железе работает без перебоев тоже.

Кору могу выложить куданить.

paradox · Непрочитанное сообщение **paradox** » 2009-01-11 21:08:39

до этого очень долго вообще без падений работало.
И второй сервак на схожем железе работает без перебоев тоже

само по себе ничего не падает

какие изменения вносились ?

7_0 это не стеибл

стеибл то что стабильно а не то что дано пользователям для тестирования(это релиз)

goletsa · Непрочитанное сообщение **goletsa** » 2009-01-11 21:12:32

ЗЫ: пересобрать пока без sio ядро?

goletsa · Непрочитанное сообщение **goletsa** » 2009-01-11 21:14:23

Изменений никаких, я вообще редко что меняю на серверах.

chd · Непрочитанное сообщение **chd** » 2009-01-11 21:17:39

goletsa писал(а):RELENG_7_0 настолько плох? до этого очень долго вообще без падений работало.
И второй сервак на схожем железе работает без перебоев тоже.

Кору могу выложить куданить.

давай перед сборкой нового ядра сохрани еще kernel.debug, kernel.symbols.

goletsa · Непрочитанное сообщение **goletsa** » 2009-01-11 21:36:19

Откуда их выдернуть?

goletsa · Непрочитанное сообщение **goletsa** » 2009-01-11 21:38:11

kernel.symbols нашел в /boot/kernel/
Оно?

Добавлено:
kernel.debug не вижу, старое ядро не имело даже kernel.symbols

chd · Непрочитанное сообщение **chd** » 2009-01-11 21:40:30

goletsa писал(а):kernel.symbols нашел в /boot/kernel/
Оно?

угу.

goletsa · Непрочитанное сообщение **goletsa** » 2009-01-11 22:35:39

http://92.243.69.100/dump/crash-14-15.tar.bz2

Два дампа + все ядро.
135мБ

chd · Непрочитанное сообщение **chd** » 2009-01-11 23:20:58

goletsa писал(а):http://92.243.69.100/dump/crash-14-15.tar.bz2

Два дампа + все ядро.
135мБ

удаляй. kernel.debug нужен, он лежит в /usr/obj/__path_to_source__/sys/KERNCONF/

goletsa · Непрочитанное сообщение **goletsa** » 2009-01-12 14:03:43

http://92.243.69.100/dump/kernel.debug.bz2

goletsa · Непрочитанное сообщение **goletsa** » 2009-01-12 21:13:46

Убрал sio, все равно упало.

Код: Выделить всё

[root@router1 /usr/obj/usr/src/sys/TINCOKERNEL2]# kgdb kernel.debug /var/crash/vmcore.20
[GDB will not be able to debug user-mode threads: /usr/lib/libthread_db.so: Undefined symbol "ps_pglobal_lookup"]
GNU gdb 6.1.1 [FreeBSD]
Copyright 2004 Free Software Foundation, Inc.
GDB is free software, covered by the GNU General Public License, and you are
welcome to change it and/or distribute copies of it under certain conditions.
Type "show copying" to see the conditions.
There is absolutely no warranty for GDB.  Type "show warranty" for details.
This GDB was configured as "i386-marcel-freebsd".

Unread portion of the kernel message buffer:
kernel trap 12 with interrupts disabled


Fatal trap 12: page fault while in kernel mode
cpuid = 0; apic id = 00
fault virtual address   = 0x9
fault code              = supervisor read, page not present
instruction pointer     = 0x20:0xc079f1af
stack pointer           = 0x28:0xe5697c80
frame pointer           = 0x28:0xe5697cbc
code segment            = base 0x0, limit 0xfffff, type 0x1b
                        = DPL 0, pres 1, def32 1, gran 1
processor eflags        = resume, IOPL = 0
current process         = 14 (swi4: clock)
trap number             = 12
panic: page fault
cpuid = 0
Uptime: 51m49s
Physical memory: 2032 MB
Dumping 177 MB: 162 146 130 114 98 82 66 50 34 18 2

#0  doadump () at pcpu.h:195
195             __asm __volatile("movl %%fs:0,%0" : "=r" (td));
(kgdb) bt
#0  doadump () at pcpu.h:195
#1  0xc078d1b7 in boot (howto=260) at /usr/src/sys/kern/kern_shutdown.c:409
#2  0xc078d479 in panic (fmt=Variable "fmt" is not available.
) at /usr/src/sys/kern/kern_shutdown.c:563
#3  0xc0a0eaac in trap_fatal (frame=0xe5697c40, eva=9) at /usr/src/sys/i386/i386/trap.c:899
#4  0xc0a0f42f in trap (frame=0xe5697c40) at /usr/src/sys/i386/i386/trap.c:280
#5  0xc09f565b in calltrap () at /usr/src/sys/i386/i386/exception.s:139
#6  0xc079f1af in softclock (dummy=0x0) at /usr/src/sys/kern/kern_timeout.c:202
#7  0xc076f31b in ithread_loop (arg=0xc5101250) at /usr/src/sys/kern/kern_intr.c:1036
#8  0xc076c119 in fork_exit (callout=0xc076f170 <ithread_loop>, arg=0xc5101250, frame=0xe5697d38)
    at /usr/src/sys/kern/kern_fork.c:781
#9  0xc09f56d0 in fork_trampoline () at /usr/src/sys/i386/i386/exception.s:205
(kgdb)

chd · Непрочитанное сообщение **chd** » 2009-01-12 22:25:23

отлично, кидай тож кору. я в свой зоопарк установил 7.1 наконец-то...
поковыряться и для мфц.

forum.lissyara.su

Падения FreeBSD7.0

Падения FreeBSD7.0

Услуги хостинговой компании Host-Food.ru

Re: Падения FreeBSD7.0

Re: Падения FreeBSD7.0

Re: Падения FreeBSD7.0

Re: Падения FreeBSD7.0

Re: Падения FreeBSD7.0

Re: Падения FreeBSD7.0

Re: Падения FreeBSD7.0

Re: Падения FreeBSD7.0

Re: Падения FreeBSD7.0

Re: Падения FreeBSD7.0

Re: Падения FreeBSD7.0

Re: Падения FreeBSD7.0

Re: Падения FreeBSD7.0

Re: Падения FreeBSD7.0

Re: Падения FreeBSD7.0

Re: Падения FreeBSD7.0

Re: Падения FreeBSD7.0

Re: Падения FreeBSD7.0

Re: Падения FreeBSD7.0

Re: Падения FreeBSD7.0

Re: Падения FreeBSD7.0

Re: Падения FreeBSD7.0

Re: Падения FreeBSD7.0

Re: Падения FreeBSD7.0