Страница 1 из 2

Падения FreeBSD7.0

Добавлено: 2009-01-09 22:11:25
goletsa
За последнии сутки фря упала уже три раза.
В логах пусто.
В core дампе:

Код: Выделить всё

kernel trap 12 with interrupts disabled


Fatal trap 12: page fault while in kernel mode
cpuid = 0; apic id = 00
fault virtual address   = 0x9
fault code              = supervisor read, page not present
instruction pointer     = 0x20:0xc07b45c9
stack pointer           = 0x28:0xe5697c78
frame pointer           = 0x28:0xe5697cbc
code segment            = base 0x0, limit 0xfffff, type 0x1b
                        = DPL 0, pres 1, def32 1, gran 1
processor eflags        = resume, IOPL = 0
current process         = 14 (swi4: clock sio)
trap number             = 12
panic: page fault
cpuid = 0
Uptime: 43m42s
Physical memory: 2032 MB
Dumping 150 MB:speed of paket: 620, speed_out of paket: 620
В /var/log/messages последнии записи перед ребутом:

Код: Выделить всё

Jan  9 21:41:46 router1 pdns_recursor[52144]: PowerDNS recursor 3.1.7 (C) 2001-2008 PowerDNS.COM BV (Oct  7 2008, 23:22:36, gcc 4.2.1 20070719  [FreeBSD]) starting up
Jan  9 21:41:46 router1 pdns_recursor[52144]: PowerDNS comes with ABSOLUTELY NO WARRANTY. This is free software, and you are welcome to redistribute it according to the terms of the GPL version 2.
Jan  9 21:41:46 router1 pdns_recursor[52144]: Operating in 32 bits mode
Jan  9 21:41:46 router1 pdns_recursor[52144]: Reading random entropy from '/dev/urandom'
Jan  9 21:41:46 router1 pdns_recursor[52144]: Only allowing queries from: 127.0.0.0/8, 10.0.0.0/8, 192.168.0.0/24, 172.16.0.0/16, 92.243.69.0/24
Jan  9 21:41:46 router1 pdns_recursor[52144]: Will not send queries to: 127.0.0.0/8, 10.0.0.0/8, 192.168.0.0/16, 172.16.0.0/12, ::1/128, fe80::/10
Jan  9 21:41:46 router1 pdns_recursor[52144]: Redirecting queries for zone 'tinconet.ru.' to: 192.168.0.3:53
Jan  9 21:41:46 router1 pdns_recursor[52144]: Inserting rfc 1918 private space zones
Jan  9 21:41:46 router1 pdns_recursor[52144]: Listening for UDP queries on 127.0.0.1:53
Jan  9 21:41:46 router1 pdns_recursor[52144]: Listening for UDP queries on 192.168.0.1:53
Jan  9 21:41:46 router1 pdns_recursor[52144]: Listening for UDP queries on 92.243.69.2:53
Jan  9 21:41:46 router1 pdns_recursor[52144]: Listening for TCP queries on 127.0.0.1:53
Jan  9 21:41:46 router1 pdns_recursor[52144]: Listening for TCP queries on 192.168.0.1:53
=-1, fp=0x0: Permission denied
Jan  9 20:31:00 router1 sendmail[84289]: n09HV05w084289: SYSERR(root): collect: Cannot write ./dfn09HV05w084289 (bfcommit, uid=25, gid=2
5): Permission denied
Jan  9 20:31:00 router1 sendmail[84289]: n09HV05w084289: SYSERR(root): queueup: cannot create queue file ./qfn09HV05w084289, euid=25, fd
=-1, fp=0x0: Permission denied
Jan  9 20:31:41 router1 fsck: /dev/ad4s1f: 376373 files, 2183076 used, 31617132 free (91372 frags, 3940720 blocks, 0.3% fragmentation)
Jan  9 20:31:57 router1 fsck: /dev/ad4s1d: 20339 files, 297868 used, 1214395 free (427 frags, 151746 blocks, 0.0% fragmentation)
Jan  9 20:44:53 router1 pdns_recursor[1661]: Ignoring answer from 10.9.12.17 on server socket!
Jan  9 20:45:59 router1 pdns_recursor[1661]: Ignoring answer from 10.9.12.17 on server socket!
Jan  9 20:45:59 router1 pdns_recursor[1661]: Ignoring answer from 10.9.12.17 on server socket!
Jan  9 20:46:04 router1 last message repeated 5 times
Jan  9 20:50:32 router1 sshd[98106]: error: ssh_msg_send: write
Jan  9 20:50:45 router1 su: test to root on /dev/ttyp1
Jan  9 20:57:00 router1 pdns_recursor[1661]: stats: 9095 questions, 5827 cache entries, 123 negative entries, 59% cache hits
Jan  9 20:57:00 router1 pdns_recursor[1661]: stats: throttle map: 2, ns speeds: 819
Jan  9 20:57:00 router1 pdns_recursor[1661]: stats: outpacket/query ratio 69%, 15% throttled, 0 no-delegation drops
Jan  9 20:57:00 router1 pdns_recursor[1661]: stats: 8 outgoing tcp connections, 2 queries running, 247 outgoing timeouts
Jan  9 21:00:01 router1 sendmail[2434]: n09I01Ef002434: SYSERR(root): collect: Cannot write ./dfn09I01Ef002434 (sm_io_flush||sm_io_error
, uid=25, gid=25): Input/output error
Jan  9 21:00:01 router1 sendmail[2434]: n09I01Ef002434: SYSERR(root): queueup: cannot create queue file ./qfn09I01Ef002434, euid=25, fd=
-1, fp=0x0: Permission denied
Jan  9 21:01:00 router1 sendmail[2479]: n09I1045002479: SYSERR(root): collect: Cannot write ./dfn09I1045002479 (bfcommit, uid=25, gid=25
): Permission denied
Jan  9 21:01:00 router1 sendmail[2479]: n09I1045002479: SYSERR(root): queueup: cannot create queue file ./qfn09I1045002479, euid=25, fd=
-1, fp=0x0: Permission denied
Jan  9 21:01:00 router1 sendmail[2480]: n09I10PT002480: SYSERR(root): collect: Cannot write ./dfn09I10PT002480 (bfcommit, uid=25, gid=25
): Permission denied
Jan  9 21:01:00 router1 sendmail[2480]: n09I10PT002480: SYSERR(root): queueup: cannot create queue file ./qfn09I10PT002480, euid=25, fd=
-1, fp=0x0: Permission denied
Jan  9 21:03:38 router1 pdns_recursor[1661]: Ignoring answer from 10.9.12.17 on server socket!
Jan  9 21:06:46 router1 pdns_recursor[1661]: Ignoring answer from 10.9.12.17 on server socket!
Jan  9 21:11:33 router1 syslogd: kernel boot file is /boot/kernel/kernel
Jan  9 21:11:33 router1 kernel: Copyright (c) 1992-2008 The FreeBSD Project.
Jan  9 21:11:33 router1 kernel: Copyright (c) 1979, 1980, 1983, 1986, 1988, 1989, 1991, 1992, 1993, 1994
Jan  9 21:11:33 router1 kernel: The Regents of the University of California. All rights reserved.
Jan  9 21:11:33 router1 kernel: FreeBSD is a registered trademark of The FreeBSD Foundation.
Jan  9 21:11:33 router1 kernel: FreeBSD 7.0-RELEASE-p6 #0: Sun Dec 14 21:19:35 MSK 2008
Сами дампы хранятся, как понять именно изза чего падает?

Re: Падения FreeBSD7.0

Добавлено: 2009-01-09 22:17:14
paradox
на форуме уже было как продебажить по дампам
поищи и попробуй

а лучше до стеибла уже

Re: Падения FreeBSD7.0

Добавлено: 2009-01-09 23:10:54
Alex Keda
в дебагере набери

Re: Падения FreeBSD7.0

Добавлено: 2009-01-10 14:59:06
goletsa
Из еще симтомов отваливается NAT (pf).

Т.е. сначала отваливает инет и юзеры начинают пинать меня (pppoe через mpd4 продолжает работать и связь с локальными ресурсами есть) а потом оно паникует. :(

Re: Падения FreeBSD7.0

Добавлено: 2009-01-11 18:47:37
goletsa

Код: Выделить всё

GNU gdb 6.1.1 [FreeBSD]
Copyright 2004 Free Software Foundation, Inc.
GDB is free software, covered by the GNU General Public License, and you are
welcome to change it and/or distribute copies of it under certain conditions.
Type "show copying" to see the conditions.
There is absolutely no warranty for GDB.  Type "show warranty" for details.
This GDB was configured as "i386-marcel-freebsd".

Unread portion of the kernel message buffer:
kernel trap 12 with interrupts disabled


Fatal trap 12: page fault while in kernel mode
cpuid = 0; apic id = 00
fault virtual address   = 0x9
fault code              = supervisor read, page not present
instruction pointer     = 0x20:0xc0798d3f
stack pointer           = 0x28:0xe5697c80
frame pointer           = 0x28:0xe5697cbc
code segment            = base 0x0, limit 0xfffff, type 0x1b
                        = DPL 0, pres 1, def32 1, gran 1
processor eflags        = resume, IOPL = 0
current process         = 14 (swi4: clock sio)
trap number             = 12
panic: page fault
cpuid = 0
Uptime: 1h40m0s
Physical memory: 2032 MB
Dumping 252 MB: 237 221 205 189 173 157 141 125 109 93 77 61 45 29 13

#0  doadump () at pcpu.h:195
        in pcpu.h
(kgdb) bt
#0  doadump () at pcpu.h:195
#1  0xc0786d87 in boot (howto=260) at /usr/src/sys/kern/kern_shutdown.c:409
#2  0xc0787049 in panic (fmt=) at /usr/src/sys/kern/kern_shutdown.c:563
#3  0xc0a09fec in trap_fatal (frame=0xe5697c40, eva=9) at /usr/src/sys/i386/i386/trap.c:899
#4  0xc0a0a94f in trap (frame=0xe5697c40) at /usr/src/sys/i386/i386/trap.c:280
#5  0xc09f155b in calltrap () at /usr/src/sys/i386/i386/exception.s:139
#6  0xc0798d3f in softclock (dummy=0x0) at /usr/src/sys/kern/kern_timeout.c:202
#7  0xc0768eeb in ithread_loop (arg=0xc5101250) at /usr/src/sys/kern/kern_intr.c:1036
#8  0xc0765ce9 in fork_exit (callout=0xc0768d40 <ithread_loop>, arg=0xc5101250, frame=0xe5697d38)
    at /usr/src/sys/kern/kern_fork.c:781
#9  0xc09f15d0 in fork_trampoline () at /usr/src/sys/i386/i386/exception.s:205
(kgdb) bt full
#0  doadump () at pcpu.h:195
No locals.
#1  0xc0786d87 in boot (howto=260) at /usr/src/sys/kern/kern_shutdown.c:409
	_giantcnt = (kgdb) 
#0  doadump () at pcpu.h:195
No locals.
#1  0xc0786d87 in boot (howto=260) at /usr/src/sys/kern/kern_shutdown.c:409
	_giantcnt = (kgdb) quit

Re: Падения FreeBSD7.0

Добавлено: 2009-01-11 18:49:27
goletsa
Ядро собрано с DEBUG

Re: Падения FreeBSD7.0

Добавлено: 2009-01-11 18:58:19
paradox
а нет желание перейти на стеибл?

Re: Падения FreeBSD7.0

Добавлено: 2009-01-11 19:02:38
chd
уберите sio из ведра. и буде вам шастя

Re: Падения FreeBSD7.0

Добавлено: 2009-01-11 19:05:09
paradox
там и clock на swi4 весит)))
может и часы выдернуть ему из материнки?)))

Re: Падения FreeBSD7.0

Добавлено: 2009-01-11 19:10:40
chd
paradox писал(а):там и clock на swi4 весит)))
может и часы выдернуть ему из материнки?)))
дык вот и узнаем. я лично 3ий раз вижу подобное.
а так очень интересно конечно поближе с корой пообщаться.

Re: Падения FreeBSD7.0

Добавлено: 2009-01-11 19:14:04
paradox
замысловатая там ситуация
лучше обновиться до стеибл

Re: Падения FreeBSD7.0

Добавлено: 2009-01-11 19:59:18
chd
paradox писал(а):замысловатая там ситуация
лучше обновиться до стеибл
то что это sio сомнений нет. я только думаю что лечить это мало кому
интересно. убрали sio from -current. теперь uart

Re: Падения FreeBSD7.0

Добавлено: 2009-01-11 21:03:29
goletsa
RELENG_7_0 настолько плох? до этого очень долго вообще без падений работало.
И второй сервак на схожем железе работает без перебоев тоже.

Кору могу выложить куданить.

Re: Падения FreeBSD7.0

Добавлено: 2009-01-11 21:08:39
paradox
до этого очень долго вообще без падений работало.
И второй сервак на схожем железе работает без перебоев тоже
само по себе ничего не падает

какие изменения вносились ?

7_0 это не стеибл

стеибл то что стабильно а не то что дано пользователям для тестирования(это релиз)

Re: Падения FreeBSD7.0

Добавлено: 2009-01-11 21:12:32
goletsa
ЗЫ: пересобрать пока без sio ядро?

Re: Падения FreeBSD7.0

Добавлено: 2009-01-11 21:14:23
goletsa
Изменений никаких, я вообще редко что меняю на серверах.

Re: Падения FreeBSD7.0

Добавлено: 2009-01-11 21:17:39
chd
goletsa писал(а):RELENG_7_0 настолько плох? до этого очень долго вообще без падений работало.
И второй сервак на схожем железе работает без перебоев тоже.

Кору могу выложить куданить.
давай перед сборкой нового ядра сохрани еще kernel.debug, kernel.symbols.

Re: Падения FreeBSD7.0

Добавлено: 2009-01-11 21:36:19
goletsa
Откуда их выдернуть?

Re: Падения FreeBSD7.0

Добавлено: 2009-01-11 21:38:11
goletsa
kernel.symbols нашел в /boot/kernel/
Оно?

Добавлено:
kernel.debug не вижу, старое ядро не имело даже kernel.symbols

Re: Падения FreeBSD7.0

Добавлено: 2009-01-11 21:40:30
chd
goletsa писал(а):kernel.symbols нашел в /boot/kernel/
Оно?
угу.

Re: Падения FreeBSD7.0

Добавлено: 2009-01-11 22:35:39
goletsa
http://92.243.69.100/dump/crash-14-15.tar.bz2

Два дампа + все ядро.
135мБ

Re: Падения FreeBSD7.0

Добавлено: 2009-01-11 23:20:58
chd
goletsa писал(а):http://92.243.69.100/dump/crash-14-15.tar.bz2

Два дампа + все ядро.
135мБ
удаляй. kernel.debug нужен, он лежит в /usr/obj/__path_to_source__/sys/KERNCONF/

Re: Падения FreeBSD7.0

Добавлено: 2009-01-12 14:03:43
goletsa

Re: Падения FreeBSD7.0

Добавлено: 2009-01-12 21:13:46
goletsa
Убрал sio, все равно упало.

Код: Выделить всё

[root@router1 /usr/obj/usr/src/sys/TINCOKERNEL2]# kgdb kernel.debug /var/crash/vmcore.20
[GDB will not be able to debug user-mode threads: /usr/lib/libthread_db.so: Undefined symbol "ps_pglobal_lookup"]
GNU gdb 6.1.1 [FreeBSD]
Copyright 2004 Free Software Foundation, Inc.
GDB is free software, covered by the GNU General Public License, and you are
welcome to change it and/or distribute copies of it under certain conditions.
Type "show copying" to see the conditions.
There is absolutely no warranty for GDB.  Type "show warranty" for details.
This GDB was configured as "i386-marcel-freebsd".

Unread portion of the kernel message buffer:
kernel trap 12 with interrupts disabled


Fatal trap 12: page fault while in kernel mode
cpuid = 0; apic id = 00
fault virtual address   = 0x9
fault code              = supervisor read, page not present
instruction pointer     = 0x20:0xc079f1af
stack pointer           = 0x28:0xe5697c80
frame pointer           = 0x28:0xe5697cbc
code segment            = base 0x0, limit 0xfffff, type 0x1b
                        = DPL 0, pres 1, def32 1, gran 1
processor eflags        = resume, IOPL = 0
current process         = 14 (swi4: clock)
trap number             = 12
panic: page fault
cpuid = 0
Uptime: 51m49s
Physical memory: 2032 MB
Dumping 177 MB: 162 146 130 114 98 82 66 50 34 18 2

#0  doadump () at pcpu.h:195
195             __asm __volatile("movl %%fs:0,%0" : "=r" (td));
(kgdb) bt
#0  doadump () at pcpu.h:195
#1  0xc078d1b7 in boot (howto=260) at /usr/src/sys/kern/kern_shutdown.c:409
#2  0xc078d479 in panic (fmt=Variable "fmt" is not available.
) at /usr/src/sys/kern/kern_shutdown.c:563
#3  0xc0a0eaac in trap_fatal (frame=0xe5697c40, eva=9) at /usr/src/sys/i386/i386/trap.c:899
#4  0xc0a0f42f in trap (frame=0xe5697c40) at /usr/src/sys/i386/i386/trap.c:280
#5  0xc09f565b in calltrap () at /usr/src/sys/i386/i386/exception.s:139
#6  0xc079f1af in softclock (dummy=0x0) at /usr/src/sys/kern/kern_timeout.c:202
#7  0xc076f31b in ithread_loop (arg=0xc5101250) at /usr/src/sys/kern/kern_intr.c:1036
#8  0xc076c119 in fork_exit (callout=0xc076f170 <ithread_loop>, arg=0xc5101250, frame=0xe5697d38)
    at /usr/src/sys/kern/kern_fork.c:781
#9  0xc09f56d0 in fork_trampoline () at /usr/src/sys/i386/i386/exception.s:205
(kgdb)


Re: Падения FreeBSD7.0

Добавлено: 2009-01-12 22:25:23
chd
отлично, кидай тож кору. я в свой зоопарк установил 7.1 наконец-то...
поковыряться и для мфц.