FreeBSD 7.1 panic: sbflush_internal

[Lucky SB]

Hу вот...
Пеpвый мой сеpвеp на 7.1 amd64 smp и ситуация "все пpопало, шеф..."
Hа столе во вpемя настpойки pаботало без пpоблем. сутками....
Пpивезли на тех.площадку, включили - не pаботает. (

Hабоp софта: пpоц E8400, 2 гига озу, 7.1 amd64 smp, 8 vlan, em0, mpd5.2,
ng_nat, ng_netflow, snmpd, apache22, php5, nagios nrpe ...

Код: Выделить всё

SHED_ULE, PREEPMTION

, без поллинга
Стандаpтный ящик впн-сеpвеp...

Подключение монитоpа показло что во вpемя загpузки, где то после sshd
выдается сообщение

Код: Выделить всё

 panic: sbflush_internal: cc 4294965848 || mb 0 || mbcnt 0 cpuid = 0
после этого kernel trap 12
Dumping 192 MB 111

и все. висим...
Иногда

Код: Выделить всё

em0 watchdog reseting

пpоскакивало.
Деpгаю питание.
Вынимаю эзеpнет - гpузиться. коpки нету.
вставляю сеть, shutdown -r now - опять panic: sbflush

Пеpегpужаюсь с сетью - все pаботает час, наpод в мпд коннектиться.
Собиpаемся уходить ) пеpегpужаем - все то же самое.
Пеpегpужаем опять - тоже.
Поднимаем стаpый сеpвеp.
Hачинаю задумываться о мигpации на 6.4+mpd4.4

Вот нашел в инете http://zingelll.livejournal.com/13533.html?thread=11997
Всё замечательно pаботает, если веpно подобpать

Код: Выделить всё

 KVA_PAGES

, если это
значение
поставить выше, то в начале загpузки ядpа будет
вылетать Fatal Trap 12 с овнеpом cpuid0, после этого стоит очень сильно
поpезать ARP-broadcast,
потому, что сеpвеp, в pезультате упадет в паник с сообщением panic:

Код: Выделить всё

sbflush_internal: cc 4294967230 || mb 0 || mbcnt 0

ARP-бpоадкаст там действительно большой.
около 300-400 компов в 4 вланах.
Hо options KVA_PAGES в amd64 нету.

Код: Выделить всё

options MAXDSIZ=(1024UL*1024*1024)
options MAXSSIZ=(128UL*1024*1024)
options DFLDSIZ=(1024UL*1024*1024)

Вот эти кpутил 2g,512,2g ставил. кажеться.
В понедельник на столе подниму и буду pазбиpаться.

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[paradox]

ну если то у зингеля
то он прийдет и посоветует )))

[zingel]

Код: Выделить всё

options MAXDSIZ=(1024UL*1024*1024)
options MAXSSIZ=(128UL*1024*1024)
options DFLDSIZ=(1024UL*1024*1024)

ну и зачем ты это крутил, не в этом совсем тут дело,

давай сюда

Код: Выделить всё

sysctl -a | grep  kern.polling

Код: Выделить всё

ifconfig -amv

Код: Выделить всё

dmesg -a | grep em0

и кору в аттачь....

ну и поясни дяде, зачем тебе вот это

Код: Выделить всё

PREEPMTION

[Lucky SB]

Код: Выделить всё

options MAXDSIZ=(1024UL*1024*1024)
options MAXSSIZ=(128UL*1024*1024)
options DFLDSIZ=(1024UL*1024*1024)

ну и зачем ты это крутил, не в этом совсем тут дело,

Инету начитался...
Вернуть взад ?

давай сюда

Код: Выделить всё

sysctl -a | grep  kern.polling

Код: Выделить всё

ifconfig -amv

Код: Выделить всё

dmesg -a | grep em0

и кору в аттачь....

Вывод завтра покажу, когда до работы доеду.
А коры нету. ;(
Оно начало откладывать и повисло.
Попробую на столе арп-запросами его зафлудить и дождаться корки.
200 метров оно же не больше минуты откладывает ?

ну и поясни дяде, зачем тебе вот это

Код: Выделить всё

PREEPMTION

Ну в GENERIC есть. Я и оставил...

[zingel]

не нужно там оно в дженерике и верни как было

[Lucky SB]

Код: Выделить всё

mr2# sysctl -a | grep kern.polling
kern.polling.idlepoll_sleeping: 1
kern.polling.stalled: 0
kern.polling.suspect: 0
kern.polling.phase: 0
kern.polling.enable: 0
kern.polling.handlers: 0
kern.polling.residual_burst: 0
kern.polling.pending_polls: 0
kern.polling.lost_polls: 0
kern.polling.short_ticks: 0
kern.polling.reg_frac: 20
kern.polling.user_frac: 50
kern.polling.idle_poll: 0
kern.polling.each_burst: 5
kern.polling.burst_max: 150
kern.polling.burst: 5

Код: Выделить всё

mr2# ifconfig -amv
em0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=19b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4>
        capabilities=1db<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,POLLING,VLAN_HWCSUM,TSO4>
        ether 00:1c:c0:0c:45:23
        media: Ethernet autoselect (100baseTX <full-duplex>)
        status: active
        supported media:
                media autoselect
                media 1000baseTX
                media 1000baseTX mediaopt full-duplex
                media 100baseTX mediaopt full-duplex
                media 100baseTX
                media 10baseT/UTP mediaopt full-duplex
                media 10baseT/UTP
lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> metric 0 mtu 16384
        inet6 fe80::1%lo0 prefixlen 64 scopeid 0x2
        inet6 ::1 prefixlen 128
        inet 127.0.0.1 netmask 0xff000000
        inet 10.2.0.254 netmask 0xffffffff
        groups: lo
vlan0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=3<RXCSUM,TXCSUM>
        capabilities=3<RXCSUM,TXCSUM>
        ether 00:1c:c0:0c:45:23
        inet 91.100.100.2 netmask 0xfffffffc broadcast 91.100.100.3
        media: Ethernet autoselect (100baseTX <full-duplex>)
        status: active
        supported media:
                media autoselect
        vlan: 201 parent interface: em0
        groups: vlan
vlan1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=3<RXCSUM,TXCSUM>
        capabilities=3<RXCSUM,TXCSUM>
        ether 00:1c:c0:0c:45:23
        inet 10.2.1.254 netmask 0xffffff00 broadcast 10.2.1.255
        inet 10.202.1.254 netmask 0xffffff00 broadcast 10.202.1.255
        inet 192.168.248.253 netmask 0xfffffffc broadcast 192.168.248.255
        inet 192.168.248.249 netmask 0xfffffffc broadcast 192.168.248.251
        media: Ethernet autoselect (100baseTX <full-duplex>)
        status: active
        supported media:
                media autoselect
        vlan: 211 parent interface: em0
Далее еще пяток vlan аналогичных

Код: Выделить всё

em0: <Intel(R) PRO/1000 Network Connection 6.9.6> port 0x20e0-0x20ff mem 0x90280000-0x9029ffff,0x902a0000-0x902a0fff irq 20 at device 25.0 on pci0
em0: Using MSI interrupt
em0: [FILTER]
em0: Ethernet address: 00:1c:c0:0c:45:23
em0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        vlan: 201 parent interface: em0
        vlan: 211 parent interface: em0
        vlan: 212 parent interface: em0
        vlan: 213 parent interface: em0
        vlan: 214 parent interface: em0
        vlan: 98 parent interface: em0
        vlan: 99 parent interface: em0
        vlan: 57 parent interface: em0
        vlan: 105 parent interface: em0
        vlan: 58 parent interface: em0
em0: link state changed to UP

Вот еще loader.conf

Код: Выделить всё

kern.ipc.maxpipekva="60000000"
glabel_load="YES"
ichwd_load="YES"
ng_ipfw_load="YES"
vm.kmem_size="1G"
vm.kmem_size_max="1G"
vm.kmem_size_scale="2"
hw.em.rxd=4096
hw.em.txd=4096
hw.em.rx_int_delay=600
hw.em.tx_int_delay=600
hw.em.rx_abs_int_delay=1000
hw.em.tx_abs_int_delay=1000

и sysctl.conf

Код: Выделить всё

dev.em.0.rx_processing_limit=5000

kern.init_shutdown_timeout=240
kern.ipc.somaxconn=1024
net.inet.tcp.sendspace=65536
net.inet.tcp.recvspace=65536
net.local.stream.recvspace=65536
net.local.stream.sendspace=65536
net.inet.udp.recvspace=65536
net.inet.udp.maxdgram = 65536
net.inet.raw.maxdgram=65536
net.inet.raw.recvspace=65536
kern.ipc.nmbclusters=65535
kern.maxfiles=65000
kern.maxfilesperproc=32000
net.inet.ip.fw.dyn_buckets=65536
net.inet.ip.fw.dyn_max=65536
net.inet.ip.rtmaxcache=1024
net.inet.ip.ttl=255
net.inet.ip.intr_queue_maxlen=5120
net.inet.ip.fastforwarding=1
#####################################################
kern.polling.enable=0
#####################################################
net.inet.ip.fw.one_pass=0
net.inet.ip.dummynet.hash_size=1024
net.graph.recvspace=81920
net.graph.maxdgram=81920

[zingel]

сделай всё по-дефолту и посмотрим

[Lucky SB]

Т.е. ничего криминального не заметно ?
покопаюсь в направлении

Код: Выделить всё

hw.em.rxd=4096
hw.em.txd=4096
hw.em.rx_int_delay=600
hw.em.tx_int_delay=600
hw.em.rx_abs_int_delay=1000
hw.em.tx_abs_int_delay=1000

Это вместо поллинга посоветовали.

[terminus]

Сетевуха поддерживает дофига всяких хардварных штук

Код: Выделить всё

options=19b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4>
capabilities=1db<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,POLLING,VLAN_HWCSUM,TSO4>

Может здесь косяк - кривые драйвера неправильно задействуют аппаратную поддержку всяких offload возможностей? Есть вариант выключить эти штуки и проверить как работает без них. Через

Код: Выделить всё

ifconfig -mediaopt -rxcsum, -txcsum -tso -lro -vlanhwtag -polling

[terminus]

К стати еще одна вешь - у меня было такое. Я лично в 7.0 словил паники, когда было включено polling и сетевуха использовала IRQ напару со звуковой картой (с тех пор на polling у меня "упало" - ога).

Посмотрите:

Код: Выделить всё

dmesg | grep "irq 20"

Может еще какая загагулина на том же виртуальном IRQ висит?

[Lucky SB]

Поллинг как-раз и не включен.
на irq 20 одна она и сидит.

Отключать хардварные штуки, чтобы получить замедление работы глупо.
машина бралась для замены переставшего справляться целерона...
Хотелось задействовать всю мощь. А пока пшик получаеться (((
С другой стороны проведена модернизация конфига, поднята до 6.4 + mpd 4.4.1 + ng_nat, ng_netflow, ng_car
В итоге ща 30кппс держит и не жужжит.

[terminus]

А при панике удалось получить core dump? Если да, то сделать trace через kgdb дебаггер, и послать в листы FreeBSD.org - пусть разбираются...

[chd]

А при панике удалось получить core dump? Если да, то сделать trace через kgdb дебаггер, и послать в листы FreeBSD.org - пусть разбираются...

вот это нужно шрифтом пожирнее везде прикрепить. и кусок из хандбука как настроить дампдевайс.
ессно ежели кому результат нужен, а не просто потрындеть...

[Lucky SB]

Подключение монитоpа показло что во вpемя загpузки, где то после sshd
выдается сообщение

Код: Выделить всё

 panic: sbflush_internal: cc 4294965848 || mb 0 || mbcnt 0 cpuid = 0
после этого kernel trap 12
Dumping 192 MB 111

и все. висим...

А в 7 версии фри dumdev="AUTO" по умолчанию.

[terminus]

panic: sbflush_internal: cc 4294965848 || mb 0 || mbcnt 0 cpuid = 0
после этого kernel trap 12
Dumping 192 MB 111

Посмотрите есть ли файлы типа /var/crash/vmcore.1 ?

Если есть, то чтобы разобрать этот дамп ядро должно быть собрано с опцией вкоючения отладочной информации

Код: Выделить всё

makeoptions     DEBUG=-g

И не надо удалять /usr/obj после сборки и установки ядра.

Если DEBUG=-g и /usr/obj на месте то чтобы получить trace:

Код: Выделить всё

# cd /usr/obj/usr/src/sys/YADRO
# kgdb kernel.debug /var/crash/vmcore.1


[GDB will not be able to debug user-mode threads: /usr/lib/libthread_db.so: 
Undefined symbol "ps_pglobal_lookup"]
GNU gdb 6.1.1 [FreeBSD]
Copyright 2004 Free Software Foundation, Inc.
GDB is free software, covered by the GNU General Public License, and you are
welcome to change it and/or distribute copies of it under certain conditions.
Type "show copying" to see the conditions.
There is absolutely no warranty for GDB. Type "show warranty" for details.
This GDB was configured as "i386-marcel-freebsd".

Unread portion of the kernel message buffer:
panic: sbflush_internal: cc 4294967230 || mb 0 || mbcnt 0
cpuid = 0
Uptime: 7m30s
Physical memory: 1005 MB
Dumping 62 MB: 47 31 15

#0 doadump () at /usr/src/sys/kern/kern_shutdown.c:241
241 dumptid = curthread->td_tid;
(kgdb) bt

bt - команда для запуска трейса.

http://www.freebsd.org/doc/en/books/dev ... debug.html

[Lucky SB]

файлов нет.
я ж говорю виснет при откладывании корки.

хэндбук читать умею. гуглем пользуюсь.

[zingel]

не надо bt. нужно where, потом list. потом поставить брекпойнт на то, что перед паником и cont. потом опять where

[paradox]

может стоит попобовать стеибл

[Lucky SB]

нету паников на столе (
Подскажите чем можно наплодить в сеть кучу ARP-broadcastoв левых
или не совсем левых.
Чтоб создать впечатление сети из 200 машин

[Lucky SB]

Zingel
Это же ваш блог ? http://zingelll.livejournal.com/13533.html?thread=11997

Не могли бы вы пояснить вот эти свои слова:

Всё замечательно работает, если верно подобрать KVA_PAGES, если это значение поставить выше, то в начале загрузки ядра будет
вылетать Fatal Trap 12 с овнером cpuid0, после этого стоит очень сильно порезать ARP-broadcast, потому, что сервер, в результате упадет в паник с сообщением panic: sbflush_internal: cc 4294967230 || mb 0 || mbcnt 0,

У меня то ситуация оччень похожая

[zingel]

для начала прочитайте, что такое kva_pages

http://wiki.freebsd.org/KVA_PAGES

обрати внимаение на 1 строку

on the i386 architecture.

[Lucky SB]

http://wiki.freebsd.org/ZFSTuningGuide

Tuning KVA_PAGES is not required on amd64 but there's a hard limit to 2 GB of KVA.

Обращаю, перевожу...

на i386 KVA_PAGES=512 увеличивает доступное адресное пространство для ядра до 2 гигов.
на adm64 этой опции нету, потому что лимит адресного пространства в 2 гига жестко задан в исходниках. Крутилка оторвана, а само ограничение есть.

Вот и хочеться разобраться каким образом ты определил, что "стоит очень сильно порезать arp-broadcast трафик, из-за которого сервер падает в панику"

[zingel]

в логах едрёна корень есть записи о пакетах в секунду + tcpdump

[Folio]

Интересно бы знать как решилась данная проблема.
Автор отпишись плз.