FreeBSD 8 (stable) + mpd 5.4 + em = crash

Все вопросы по установке, обновлению и эксплуатации FreeBSD: конфигурация и сопровождение.

Модератор: terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
panagota
проходил мимо
Сообщения: 1
Зарегистрирован: 2010-02-02 9:41:05

FreeBSD 8 (stable) + mpd 5.4 + em = crash

Непрочитанное сообщение panagota » 2010-02-02 12:02:20

Обнаружилась неприятная проблемка...
Есть интеловский сервак с гигом памяти

Код: Выделить всё

hw.machine: i386
hw.model: Intel(R) Pentium(R) 4 CPU 3.00GHz
hw.ncpu: 2

Код: Выделить всё

[root@vpn1:~]# uname -a
FreeBSD vpn1 8.0-STABLE FreeBSD 8.0-STABLE #11: Sat Jan 30 14:54:44 UTC 2010
Пару дней назад пересобран stable (до этого стоял релиз)

Пара интерфейсов:

Код: Выделить всё

em0@pci0:4:0:0: class=0x020000 card=0x30a28086 chip=0x108c8086 rev=0x03 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = 'Intel Corporation 82573E Gigabit Ethernet Controller (Copper) (82573E)'
    class      = network
    subclass   = ethernet

em1@pci0:5:5:0: class=0x020000 card=0x30a18086 chip=0x10768086 rev=0x05 hdr=0x00
    vendor     = 'Intel Corporation'
    device     = 'Gigabit Ethernet Controller (82541EI)'
    class      = network
    subclass   = ethernet
В качестве файловой системы используется zfs (везде, включая root)

rc.conf:

Код: Выделить всё

cloned_interfaces="vlan56 vlan96 vlan556 vlan821"

ifconfig_em0_name="ext"
ifconfig_ext="media 1000baseT mediaopt full-duplex <ext-ip> netmask 255.255.255.248"

ifconfig_em1_name="int"
ifconfig_int="up media 1000baseT mediaopt full-duplex "
ifconfig_vlan96="vlan 96 vlandev int"
ifconfig_vlan56="192.168.3.1 netmask 255.255.255.0 vlan 56 vlandev int"
ifconfig_vlan556="vlan 556 vlandev int"
ifconfig_vlan821="vlan 821 vlandev int"


На серваке запущен mpd 5.4 который обслуживает клентов на четырех vlan-интерфейсах.

Сложность в общем то в том что сервак время от времени уходит в ребут.
Может проработать 20 минут, может 9 часов. crash dump получить не удается из-за zfs...
как сказано в мане "Using a ZFS volume as a dump device is not supported."

Пару раз удалось заметить кернел-паник на экране.
В первый раз причиной падения указывался "em1", второй раз "em1 taskq".

Падения происходят с вкомпиленым polling-ом или без оного... хотя тут можно много перечислять...
Много чего менялось в /boot/loader.conf и в /etc/sysctl.conf главным образом по наитию или
содрано с конфигов других серверов найденых в инете.

вот текущее состояние:
/boot/loader.conf

Код: Выделить всё

beastie_disable="YES"
autoboot_delay="3"
zfs_load="YES"
vfs.root.mountfrom="zfs:zroot"
vfs.zfs.zil_disable=1
vfs.zfs.prefetch_disable=1

vm.kmem_size=536870912
vm.kmem_size_max=536870912

net.graph.maxalloc=2048
net.graph.maxdgram=256000
net.graph.recvspace=256000

kern.maxfiles=65536
kern.maxfilesperproc=32768
kern.ipc.nmbclusters=32768
kern.ipc.maxsockets=32768

kern.maxusers=1024
kern.ipc.maxpipekva=60000000
kern.ipc.somaxconn=65535

net.inet.tcp.delayed_ack=0
net.inet.ip.redirect=0
/etc/sysctl.conf

Код: Выделить всё

net.inet.ip.intr_queue_maxlen=8192
dev.em.0.rx_processing_limit=4096
dev.em.1.rx_processing_limit=4096

net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1
Главное что обьединяет моменты падения так это наличие 200+ поднятых тунелей, ну скажем 220-230.
И то не сразу... какое-то время все работает...
C количеством примерно 150 тунелей сервак работает стабильно.
Натирование на сервере отсутствует.
mpd шейпит тунели (ng_bpf+ng_car) без шифрования (вроде как =) ).

Читал в инете что есть стабильные конфигурации обслуживающие 500 - 1000+ тунелей.

Может кто-нить поделится своими конфигами на 500+ тунелей или поможет разобраться в чем причина ребутов сервера?

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35504
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: FreeBSD 8 (stable) + mpd 5.4 + em = crash

Непрочитанное сообщение Alex Keda » 2010-03-13 11:08:55

рамы мало для i386
юзайте amd64 или UFS
Убей их всех! Бог потом рассортирует...