падает bgp сессия при отключении pppoe

[paradox]

а напомни свою uname -a
там смотрю еще и altq в ядре
что там из всего что накручено юзаеться?

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[at]

FreeBSD 7.0-STABLE FreeBSD 7.0-STABLE #0: Sun Jun 15 12:29:53 UTC 2008 /usr/obj/usr/src/sys/at i386

по состоянию на сегодня

[at]

все касается pf не пользую, нетграф для mpd, ng_netflow тольже пользую
Переменныe sysctl сейчас по умолчанию

[paradox]

покажи
show interface

с поднятым NG
и тогда когда выскакивает ошибка и его уже нет (этого интерфейса NG)

[at]

show interface это куда писать

[paradox]

у зебры есть консоль
неплохо было бы еще дебаг включить
что бы посмотреть что там происходит

[at]

Код: Выделить всё

bgpd.dacia# show
  bgp             BGP information
  debugging       Debugging functions (see also 'undebug')
  history         Display the session command history
  ip              IP information
  ipv6            IPv6 information
  logging         Show current logging configuration
  memory          Memory statistics
  route-map       route-map information
  running-config  running configuration
  startup-config  Contentes of startup configuration
  thread          Thread information
  version         Displays zebra version
  work-queues     Work Queue information
bgpd.dacia# show

я не вижу показать какие девайсы он видит

[paradox]

это зебры а не bgpd

[at]

show interface
Interface bge0 is up, line protocol detection is disabled
index 1 metric 1 mtu 1500
flags: <UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST>
inet 10.200.0.1/24 broadcast 10.200.0.255
inet 89.44.88.1/23 broadcast 89.44.89.255
input packets 137878161, bytes 3814802371, dropped 0, multicast packets 90372
input errors 0
output packets 126281780, bytes 2586996385, multicast packets 0
output errors 0
collisions 0
Interface em0 is up, line protocol detection is disabled
index 2 metric 1 mtu 1500
flags: <UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST>
inet 212.56.198.162/29 broadcast 212.56.198.167
input packets 99453488, bytes 790858685, dropped 0, multicast packets 296
input errors 0
output packets 115513197, bytes 1376519287, multicast packets 0
output errors 0
collisions 0
Interface em1 is up, line protocol detection is disabled
index 3 metric 1 mtu 1500
flags: <UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST>
inet 89.28.1.86/30 broadcast 89.28.1.87
input packets 34118907, bytes 4084019493, dropped 0, multicast packets 0
input errors 4
output packets 25236683, bytes 1093734312, multicast packets 0
output errors 0
collisions 0
Interface gre0 is up, line protocol detection is disabled
index 7 metric 1 mtu 1476
flags: <UP,POINTOPOINT,LINK0,LINK1,MULTICAST>
inet 10.200.0.1/8 peer 10.20.0.1
input packets 0, bytes 0, dropped 0, multicast packets 0
input errors 0
output packets 0, bytes 0, multicast packets 0
output errors 0
collisions 0
Interface lo0 is up, line protocol detection is disabled
index 6 metric 1 mtu 16384
flags: <UP,LOOPBACK,RUNNING,MULTICAST>
inet 127.0.0.1/8 broadcast 127.0.0.1
inet6 fe80::1/64
inet6 ::1/128 broadcast ::1
input packets 1985, bytes 495494, dropped 0, multicast packets 0
input errors 0
output packets 1985, bytes 495494, multicast packets 0
output errors 0
collisions 0
Interface ng0 is up, line protocol detection is disabled
index 8 metric 1 mtu 1500
flags: <UP,POINTOPOINT,RUNNING,NOARP,SIMPLEX,MULTICAST>
inet 172.17.17.17/32 peer 89.44.88.254
input packets 28858, bytes 27014215, dropped 0, multicast packets 0
input errors 0
output packets 19734, bytes 3133975, multicast packets 0
output errors 0
collisions 0
Interface ng1 is down
pseudo interface
Interface pflog0 is down
index 5 metric 1 mtu 33204
flags: <>
input packets 0, bytes 0, dropped 0, multicast packets 0
input errors 0
output packets 0, bytes 0, multicast packets 0
output errors 0
collisions 0
Interface pfsync0 is down
index 4 metric 1 mtu 1460
flags: <>
input packets 0, bytes 0, dropped 0, multicast packets 0
input errors 0
output packets 0, bytes 0, multicast packets 0
output errors 0
collisions 0

[paradox]

ну теперь понятно
оно все интерфейсы видит
и когда пытаеться произвести действия с тем которого нет или есть то получаем

Код: Выделить всё

2008/06/15 15:03:09 ZEBRA: if_ioctl(SIOCGIFFLAGS) failed: Device not configured
2008/06/15 15:03:09 ZEBRA: Can't lookup mtu by ioctl(SIOCGIFMTU)
2008/06/15 15:42:23 ZEBRA: if_ioctl(SIOCGIFFLAGS) failed: Device not configured
2008/06/15 15:42:23 ZEBRA: Can't lookup mtu by ioctl(SIOCGIFMTU)

нужно включать дебаг на зебре и дебаг на bgp
в нормальных режимах
и когда появляеться или исчезает интерфейс
и тогда уже думать

[at]

из того что примечательно было
cat zebra.log | grep ng0

Код: Выделить всё

2008/06/15 21:55:28 ZEBRA: ifan_read: creating interface for ifindex 8, name ng0
2008/06/15 21:55:28 ZEBRA: MESSAGE: ZEBRA_INTERFACE_ADD ng0
2008/06/15 21:55:28 ZEBRA: interface ng0 index 8 becomes active.
2008/06/15 21:55:28 ZEBRA: MESSAGE: ZEBRA_INTERFACE_UP ng0
2008/06/15 21:55:28 ZEBRA: ifan_read: interface ng0 index 8
2008/06/15 21:55:28 ZEBRA: ifm_read: interface ng0 index 8
2008/06/15 21:55:28 ZEBRA: ifam_read_mesg: ifindex 8, ifname ng0, ifam_addrs 0xb4, ifam_flags 0x0, addr 172.17.17.17/32 broad 89.44.88.254 dst 0.0.0.0 gateway 0.0.0.0
2008/06/15 21:55:28 ZEBRA: MESSAGE: ZEBRA_INTERFACE_ADDRESS_ADD 172.17.17.17/32 on ng0
2008/06/15 21:55:28 ZEBRA: MESSAGE: ZEBRA_INTERFACE_UP ng0
2008/06/15 21:55:33 ZEBRA: MESSAGE: ZEBRA_INTERFACE_UP ng0
2008/06/15 21:55:33 ZEBRA: ifm_read: interface ng0 index 8
2008/06/15 21:55:33 ZEBRA: ifam_read_mesg: ifindex 8, ifname ng0, ifam_addrs 0xb4, ifam_flags 0x1, addr 172.17.17.17/32 broad 89.44.88.254 dst 0.0.0.0 gateway 0.0.0.0
2008/06/15 21:55:33 ZEBRA: MESSAGE: ZEBRA_INTERFACE_ADDRESS_DELETE 172.17.17.17/32 on ng0
2008/06/15 21:55:33 ZEBRA: MESSAGE: ZEBRA_INTERFACE_DOWN ng0
2008/06/15 21:55:33 ZEBRA: ifm_read: interface ng0 index 8
2008/06/15 21:55:33 ZEBRA: ifm_read: interface ng0 index 8
2008/06/15 21:55:33 ZEBRA: interface ng0 index 8 is now inactive.
2008/06/15 21:55:33 ZEBRA: MESSAGE: ZEBRA_INTERFACE_DELETE ng0
2008/06/15 21:55:33 ZEBRA: ifan_read: interface ng0 index 8

cat bgpd.log | more

Код: Выделить всё

2008/06/15 21:55:28 BGP: 89.28.1.85 [FSM] BGP_Stop (Established->Clearing)
2008/06/15 21:55:28 BGP: 212.56.198.161 [FSM] BGP_Stop (Established->Clearing)
2008/06/15 21:55:28 BGP: 89.28.1.85 [FSM] Clearing_Completed (Clearing->Idle)
2008/06/15 21:55:28 BGP: 89.28.1.85 [FSM] bgp_ignore called
2008/06/15 21:55:28 BGP: 212.56.198.161 [FSM] Clearing_Completed (Clearing->Idle)
2008/06/15 21:55:28 BGP: 212.56.198.161 [FSM] bgp_ignore called
2008/06/15 21:55:29 BGP: Import timer expired.
2008/06/15 21:55:34 BGP: 89.28.1.85 [FSM] Timer (start timer expire).
2008/06/15 21:55:34 BGP: 89.28.1.85 [FSM] BGP_Start (Idle->Connect)
2008/06/15 21:55:34 BGP: can't set sockopt TCP_MD5SIG 0 to socket 11
2008/06/15 21:55:34 BGP: 89.28.1.85 [Event] Connect start to 89.28.1.85 fd 11
2008/06/15 21:55:34 BGP: 89.28.1.85 [FSM] Non blocking connect waiting result
2008/06/15 21:55:34 BGP: 89.28.1.85 [FSM] TCP_connection_open (Connect->OpenSent)
2008/06/15 21:55:34 BGP: 89.28.1.85 [FSM] Receive_OPEN_message (OpenSent->OpenConfirm)
2008/06/15 21:55:34 BGP: 89.28.1.85 sending KEEPALIVE
2008/06/15 21:55:34 BGP: 89.28.1.85 KEEPALIVE rcvd
2008/06/15 21:55:34 BGP: 89.28.1.85 [FSM] Receive_KEEPALIVE_message (OpenConfirm->Established)
2008/06/15 21:55:34 BGP: 89.28.1.85 sending KEEPALIVE
2008/06/15 21:55:35 BGP: 212.56.198.161 [FSM] Timer (start timer expire).
2008/06/15 21:55:35 BGP: 212.56.198.161 [FSM] BGP_Start (Idle->Connect)
2008/06/15 21:55:35 BGP: can't set sockopt TCP_MD5SIG 0 to socket 13
2008/06/15 21:55:35 BGP: 212.56.198.161 [Event] Connect start to 212.56.198.161 fd 13
2008/06/15 21:55:35 BGP: 212.56.198.161 [FSM] Non blocking connect waiting result
2008/06/15 21:55:35 BGP: 212.56.198.161 [FSM] TCP_connection_open (Connect->OpenSent)
2008/06/15 21:55:35 BGP: 212.56.198.161 [FSM] Receive_OPEN_message (OpenSent->OpenConfirm)
2008/06/15 21:55:35 BGP: 212.56.198.161 sending KEEPALIVE
2008/06/15 21:55:35 BGP: 212.56.198.161 KEEPALIVE rcvd
2008/06/15 21:55:35 BGP: 212.56.198.161 [FSM] Receive_KEEPALIVE_message (OpenConfirm->Established)
2008/06/15 21:55:35 BGP: 212.56.198.161 sending KEEPALIVE
2008/06/15 21:55:35 BGP: 212.56.198.161 rcvd UPDATE w/ attr: nexthop 212.56.198.161, origin i, metric 0, path 25454
2008/06/15 21:55:35 BGP: 212.56.198.161 rcvd 0.0.0.0/0
2008/06/15 21:55:35 BGP: 89.28.1.85 [FSM] Timer (routeadv timer expire)
2008/06/15 21:55:35 BGP: 89.28.1.85 send UPDATE 89.44.88.0/22
2008/06/15 21:55:36 BGP: 212.56.198.161 [FSM] Timer (routeadv timer expire)

от момента как зебра ложит интефейс до записи в лог ошибки

Код: Выделить всё

2008/06/15 21:55:33 ZEBRA: ifam_read_mesg: ifindex 8, ifname ng0, ifam_addrs 0xb4, ifam_flags 0x1, addr 172.17.17.17/32 broad 89.44.88.254 dst 0.0.0.0 gateway
2008/06/15 21:55:33 ZEBRA: MESSAGE: ZEBRA_INTERFACE_ADDRESS_DELETE 172.17.17.17/32 on ng0
2008/06/15 21:55:33 ZEBRA: MESSAGE: ZEBRA_INTERFACE_DOWN ng0
2008/06/15 21:55:33 ZEBRA: Kernel: Len: 96 Type: RTM_IFINFO
2008/06/15 21:55:33 ZEBRA: Kernel: DYNAMIC DONE STATIC PROTO1
2008/06/15 21:55:33 ZEBRA: Kernel: message seq 1342177280
2008/06/15 21:55:33 ZEBRA: Kernel: pid 53, rtm_addrs 0x8
2008/06/15 21:55:33 ZEBRA: ifm_read: sdl ifname (nil)
2008/06/15 21:55:33 ZEBRA: ifm_read: interface ng0 index 8
2008/06/15 21:55:33 ZEBRA: Kernel: Len: 96 Type: RTM_IFINFO
2008/06/15 21:55:33 ZEBRA: Kernel: DYNAMIC STATIC PROTO1
2008/06/15 21:55:33 ZEBRA: Kernel: message seq 1342177280
2008/06/15 21:55:33 ZEBRA: Kernel: pid 53, rtm_addrs 0x8
2008/06/15 21:55:33 ZEBRA: ifm_read: sdl ifname (nil)
2008/06/15 21:55:33 ZEBRA: ifm_read: interface ng0 index 8
2008/06/15 21:55:33 ZEBRA: Kernel: Len: 24 Type: RTM_IFANNOUNCE
2008/06/15 21:55:33 ZEBRA: Kernel: DYNAMIC MODIFIED
2008/06/15 21:55:33 ZEBRA: Kernel: message seq 65536
2008/06/15 21:55:33 ZEBRA: Kernel: pid 0, rtm_addrs 0x0
2008/06/15 21:55:33 ZEBRA: interface ng0 index 8 is now inactive.
2008/06/15 21:55:33 ZEBRA: MESSAGE: ZEBRA_INTERFACE_DELETE ng0
2008/06/15 21:55:33 ZEBRA: if_ioctl(SIOCGIFFLAGS) failed: Device not configured
2008/06/15 21:55:33 ZEBRA: Can't lookup mtu by ioctl(SIOCGIFMTU)
2008/06/15 21:55:33 ZEBRA: ifan_read: interface ng0 index 8
2008/06/15 21:55:33 ZEBRA: Kernel: Len: 96 Type: RTM_MISS
2008/06/15 21:55:33 ZEBRA: Kernel: DONE

[paradox]

по зебре более менее понятно
коннект дисконнект по pppoe

а по bgp несовсем
в ней своя логика тикает
и был ли это реальный дисконнект
либо это передернулась логика FSM машины - несовсем ясно

надо будет еще сорусы поизучать надосуге.....
сделай пару нормальных логов и
с ошибками

там помоему в bgp есть еще более подробный уровень кроме FSM и EVENT

[at]

zebra.log

c выключенным debug kernel

Код: Выделить всё

2008/06/16 00:08:50 ZEBRA: MESSAGE: ZEBRA_INTERFACE_ADD ng0
2008/06/16 00:08:50 ZEBRA: MESSAGE: ZEBRA_INTERFACE_UP ng0
2008/06/16 00:08:50 ZEBRA: MESSAGE: ZEBRA_INTERFACE_ADDRESS_ADD 172.17.17.17/32 on ng0
2008/06/16 00:08:50 ZEBRA: MESSAGE: ZEBRA_INTERFACE_UP ng0
    в этотом промежутке никаких других событий небыло
2008/06/16 00:09:42 ZEBRA: MESSAGE: ZEBRA_INTERFACE_UP ng0
2008/06/16 00:09:42 ZEBRA: MESSAGE: ZEBRA_INTERFACE_ADDRESS_DELETE 172.17.17.17/32 on ng0
2008/06/16 00:09:42 ZEBRA: MESSAGE: ZEBRA_INTERFACE_DOWN ng0
2008/06/16 00:09:42 ZEBRA: MESSAGE: ZEBRA_INTERFACE_DELETE ng0
2008/06/16 00:09:42 ZEBRA: if_ioctl(SIOCGIFFLAGS) failed: Device not configured
2008/06/16 00:09:42 ZEBRA: Can't lookup mtu by ioctl(SIOCGIFMTU) 

bgp.conf полная детализация

Код: Выделить всё

2008/06/16 00:08:50 BGP: Zebra rcvd: interface add ng0
2008/06/16 00:08:50 BGP: Zebra rcvd: interface ng0 up
2008/06/16 00:08:50 BGP: Zebra rcvd: router id update 172.17.17.17/32
2008/06/16 00:08:50 BGP: Zebra rcvd: interface ng0 address add 172.17.17.17/32
2008/06/16 00:08:50 BGP: Zebra rcvd: interface ng0 up
2008/06/16 00:09:01 BGP: Performing BGP general scanning
2008/06/16 00:09:01 BGP: scanning IPv4 Unicast routing tables
2008/06/16 00:09:01 BGP: scanning IPv6 Unicast routing tables
2008/06/16 00:09:02 BGP: Import timer expired.
2008/06/16 00:09:05 BGP: 212.56.198.161 [FSM] Timer (keepalive timer expire)
2008/06/16 00:09:05 BGP: 212.56.198.161 sending KEEPALIVE
2008/06/16 00:09:05 BGP: 89.28.1.85 [FSM] Timer (keepalive timer expire)
2008/06/16 00:09:05 BGP: 89.28.1.85 sending KEEPALIVE
2008/06/16 00:09:06 BGP: 212.56.198.161 KEEPALIVE rcvd
2008/06/16 00:09:06 BGP: 212.56.198.161 [FSM] Timer (routeadv timer expire)
2008/06/16 00:09:06 BGP: 89.28.1.85 [FSM] Timer (routeadv timer expire)
2008/06/16 00:09:17 BGP: Import timer expired.
2008/06/16 00:09:31 BGP: 89.28.1.85 KEEPALIVE rcvd
2008/06/16 00:09:32 BGP: Import timer expired.
2008/06/16 00:09:36 BGP: 212.56.198.161 [FSM] Timer (routeadv timer expire)
2008/06/16 00:09:36 BGP: 89.28.1.85 [FSM] Timer (routeadv timer expire)
2008/06/16 00:09:42 BGP: Zebra rcvd: interface ng0 up
2008/06/16 00:09:42 BGP: Zebra rcvd: router id update 10.200.0.1/32
2008/06/16 00:09:42 BGP: Zebra rcvd: interface ng0 address delete 172.17.17.17/32
2008/06/16 00:09:42 BGP: Zebra rcvd: interface ng0 down
2008/06/16 00:09:42 BGP: Zebra rcvd: interface delete ng0
2008/06/16 00:09:47 BGP: Import timer expired.
2008/06/16 00:10:02 BGP: Performing BGP general scanning
2008/06/16 00:10:02 BGP: scanning IPv4 Unicast routing tables
2008/06/16 00:10:02 BGP: scanning IPv6 Unicast routing tables
2008/06/16 00:10:02 BGP: Import timer expired. 
тут уже  интернет заработал
 

хотя явной перезагрузки bgp сесий и изменения таблицы маршрутов невижу ....
в пределах 30-60 сек после появления/удаления интерфейса все начинает работать как нужно


______________________________________________________________________________________

в остальное время в zebra.log киломерты строк вида при включённом дебаг кернел

Код: Выделить всё

2008/06/15 22:48:09 ZEBRA: Kernel: message seq 0
2008/06/15 22:48:09 ZEBRA: Kernel: pid 0, rtm_addrs 0x1
2008/06/15 22:48:09 ZEBRA: Unprocessed RTM_type: 7
2008/06/15 22:48:09 ZEBRA: Kernel: Len: 96 Type: RTM_MISS
2008/06/15 22:48:09 ZEBRA: Kernel: DONE  

bgpd.log

Код: Выделить всё

2008/06/16 08:40:07 BGP: Performing BGP general scanning
2008/06/16 08:40:07 BGP: scanning IPv4 Unicast routing tables
2008/06/16 08:40:07 BGP: scanning IPv6 Unicast routing tables
2008/06/16 08:40:07 BGP: 89.28.1.85 [FSM] Timer (keepalive timer expire)
2008/06/16 08:40:07 BGP: 89.28.1.85 sending KEEPALIVE
2008/06/16 08:40:07 BGP: 212.56.198.161 [FSM] Timer (keepalive timer expire)
2008/06/16 08:40:07 BGP: 212.56.198.161 sending KEEPALIVE
2008/06/16 08:40:08 BGP: Import timer expired.

[paradox]

сдаеться мне что bgp не отпадает
а таймаут в инете возникает в результате перестройки маршрутов

и еще такое чувство что bgp сообщает пирам про каждый поднятый и удаленный интерфейс
хотя поидеи должна анонсить токо сеть /24 или какая у вас там

[at]

сеть /22
попробую вечером openbgpd поднять
друих идей пока нет, а так в любом случае вынесу bgp на отдельное железо пока нестанет остро вопрос купить cisco или фаундри, всеравно нужно топологию пересмотреть,
еще можно покапать как статически создать всю гору инрефейсов при старте mpd

[at]

плохо что неработает на 1 сервере
ктомуже при созданиию любого интерфейса это повбема всплывает,
я сегодня попробую посмотреть что на другом севере происходит, если тоже самое то глюк в quagga очевиден ....
хотя опятять таки спорно... на 6,2 насколько я помню, покрайне мере на опыте с gre ненаблюдалась такая проблема, нужно будет проверить

[paradox]

нужно бы как то продебажить что там за сообщение BGP посылаеться при удалении и добавлении ngX

а при удалении или удалении интерфейса
нужно еще до и после посмотреть netstat -nr
и уточни где пропадает интенет
на сервере?
нужно в этот момент смотреть что там с netstat -nr
дефоул роутингом
неудаляеться ли случайно 0.0.0.0
а потом таймаут и токо потом переконфигурация

вообщем с /22 думаю логи будут внушительные

[at]

я незнаю смеяться или плакать
10 раз подряд подключался отключался ничего подобного что было досхпор не происходит ....
ночью и 3 дня подряд падало сейчас вроди нет
в логах quagga ничего не изменилось

я не верю в чудеса

[at]

reboot

[paradox]

загадай желание!
PS: добая фея

)

[paradox]

есть предположение что это твоя фря меня ипугалась.....

[at]

по вашему опыту такое бывает вообще
или чудес не бывает

как такое может быть, 10 часов назад не работало сейчас вроди даже работает после reboot

[paradox]

флуктцации в проводах, железе
интернет же большой

[at]

и какая вероятность что оно будет работает нормальнои дальше

[paradox]

ну если я рядом буду то большая
хз
а вдруг фря и правда меня испугалась или наоборот
увидела меня и обрадовалась
такое часто происходит