cisco как диагностировать проблему?

Juniper/Cisco/Allied Telesis/D-Link/Zyxel
Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
dmtr
ст. прапорщик
Сообщения: 545
Зарегистрирован: 2009-11-06 22:01:34
Откуда: с Ростова

cisco как диагностировать проблему?

Непрочитанное сообщение dmtr » 2013-08-22 10:20:59

есть cisco pix515e, стоит в дата центре и выполняет роль шлюза для нескольких серверов.
проблема - периодически (субъективно - в начале каждого часа) возникает проблема с коннектом по ssh к ней самой и ко всем адресам которые она пробрасывает в локалку. наблюдаются потери по icmp (ping, mtr именно на последнем узле), очень медленно выполняется коннект по ssh - 1-3 минуты жду запроса на ввод пароля:

Код: Выделить всё

[dmtr@dmtr ~]$ ssh -v -c DES -1 username@66.77.138.70
OpenSSH_6.1p1, OpenSSL 1.0.1e-fips 11 Feb 2013
debug1: Reading configuration data /etc/ssh/ssh_config
debug1: /etc/ssh/ssh_config line 51: Applying options for *
debug1: Connecting to 66.77.138.70 [66.77.138.70] port 22.
debug1: Connection established.
debug1: identity file /home/dmtr/.ssh/identity type -1
debug1: identity file /home/dmtr/.ssh/identity-cert type -1
debug1: Remote protocol version 1.5, remote software version Cisco-1.25
debug1: no match: Cisco-1.25
debug1: Local version string SSH-1.5-OpenSSH_6.1
debug1: Waiting for server public key.
и так стоит несколько минут. потом:

Код: Выделить всё

debug1: Received server public key (640 bits) and host key (768 bits).
debug1: Server host key: RSA1 0f:6a:ce:06:58:05:3d:ea:a0:8f:b1:db:a5:fd:ab:8c
debug1: Host '66.77.138.70' is known and matches the RSA1 host key.
debug1: Found key in /home/dmtr/.ssh/known_hosts:161
debug1: Encryption type: des
debug1: Sent encrypted session key.
Warning: use of DES is strongly discouraged due to cryptographic weaknesses
debug1: Installing crc compensation attack detector.
debug1: Received encrypted confirmation.
debug1: Doing password authentication.
username@66.77.138.70's password:
проходит минут 5-10 такого поведения и потом до начала следующего часа проблема не наблюдается.

с cisco столкнулся первый раз, поэтому вопрос - как диагностировать-анализировать причины такой проблемы? возможно ли это вообще?
This game has no name. It will never be the same.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

lap
лейтенант
Сообщения: 608
Зарегистрирован: 2010-08-13 23:39:29
Откуда: Moscow
Контактная информация:

Re: cisco как диагностировать проблему?

Непрочитанное сообщение lap » 2013-08-22 10:33:40

Ну попробуйте для начала посмотреть что он в лог валит, ну и всякое шов цпу юсадж - как вариант через него начинает много всего валить и он немного помирает.
Не сломалось - не чини.

Аватара пользователя
dmtr
ст. прапорщик
Сообщения: 545
Зарегистрирован: 2009-11-06 22:01:34
Откуда: с Ростова

Re: cisco как диагностировать проблему?

Непрочитанное сообщение dmtr » 2013-08-23 8:34:47

да, похоже проблема действительно возникает в периоды пикового трафика (проводил нагрузочное тестирование, наблюдал аналогичное поведение). сразу после оживания девайса:

Код: Выделить всё

FSECTMFL0000# show cpu usage
CPU utilization for 5 seconds = 99%; 1 minute: 99%; 5 minutes: 99%
еще обнаружил

Код: Выделить всё

856160 input errors, 0 CRC, 0 frame, 856160 overrun, 0 ignored, 0 abort
на обоих интерфейсах (внутреннем и внешнем) и оно растет (при этом output errors по нулям).
я так понял из описания, что причина overrun ошибок либо софтварная - не успевает разгребать очередь приходящих пакетов, либо хардварная - приходит слишком большой трафик.
проводил нагрузочное тестирование - засылал трафик на внутренние сервера извне, ошибки росли, но на внутреннем интерфейсе циски трафик был 60Mbit/s (ну вернее на порту коммутатора, скорость на этом порту выставлена в 100Mb)

куда копать дальше? как определить и устранить причину возникающих overrun ошибок?
This game has no name. It will never be the same.

lap
лейтенант
Сообщения: 608
Зарегистрирован: 2010-08-13 23:39:29
Откуда: Moscow
Контактная информация:

Re: cisco как диагностировать проблему?

Непрочитанное сообщение lap » 2013-08-23 8:47:29

а вы табличку с перфомансом этой штуки не смотрели? Насколько я помню, эта штука имеет максимум соточные интерфейсы и есть подозрение что сотку оно будет пропускать через себя при каком-то сферическом траффике в вакууме... Этож древний пень2(Hardware: PIX-515E, 64 MB RAM, CPU Pentium II 433 MHz). ну и посмотрите кто цпу грузит. и загуглите типа pix [processname] hi cpu usage/load и ему подобные. можно попробовать софт накатить другой.
Не сломалось - не чини.

Аватара пользователя
vintovkin
ВДВ
Сообщения: 1291
Зарегистрирован: 2007-05-11 9:39:11
Откуда: CSKA

Re: cisco как диагностировать проблему?

Непрочитанное сообщение vintovkin » 2013-08-25 9:46:15

привет!
какая скорость и дуплекс на интерфейсах?
надо понять откуда ошибки?
пропишите вручную везде , на всех стыках
full duplex / 100 mb
потом
clear counters ...
и проверте,
JunOS kernel based on FreeBSD UNIX.

Аватара пользователя
dmtr
ст. прапорщик
Сообщения: 545
Зарегистрирован: 2009-11-06 22:01:34
Откуда: с Ростова

Re: cisco как диагностировать проблему?

Непрочитанное сообщение dmtr » 2013-08-26 8:37:50

Код: Выделить всё

FSECTMFL0000# show interface
interface ethernet0 "outside" is up, line protocol is up
  Hardware is i82559 ethernet, address is 0017.9514.81aa
  IP address 66.77.138.70, subnet mask 255.255.255.224
  MTU 1500 bytes, BW 100000 Kbit full duplex
        362670408 packets input, 369947227 bytes, 0 no buffer
        Received 13380838 broadcasts, 0 runts, 0 giants
        881257 input errors, 0 CRC, 0 frame, 881257 overrun, 0 ignored, 0 abort
        1284111257 packets output, 3289443631 bytes, 0 underruns
        0 output errors, 0 collisions, 0 interface resets
        0 babbles, 0 late collisions, 0 deferred
        0 lost carrier, 0 no carrier
        input queue (curr/max blocks): hardware (128/128) software (0/143)
        output queue (curr/max blocks): hardware (0/128) software (0/934)
interface ethernet1 "inside" is up, line protocol is up
  Hardware is i82559 ethernet, address is 0017.9514.81ab
  IP address 10.0.1.2, subnet mask 255.255.255.0
  MTU 1500 bytes, BW 100000 Kbit full duplex
        1631440002 packets input, 2583973102 bytes, 0 no buffer
        Received 299420376 broadcasts, 0 runts, 0 giants
        933614 input errors, 0 CRC, 0 frame, 933614 overrun, 0 ignored, 0 abort
        4291096230 packets output, 3231535289 bytes, 0 underruns
        0 output errors, 0 collisions, 0 interface resets
        0 babbles, 0 late collisions, 0 deferred
        0 lost carrier, 0 no carrier
        input queue (curr/max blocks): hardware (128/128) software (0/148)
        output queue (curr/max blocks): hardware (0/128) software (0/781)
и порт на коммутаторе в который воткнут inside выставлен в 100Мбит. ошибки растут в моменты прихода трафика.

а что значит "на всех сытках"? сервера в локалке работают на гигабите, перевести их на 100М?
This game has no name. It will never be the same.

Аватара пользователя
vintovkin
ВДВ
Сообщения: 1291
Зарегистрирован: 2007-05-11 9:39:11
Откуда: CSKA

Re: cisco как диагностировать проблему?

Непрочитанное сообщение vintovkin » 2013-08-26 12:56:24

да, на всех интерфейсах серверов, комутаторов, фаерволов, но тут вероятно дело в другом,


http://www.cisco.com/en/US/products/ps6 ... a10a.shtml


почитайте, как раз про вашу проблему пишут ...
переполнение буфера\очереди интерфейса ...
JunOS kernel based on FreeBSD UNIX.