freeBSD 7.2-RELEASE-p4 "замирает" время от времени

[VBart]

Аппаратные проблемы исключены.

С неделю тому назад, получил в свое распоряжение HVM VPS (Xen + аппаратная виртуализация). Хостер надежный, с тех. поддержкой плотно по этому вопросу общался, проблемы не с их стороны. Таскали мой VPS с одной машины на другую, у других клиентов при этом все в порядке. Говорят что сервер в эти моменты не пингуется даже с хост-машины.

Проблема такая. Совершенно в случайные промежутки времени, без какой-либо периодичности, система перестает отвечать по всем портам. Пинг, и вообще пакеты посланные на любой порт - уходят вникуда. Продолжаться это может от десятка секунд до более получаса. Случается это с периодичностью от секунды, до десятков часов. Никакой закономерности не замечено. Файрволов, айпитейблс - ничего такого не настраивал, вообще ничего, что касалось бы ядра и сети.

По логам все ОК. Т. е. вооообще все ОК. Система понятия не имеет, что что-то не так. В те моменты, когда сервер не отвечает, как ни в чем не бывало идут записи логов, которые делают периодически работающие службы, тот же запуск крона и пр. Никаких ошибок. Если сразу после того как сервер оживает зайти в тот же top, то там тоже все ок, с процессами все в полном порядке, никто не вылетел, своп нулевой, есть даже небольшой запас свободной оперативки. Словно ничего не случалось. Загрузка процессора за 1,5,15 последних минут как правило близка к нулевой. Т. е. не более чем могут создать периодические службы.

Если в момент такого "зависания" я работал по ssh, то если это замирание было не слишком долгим, после оживания, можно продолжать работать как ни в чем не бывало, соединение не рвется, не закрывается, просто замирает.

Если пинговать с сервера какой-нибудь ресурс, в момент замирания наблюдается обратная ситуация, пинг с сервера в такие моменты тоже теряет пакеты. Хотя хостер говорит, что трафик с сервера при этом идет. Видимо сервер посылает, но ничего не принимает.

7.2-RELEASE-p4 FreeBSD 7.2-RELEASE-p4 #0: Fri Oct 2 12:21:39 UTC 2009

Чистый образ freeBSD 7.2, ядро и мир не пересобирались, все generic. Мной были наложены только патчи до p4 с помощью freebsd-update. Ну и установлен различный серверный софт, что к делу не относится, ибо проблема имеет место быть когда практически все службы остановлены. Также произведены настройки этого самого софта, а также всякие процедуры касающиеся защиты ssh.

Если кто-то все же поинтересуется, что было установлено. Из портов:
nginx
dovecot
exim
nsd
portmaster
postgresql 8.4
Zend Framework
помимо этого, был лично мной сделан порт php 5.3 + php-fpm 6 с suhosin и mail-header patch, были переписаны все специфические фряшные патчи от ветки 5.2, которые имело смысл наложить и на 5.3, внесены некоторые незначительные изменения в исходники php-fpm, т к порта его под фрю нет, а автор его пилит в основном под линух, и он, собака, не хотел просто так собираться под фрёй.

Уже бьюсь с проблемой несколько дней подряд. Никогда с таким не сталкивался. К сожалению, эти "замирания" из-за своей крайне не периодичности и моего нестабильного подключения к интернету были замечены только уже когда сервер был полностью подготовлен к продакшену, и кое-что уже запущено.

В итоге, мне пришлось все по очереди отключать на сервере и тщательным образом его мониторить, пока не пришел к тому, что он замирает даже когда в системе практически все остановлено. Хотя первый раз, когда все остановил, мне показалось, что замирания исчезли. Например, в воскресенье сервер был 90% времени не доступен, а вечером, я подумал, что я вычислил виновника и устранил причину, ибо до вечера понедельника мне не удалось поймать ни одного "замирания", а потом замирания вновь были замечены.

Похоже остается только пересобрать ядро-мир. Хрен знает как эта freebsd-update отработала. Сделаю это послезавтра, ибо сил больше с этой зверушкой биться нет, займусь денек своей основной работой, а он пускай отдохнет. Может быть кто-нибудь из вас мне посоветует что-нибудь по этой проблеме, вдруг у кого есть похожий опыт.

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Alex Keda]

вроде под ксен должно быть специальное ядро...
да и вообще - уже до 8 можно накатить...
======
на реальной машине вижу подобное ежедневно - на буке домашнем броадком гигабитный глюкает - он вырубается просто - в логах чисто
помогает down/up интерфейса.
что и прописал в крон, на раз в 15 минут.
попробуйте раз в минуту - может чего инетерсное всплывёт.

[VBart]

Для аппаратной виртуализации специального ядра не нужно. Если я раз в минуту буду ап-даун интерфейса делать, боюсь доступа к серверу я уже не получу, и надо будет просить тех поддержку. Физического доступа у меня нет, IP-KVM тоже не предусмотрен. Только ssh.

Не ровен час, снесу нафиг фрю, поставлю линух.

[sch]

Для аппаратной виртуализации специального ядра не нужно. Если я раз в минуту буду ап-даун интерфейса делать, боюсь доступа к серверу я уже не получу, и надо будет просить тех поддержку. Физического доступа у меня нет, IP-KVM тоже не предусмотрен. Только ssh.

Не ровен час, снесу нафиг фрю, поставлю линух.

а фанатизм здесь ни к чему
вполне возможно, что у Freebsd есть таки проблемы с работой под XEN.

Я прочитал, что "По логам все ОК. Т. е. вооообще все ОК.", но все равно спрошу
в var/log/messages смотрели насчет таких сообщений?

Код: Выделить всё

kernel: arp: 00:0b:6a:94:bc:b0 is using my IP address 10.12.0.3 on rl0!

Тот факт, что система сама же и восстанавливается после зависания, для меня значит (IMHO), что проблема не в системе, а вокруг нее.

также из типовых рекомендаций - обновите через cvsup систему до 7-STABLE. Ничего не поломает, а помочь может.

[VBart]

а фанатизм здесь ни к чему
вполне возможно, что у Freebsd есть таки проблемы с работой под XEN.

Фанатизм тут не причем, это сообщение из под линуха пишу, фрю только на сервера ставлю. По части администрирования и настройки с нею как-то проще и прозрачнее все. Всегда ясно что где лежит, одна система. А в линухах все больше как-то помойка с конфигурацией ИМХО.

Я прочитал, что "По логам все ОК. Т. е. вооообще все ОК.", но все равно спрошу
в var/log/messages смотрели насчет таких сообщений?

Код: Выделить всё

kernel: arp: 00:0b:6a:94:bc:b0 is using my IP address 10.12.0.3 on rl0!

Опа, спасибочки. А слона то я и не заметил. Остается посыпать голову пеплом. Когда я в прошлые разы смотрел messages и там было довольно грязновато из-за arplookup-а, который заваливал лог с самого начала каждые 10 секунд, как мне дали сей сервер, отключить уведомления от него или разобраться в чем причина у меня руки не дошли, а потом и не до этого стало. Там же я заметил несколько kernel: arp: [айпи их шлюза, то ли еще чего, не понятно, не мой] moved from [mac1] to [mac2] on re0, но они совпадали по времени с обращением в тех. поддержку, и я подумал, что это их рук дело.

grep-анув сейчас messages на предмет этих сообщений обнаружил что сие moved from случается один-два раза в час. Хотя и никак не коррелирует по времени и частоте с "выпадением" сервера, но по всей видимости тут кроется разгадка. Написал в саппорт...

[VBart]

В саппорте не могут понять происходящего. Говорят таких мак адресов вообще у них нет и не понятно откуда мой сервер их берет. Включили дамп сетевого интерфейса моего сервака со стороны хост машины. Также запустили рядом еще одну freebsd 7.2 совершенно чистую, как есть, и ее мониторят.