freeBSD 7.2-RELEASE-p4 "замирает" время от времени
Добавлено: 2009-11-03 15:50:38
Аппаратные проблемы исключены.
С неделю тому назад, получил в свое распоряжение HVM VPS (Xen + аппаратная виртуализация). Хостер надежный, с тех. поддержкой плотно по этому вопросу общался, проблемы не с их стороны. Таскали мой VPS с одной машины на другую, у других клиентов при этом все в порядке. Говорят что сервер в эти моменты не пингуется даже с хост-машины.
Проблема такая. Совершенно в случайные промежутки времени, без какой-либо периодичности, система перестает отвечать по всем портам. Пинг, и вообще пакеты посланные на любой порт - уходят вникуда. Продолжаться это может от десятка секунд до более получаса. Случается это с периодичностью от секунды, до десятков часов. Никакой закономерности не замечено. Файрволов, айпитейблс - ничего такого не настраивал, вообще ничего, что касалось бы ядра и сети.
По логам все ОК. Т. е. вооообще все ОК. Система понятия не имеет, что что-то не так. В те моменты, когда сервер не отвечает, как ни в чем не бывало идут записи логов, которые делают периодически работающие службы, тот же запуск крона и пр. Никаких ошибок. Если сразу после того как сервер оживает зайти в тот же top, то там тоже все ок, с процессами все в полном порядке, никто не вылетел, своп нулевой, есть даже небольшой запас свободной оперативки. Словно ничего не случалось. Загрузка процессора за 1,5,15 последних минут как правило близка к нулевой. Т. е. не более чем могут создать периодические службы.
Если в момент такого "зависания" я работал по ssh, то если это замирание было не слишком долгим, после оживания, можно продолжать работать как ни в чем не бывало, соединение не рвется, не закрывается, просто замирает.
Если пинговать с сервера какой-нибудь ресурс, в момент замирания наблюдается обратная ситуация, пинг с сервера в такие моменты тоже теряет пакеты. Хотя хостер говорит, что трафик с сервера при этом идет. Видимо сервер посылает, но ничего не принимает.
7.2-RELEASE-p4 FreeBSD 7.2-RELEASE-p4 #0: Fri Oct 2 12:21:39 UTC 2009
Чистый образ freeBSD 7.2, ядро и мир не пересобирались, все generic. Мной были наложены только патчи до p4 с помощью freebsd-update. Ну и установлен различный серверный софт, что к делу не относится, ибо проблема имеет место быть когда практически все службы остановлены. Также произведены настройки этого самого софта, а также всякие процедуры касающиеся защиты ssh.
Если кто-то все же поинтересуется, что было установлено. Из портов:
nginx
dovecot
exim
nsd
portmaster
postgresql 8.4
Zend Framework
помимо этого, был лично мной сделан порт php 5.3 + php-fpm 6 с suhosin и mail-header patch, были переписаны все специфические фряшные патчи от ветки 5.2, которые имело смысл наложить и на 5.3, внесены некоторые незначительные изменения в исходники php-fpm, т к порта его под фрю нет, а автор его пилит в основном под линух, и он, собака, не хотел просто так собираться под фрёй.
Уже бьюсь с проблемой несколько дней подряд. Никогда с таким не сталкивался. К сожалению, эти "замирания" из-за своей крайне не периодичности и моего нестабильного подключения к интернету были замечены только уже когда сервер был полностью подготовлен к продакшену, и кое-что уже запущено.
В итоге, мне пришлось все по очереди отключать на сервере и тщательным образом его мониторить, пока не пришел к тому, что он замирает даже когда в системе практически все остановлено. Хотя первый раз, когда все остановил, мне показалось, что замирания исчезли. Например, в воскресенье сервер был 90% времени не доступен, а вечером, я подумал, что я вычислил виновника и устранил причину, ибо до вечера понедельника мне не удалось поймать ни одного "замирания", а потом замирания вновь были замечены.
Похоже остается только пересобрать ядро-мир. Хрен знает как эта freebsd-update отработала. Сделаю это послезавтра, ибо сил больше с этой зверушкой биться нет, займусь денек своей основной работой, а он пускай отдохнет. Может быть кто-нибудь из вас мне посоветует что-нибудь по этой проблеме, вдруг у кого есть похожий опыт.
С неделю тому назад, получил в свое распоряжение HVM VPS (Xen + аппаратная виртуализация). Хостер надежный, с тех. поддержкой плотно по этому вопросу общался, проблемы не с их стороны. Таскали мой VPS с одной машины на другую, у других клиентов при этом все в порядке. Говорят что сервер в эти моменты не пингуется даже с хост-машины.
Проблема такая. Совершенно в случайные промежутки времени, без какой-либо периодичности, система перестает отвечать по всем портам. Пинг, и вообще пакеты посланные на любой порт - уходят вникуда. Продолжаться это может от десятка секунд до более получаса. Случается это с периодичностью от секунды, до десятков часов. Никакой закономерности не замечено. Файрволов, айпитейблс - ничего такого не настраивал, вообще ничего, что касалось бы ядра и сети.
По логам все ОК. Т. е. вооообще все ОК. Система понятия не имеет, что что-то не так. В те моменты, когда сервер не отвечает, как ни в чем не бывало идут записи логов, которые делают периодически работающие службы, тот же запуск крона и пр. Никаких ошибок. Если сразу после того как сервер оживает зайти в тот же top, то там тоже все ок, с процессами все в полном порядке, никто не вылетел, своп нулевой, есть даже небольшой запас свободной оперативки. Словно ничего не случалось. Загрузка процессора за 1,5,15 последних минут как правило близка к нулевой. Т. е. не более чем могут создать периодические службы.
Если в момент такого "зависания" я работал по ssh, то если это замирание было не слишком долгим, после оживания, можно продолжать работать как ни в чем не бывало, соединение не рвется, не закрывается, просто замирает.
Если пинговать с сервера какой-нибудь ресурс, в момент замирания наблюдается обратная ситуация, пинг с сервера в такие моменты тоже теряет пакеты. Хотя хостер говорит, что трафик с сервера при этом идет. Видимо сервер посылает, но ничего не принимает.
7.2-RELEASE-p4 FreeBSD 7.2-RELEASE-p4 #0: Fri Oct 2 12:21:39 UTC 2009
Чистый образ freeBSD 7.2, ядро и мир не пересобирались, все generic. Мной были наложены только патчи до p4 с помощью freebsd-update. Ну и установлен различный серверный софт, что к делу не относится, ибо проблема имеет место быть когда практически все службы остановлены. Также произведены настройки этого самого софта, а также всякие процедуры касающиеся защиты ssh.
Если кто-то все же поинтересуется, что было установлено. Из портов:
nginx
dovecot
exim
nsd
portmaster
postgresql 8.4
Zend Framework
помимо этого, был лично мной сделан порт php 5.3 + php-fpm 6 с suhosin и mail-header patch, были переписаны все специфические фряшные патчи от ветки 5.2, которые имело смысл наложить и на 5.3, внесены некоторые незначительные изменения в исходники php-fpm, т к порта его под фрю нет, а автор его пилит в основном под линух, и он, собака, не хотел просто так собираться под фрёй.
Уже бьюсь с проблемой несколько дней подряд. Никогда с таким не сталкивался. К сожалению, эти "замирания" из-за своей крайне не периодичности и моего нестабильного подключения к интернету были замечены только уже когда сервер был полностью подготовлен к продакшену, и кое-что уже запущено.
В итоге, мне пришлось все по очереди отключать на сервере и тщательным образом его мониторить, пока не пришел к тому, что он замирает даже когда в системе практически все остановлено. Хотя первый раз, когда все остановил, мне показалось, что замирания исчезли. Например, в воскресенье сервер был 90% времени не доступен, а вечером, я подумал, что я вычислил виновника и устранил причину, ибо до вечера понедельника мне не удалось поймать ни одного "замирания", а потом замирания вновь были замечены.
Похоже остается только пересобрать ядро-мир. Хрен знает как эта freebsd-update отработала. Сделаю это послезавтра, ибо сил больше с этой зверушкой биться нет, займусь денек своей основной работой, а он пускай отдохнет. Может быть кто-нибудь из вас мне посоветует что-нибудь по этой проблеме, вдруг у кого есть похожий опыт.
Когда я в прошлые разы смотрел messages и там было довольно грязновато из-за arplookup-а, который заваливал лог с самого начала каждые 10 секунд, как мне дали сей сервер, отключить уведомления от него или разобраться в чем причина у меня руки не дошли, а потом и не до этого стало. Там же я заметил несколько kernel: arp: [айпи их шлюза, то ли еще чего, не понятно, не мой] moved from [mac1] to [mac2] on re0, но они совпадали по времени с обращением в тех. поддержку, и я подумал, что это их рук дело.