Каждый день в 6 вечера как по часам система падает

[wasist]

Доборого времени суток, господа умные люди.
Ваш покорный слуга в полнейшем отчаиньи.
система: изначально 8.2RC1, позже, уже после начала всей катавасии, обновлена (cvsup stable + buildworld) до 8.3 Stable, софтовое зеркало на gmirror, демоны: mpd, dhcpd, snmpd, ntp, quagga (только zebra), squid (прозрачный), apache, radius, mysql. В кроне несколько самописных скриптов для парсинга логов радиуса, dhcpd и создания static-arp и static-dhcp записей для wi-fi сети, и все они запускаются четко раз в 2 или в 5 минут, в зависимости от.
Примерно неделю тому назад каждый вечер около 6 часов (+/- полчаса, не больше) система стала вываливаться в kernel panic без объявления войны. Я перепроверил все логи, пробовал в ядре отключать SMP, отключать IPFIREWALL, DUMMYNET и т.п. - при компиляции чистого GENERIC вроде бы не падает, но не могу проверить его под нагрузкой и на время, так как сервер боевой и на нем висит целое общежитие института. сначала пробовал загрузиться в single user, запускал все стартовые скрипты руками, ожидая, кто из них повалит систему. Сначала повалилась на зебре - я обрадовался, фиг бы с ней, с зеброй, она и нужна-то была для удобного поднятия статических маршрутов. Заменил все рукописной маршрутизацией, но через сутки все повторилось снова. Я отслеживал кактусом по snmp моменты падения (1-2 минуты до) - никакой подозрительной активности. По трафику тоже ничего интересного не было - могли быть всплески, а могла быть и тишина. Пробовал закрыть ssh, мало ли что... хотя auth.log пуст, как и messages. Не помогает. Фигня, я заменил физический сервер, переставив в него харды - благо gmirror, переставляй хоть по одному. Не помогло. Вынимал харды по одному. Не помогло. Проверил размеры логов, не превышает ли какой файлик гигабайта. Нет, не превышает, да и на подобных конфигах у меня бывали логи и по 5г. Выключил gmirror, снял geom_mirror и оберизил. Не помогло, хотя продержалось на сутки больше. И все же упало.
Помогите советом, куда еще можно смотреть? я готов приложить листинги любых логов, какие есть в системе, а логируется почти все.

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Electronik]

смотреть железо.
kernel panic как определили? если он то смотреть дамп.
ИБП есть? перегрева нет? Сменить розетку и БП.

[ChihPih]

Чего за kernel panic то? Вывод дампа есть у вас?
Если система раньше работала нормально, то что вы изменили, что она падать стала?

[wasist]

Вобщем все оказалось проще - и вместе с тем сложнее. никогда такого не видел - сегодня в 6 снова все упало. и падало, едва выходя из ребута. я наугад загрузил сервак без сети в интерфейсе - и, о чудо, оно осталось стоять. Я пошел на свич и выдернул все виланы из транка, кроме аплинка к провайдеру. Все продолжило стоять. Плавным перебором виланов я нашел тот, на котором все рухнуло. ну дальше уже дело техники - и в вилане нашлось дофига непонятных мак-адресов. Уж не знаю, почему, но freebsd реагировала на это очень печально. Причины их там появления в 6 часов вечера каждый день буду выяснять завтра - но есть предположение, что это как-то связано с вечерним включением вентиляционной системы мусорокамер - либо кто-то где-то включает патч-корд с разнопаркой. Есть предположения, почему кривые пакеты могут укладывать систему в крах при прохождении через правила форвардинга на файрволе?

[Bayerische]

Хочется позвать сюда журношлюху. "Вентиляционная система мусорокамер укладывает на лопатки FreeBSD!"

[rayder]

Код: Выделить всё

 Я пошел на свич и выдернул все виланы из транка,

как, КАК можно подойдя к свичу ВЫДЕРНУТЬ влан из транка??? телепатия в действии?
wasist - вы ничего не путаете? (Вы знаете что такое влан и транк?)

Код: Выделить всё

либо кто-то где-то включает патч-корд с разнопаркой

интуиция мне подсказывает что Вы имеете ввиду кроссовер, но как бы причем тут метод обжимки кабеля? не думаю что это может как-то повлиять.

Судя по всему у вас управляемый свич. Что у него в логах? настроены ли какие либо ограничения по макам или чему-то подобному? соб-но что за свич стоит?

как вариант что где-то работает вирусня (возможно в виде одного из жителей общаги) которая флудит, но почему фряха падает, остается загадкой...

[rayder]

и таки да, Вы не ответили на поставленные выше вопросы:

Чего за kernel panic то? Вывод дампа есть у вас?
Если система раньше работала нормально, то что вы изменили, что она падать стала?

[wasist]

Rayder, отвечаю по порядку.
"пошел на свич" (а не к свичу, если уж вы решили придираться к словам) - значит пришел к нему с ноутбуком, через RS232ю консоль зашел в cli и снял мембер порта из нужных мне виланов.
"Разнопарка" - когда чайники обжимают патч-корды не по 568 а или б, а цвета подряд, либо чередуя белый-цветной, либо нет. В итоге получается, что сигнал одного направления (при 100mbit full) идет по проводам не одной, а разных пар, в результате чего собирая в разы больше электромагнитных наводок, в том числе и с силовых кабелей, идущих неподалеку.
Что до последних вопросов,
то 1) в листинге предперезагрузочного кадра паники фри ругался на шейпер (dummynet), ща положу куда-нить скрин, который я успел сфоткать на телефон, и кину сюда ссылку;
2) в сервере не менялось НИЧЕГО, был подключен только тот самый клиент, от которого на свич приходило 100500 макадресов.

[Gendos]

Опошлить немного:) у сервака на пол шестого:)
100500 мак адресов это у потенциального рядового пользователя? Вы никого трафиком в общаге не обидели недавно?

[Gendos]

Поиграйся с параметром

Код: Выделить всё

net.link.ether.inet.max_age=1200

каждые двадцать минут и т.д. в сторону уменьшения

[Gendos]

ну или статика