Рандомные фризы

Простые/общие вопросы по UNIX системам. Спросите здесь, если вы новичок

Модераторы: vadim64, terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
SergoMorello
мл. сержант
Сообщения: 74
Зарегистрирован: 2011-04-18 21:53:03

Рандомные фризы

Непрочитанное сообщение SergoMorello » 2018-09-28 17:58:39

Ребят всем привет, вроде поборол все проблемы, но осталась последняя:
иногда машина просто зависает на какое то время, зависает так что перестаёт пинговаться, сервера которые на ней работают очень к этому чувствительны, сразу падают с ошибкой разсинхрона времени, это единственное по чему можно определить был фриз или нет, в логах системы никаких ошибок,
поставил atop включил, на следующий день вижу опять сервера упали с той же ошибкой, заходу atop -r -b 14:44, время фриза всегда разное, каждый раз atop показывает что неожиданно появляется нагрузка на процессор, может быть на одно ядро с нагрузкой 66%, может на 5 ядер 99%, бывает или за несколько секунд или в эту секунду фиксируется долгий отклик диска, бывает в красной зоне, бывает в синей,
всегда во время фриза atop показывает что свободно 30-100мб оперативы.

ну так вот, вчера я поменял жёсткий диск, думал дело в нём, но нет, сегодня проблема посторилась, можно предположить что не хватает оперативы, но в инете пишут что на бсд системах оператива со временем падает до килобайт и это нормально, остаётся проблема с железом, перегрев процессоров или нагрузка процессов, хотя atop не регистрирует аномальной нагрузку с каких то процессов, фриз как будто происходит сам по себе, а температуру процов не могу проверить, разные модули подключал, ничего не помогает, температуры тупо нет,

в общем ребят, если кто знает что это точно может быть, подскажите плз
вот что было сегодня
Изображение

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
Electronik
капитан
Сообщения: 1593
Зарегистрирован: 2008-11-15 17:32:56
Откуда: Минск
Контактная информация:

Рандомные фризы

Непрочитанное сообщение Electronik » 2018-09-28 23:44:08

если сервер физический, то не мешало бы написать его конфу и как организована дисковая подсистема RAID - soft||hard и тип fs. ну и два гига рамы для сервера как то не серьёзно...
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог

SergoMorello
мл. сержант
Сообщения: 74
Зарегистрирован: 2011-04-18 21:53:03

Рандомные фризы

Непрочитанное сообщение SergoMorello » 2018-09-29 0:10:29

Electronik писал(а):
2018-09-28 23:44:08
если сервер физический, то не мешало бы написать его конфу и как организована дисковая подсистема RAID - soft||hard и тип fs. ну и два гига рамы для сервера как то не серьёзно...
да сервер физический, старенький, на 2 зеонах 54, мать интел, один саташный диск сагейт, не очень старый, да согласен, 2 гига маловато, но там память fb-dimm у меня таких планок нет, а покупать пока не хочется, всё же думаю что дело в настройках системы, весь абсурд в том что тот же самый софт раньше работал на более слабой машине так же с 2 гигами оперативы но на centOS и там проблем небыло вообще, всё было сверх стабильно, а тут и машина мощьнее и оператива быстрее, но я столько проблем хапнул уже что сто раз пожалел что решил всё это на фрибсд запускать,
с ходу спрошу, есть ли какой то параметр чтобы принудительно указать системе чтобы она оставляла побольше свободной оперативы?

zarathustra
рядовой
Сообщения: 14
Зарегистрирован: 2013-01-26 12:14:57
Откуда: СССР
Контактная информация:

Рандомные фризы

Непрочитанное сообщение zarathustra » 2018-09-29 0:35:02

Давно как-то была похожая проблема (подробностей уже не помню), стали менять всё по очереди, и оказалось: так странно помирала встроенная сетевуха.
Изображение
Приумножая познания, приумножаешь и скорбь.....(с)

Аватара пользователя
Electronik
капитан
Сообщения: 1593
Зарегистрирован: 2008-11-15 17:32:56
Откуда: Минск
Контактная информация:

Рандомные фризы

Непрочитанное сообщение Electronik » 2018-09-29 1:03:08

а какой размер рабочей базы/баз mysql?
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог

Аватара пользователя
Electronik
капитан
Сообщения: 1593
Зарегистрирован: 2008-11-15 17:32:56
Откуда: Минск
Контактная информация:

Рандомные фризы

Непрочитанное сообщение Electronik » 2018-09-29 1:08:14

SergoMorello писал(а):
2018-09-29 0:10:29
с ходу спрошу, есть ли какой то параметр чтобы принудительно указать системе чтобы она оставляла побольше свободной оперативы?
как вы себе это представляете? одним приложениям память выделять, другим нет?
если всё так хорошо работало на цементе, зачем мигрировали на freebsd?
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог

SergoMorello
мл. сержант
Сообщения: 74
Зарегистрирован: 2011-04-18 21:53:03

Рандомные фризы

Непрочитанное сообщение SergoMorello » 2018-09-29 1:44:13

Electronik писал(а):
2018-09-29 1:03:08
а какой размер рабочей базы/баз mysql?
там всего 2 базы на 10 таблиц, информации, больших данных там нет, только настройки, вся папка mysql вести 112mb
Electronik писал(а):
2018-09-29 1:08:14
как вы себе это представляете? одним приложениям память выделять, другим нет?
если всё так хорошо работало на цементе, зачем мигрировали на freebsd?
ну я просто вижу что после рестарта машины - памяти около гигабайта и всё работает нормально, но память постепенно изчезает, но нет процессов которые могли бы столько её использовать, ну и как бы все проблемы начинаются когда мало памяти, да и постоянно дополнительная память берётся со свопа, зачем системе столько памяти я не понимаю.

Перешёл на фрибсд так как до этого у меня о ней были только положительные впечатления и она мне очень нравится, я настраивал на ней несколько веб серверов один из которых работает вот уже 6 лет, и проблем с ним нет, за исключением того что пару раз переполнился var раздел от логов, ну и вот я подумал что фрибсд это очень хороший выбор сейчас,
а на старой машине что была с центОС просто сдох жёсткий диск, если бы не этот факт то и не подумал бы куда то переходить.

SergoMorello
мл. сержант
Сообщения: 74
Зарегистрирован: 2011-04-18 21:53:03

Рандомные фризы

Непрочитанное сообщение SergoMorello » 2018-09-29 1:48:49

zarathustra писал(а):
2018-09-29 0:35:02
Давно как-то была похожая проблема (подробностей уже не помню), стали менять всё по очереди, и оказалось: так странно помирала встроенная сетевуха.
интересно, тоесть возможно это всё таки проблема с железом, не хотелось бы что бы так было

Аватара пользователя
novik
мл. сержант
Сообщения: 146
Зарегистрирован: 2018-07-26 23:52:57

Рандомные фризы

Непрочитанное сообщение novik » 2018-09-29 12:06:57

SergoMorello писал(а):
2018-09-29 1:44:13
постоянно дополнительная память берётся со свопа
На сколько % он обычно занят? А то на скриншоте с логом он вообще пустой, и на нехватку памяти никак не похожий.
SergoMorello писал(а):
2018-09-29 0:10:29
есть ли какой то параметр чтобы принудительно указать системе чтобы она оставляла побольше свободной оперативы?
Это не нужно. При необходимости она тут же освободит из «занятой». Что можно почистит, что нельзя - в своп запишет.
«О сколько нам открытий чудных готовит просвещения дух...»™

SergoMorello
мл. сержант
Сообщения: 74
Зарегистрирован: 2011-04-18 21:53:03

Рандомные фризы

Непрочитанное сообщение SergoMorello » 2018-09-29 12:52:43

novik писал(а):
2018-09-29 12:06:57
На сколько % он обычно занят? А то на скриншоте с логом он вообще пустой, и на нехватку памяти никак не похожий.
в данный момент вот так, 700мб уже использовано, работает со вчерашнего дня, было уже 2 фриза
Изображение

SergoMorello
мл. сержант
Сообщения: 74
Зарегистрирован: 2011-04-18 21:53:03

Рандомные фризы

Непрочитанное сообщение SergoMorello » 2018-09-29 13:03:07

вот что atop фиксировал ночью, на процессы не смотрите, почему то на при просмотре старых логов он иногда показывает 100-800% нагрузку со всех процессов, хотя по факту это не так.
после этого, память резко подпрыгивает до 100-900 мб, по разному и фриз прекращается
Изображение

zarathustra
рядовой
Сообщения: 14
Зарегистрирован: 2013-01-26 12:14:57
Откуда: СССР
Контактная информация:

Рандомные фризы

Непрочитанное сообщение zarathustra » 2018-09-29 17:43:39

SergoMorello писал(а):
2018-09-29 1:48:49
интересно, тоесть возможно это всё таки проблема с железом, не хотелось бы что бы так было
Конкретно в том случае ошибок в логах так же не было, но сервер периодически "пропадал" в сетке.
Просто поставили внешнюю.
Изображение
Приумножая познания, приумножаешь и скорбь.....(с)

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Рандомные фризы

Непрочитанное сообщение Demis » 2018-10-01 19:30:56

Млин, сложно как-то посоветовать.
Но я пошел-бы по пути тщательной проверки железа, при возможности это сделать.
Т.е. хдд проверить через MHDD, память мемтестом, видяху (как это ни странно звучит) ейную память - vmt.
Проверить блок питания, что он тянет мощу.
Проверить наличие вспухших кондеров на маме.
В бивосе, обновить его, постараться выключить тротлинг.
Бывало, что портил малину.
Посмотреть, подтянуть, поправить acpi, т.е. сделать его загружаемым с откорректированными ошибками.
Сталкивался на супермикре, при системе х86 (но железо х64), приходилось в ставить hw.acpi.osname="Windows 2001.1", что-бы уменьшить глючность железки. Посмотреть, потестировать своп, если переназначить на файл.

SergoMorello
мл. сержант
Сообщения: 74
Зарегистрирован: 2011-04-18 21:53:03

Рандомные фризы

Непрочитанное сообщение SergoMorello » 2018-10-01 21:45:16

Demis писал(а):
2018-10-01 19:30:56
Млин, сложно как-то посоветовать.
Но я пошел-бы по пути тщательной проверки железа, при возможности это сделать.
...
от безысходности вчера ночью решил временно поставить диск из сервера в обычный комп с кор 2 квад и 6 гигами оперативы, тоесть запустил всё тоже самое но на другом железе, и о чудо!! на удивление всё действительно прекратилось, нагрузка минимальная, клиенты не отваливаются, сервера не падают, с ночи всё работает отлично уже почти 19 часов, тьфу, тьфу, как бы не сглазить)
у меня теперь есть предположение что у сервера какая то проблема с блоком питания, или может скачки напряжения из розетки, вообще безперебойник есть но я его не стал подключить, подумал что для таких смешных задач он не к чему, как думаете это похоже на правду?

Изображение

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Рандомные фризы

Непрочитанное сообщение Demis » 2018-10-01 22:20:40

SergoMorello писал(а):
2018-10-01 21:45:16
есть предположение что у сервера какая то проблема с блоком питания, или может скачки напряжения из розетки,
Возможно, конечно. Но это нужно тщательно проверять. Очень редко, но такое бывает. Если в Ваших условиях есть второй комп, то м.б. переставить на время БП с нормально работающего? Тут жуткая комбинаторика начинается, чтобы найти точку преткновения. Опять-же на сбойном что происходит с охлаждением? М.б. кпт поменять нужно у процессора, ну естественно аккуратно вернув назад радиатор. Сталкивался, что радиатор "косит" и нормально температуру не отбирает. Просто внимательно все посмотреть. Кондеры не забыть все пересмотреть. Раз
SergoMorello писал(а):
2018-10-01 21:45:16
клиенты не отваливаются, сервера не падают
уже есть высокая вероятность проблемки в железе. Глобальная проблема или нет - это нужно поискать. Скорее всего не глобальная проблема. Где-то банальность.

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Рандомные фризы

Непрочитанное сообщение Demis » 2018-10-01 22:30:04

P.S. Хотя перечитав заново
SergoMorello писал(а):
2018-09-29 1:44:13
памяти около гигабайта и всё работает нормально, но память постепенно изчезает, но нет процессов которые могли бы столько её использовать, ну и как бы все проблемы начинаются когда мало памяти, да и постоянно дополнительная память берётся со свопа
подумал, что скорее всего проблема софтовая и нужно смотреть почему память утекает. На новой железке у тебя 6Гиг и их начинает хватать... Значит следует где-то чего-то подкрутить.

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Рандомные фризы

Непрочитанное сообщение Demis » 2018-10-02 9:33:44

P.P.S. Поскольку есть мускул, можно поиграть с его памятью: https://dev.mysql.com/doc/refman/5.5/en/memory-use.html (https://serverfault.com/questions/33052 ... age#330523 и https://serverfault.com/questions/33052 ... mory-usage). Если есть какой-нибудь апач, то тоже https://httpd.apache.org/docs/2.2/misc/perf-tuning.html (https://www.digitalocean.com/community/ ... erformance). Плюс еще посмотреть какой софт крутится и возможно, по дефолту берет больше чем достаточно в текущих условиях и соответственно тоже почитать, потюнить.

Bob
проходил мимо
Сообщения: 5
Зарегистрирован: 2018-10-02 14:47:37

Рандомные фризы

Непрочитанное сообщение Bob » 2018-10-02 16:54:48

zfs? скриншоты не вижу, у меня если не нагружать оперативку, ARC кеш может отъесть более 10Гб из 16. А потом я запускаю свои виртуалки и все уходит в своп. Мучился пока не ограничил размер кеша:
sysctl vfs.zfs.arc_max="3221225472"
(3Гб в байтах, и max не может быть меньше чем min)
Это не нужно. При необходимости она тут же освободит из «занятой»
Если бы она тут же освобождала память то без вопросов, хоть 15Гб из 16. При UFS такого не было. :D

Т.е. может Ваш сервак несколько часов работает на 1Гб, второй потихоньку уходит под кеш и внезапно БД хочет еще 500Мб (упорядочить записи или что там еще) и тут все в своп и падает.
прогер, админ локалхоста

Аватара пользователя
novik
мл. сержант
Сообщения: 146
Зарегистрирован: 2018-07-26 23:52:57

Рандомные фризы

Непрочитанное сообщение novik » 2018-10-03 21:17:13

SergoMorello писал(а):
2018-10-01 21:45:16
от безысходности вчера ночью решил временно поставить диск из сервера в обычный комп с кор 2 квад и 6 гигами оперативы, тоесть запустил всё тоже самое но на другом железе, и о чудо!!
Имеет смысл поставить на сервер HDD с тестовой системой и попытаться воспроизвести фризы. Если получится значит точно проблема с железом.
Bob писал(а):
2018-10-02 16:54:48
При UFS такого не было.
Но я только ей и пользуюсь. :D
«О сколько нам открытий чудных готовит просвещения дух...»™