Рандомные фризы
Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
-
- мл. сержант
- Сообщения: 74
- Зарегистрирован: 2011-04-18 21:53:03
Рандомные фризы
Ребят всем привет, вроде поборол все проблемы, но осталась последняя:
иногда машина просто зависает на какое то время, зависает так что перестаёт пинговаться, сервера которые на ней работают очень к этому чувствительны, сразу падают с ошибкой разсинхрона времени, это единственное по чему можно определить был фриз или нет, в логах системы никаких ошибок,
поставил atop включил, на следующий день вижу опять сервера упали с той же ошибкой, заходу atop -r -b 14:44, время фриза всегда разное, каждый раз atop показывает что неожиданно появляется нагрузка на процессор, может быть на одно ядро с нагрузкой 66%, может на 5 ядер 99%, бывает или за несколько секунд или в эту секунду фиксируется долгий отклик диска, бывает в красной зоне, бывает в синей,
всегда во время фриза atop показывает что свободно 30-100мб оперативы.
ну так вот, вчера я поменял жёсткий диск, думал дело в нём, но нет, сегодня проблема посторилась, можно предположить что не хватает оперативы, но в инете пишут что на бсд системах оператива со временем падает до килобайт и это нормально, остаётся проблема с железом, перегрев процессоров или нагрузка процессов, хотя atop не регистрирует аномальной нагрузку с каких то процессов, фриз как будто происходит сам по себе, а температуру процов не могу проверить, разные модули подключал, ничего не помогает, температуры тупо нет,
в общем ребят, если кто знает что это точно может быть, подскажите плз
вот что было сегодня
иногда машина просто зависает на какое то время, зависает так что перестаёт пинговаться, сервера которые на ней работают очень к этому чувствительны, сразу падают с ошибкой разсинхрона времени, это единственное по чему можно определить был фриз или нет, в логах системы никаких ошибок,
поставил atop включил, на следующий день вижу опять сервера упали с той же ошибкой, заходу atop -r -b 14:44, время фриза всегда разное, каждый раз atop показывает что неожиданно появляется нагрузка на процессор, может быть на одно ядро с нагрузкой 66%, может на 5 ядер 99%, бывает или за несколько секунд или в эту секунду фиксируется долгий отклик диска, бывает в красной зоне, бывает в синей,
всегда во время фриза atop показывает что свободно 30-100мб оперативы.
ну так вот, вчера я поменял жёсткий диск, думал дело в нём, но нет, сегодня проблема посторилась, можно предположить что не хватает оперативы, но в инете пишут что на бсд системах оператива со временем падает до килобайт и это нормально, остаётся проблема с железом, перегрев процессоров или нагрузка процессов, хотя atop не регистрирует аномальной нагрузку с каких то процессов, фриз как будто происходит сам по себе, а температуру процов не могу проверить, разные модули подключал, ничего не помогает, температуры тупо нет,
в общем ребят, если кто знает что это точно может быть, подскажите плз
вот что было сегодня
Услуги хостинговой компании Host-Food.ru
Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/
- Electronik
- капитан
- Сообщения: 1593
- Зарегистрирован: 2008-11-15 17:32:56
- Откуда: Минск
- Контактная информация:
Рандомные фризы
если сервер физический, то не мешало бы написать его конфу и как организована дисковая подсистема RAID - soft||hard и тип fs. ну и два гига рамы для сервера как то не серьёзно...
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог
Блог
-
- мл. сержант
- Сообщения: 74
- Зарегистрирован: 2011-04-18 21:53:03
Рандомные фризы
да сервер физический, старенький, на 2 зеонах 54, мать интел, один саташный диск сагейт, не очень старый, да согласен, 2 гига маловато, но там память fb-dimm у меня таких планок нет, а покупать пока не хочется, всё же думаю что дело в настройках системы, весь абсурд в том что тот же самый софт раньше работал на более слабой машине так же с 2 гигами оперативы но на centOS и там проблем небыло вообще, всё было сверх стабильно, а тут и машина мощьнее и оператива быстрее, но я столько проблем хапнул уже что сто раз пожалел что решил всё это на фрибсд запускать,Electronik писал(а): ↑2018-09-28 23:44:08если сервер физический, то не мешало бы написать его конфу и как организована дисковая подсистема RAID - soft||hard и тип fs. ну и два гига рамы для сервера как то не серьёзно...
с ходу спрошу, есть ли какой то параметр чтобы принудительно указать системе чтобы она оставляла побольше свободной оперативы?
-
- рядовой
- Сообщения: 14
- Зарегистрирован: 2013-01-26 12:14:57
- Откуда: СССР
- Контактная информация:
Рандомные фризы
Давно как-то была похожая проблема (подробностей уже не помню), стали менять всё по очереди, и оказалось: так странно помирала встроенная сетевуха.
- Electronik
- капитан
- Сообщения: 1593
- Зарегистрирован: 2008-11-15 17:32:56
- Откуда: Минск
- Контактная информация:
Рандомные фризы
а какой размер рабочей базы/баз mysql?
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог
Блог
- Electronik
- капитан
- Сообщения: 1593
- Зарегистрирован: 2008-11-15 17:32:56
- Откуда: Минск
- Контактная информация:
Рандомные фризы
как вы себе это представляете? одним приложениям память выделять, другим нет?SergoMorello писал(а): ↑2018-09-29 0:10:29с ходу спрошу, есть ли какой то параметр чтобы принудительно указать системе чтобы она оставляла побольше свободной оперативы?
если всё так хорошо работало на цементе, зачем мигрировали на freebsd?
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог
Блог
-
- мл. сержант
- Сообщения: 74
- Зарегистрирован: 2011-04-18 21:53:03
Рандомные фризы
там всего 2 базы на 10 таблиц, информации, больших данных там нет, только настройки, вся папка mysql вести 112mb
ну я просто вижу что после рестарта машины - памяти около гигабайта и всё работает нормально, но память постепенно изчезает, но нет процессов которые могли бы столько её использовать, ну и как бы все проблемы начинаются когда мало памяти, да и постоянно дополнительная память берётся со свопа, зачем системе столько памяти я не понимаю.Electronik писал(а): ↑2018-09-29 1:08:14как вы себе это представляете? одним приложениям память выделять, другим нет?
если всё так хорошо работало на цементе, зачем мигрировали на freebsd?
Перешёл на фрибсд так как до этого у меня о ней были только положительные впечатления и она мне очень нравится, я настраивал на ней несколько веб серверов один из которых работает вот уже 6 лет, и проблем с ним нет, за исключением того что пару раз переполнился var раздел от логов, ну и вот я подумал что фрибсд это очень хороший выбор сейчас,
а на старой машине что была с центОС просто сдох жёсткий диск, если бы не этот факт то и не подумал бы куда то переходить.
-
- мл. сержант
- Сообщения: 74
- Зарегистрирован: 2011-04-18 21:53:03
Рандомные фризы
интересно, тоесть возможно это всё таки проблема с железом, не хотелось бы что бы так былоzarathustra писал(а): ↑2018-09-29 0:35:02Давно как-то была похожая проблема (подробностей уже не помню), стали менять всё по очереди, и оказалось: так странно помирала встроенная сетевуха.
- novik
- мл. сержант
- Сообщения: 146
- Зарегистрирован: 2018-07-26 23:52:57
Рандомные фризы
На сколько % он обычно занят? А то на скриншоте с логом он вообще пустой, и на нехватку памяти никак не похожий.
Это не нужно. При необходимости она тут же освободит из «занятой». Что можно почистит, что нельзя - в своп запишет.SergoMorello писал(а): ↑2018-09-29 0:10:29есть ли какой то параметр чтобы принудительно указать системе чтобы она оставляла побольше свободной оперативы?
«О сколько нам открытий чудных готовит просвещения дух...»™
-
- мл. сержант
- Сообщения: 74
- Зарегистрирован: 2011-04-18 21:53:03
-
- мл. сержант
- Сообщения: 74
- Зарегистрирован: 2011-04-18 21:53:03
Рандомные фризы
вот что atop фиксировал ночью, на процессы не смотрите, почему то на при просмотре старых логов он иногда показывает 100-800% нагрузку со всех процессов, хотя по факту это не так.
после этого, память резко подпрыгивает до 100-900 мб, по разному и фриз прекращается
после этого, память резко подпрыгивает до 100-900 мб, по разному и фриз прекращается
-
- рядовой
- Сообщения: 14
- Зарегистрирован: 2013-01-26 12:14:57
- Откуда: СССР
- Контактная информация:
Рандомные фризы
Конкретно в том случае ошибок в логах так же не было, но сервер периодически "пропадал" в сетке.SergoMorello писал(а): ↑2018-09-29 1:48:49интересно, тоесть возможно это всё таки проблема с железом, не хотелось бы что бы так было
Просто поставили внешнюю.
-
- прапорщик
- Сообщения: 496
- Зарегистрирован: 2015-05-25 14:36:32
Рандомные фризы
Млин, сложно как-то посоветовать.
Но я пошел-бы по пути тщательной проверки железа, при возможности это сделать.
Т.е. хдд проверить через MHDD, память мемтестом, видяху (как это ни странно звучит) ейную память - vmt.
Проверить блок питания, что он тянет мощу.
Проверить наличие вспухших кондеров на маме.
В бивосе, обновить его, постараться выключить тротлинг.
Бывало, что портил малину.
Посмотреть, подтянуть, поправить acpi, т.е. сделать его загружаемым с откорректированными ошибками.
Сталкивался на супермикре, при системе х86 (но железо х64), приходилось в ставить hw.acpi.osname="Windows 2001.1", что-бы уменьшить глючность железки. Посмотреть, потестировать своп, если переназначить на файл.
Но я пошел-бы по пути тщательной проверки железа, при возможности это сделать.
Т.е. хдд проверить через MHDD, память мемтестом, видяху (как это ни странно звучит) ейную память - vmt.
Проверить блок питания, что он тянет мощу.
Проверить наличие вспухших кондеров на маме.
В бивосе, обновить его, постараться выключить тротлинг.
Бывало, что портил малину.
Посмотреть, подтянуть, поправить acpi, т.е. сделать его загружаемым с откорректированными ошибками.
Сталкивался на супермикре, при системе х86 (но железо х64), приходилось в ставить hw.acpi.osname="Windows 2001.1", что-бы уменьшить глючность железки. Посмотреть, потестировать своп, если переназначить на файл.
-
- мл. сержант
- Сообщения: 74
- Зарегистрирован: 2011-04-18 21:53:03
Рандомные фризы
от безысходности вчера ночью решил временно поставить диск из сервера в обычный комп с кор 2 квад и 6 гигами оперативы, тоесть запустил всё тоже самое но на другом железе, и о чудо!! на удивление всё действительно прекратилось, нагрузка минимальная, клиенты не отваливаются, сервера не падают, с ночи всё работает отлично уже почти 19 часов, тьфу, тьфу, как бы не сглазить)
у меня теперь есть предположение что у сервера какая то проблема с блоком питания, или может скачки напряжения из розетки, вообще безперебойник есть но я его не стал подключить, подумал что для таких смешных задач он не к чему, как думаете это похоже на правду?
-
- прапорщик
- Сообщения: 496
- Зарегистрирован: 2015-05-25 14:36:32
Рандомные фризы
Возможно, конечно. Но это нужно тщательно проверять. Очень редко, но такое бывает. Если в Ваших условиях есть второй комп, то м.б. переставить на время БП с нормально работающего? Тут жуткая комбинаторика начинается, чтобы найти точку преткновения. Опять-же на сбойном что происходит с охлаждением? М.б. кпт поменять нужно у процессора, ну естественно аккуратно вернув назад радиатор. Сталкивался, что радиатор "косит" и нормально температуру не отбирает. Просто внимательно все посмотреть. Кондеры не забыть все пересмотреть. РазSergoMorello писал(а): ↑2018-10-01 21:45:16есть предположение что у сервера какая то проблема с блоком питания, или может скачки напряжения из розетки,
уже есть высокая вероятность проблемки в железе. Глобальная проблема или нет - это нужно поискать. Скорее всего не глобальная проблема. Где-то банальность.
-
- прапорщик
- Сообщения: 496
- Зарегистрирован: 2015-05-25 14:36:32
Рандомные фризы
P.S. Хотя перечитав заново
подумал, что скорее всего проблема софтовая и нужно смотреть почему память утекает. На новой железке у тебя 6Гиг и их начинает хватать... Значит следует где-то чего-то подкрутить.SergoMorello писал(а): ↑2018-09-29 1:44:13памяти около гигабайта и всё работает нормально, но память постепенно изчезает, но нет процессов которые могли бы столько её использовать, ну и как бы все проблемы начинаются когда мало памяти, да и постоянно дополнительная память берётся со свопа
-
- прапорщик
- Сообщения: 496
- Зарегистрирован: 2015-05-25 14:36:32
Рандомные фризы
P.P.S. Поскольку есть мускул, можно поиграть с его памятью: https://dev.mysql.com/doc/refman/5.5/en/memory-use.html (https://serverfault.com/questions/33052 ... age#330523 и https://serverfault.com/questions/33052 ... mory-usage). Если есть какой-нибудь апач, то тоже https://httpd.apache.org/docs/2.2/misc/perf-tuning.html (https://www.digitalocean.com/community/ ... erformance). Плюс еще посмотреть какой софт крутится и возможно, по дефолту берет больше чем достаточно в текущих условиях и соответственно тоже почитать, потюнить.
-
- проходил мимо
- Сообщения: 5
- Зарегистрирован: 2018-10-02 14:47:37
Рандомные фризы
zfs? скриншоты не вижу, у меня если не нагружать оперативку, ARC кеш может отъесть более 10Гб из 16. А потом я запускаю свои виртуалки и все уходит в своп. Мучился пока не ограничил размер кеша:
sysctl vfs.zfs.arc_max="3221225472"
(3Гб в байтах, и max не может быть меньше чем min)
Т.е. может Ваш сервак несколько часов работает на 1Гб, второй потихоньку уходит под кеш и внезапно БД хочет еще 500Мб (упорядочить записи или что там еще) и тут все в своп и падает.
sysctl vfs.zfs.arc_max="3221225472"
(3Гб в байтах, и max не может быть меньше чем min)
Если бы она тут же освобождала память то без вопросов, хоть 15Гб из 16. При UFS такого не было.Это не нужно. При необходимости она тут же освободит из «занятой»
Т.е. может Ваш сервак несколько часов работает на 1Гб, второй потихоньку уходит под кеш и внезапно БД хочет еще 500Мб (упорядочить записи или что там еще) и тут все в своп и падает.
прогер, админ локалхоста
- novik
- мл. сержант
- Сообщения: 146
- Зарегистрирован: 2018-07-26 23:52:57
Рандомные фризы
Имеет смысл поставить на сервер HDD с тестовой системой и попытаться воспроизвести фризы. Если получится значит точно проблема с железом.SergoMorello писал(а): ↑2018-10-01 21:45:16от безысходности вчера ночью решил временно поставить диск из сервера в обычный комп с кор 2 квад и 6 гигами оперативы, тоесть запустил всё тоже самое но на другом железе, и о чудо!!
Но я только ей и пользуюсь.
«О сколько нам открытий чудных готовит просвещения дух...»™