Подвисает сервер

Есть и такой ОС.

Модератор: weec

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
skeletor
майор
Сообщения: 2548
Зарегистрирован: 2007-11-16 18:22:04

Подвисает сервер

Непрочитанное сообщение skeletor » 2012-10-23 15:20:10

Есть сервер Debian 6, ядро 2.6.32-5-amd64 .

Параметры сервера CPU (Intel Core i7-3770 CPU @ 3.40GHz 8 ядер), Памяти 16 Гб, 2 Диска в RAID0 (2 x 3 TB SATA 6 Gb/s HDD 7200 rpm (Software-RAID 1)) + swap 32 Gb
Другими словами Dedicated Server EX 4 на http://www.hetzner.de

На нём поднят nginx+php+mysql.

Памяти (потребляется 7гб из 16), процессора и дисков хватает с лихвой. Но где-то через пару дней что-то выедает почти всю память (свободно остаётся где-то 500 мб). А ещё через некоторое время сервер просто уходит в себя: сеть недоступна, Cron-задания невыполняются, то есть наступает полный ступор.
Перегрузить через панель управления - не получается. Только через тикет (они сами каким-то ручным образом его перегружают), при этом, в ребут по логам уходит вроде бы корректно.

Поддержка в hetzner отвечает стандартными фразами - понятия не имеем, и можем взять сервер на диагностику на сутки. И им по-барабану, что сервер в продакшине.

Поставил cacti, думал смогу уловить момент, но LA, mem - не скакали в тот момент. Хотя агент snmp мог это и не уловить.

Отключил сейчас все изменения в sysct.conf, limit.conf и пока наблюдаю.

Может кто с таким сталкивался? Остался ещё 1 вариант - обновить ядро до версии 3.2, если опять зависнет.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

FiL
ст. лейтенант
Сообщения: 1374
Зарегистрирован: 2010-02-05 0:21:40

Re: Подвисает сервер

Непрочитанное сообщение FiL » 2012-10-23 16:16:25

2 Диска в RAID0 (2 x 3 TB SATA 6 Gb/s HDD 7200 rpm (Software-RAID 1))
Так какой raid-то? :)

А в остальном - ну так если что-то выедает всю память, то смотри что это "что-то" и его пинай.

Аватара пользователя
skeletor
майор
Сообщения: 2548
Зарегистрирован: 2007-11-16 18:22:04

Re: Подвисает сервер

Непрочитанное сообщение skeletor » 2012-10-23 16:20:04

RAID1 конечно. Реально неясно кто выжирает: ни top/htop ответа не дают.

Аватара пользователя
Neus
капитан
Сообщения: 1946
Зарегистрирован: 2008-09-08 21:59:56

Re: Подвисает сервер

Непрочитанное сообщение Neus » 2012-10-24 9:14:59

покури
vm.overcommit_memory
vm.overcommit_ratio
мож помогет
есть мнение что для СУБД vm.overcommit_memory=2 надо

Аватара пользователя
skeletor
майор
Сообщения: 2548
Зарегистрирован: 2007-11-16 18:22:04

Re: Подвисает сервер

Непрочитанное сообщение skeletor » 2012-10-24 13:01:23

Спасибо, не слышал о таких параметрах, обязательно попробую.

Аватара пользователя
skeletor
майор
Сообщения: 2548
Зарегистрирован: 2007-11-16 18:22:04

Re: Подвисает сервер

Непрочитанное сообщение skeletor » 2012-10-24 16:59:36

Очень странно другое:

Код: Выделить всё

# vmstat 1
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa
 0  0      0 498512 193808 7487920    0    0     9    10   45    2  2  1 97  0
 2  0      0 498552 193808 7487920    0    0     0     6  526  696  1  0 99  0
 2  0      0 498460 193816 7487924    0    0     0   202  580 4829  3  0 96  0
 0  0      0 497576 193816 7487928    0    0     0    20  642 1285  6  1 93  0
 0  0      0 497216 193816 7487932    0    0     0     8  462 2894  2  0 98  0

# monit status all | tail -8
System 'server.com.ua'
  status                            running
  monitoring status                 monitored
  load average                      [0.48] [0.31] [0.22]
  cpu                               3.0%us 0.3%sy 0.1%wa
  memory usage                      7984884 kB [49.4%]
  data collected                    Wed Oct 24 16:56:41 2012
Почему через vmstat и через monit разные показания?

FiL
ст. лейтенант
Сообщения: 1374
Зарегистрирован: 2010-02-05 0:21:40

Re: Подвисает сервер

Непрочитанное сообщение FiL » 2012-10-24 18:59:26

где разные?

Аватара пользователя
skeletor
майор
Сообщения: 2548
Зарегистрирован: 2007-11-16 18:22:04

Re: Подвисает сервер

Непрочитанное сообщение skeletor » 2012-10-25 14:19:55

Количество свободной памяти и количество используемой.
vmstat - показывает free 498512
monit - показывает memory usage 7984884 kB
при общем количество памяти 16 гб

Что сделал
- обновил ядро до 3.2
- отключил полностью swap
- отключил всё в sysctl
- изменил распределение памяти:
vm.overcommit_ratio=100
vm.overcommit_memory=2

Пока наблюдаю.

FiL
ст. лейтенант
Сообщения: 1374
Зарегистрирован: 2010-02-05 0:21:40

Re: Подвисает сервер

Непрочитанное сообщение FiL » 2012-10-25 21:08:59

skeletor писал(а):Количество свободной памяти и количество используемой.
vmstat - показывает free 498512
monit - показывает memory usage 7984884 kB
при общем количество памяти 16 гб
Вроде как с точки зрения Monit кеш - это не used.

Аватара пользователя
skeletor
майор
Сообщения: 2548
Зарегистрирован: 2007-11-16 18:22:04

Re: Подвисает сервер

Непрочитанное сообщение skeletor » 2012-10-26 12:29:16

Да, именно поэтому я понял, что память кешируется, а не "течёт" куда-то.

ASY
мл. сержант
Сообщения: 130
Зарегистрирован: 2011-02-21 12:50:03

Re: Подвисает сервер

Непрочитанное сообщение ASY » 2012-11-11 1:07:10

skeletor писал(а):Поставил cacti, думал смогу уловить момент, но LA, mem - не скакали в тот момент. Хотя агент snmp мог это и не уловить.
Можно collectd прямо на сервер попробовать поставить...

Аватара пользователя
skeletor
майор
Сообщения: 2548
Зарегистрирован: 2007-11-16 18:22:04

Re: Подвисает сервер

Непрочитанное сообщение skeletor » 2012-11-12 13:19:16

Спасибо, попробую.