[FreeBSD] Система подвисает

[Kadafi]

Несколько раз в день система подвисает вообще намертво примерно на минуту-две. При этом интернет работает(NAT), но по SSH на сервер достучаться нельзя, web-сайт на сервере не открывается и невозможно получить/отправить почту.
В чем может быть прична?
Сейчас вот специально подловил этот момент, получилось вот что:
iostat -w1:

Код: Выделить всё

      tty           amrd0             cpu
 tin tout  KB/t tps  MB/s  us ni sy in id
   0  770 15.10 461  6.79  13  0  9  1 78
   0  208 15.95 204  3.17  13  0  8  2 78
   0 1657 15.66 506  7.74   2  0  3  2 93
   0  121 16.08 287  4.50  10  0  6  1 83
   0 2921 16.34 630 10.06   5  0  4  1 89
   0   42 16.62 451  7.32   3  0  3  1 93
   0  101 16.97 446  7.39   2  0  1  0 96
   0  124 15.97 343  5.35   2  0  1  1 96
   0   62 16.00 319  4.99   3  0  3  1 93
   0 5534 15.99 296  4.62   3  0  4  1 92
   0   80 15.98 428  6.68   0  0  1  0 99
   0   59 16.22 428  6.78   3  0  3  1 93
   0  103 16.99 271  4.49   1  0  1  1 97
   0   61 15.97 298  4.65   0  0  1  1 99
   0   71 16.00 366  5.72   0  0  1  1 98
   0 1095 16.16 380  6.00   1  0  1  1 97
   0 2385 16.77 499  8.16   1  0  1  1 97
   0  229 16.52 373  6.01   2  0  1  1 96
   0  808 16.31 370  5.90   1  0  2  1 97
   0  729 16.00 401  6.26   1  0  3  1 96
      tty           amrd0             cpu
 tin tout  KB/t tps  MB/s  us ni sy in id
   0  440 15.99 377  5.89   0  0  2  1 97
   0  226 15.99 341  5.32   0  0  2  1 97
   0    6 16.00 334  5.22   0  0  2  0 97
   0  109 16.31 332  5.29   0  0  1  0 98
   0  126 21.78 597 12.71   0  0  2  2 96
   053579 15.40 474  7.12  14  0 23  2 61
   014555 31.69 304  9.40  14  0  9  0 77
   0 4211 46.24 139  6.27   8  0  4  1 87
   0 2022 13.45  11  0.14   0  0  1  1 98 <------ в этот момент системе полегчало
   0  119  0.00   0  0.00   1  0  0  0 98
   0  119  9.00   6  0.05   1  0  1  0 98
   0  119 128.00   2  0.25   1  0  1  1 98
   0  120  0.00   0  0.00   0  0  0  1 99
   0  119 16.00 151  2.36   1  0  1  1 98
   0  119  0.00   0  0.00   0  0  0  1 99

Система и при более высоких MB/s просто летает, а тут вот тормозит почему-то.
wmstat -w1:

Код: Выделить всё

 procs      memory      page                   disk   faults      cpu
 r b w     avm    fre  flt  re  pi  po  fr  sr am0   in   sy  cs us sy id
 0 5 0  530936 166004 4133   0   0   0 148   0 247 2329 89494 23597 13  9 78
 1 5 1  523124 171084  479   0   0   0 1742   0 425 2893 25910 7963  4  5 91
 0 5 1  516756 176084 2979   0   0 249 1585   0 341 3554 49545 18142  7  7 86
 0 6 0  510180 180732 1957   0   0 1074 1377   0 623 3290 41359 14044  5  5 89
 0 9 0  510988 180272  811   0   0 848 593   0 443 5966 12137 23171  2  3 95
 0 7 0  512304 179628  589   0   0 316 341   0 339 2429 4639 6086  2  2 96
 0 10 0  512656 179352  584   0   0 298 399   0 358 3676 4576 8998  2  4 94
 1 14 0  506380 182484 1018   0   0 424 1673   0 288 3933 14447 26507  3  5 92
 0 15 0  505144 182996  167   0   0 510 272   0 427 3888 1037 13107  0  2 98
 0 11 0  490608 194624 2723   0   0 630 5644   0 428 5964 15505 20873  3  4 93
 0 12 0  491912 193732  385   0   0 234 114   0 271 3130 1385 6430  1  2 97
 0 14 0  491912 193732    1   0   0 511   0   0 298 4418  423 10528  0  1 99
 0 15 0  492696 193172  220   0   0 486  57   0 366 4756  781 11703  0  2 98
 0 3 0  486052 198268  480   0   0 432 1870   0 380 5333 3374 12555  1  2 97
 0 5 0  486044 198716  426   0   0 606 478   0 495 2408 1779 5369  1  2 97
 0 15 0  486576 198428  829   0   0 335 624   0 375 3334 2042 10003  2  2 96
 0 14 0  486752 198348  608   0   0 550 477   0 370 3329 2248 12508  1  2 97
 0 15 0  487296 197980  602   0   0 371 397   0 402 3297 2509 13557  1  4 96
 8 8 0  488404 196724  972   0   0 423 518   0 402 3865 1710 11938  0  3 97
 0 17 0  489812 195652 1161   0   0 427 713   0 334 4360 1946 12457  0  2 97
 0 46 0  512092 183420 25661   0   0 7187 19143   0 334 61669 43652 307207  0  2 97
 0 48 1  518988 180656 1790   0   0 7652 1107   0 332 77337 11265 278491  0  1 98
 procs      memory      page                   disk   faults      cpu
 r b w     avm    fre  flt  re  pi  po  fr  sr am0   in   sy  cs us sy id
 0 49 0  516428 180880    3   0   0   0 143   0 599 2595  689 5242  0  4 96
 0 45 0  549448 169584 24437   0   0  38 19378   0 447 7456 115314 29719 14 21 65
 1 5 0  501216 190224 8914   0   0  29 15856   0 221 4377 16787 10146 15  5 80
 0 3 0  493056 194048 1698   0   0   4 2771   0  41 2675 5934 5354  2  3 95
 0 3 0  493056 194008  747   0   0   0 606   0   0 1120 2633 2290  0  1 99
 1 3 0  491956 194800    3   0   0   1 208   0   6 1695 2422 3216  1  1 98
 0 3 0  491956 194736    0   0   0   0   0   0   1  843  548 1635  1  1 99
 0 3 0  491956 194720    0   0   0   0   0   0   1 2258  514 3898  1  2 97
 0 3 0  491956 194656    0   0   0   0 124   0 148 2055  463 3710  0  1 99
 0 3 0  491956 194640    0   0   0   0   0   0   0 2040  464 3563  0  1 98
 0 3 0  491956 194836    0   0   0   0  61   0 111 1729  534 3148  0  1 99
 0 3 0  491956 194804    0   0   0   0   4   0   1 2059  464 3605  1  1 98
 0 3 0  491956 194772  218   0   0   1 184   0   3 1316 1314 2431  0  1 99
 0 3 0  491956 194740    0   0   0   0   0   0   0 1822  458 3148  0  1 99
 0 3 0  491956 194692  162   0   0   0 134   0   3 1800 1071 3196  0  2 98
 0 3 0  491956 194660    0   0   0   0   0   0   0 1230  480 2188  0  1 98
 1 3 1  490404 194328 3179   0   0   0 2578   0  19 2103 6800 4397  3  2 96
 0 3 0  490032 194412 1741   0   0   1 1542   0  19 2288 27878 5499  1  3 96
 0 3 0  490032 194380  427   0   0   0 335   0   0 1262  978 2360  0  2 98
 0 3 0  490032 194376  427   0   0   0 337   0   0 1385 1151 2572  1  1 98
 0 3 0  490032 194328  424   0   0   0 336   0   1 1062  957 2013  1  1 98
 0 3 0  489224 194660  590   0   0   0 564   0   0 1946 1519 3506  0  1 99

Диски стоят очень быстрые 4xSeagate SCSI 15000 76 Gb @ Raid 10. Неужто не хватает производительноси дисковой подсистемы?
Можно как-то глянуть какое именно из приложений грузит диски? Или не в них дело?

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[openx]

Такая же проблема иногда бывает. Вводишь к примеру mc или mcedit и куришь минуту
Пока не пойму где загвоздка, загрузка проца 1,4%

[Alex Keda]

попробуй шапку top`а выцепить в этот момент....

[schizoid]

думаю шо ТОП не поможет. в это время обычно он не обновляется
у мну таже херь с одним из серваков, но не на фре, а на генте. Но када у мну "подвисает", сервисы сетевые все работают (а то б давно на реинстал зашуршал бы), "подвисает" иногда мс, иногда просто вроде вот команду набрал, тарц на выполнение, и болт, ниче, ни кнтрл+c/z ничен е помагает.
куда копать - хз.
ТОП не помог.
при чем без какой-либо переодичности. по началу вообще по несколько раз в день такое было, а ща вот бывает шо и неделю может нормуль проработать... хз в общем.

[manefesto]

Не знаю как на фре, но на линухе такая же фигня была, и самый прикол...что всё это добро висло от того что этот этом комп подключал виндовые шары, а после того как виндовая машина выключалась, то система всё равно пыталась восстановить соединение...такая вот ерунда происходила.

[Kadafi]

Еле поймал top:

Код: Выделить всё

last pid: 16828;  load averages:  0.28,  0.24,  0.29                                                                             
134 processes: 1 running, 133 sleeping
CPU states:  0.0% user,  0.0% nice,  0.5% system,  0.6% interrupt, 98.9% idle
Mem: 403M Active, 1154M Inact, 248M Wired, 80M Cache, 112M Buf, 115M Free
Swap: 2048M Total, 144K Used, 2048M Free

  PID USERNAME   THR PRI NICE   SIZE    RES STATE  C   TIME    CPU COMMAND
69863 mysql       19  20    0   269M   103M kserel 3  18:37  0.00% mysqld
21218 flowtools    1 -16    0  2508K  1592K wdrain 3  15:42  0.00% flow-capture
44854 nagios       7  20    0  3824K  2724K kserel 0  10:11  0.00% nagios
29814 flowtools    1 -16    0  2508K  1596K wdrain 1   8:01  0.00% flow-capture
  767 root         1  96    0  5488K  4252K select 0   5:18  0.00% snmpd
61826 clamav       1   4    0 47752K 45028K accept 0   1:16  0.00% clamd
74421 dhcpd        1  96    0  2340K  1784K select 2   1:05  0.00% dhcpd
12686 root         1  -4    0  1480K   980K flswai 0   0:41  0.00% syslogd

Кнопка m

Код: Выделить всё

last pid: 28684;  load averages:  0.79,  0.48,  0.39                                           
174 processes: 1 running, 171 sleeping, 2 zombie
CPU states:  0.0% user,  0.0% nice,  0.8% system,  0.6% interrupt, 98.6% idle
Mem: 671M Active, 892M Inact, 249M Wired, 99M Cache, 112M Buf, 90M Free
Swap: 2048M Total, 328K Used, 2048M Free

  PID USERNAME    VCSW  IVCSW   READ  WRITE  FAULT  TOTAL PERCENT COMMAND
27999 www            0      0      0      0      0      0   0.00% php
69863 mysql        271     48      0     36      0     36   3.33% mysqld
28332 www         1731      3      0      2      0      2   0.18% rrdtool
 7965 nagios       130     11      0      0      0      0   0.00% nagios
61826 clamav         0      0      0      0      0      0   0.00% clamd
  767 root           2      0      0      0      0      0   0.00% snmpd
12050 root          11      0      0      0      0      0   0.00% dovecot
70583 root          25     15      0      0      0      0   0.00% pdns_server
12686 root         567      1      0      0      0      0   0.00% syslogd
70608 mailnull       0      0      0      0      0      0   0.00% exim-4.67-0
12060 mailnull      11      1      0      0      0      0   0.00% pop3-login

[Alex Keda]

Код: Выделить всё

ipfw -d show

в логах чё - messages и прочия?

[Kadafi]

Код: Выделить всё

ipfw -d show

в логах чё - messages и прочия?

В логах пусто.

Кажется понял в какой момент зависоны происходят - когда мускуль пытается писать данные на диск.
Это можно увидеть в топе в колонке WRITE + видно, что шелл в это время висит:

Код: Выделить всё

  PID USERNAME    VCSW  IVCSW   READ  WRITE  FAULT  TOTAL PERCENT COMMAND
46224 root       12857     22      0      0      0      0   0.00% csh
69863 mysql       1683    329      0    214      0    214   2.11% mysqld

Особо большая база только одна - dspam'а, весит порядка гигабайта. Получается, что при большом потоке писем идет интенсивное обновление базы данных и мускуль создает высокую нагрузку на диски, что и подвешивает систему.
Ничего так, 10 рейд из 15к дисков просадить

[Alex Keda]

памяти ему больше отдай

[Vitaly]

неплохо бы базу dspam почистить от нейтральных и устаревших по времени сигнатур
да и вообще чистить раз в неделю по крону эти самые сигнатуры и делать OPTIMYZE TABLE