High System CPU after apache restart

[madmanz]

Привет!

Помогите разобраться с проблемой. При перезапуске апача, резко возрастает использование System и машина начинает тормозить. Пока не перезапустишь mysql.

Машина обслуживает три динамических сайта (скрипты на пхп и перле) которые работают с мусклем. Использование канала порядка 70-80мбит.
Во время возрастания нагрзуки - нагрузки на мускуль судя по processlist и mytop нет.
Данные отдаются с zfs раздела созданного поверх mfid массива на SAS дисках.

Конфиг:

FreeBSD 9.0-RELEASE
CPU: Intel(R) Xeon(R) CPU E5630 @ 2.53GHz (2533.48-MHz K8-class CPU)
real memory = 34359738368 (32768 M

B)

Код: Выделить всё

# mfiutil show volumes
mfi0 Volumes:
  Id     Size    Level   Stripe  State   Cache   Name
 mfid0 (  278G) RAID-1      64k OPTIMAL Enabled  <os>
 mfid1 (  557G) RAID-1      64k OPTIMAL Reads    <data>

/boot/loader.conf:
zfs_load="YES"
vfs.zfs.arc_max=8G
vfs.zfs.vdev.max_pending=32
vfs.zfs.txg.timeout="5"
kern.ipc.nsfbufs=131072
net.inet.tcp.tcbhashsize=4096
net.inet.tcp.syncache.hashsize=1024
net.inet.tcp.syncache.bucketlimit=100
net.inet.tcp.hostcache.hashsize=16384
net.inet.tcp.hostcache.bucketlimit=100
net.inet.tcp.hostcache.cachelimit=30720

/etc/sysctl.conf:
security.bsd.see_other_uids=0
kern.ipc.shm_use_phys=1
net.inet.tcp.delayed_ack=0
net.inet.tcp.drop_synfin=1
net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1
kern.maxvnodes=3000000
kern.maxfiles=524288
kern.maxfilesperproc=131072
kern.ipc.nmbjumbop=102400
kern.ipc.maxsockets=819200
kern.ipc.somaxconn=8192
kern.ipc.nmbclusters=524288
net.inet.icmp.icmplim=3000
net.inet.tcp.recvspace=1048576
net.inet.tcp.sendspace=1048576
net.inet.tcp.nolocaltimewait=0
net.inet.ip.portrange.randomized=0
net.inet.ip.portrange.first=1024
net.inet.ip.intr_queue_maxlen=4096
vfs.ufs.dirhash_maxmem=534689280
net.inet.tcp.maxtcptw=163840
net.inet.tcp.hostcache.expire=900
net.inet.sctp.pcbhashsize=1024
net.inet.flowtable.enable=0
vm.pmap.shpgperproc=400
vm.pmap.pv_entry_max=23655032
kern.ipc.maxsockbuf=67108864
net.inet.tcp.sendbuf_max=67108864
net.inet.tcp.slowstart_flightsize=32
net.inet.tcp.mssdflt=1460

Подскажите как выяснить откуда такой system и как с его можно побороть?

Спасибо

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Alex Keda]

муся на zfs живёт?
незнаю как щас, а раньше она на нём очень плохо жила...

[madmanz]

нет, мускуль живет на первом массиве на ufs. на zfs только данные (картинки, скрипты)

[madmanz]

апач стоит в связке с нгинкс. нгинкс отдает статику, апач - пхп.

apache-2.2.22_5
nginx-1.0.12_1
PHP 5.2.17

глобальные настройки нгинкса:

Код: Выделить всё

worker_processes 16;
worker_priority -10;
worker_rlimit_nofile 16384;
timer_resolution 100ms;

events {
  worker_connections 8196;
  use kqueue;
}

http {
  server_names_hash_bucket_size 128;
  sendfile on;
  tcp_nodelay on;
  tcp_nopush on;
  aio sendfile;
  read_ahead 128k;
  gzip off;
  proxy_buffering off;
  server_tokens off;
  ignore_invalid_headers on;
  reset_timedout_connection on;

на данный момент все логи выключены. ситуация с системой при перезагрузке апача не изменилась.

[madmanz]

Код: Выделить всё

my.cnf:
[mysqld]
skip-external-locking
skip-name-resolve
max_connect_errors=2048
max_connections=2048
key_buffer_size=512M
join_buffer_size=1024M
tmp_table_size=2048M
max_heap_table_size=4096M
sort_buffer_size=256M
myisam_sort_buffer_size=128M
table_cache=32768
max_allowed_packet=4M
query_cache_size=128M
query_prealloc_size=256M
query_cache_limit=32M
read_rnd_buffer_size=128M
read_buffer_size=512K
long_query_time=10
thread_cache_size=128
thread_cache=128
thread_concurrency=8
bind-address=127.0.0.1
wait_timeout=14400
log-queries-not-using-indexes=true
log-slow-queries=/usr/home/mysql/log-slow-queries.log

[manefesto]

убри пока тюнинг mysql
вообще такая ситуация происходит если очень много идет запросов к mysql, а он не справляется
огранич время выполнения запроса

[madmanz]

тюнинг мускля убирал - еще хуже становится. во время проблемы - коннектов на мускуль не много. порядка 20-30 в целом. зато есть дико растущий system который судя по топу жрется процами, падение прерываний на bce и жутко тормозящая машина.

[madmanz]

отказался от zfs в пользу ufs и перешел на 5.5 мускуль. ситуация не изменилась. будут у кого какие идеи еще? буду благодарен.