Вообщем и целом. Идет перестройка. И вместо двух продакшенов серверов отвечает только один.
И на этом продакшене одновременно живет и клиент и сервер гластера(так надо, если надо обьясню позже).
Живет себе, живет, и вдруг начинает гластер жрать память и проц.
На серваке, забыл сказать живет связка nginx+passenger(портал написан на Ruby)
И теперь смотря топ вижу такую картинку
Код: Выделить всё
op - 19:20:56 up 7 days, 16:33, 2 users, load average: 5.48, 5.77, 5.71
Tasks: 235 total, 1 running, 234 sleeping, 0 stopped, 0 zombie
Cpu(s): 5.9%us, 3.2%sy, 0.0%ni, 77.2%id, 13.2%wa, 0.1%hi, 0.5%si, 0.0%st
Mem: 12299168k total, 12233260k used, 65908k free, 377752k buffers
Swap: 6094840k total, 1498404k used, 4596436k free, 45104k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
4005 root 15 0 1549m 1.3g 1072 S 21.3 11.3 2376:40 glusterfsd
17688 212adm 15 0 458m 161m 6172 S 20.9 1.3 71:04.07 ruby Код: Выделить всё
+nmon-12c------[H for help]---Hostname=srv-4-1------Refresh= 2secs ---19:22.45------------------------------------------------------------------------------+
| Disk I/O -----(/proc/diskstats)--------all data is Kbytes per second--------------------------------------------------------------------------------- |
|DiskName Busy Read WriteKB|0 |25 |50 |75 100| |
|sda 99% 896.7 0.0|RRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRR|> |
|sda1 0% 0.0 0.0|> | |
|sda2 99% 896.7 0.0|RRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRR|> |
|dm-0 99% 898.7 0.0|RRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRR|> |
|dm-1 0% 0.0 0.0|> |
Код: Выделить всё
[admr@srv-4-1 glusterfs]$ tail -f mnt-glusterfs.log
[2010-08-24 19:19:49] W [fuse-bridge.c:521:fuse_entry_cbk] glusterfs-fuse: 147800310: MKDIR() /123.ua/cache/var/www/123.ua/releases/20100820071916/partial_cache/views/filters/123.ua/flora-and-fauna/ru/animals/all.amphibia.ukraina.pigs.media-no.currency-USD => -1 (Too many links)
[2010-08-24 19:19:49] W [fuse-bridge.c:521:fuse_entry_cbk] glusterfs-fuse: 147800343: MKDIR() /123.ua/cache/var/www/123.ua/releases/20100820071916/partial_cache/views/filters/123.ua/flora-and-fauna/ru/animals/all.amphibia.ukraina.pigs.media-no.currency-USD => -1 (Too many links)Код: Выделить всё
[admr@srv-4-1 glusterfs]$ tail -f etc-glusterfs-glusterfsd.vol.log
[2010-08-24 19:21:06] E [posix.c:1560:posix_mkdir] posix1: mkdir of /123.ua/cache/var/www/123.ua/releases/20100820071916/partial_cache/views/filters/123.ua/flora-and-fauna/ru/animals/ukraina.dogs.poodle.galgo-espanol-spanish-greyhound.sell failed: Too many links
[2010-08-24 19:21:06] E [posix.c:1560:posix_mkdir] posix1: mkdir of /123.ua/cache/var/www/123.ua/releases/20100820071916/partial_cache/views/filters/123.ua/flora-and-fauna/ru/animals/ukraina.dogs.poodle.galgo-espanol-spanish-greyhound.sell failed: Too many links