Perl Out of memory!

[iye]

Доброго времени суток!
Суть проблемы: Запускаю скрипт который обрабатывает кучу бинарных файлов со статистикой. Скрипт как и положено ему - запускается и начинает активно хавать память. Когда заканчивается оперативка пишет Out of memory! И начинает хавать своп. И все бы хорошо но вот когда общий обем памяти (физическая + своп) достигает ~800 Мб скрипт тихо умирает без матов. Почитал гуглю на эту тему. Выяснил что есть в ядре хитрые цифири которые определяют максимальный размер ресурсов. Точнее вот тут: http://hyperrate.com/topic-view-thread.php?tid=2719 Дык вот. как рассчитать вот эти самые : kern.maxbcache, kern.maxtsiz, kern.dfldsiz, kern.maxdsiz, kern.dflssiz, kern.maxssiz and kern.sgrowsiz. так чтобы не пришлось потом к машине ехать ? На машине 512 мб рамы и 1.5 Гб своп. Заранее благодарен за ответы.

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[zingel]

Код: Выделить всё

ulimit -c 10000

[iye]

Не помогло. И я что то не понимаю при чем тут количество одновременно открытых файлов и то что процесс превышает лимит по памяти ?

[ProFTP]

покажите то чт овы делаете?

[zingel]

Код: Выделить всё

systcl -a | gremp kern | grep max

[hizel]

рассмотреть вариант изменения алгоритма работы программы?
всетаки скриптовой язык, проще изменить

[zg]

со статистикой. Скрипт как и положено ему - запускается и начинает активно хавать память.

странный скрипт.... у меня для обработки гигового лога (привязки типа трафика и договора к ip-получателю) требуется несколько (!) килобайт, а сама обработка занимает несколько секунд. При этом неважно какого размера будет лог. Всё реализовано на С.

[iye]

1) Скрипт писан не мной и он очень сложен, в котором встречаются бинарные вставки на С++. Поэтому переписывать все это у меня не возникает никакого желания. Да и писал все это человек, которому как кодеру я вполне доверяю.
2)

systcl -a | gremp kern | grep max

Код: Выделить всё

kern.maxvnodes: 35524
kern.maxproc: 4020
kern.maxfiles: 8040
kern.argmax: 65536
kern.maxfilesperproc: 7236
kern.maxprocperuid: 3618
kern.ipc.maxsockbuf: 262144
kern.ipc.somaxconn: 128
kern.ipc.max_linkhdr: 16
kern.ipc.max_protohdr: 40
kern.ipc.max_hdr: 56
kern.ipc.max_datalen: 156
kern.ipc.msgmax: 16384
kern.ipc.shmmax: 33554432
kern.ipc.mcl_pool_max: 0
kern.ipc.maxsockets: 8040
kern.kq_calloutmax: 4096
kern.maxusers: 250

[Alex Keda]

я бы рекомендвал увеличить количество рамы на машине.
или переписать скрипт.
==========
300 мегов свопа на машине с 512 рамы - это не работа.

[ProFTP]

просто так не может быть ничего

[hizel]

ProFTP как бэ намекает, что сделает из этого скрипта конфетку забесплатно

[ProFTP]

ProFTP как бэ намекает, что сделает из этого скрипта конфетку забесплатно

нет, хотел потелепатировать...

[iye]

300 мегов свопа на машине с 512 рамы - это не работа.

А где написано про 300 мегов свопа ? Своп 1.5 Гб

просто так не может быть ничего

угу .. не может .. вот и копаю

ProFTP как бэ намекает, что сделает из этого скрипта конфетку забесплатно

Мне гараздо интереснее разобраться где вилы )

[Alex Keda]

300 мегов свопа на машине с 512 рамы - это не работа.

А где написано про 300 мегов свопа ? Своп 1.5 Гб

между строк.
процесс умирает на 800 мегах.
значит 800-500=300 мегов процесса находиться в свапе.
у меня на серверах когда две сотни мегабайт в свапе - я суетиться начинаю, при том что на сервере 4 гига рамы.

[iye]

Машина вполне себе адекватная. В рабочем режиме она хавает не более 100 Мб рамы и все себе вполне летает. А чтобы посчитать итоговые цифирки раз в месяц - можно и подождать. На ней скорость не необходима.
Блин .. где еще ограничения копнуть ... и вот что странно ... до недавнего времени когда выполнялся скрипт и начинал заполнять своп надписи Out of memory! не вылазило ... может в перле есть какие то хитрые ограничения ? Гугль мне на эту тему ничего не рассказал. В login.conf все ограничения стоят в unlimited.

[iye]

Устану постить .. ладно пойду куплю памяти раз идей больше нет.

[hizel]

а идей больше и не будет
смысл увеличивать лимит памяти для процесса если он по самые гланды в свопе

[zg]

Устану постить .. ладно пойду куплю памяти раз идей больше нет.

Скрипт писан не мной и он очень сложен, в котором встречаются бинарные вставки на С++. Поэтому переписывать все это у меня не возникает никакого желания. Да и писал все это человек, которому как кодеру я вполне доверяю.

я бы так не доверял, последний раз когда я сталкивался с биллингом на перле, там вся обработка была сделана на массивах идиотизм полнейший

выложи кусок скрипта, можно не весь

[hizel]

что то я вас не понял
я што же наезд на перл !!?
или всетаки на идиотов?

[zg]

или всетаки на идиотов?

я когда плохо о перле говорил?

[ProFTP]

если на пхп поставить 8Мб в пхп.ини, то он напишет всегда, по-моиму, что памяти не хватило.

если я правильно понял, то mod_perl работает? мало информации вообще

[zg]

если на пхп поставить 8Мб в пхп.ини, то он напишет всегда, по-моиму, что памяти не хватило.

у меня движок кушает в пике 2метра, на сайте постоянно загружены полтыщи разделов, ограничение стоит по-моему в 16метров, так что не надо

если я правильно понял, то mod_perl работает? мало информации вообще

наврядли мод_перл, там биллинг, серверная часть, как я понимаю обработка логов.

[iye]

Вы хочите кода. Вот нате вам кусок из генерации отчета.

Код: Выделить всё

$message_text .= $owner_id." ".$owner_data::name{$owner_id}."\n";
    @ip_list = keys %$mon_total;
    $need_ip_total = $#ip_list>0;
    if ($need_ip_total) {
        $ip_total[0] = new Math::BigInt 0;
        $ip_total[1] = new Math::BigInt 0;
        $ip_total[2] = new Math::BigInt 0;
        $ip_total[3] = new Math::BigInt 0;
    }
    foreach $ip (@ip_list) {
        $message_text .= "        ".$ip.": ".$mon_total->{$ip}->[2]."\n";
        if ($need_ip_total) {
            $ip_total[0] += $mon_total->{$ip}->[0];
            $ip_total[1] += $mon_total->{$ip}->[1];
            $ip_total[2] += $mon_total->{$ip}->[2];
            $ip_total[3] += $mon_total->{$ip}->[3];
        }
    }
    $message_text .= "        Итого: ".$ip_total[2]."\n" if $need_ip_total;

[zg]

$mon_total->{$ip}->[0];

ну и не мудрено, что памяти не хватает, ваш программер вместо того, чтобы взвалить работу с огроменными массивами на мускул, решил сделать её на перле и очень зря, перл кушает горзадо больше памяти чем мускул на тех же таблицах.

Тут нужно делать всю обработку данных на временных таблицах муси, хоть heap, хоть myisam, но никак не на перле. Можешь, конечно оперативу растить, но это путь в никуда. Делать надо на мускуле, перл юзать только как связку.

[iye]

Все это понятно. Но вот я одного понять не могу - если своп не полный - то почему в него до предела нельзя данные пихать а ?