Perl Out of memory!

[zg]

да тут всё просто - количество элементов массива ограничено, если данных действительно много, то при копировании массива или при частой его обработке перл может вылетать. Надо сказать, что много - это несколько миллиардов. Я такие обработки на awk делаю, и заранее подсчитываю максимальное количесвто элементов массива, чтобы оно не превышало несколько тысяч.

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Alex Keda]

потому что одному процессу нельзя отдать всю память.
надо пилить переменные ядра на эту тему.
по дефолту стоит ограничение в 512 мегабайт на процесс

[iye]

Добавление памяти (как я подозревал) не помогло. Где то (либо в системе в системе, либо как уже говорилось в массиве перла) стоит ограничение. Кто нить может подсказать как отдебажить сию ситуацию ?

[zingel]

отдавать можно, но тогда стоит менять ARG_MAX, сделать это будет очень сложно ибо оно жестко зашито в ядре, хотя можно ковырнуть unistd.h, но к хорошим последствиям это не приведёт, если хочется эксперементов с POSIX.1 то прочитайте сперва

Код: Выделить всё

man sysconf
man fpathconf

[ProFTP]

потому что одному процессу нельзя отдать всю память.
надо пилить переменные ядра на эту тему.
по дефолту стоит ограничение в 512 мегабайт на процесс

должно свапить сильно и выполняться минут 30

[Alex Keda]

Код: Выделить всё

more /boot/loader.conf
# data stack
kern.maxdsiz="1073741824"
kern.dfldsiz="1073741824"
kern.maxssiz="1073741824"

это я прописывал на одном сервере.
чтобы отдать мусе больше 512 памяти.
с цификами надо играть очень аккуратно, предварительно прочитав man boot и поняв что там написано - иначе не подымешь его потом.
или иметь диск френзи под рукой.

[zingel]

если хочется уж совсем креативного решения, я вот так делал, но потом это стало ненужно ввиду балансирования(расчет на 1GB RAM) :

Код: Выделить всё

options KVA_PAGES=512
options KSTACK_MAX_PAGES=32
options MAXFILES=65536
options MAXUSERS=12
options SHMALL=65536
options SHMMNI=190
options SHMMAXPGS=4096 
options SHMMAX=2097152
options SHMMIN=2 
options SHMMNI=256 
options SHMSEG=256 
options SYSVSEM 
options SEMMAP=512 
options SEMMNI=512 
options SEMMNS=1024
options SEMMNU=512 
options SEMMSL=256 
options SEMOPM=256 
options SEMUME=64
options MAXDSIZ="(1024*1024*1024)"
options DFLDSIZ="(256*1024*1024)"
options MAXSSIZ=(128UL*1024*1024)
options BKVASIZE=32768
options DFLTPHYS=(128*1024)
options MAXPHYS=(512*1024)
options NSFBUFS=704
options NSWBUF_MIN=480
options MSGMNB=4098   
options MSGMNI=82
options MSGSEG=4098
options MSGSSZ=24
options MSGTQL=41       
options NBUF=1024

сразу хочется отметить, что если после применения этих параметров у Вас чего поломается, меня прошу не винить

[iye]

Алилуййя! Оно заработало вот с этими параметрами.

more /boot/loader.conf
# data stack
kern.maxdsiz="1073741824"
kern.dfldsiz="1073741824"
kern.maxssiz="1073741824

Спасибо всем огромное )

[zg]

Оно заработало вот с этими параметрами.

пока заработало

[Alex Keda]

вы

Код: Выделить всё

man boot

прочли?
такие эксперименты могут очень плохо кончиться.