syslogd: sendto: No buffer space available

[gmn]

Всем привет.

Собственно, чем вызвано %subj ?
"syslogd: sendto: No buffer space available"

FreeBSD 6.2-RELEASE-p5
Через syslogd access.log сквида сбрасывается на другой сервер. И там пишется в базу.

Появилась ошибка на новом сервере (после переезда). На старом все при таком подходе работало и ошибок небыло.
Старый сервер - FreeBSD 6.2-RELEASE #1

Разница только в "p5 и без оного".
Ну и в железе (на старом П4 с HT, 2 Гб ОЗУ; на новом 2-х ядерный, 4 Гб ОЗУ и диски другие ...).

Если кто может подсказать причину - помогите плиз. Вроди не смертельно, но раздражает.

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Alex Keda]

а не падает?
========
у меня после обновления до этого p5 при работе с NFS (но каюсь - дикие условия - гигабитный интерфейс лоб-в-лоб соединён со 10-ти мегабитной исовой сетевухой) стала самопроизводльно перезагружаться.
так вот симтомы похожи - пока скорость работы мелкая - ничё. с 10->1000 тоже прекрасно, а вот если с 1000->10 и скрость на переделе 10-ки - то пиздец. Машина с гигабитом просто ребутается.
щас пытаюсь отловить симтомы и точные условия для воспроизвдения - и буду слать багрепорт....
========
кстати - тоже интеерсно - пока не поставил на машине с 10-кой проц помощней - было совсем редко, как поставил - стало постояноо. - видно стала пакетики быстрей разгребать

[gmn]

а не падает?
========

Да, нет. Тьфу-тьфу.
А то падение базы данных не смертельно.
А вот падение прокси - паника
---
Будем ждать -p6 ...

[gmn]

Уже и p7 был ... А проблема остается.
"перерыл" весь инет - ответа не нашел.
netstat -ssp udp
udp:
605133 datagrams received
1318 with no checksum
693 dropped due to no socket
2860 broadcast/multicast datagrams dropped due to no socket
601580 delivered
8095122 datagrams output

Хватает сокетов.

Код: Выделить всё

kern.ipc.maxsockets=25600

В рабочее время "kern.ipc.numopensockets: 5208".

Код: Выделить всё

vm.zone:
ITEM            SIZE     LIMIT     USED    FREE  REQUESTS
socket:          356,    25608,   5150,   1582,  6196209

UDP интенсивно используется на сервере bind9 и syslogd.
bind9 - потому что secondary NS + Squid, который резолвит много запросов ...
А syslogd - потому что Squid пишет свой access.log на него, а он отдает удаленному серверу тоже на syslog.

Т.е. имеем на проблемном сервере.
в squid.conf:

Код: Выделить всё

access_log syslog:LOG_LOCAL7 squid

в syslog.conf:

Код: Выделить всё

local7.*      @10.0.1.24

Опции запуска syslogd:

Код: Выделить всё

syslogd_enable="YES"
syslogd_program="/usr/sbin/syslogd"
syslogd_flags="-s -n"

"Удаленный сервер" в локалке принимает поток:

Код: Выделить всё

local7.*       | exec /usr/local/gwsquid.pl.run
local7.*       /var/log/gwsquid/access.log

Скрипт сбрасывает с базу, и параллельно еще за текущий день лог пишется в файл.

P.S. На старом сервере, тоже с гигабитной карточкой Intel (принудительно выставлена скорость в 100 Мбит/сек) работало нормально.
Разница только в Freebsd 6.2 release и 6.2 p7 (начались глюки с p5).

P.P.S. Где можно посмотреть, что менялось в p1,p2,p3 ...? Буду благодарен за конкретную ссылку.

И еще нашел ссылку на ругань на bind 9-й - http://ospf-ripe.livejournal.com/1601.html
Но ведь до переезда на новый сервер тоже он был. Только версия старее ...

[Alex Keda]

Код: Выделить всё

sysctl -a | grep buf

в студию

[gmn]

Смотрел не раз. Ничего интересного не нашел ...
Вот:

Код: Выделить всё

kern.ipc.maxsockbuf: 2097152
kern.ipc.sockbuf_waste_factor: 8
kern.ipc.nsfbufs: 8704
kern.ipc.nsfbufspeak: 5
kern.ipc.nsfbufsused: 1
cluster_save buffer     0     0K       -   168580  32,64
   BIO buffer     1     2K       -     1486  2048
     mbuf_tag     0     0K       -        2  32
         sbuf     0     0K       -     4730  16,32,64,128,256,512,1024,2048,4096
       devbuf   533  1760K       -      534  16,32,64,128,256,512,1024,2048,4096
       aacbuf   127    21K       -      298  32,128,512
kern.msgbuf:
kern.msgbuf_clear: 0
kern.consmsgbuf_size: 8192
mbuf_jumbo_1:  16384,        0,      0,      0,        0
mbuf_jumbo_9:   9216,        0,      0,      0,        0
mbuf_jumbo_p:   4096,        0,      0,      0,        0
mbuf_cluster:   2048,   131070,  15415,    685,  1773960
mbuf:            256,        0,  15425,   3040, 308082647
mbuf_packet:     256,        0,  15031,   3434, 203183215
vfs.runningbufspace: 0
vfs.bufspace: 117211136
vfs.maxbufspace: 117932032
vfs.bufmallocspace: 2048
vfs.maxmallocbufspace: 5863833
vfs.lobufspace: 117211136
vfs.hibufspace: 117276672
vfs.bufreusecnt: 7155
vfs.buffreekvacnt: 1
vfs.bufdefragcnt: 0
vfs.dirtybufferflushes: 0
vfs.altbufferflushes: 0
vfs.numdirtybuffers: 915
vfs.lodirtybuffers: 909
vfs.hidirtybuffers: 1819
vfs.dirtybufthresh: 1637
vfs.numfreebuffers: 6269
vfs.lofreebuffers: 404
vfs.hifreebuffers: 808
vfs.getnewbufcalls: 4677787
vfs.getnewbufrestarts: 1
vfs.reassignbufcalls: 5702129
net.bpf.bufsize: 4096
net.bpf.maxbufsize: 524288
debug.sizeof.buf: 328
security.bsd.unprivileged_read_msgbuf: 1

[Alex Keda]

файрволл есть?

Код: Выделить всё

sysctl -a | grep space

эти значения уваличитьь не пробовал?

[gmn]

файрволл есть?

Код: Выделить всё

sysctl -a | grep space

эти значения уваличитьь не пробовал?

Пробовал.

Код: Выделить всё

vm.defer_swapspace_pageouts: 0
vm.disable_swapspace_pageouts: 0
vfs.runningbufspace: 0
vfs.bufspace: 117211136
vfs.maxbufspace: 117932032
vfs.bufmallocspace: 2048
vfs.maxmallocbufspace: 5863833
vfs.lobufspace: 117211136
vfs.hibufspace: 117276672
vfs.lorunningspace: 524288
vfs.hirunningspace: 1048576
net.local.stream.sendspace: 8192
net.local.stream.recvspace: 8192
net.local.dgram.recvspace: 4096
net.inet.tcp.sendspace: 32768
net.inet.tcp.recvspace: 65536
net.inet.udp.recvspace: 65535
net.inet.raw.recvspace: 8192

Увеличивал net.inet.udp.maxdgram, net.inet.udp.recvspace ...

cat /etc/sysctl.conf

Код: Выделить всё

kern.polling.enable=1
net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1
kern.ipc.somaxconn=32768
kern.ipc.maxsockets=25600
kern.ipc.maxsockbuf=2097152
kern.ipc.nmbclusters=131070
net.inet.udp.recvspace=65535
net.inet.udp.maxdgram=65535
kern.maxfiles=65535
kern.maxfilesperproc=22190

cat /boot/loader.conf

Код: Выделить всё

kern.maxdsiz="2G"
kern.maxssiz="512M"
kern.dfldsiz="1500M"
kern.maxusers="512"
kern.ipc.msgmnb=16384
kern.ipc.msgseg=768
kern.ipc.msgssz=128
kern.ipc.msgtql=3072
kern.ipc.msgmni=60
accf_data_load="YES"
accf_http_load="YES"

[gmn]

Ожидаю вопрос - пробовал ли отключить polling? Пробовал
Не помогает.

[Alex Keda]

нет. жду ответа про файрволл.
идей пока нет... собираю информацию.

[gmn]

нет. жду ответа про файрволл.
идей пока нет... собираю информацию.

Сервер в DMZ. На нем firewall-а нет. Ни ipfw ни pf. Никакого.
ASA в качестве firewall-а. И старый сервер (на котором этих ошибок небыло) был аналогично подключен.
Более того, когда сетапил новый сервер, то все конфиги, все параметры перенес на новый практически один в один.
Разница только в железе (2-х ядерный против P4 с HT, 4 Гб ОЗУ против 2-х, и диски побольше, сетевые такие же - 1 Гбит Интел).
И еще разница в самой ОС (на старом FreeBSD 6.2 RELEASE, а на новом уже обновил до последней - 6.2 RELEASE-p5 (на время обновления была)).

[Alex Keda]

а замени как сетевушку, на реалтек 8139 - чисто для эксперименту...
если возможность есть

[gmn]

а замени как сетевушку, на реалтек 8139 - чисто для эксперименту...

Так Intel лучше. И такая же была на старом железе. Т.е. подозреваю, что проблема всетки в самой ОС. Только где именно ?

если возможность есть

- можно сказать, что нет.
Сервер одноюнитовый в стойке. Две встроенные сетевые (одинаковые). Можно на другую переключить. Но смысл, если она такая же.

[gmn]

Нашел такое - http://www.freebsd.org/releases/6.2R/errata.html
Сделал, как написано. Завтра посмотрю.

Код: Выделить всё

[20070116] FreeBSD 6.2-RELEASE has been diagnosed with kernel bug related to UNIX-domain sockets. A patch for this problem has been committed to HEAD and RELENG_6, and is a candidate for an errata patch to RELENG_6_2 after further testing.

[20070116, update 20070212] Systems with very heavy network activity have been observed to have some problems with the kernel memory allocator. Symptoms are processes that get stuck in zonelimit state, or system livelocks. One partial workaround for this problem is to add the following line to /boot/loader.conf and reboot:

kern.ipc.nmbclusters="0"

[Alex Keda]

отпишись.
интересно.

[gmn]

Не помогло

Код: Выделить всё

Sep 27 09:56:25 sirius syslogd: sendto: No buffer space available
Sep 27 09:58:45 sirius syslogd: sendto: No buffer space available
Sep 27 10:00:30 sirius last message repeated 2 times

Как только пошла нагрузка - так и пошли ошибки.

[manefesto]

Я думаю следует посмотреть в список рассылки и всё таки погуглить по

Код: Выделить всё

vfs.runningbufspace: 0
vfs.bufspace: 117211136
vfs.maxbufspace: 117932032
vfs.bufmallocspace: 2048
vfs.maxmallocbufspace: 5863833

Всё таки названия говорят сами за себя.
Покажи top во время высоких нагрузок.

[gmn]

Я думаю следует посмотреть в список рассылки и всё таки погуглить по

Код: Выделить всё

vfs.runningbufspace: 0
vfs.bufspace: 117211136
vfs.maxbufspace: 117932032
vfs.bufmallocspace: 2048
vfs.maxmallocbufspace: 5863833

Всё таки названия говорят сами за себя.
Покажи top во время высоких нагрузок.

Для такого сервера можно сказать что не загружен:

Код: Выделить всё

hw.model: Intel(R) Xeon(R) CPU            5110  @ 1.60GHz
hw.ncpu: 2
hw.physmem: 3748466688

А вот топ:

Код: Выделить всё

last pid:  5898;  load averages:  0.76,  0.79,  0.80                                                  up 0+16:25:29  11:55:20
388 processes: 2 running, 386 sleeping
CPU states:     % user,     % nice,     % system,     % interrupt,     % idle
Mem: 1838M Active, 1268M Inact, 266M Wired, 134M Cache, 112M Buf, 5008K Free
Swap: 4096M Total, 4096M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
 1302 mysql      10  20    0 49752K 12800K kserel 1   9:09  1.66% mysqld
 1002 squid      20  20    0  1571M  1442M kserel 0  83:34  0.00% squid
  510 root        1  96    0  1380K   908K CPU0   0   3:01  0.00% syslogd
  642 openfire   14  20    0   462M 95272K kserel 0   1:32  0.00% java
  584 bind        1  96    0 14544K 13324K select 1   0:50  0.00% named

MySQL светится в топах, потому что у сквида есть external acl, которые проверяются в базе - когда в свое время вынес много acl из сквида - загрузка процессом squid упала процентов на 30.
Ну и на этом же сервере еще Openfire+Java ... - но сейчас там мало пользователей (50 на данный момент).
Основное - squid (больше 2000 пользователей, трафик порядка 20 Мбит через него), плюс по всему этому access.log сквида передается на syslog.
Вот из-за этого по udp и происходит затык.

[manefesto]

vfs.runningbufspace: 0
vfs.bufspace: 117211136
vfs.maxbufspace: 117932032
vfs.bufmallocspace: 2048
vfs.maxmallocbufspace: 5863833

Погугли по этим переменным, может целесообразней будет их увеличить ???

[gmn]

vfs.runningbufspace: 0
vfs.bufspace: 117211136
vfs.maxbufspace: 117932032
vfs.bufmallocspace: 2048
vfs.maxmallocbufspace: 5863833

Погугли по этим переменным, может целесообразней будет их увеличить ???

Этих хватает.

Код: Выделить всё

vfs.bufmallocspace: 2048
vfs.maxmallocbufspace: 5863833

А вот эти надо посмотреть ...

Код: Выделить всё

vfs.bufspace: 117211136
vfs.maxbufspace: 117932032

http://people.freebsd.org/~hmp/utilitie ... ysctl.html

[Alex Keda]

а зачем лог сквида сислогу кормить?
если он так нужен на удалённом хосте - подмонтируй шару по nfs и пиши в файл на ней...
или ротацию грамотную... шоб двигала его на удалённую шару...

[gmn]

а зачем лог сквида сислогу кормить?
если он так нужен на удалённом хосте - подмонтируй шару по nfs и пиши в файл на ней...

Нужен ... Потому что нужна статистика, приближенная к realtime. Лог за сутки порядка 2,5 Гб. Вот я его таким образом и перебрасываю на друой сервер.
Что касется NFS, то:
1. Я с ней никогда не работал.
2. И в ядре отключаю на всех серверах.

или ротацию грамотную... шоб двигала его на удалённую шару...

Не подходит из-за выше описанных причин.
P.S. Да и использование NFS решит МОЮ проблему (разгрузит syslog, не будет сетевых затыков), но все же интересно, чего именно (почему) и кому не хватает?

[Alex Keda]

а попробуй штатный сислог на другой заменить.

[gmn]

Заменил на syslog-ng2
В понедельник посмотрим на результаты.

[gmn]

Не помогло.

Код: Выделить всё

Oct  1 16:46:02 sirius syslog-ng[56149]: I/O error occurred while writing; fd='12', error='No buffer space available (55)'
Oct  1 16:46:02 sirius syslog-ng[56149]: Connection broken; time_reopen='60'
Oct  1 16:58:07 sirius syslog-ng[56149]: I/O error occurred while writing; fd='12', error='No buffer space available (55)'
Oct  1 16:58:07 sirius syslog-ng[56149]: Connection broken; time_reopen='60'

Буду искать дальше ...