syslogd: sendto: No buffer space available

Проблемы установки, настройки и работы Правильной Операционной Системы

Модератор: terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
gmn
сержант
Сообщения: 239
Зарегистрирован: 2007-02-28 18:01:37
Откуда: UA, Kiev
Контактная информация:

syslogd: sendto: No buffer space available

Непрочитанное сообщение gmn » 2007-07-05 12:30:15

Всем привет.

Собственно, чем вызвано %subj ?
"syslogd: sendto: No buffer space available"

FreeBSD 6.2-RELEASE-p5
Через syslogd access.log сквида сбрасывается на другой сервер. И там пишется в базу.

Появилась ошибка на новом сервере (после переезда). На старом все при таком подходе работало и ошибок небыло.
Старый сервер - FreeBSD 6.2-RELEASE #1

Разница только в "p5 и без оного".
Ну и в железе (на старом П4 с HT, 2 Гб ОЗУ; на новом 2-х ядерный, 4 Гб ОЗУ и диски другие ...).

Если кто может подсказать причину - помогите плиз. Вроди не смертельно, но раздражает.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2460 рублей (8 CPU, 8Gb RAM, 2x500Gb HDD, RAID 3ware 9750):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35071
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Непрочитанное сообщение Alex Keda » 2007-07-05 12:34:04

а не падает?
========
у меня после обновления до этого p5 при работе с NFS (но каюсь - дикие условия - гигабитный интерфейс лоб-в-лоб соединён со 10-ти мегабитной исовой сетевухой) стала самопроизводльно перезагружаться.
так вот симтомы похожи - пока скорость работы мелкая - ничё. с 10->1000 тоже прекрасно, а вот если с 1000->10 и скрость на переделе 10-ки - то пиздец. Машина с гигабитом просто ребутается.
щас пытаюсь отловить симтомы и точные условия для воспроизвдения - и буду слать багрепорт....
========
кстати - тоже интеерсно - пока не поставил на машине с 10-кой проц помощней - было совсем редко, как поставил - стало постояноо. - видно стала пакетики быстрей разгребать :)
Убей их всех! Бог потом рассортирует...

Аватара пользователя
gmn
сержант
Сообщения: 239
Зарегистрирован: 2007-02-28 18:01:37
Откуда: UA, Kiev
Контактная информация:

Непрочитанное сообщение gmn » 2007-07-05 14:17:30

lissyara писал(а):а не падает?
========
Да, нет. Тьфу-тьфу.
А то падение базы данных не смертельно.
А вот падение прокси - паника :)
---
Будем ждать -p6 ...
:(

Аватара пользователя
gmn
сержант
Сообщения: 239
Зарегистрирован: 2007-02-28 18:01:37
Откуда: UA, Kiev
Контактная информация:

Re: syslogd: sendto: No buffer space available

Непрочитанное сообщение gmn » 2007-09-26 16:56:47

Уже и p7 был ... А проблема остается.
"перерыл" весь инет - ответа не нашел.
netstat -ssp udp
udp:
605133 datagrams received
1318 with no checksum
693 dropped due to no socket
2860 broadcast/multicast datagrams dropped due to no socket
601580 delivered
8095122 datagrams output

Хватает сокетов.

Код: Выделить всё

kern.ipc.maxsockets=25600
В рабочее время "kern.ipc.numopensockets: 5208".

Код: Выделить всё

vm.zone:
ITEM            SIZE     LIMIT     USED    FREE  REQUESTS
socket:          356,    25608,   5150,   1582,  6196209
UDP интенсивно используется на сервере bind9 и syslogd.
bind9 - потому что secondary NS + Squid, который резолвит много запросов ...
А syslogd - потому что Squid пишет свой access.log на него, а он отдает удаленному серверу тоже на syslog.

Т.е. имеем на проблемном сервере.
в squid.conf:

Код: Выделить всё

access_log syslog:LOG_LOCAL7 squid
в syslog.conf:

Код: Выделить всё

local7.*      @10.0.1.24
Опции запуска syslogd:

Код: Выделить всё

syslogd_enable="YES"
syslogd_program="/usr/sbin/syslogd"
syslogd_flags="-s -n"
"Удаленный сервер" в локалке принимает поток:

Код: Выделить всё

local7.*       | exec /usr/local/gwsquid.pl.run
local7.*       /var/log/gwsquid/access.log
Скрипт сбрасывает с базу, и параллельно еще за текущий день лог пишется в файл.

P.S. На старом сервере, тоже с гигабитной карточкой Intel (принудительно выставлена скорость в 100 Мбит/сек) работало нормально.
Разница только в Freebsd 6.2 release и 6.2 p7 (начались глюки с p5).

P.P.S. Где можно посмотреть, что менялось в p1,p2,p3 ...? Буду благодарен за конкретную ссылку.

И еще нашел ссылку на ругань на bind 9-й - http://ospf-ripe.livejournal.com/1601.html
Но ведь до переезда на новый сервер тоже он был. Только версия старее ...
Последний раз редактировалось Alex Keda 2007-09-26 17:09:05, всего редактировалось 1 раз.
Причина: Товарищщи, цените чужое время, юзайте кнопочку [code]...

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35071
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: syslogd: sendto: No buffer space available

Непрочитанное сообщение Alex Keda » 2007-09-26 17:11:21

Код: Выделить всё

sysctl -a | grep buf
в студию
Убей их всех! Бог потом рассортирует...

Аватара пользователя
gmn
сержант
Сообщения: 239
Зарегистрирован: 2007-02-28 18:01:37
Откуда: UA, Kiev
Контактная информация:

Re: syslogd: sendto: No buffer space available

Непрочитанное сообщение gmn » 2007-09-26 17:14:34

Смотрел не раз. Ничего интересного не нашел ...
Вот:

Код: Выделить всё

kern.ipc.maxsockbuf: 2097152
kern.ipc.sockbuf_waste_factor: 8
kern.ipc.nsfbufs: 8704
kern.ipc.nsfbufspeak: 5
kern.ipc.nsfbufsused: 1
cluster_save buffer     0     0K       -   168580  32,64
   BIO buffer     1     2K       -     1486  2048
     mbuf_tag     0     0K       -        2  32
         sbuf     0     0K       -     4730  16,32,64,128,256,512,1024,2048,4096
       devbuf   533  1760K       -      534  16,32,64,128,256,512,1024,2048,4096
       aacbuf   127    21K       -      298  32,128,512
kern.msgbuf:
kern.msgbuf_clear: 0
kern.consmsgbuf_size: 8192
mbuf_jumbo_1:  16384,        0,      0,      0,        0
mbuf_jumbo_9:   9216,        0,      0,      0,        0
mbuf_jumbo_p:   4096,        0,      0,      0,        0
mbuf_cluster:   2048,   131070,  15415,    685,  1773960
mbuf:            256,        0,  15425,   3040, 308082647
mbuf_packet:     256,        0,  15031,   3434, 203183215
vfs.runningbufspace: 0
vfs.bufspace: 117211136
vfs.maxbufspace: 117932032
vfs.bufmallocspace: 2048
vfs.maxmallocbufspace: 5863833
vfs.lobufspace: 117211136
vfs.hibufspace: 117276672
vfs.bufreusecnt: 7155
vfs.buffreekvacnt: 1
vfs.bufdefragcnt: 0
vfs.dirtybufferflushes: 0
vfs.altbufferflushes: 0
vfs.numdirtybuffers: 915
vfs.lodirtybuffers: 909
vfs.hidirtybuffers: 1819
vfs.dirtybufthresh: 1637
vfs.numfreebuffers: 6269
vfs.lofreebuffers: 404
vfs.hifreebuffers: 808
vfs.getnewbufcalls: 4677787
vfs.getnewbufrestarts: 1
vfs.reassignbufcalls: 5702129
net.bpf.bufsize: 4096
net.bpf.maxbufsize: 524288
debug.sizeof.buf: 328
security.bsd.unprivileged_read_msgbuf: 1

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35071
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: syslogd: sendto: No buffer space available

Непрочитанное сообщение Alex Keda » 2007-09-26 17:25:15

файрволл есть?

Код: Выделить всё

sysctl -a | grep space
эти значения уваличитьь не пробовал?
Убей их всех! Бог потом рассортирует...

Аватара пользователя
gmn
сержант
Сообщения: 239
Зарегистрирован: 2007-02-28 18:01:37
Откуда: UA, Kiev
Контактная информация:

Re: syslogd: sendto: No buffer space available

Непрочитанное сообщение gmn » 2007-09-26 17:35:19

lissyara писал(а):файрволл есть?

Код: Выделить всё

sysctl -a | grep space
эти значения уваличитьь не пробовал?
Пробовал.

Код: Выделить всё

vm.defer_swapspace_pageouts: 0
vm.disable_swapspace_pageouts: 0
vfs.runningbufspace: 0
vfs.bufspace: 117211136
vfs.maxbufspace: 117932032
vfs.bufmallocspace: 2048
vfs.maxmallocbufspace: 5863833
vfs.lobufspace: 117211136
vfs.hibufspace: 117276672
vfs.lorunningspace: 524288
vfs.hirunningspace: 1048576
net.local.stream.sendspace: 8192
net.local.stream.recvspace: 8192
net.local.dgram.recvspace: 4096
net.inet.tcp.sendspace: 32768
net.inet.tcp.recvspace: 65536
net.inet.udp.recvspace: 65535
net.inet.raw.recvspace: 8192
Увеличивал net.inet.udp.maxdgram, net.inet.udp.recvspace ...

cat /etc/sysctl.conf

Код: Выделить всё

kern.polling.enable=1
net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1
kern.ipc.somaxconn=32768
kern.ipc.maxsockets=25600
kern.ipc.maxsockbuf=2097152
kern.ipc.nmbclusters=131070
net.inet.udp.recvspace=65535
net.inet.udp.maxdgram=65535
kern.maxfiles=65535
kern.maxfilesperproc=22190
cat /boot/loader.conf

Код: Выделить всё

kern.maxdsiz="2G"
kern.maxssiz="512M"
kern.dfldsiz="1500M"
kern.maxusers="512"
kern.ipc.msgmnb=16384
kern.ipc.msgseg=768
kern.ipc.msgssz=128
kern.ipc.msgtql=3072
kern.ipc.msgmni=60
accf_data_load="YES"
accf_http_load="YES"

Аватара пользователя
gmn
сержант
Сообщения: 239
Зарегистрирован: 2007-02-28 18:01:37
Откуда: UA, Kiev
Контактная информация:

Re: syslogd: sendto: No buffer space available

Непрочитанное сообщение gmn » 2007-09-26 17:43:47

Ожидаю вопрос - пробовал ли отключить polling? Пробовал :)
Не помогает.

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35071
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: syslogd: sendto: No buffer space available

Непрочитанное сообщение Alex Keda » 2007-09-26 18:01:11

нет. жду ответа про файрволл.
идей пока нет... собираю информацию.
Убей их всех! Бог потом рассортирует...

Аватара пользователя
gmn
сержант
Сообщения: 239
Зарегистрирован: 2007-02-28 18:01:37
Откуда: UA, Kiev
Контактная информация:

Re: syslogd: sendto: No buffer space available

Непрочитанное сообщение gmn » 2007-09-26 18:13:01

lissyara писал(а):нет. жду ответа про файрволл.
идей пока нет... собираю информацию.
Сервер в DMZ. На нем firewall-а нет. Ни ipfw ни pf. Никакого.
ASA в качестве firewall-а. И старый сервер (на котором этих ошибок небыло) был аналогично подключен.
Более того, когда сетапил новый сервер, то все конфиги, все параметры перенес на новый практически один в один.
Разница только в железе (2-х ядерный против P4 с HT, 4 Гб ОЗУ против 2-х, и диски побольше, сетевые такие же - 1 Гбит Интел).
И еще разница в самой ОС (на старом FreeBSD 6.2 RELEASE, а на новом уже обновил до последней - 6.2 RELEASE-p5 (на время обновления была)).

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35071
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: syslogd: sendto: No buffer space available

Непрочитанное сообщение Alex Keda » 2007-09-26 18:14:24

а замени как сетевушку, на реалтек 8139 - чисто для эксперименту...
если возможность есть
Убей их всех! Бог потом рассортирует...

Аватара пользователя
gmn
сержант
Сообщения: 239
Зарегистрирован: 2007-02-28 18:01:37
Откуда: UA, Kiev
Контактная информация:

Re: syslogd: sendto: No buffer space available

Непрочитанное сообщение gmn » 2007-09-26 18:20:03

lissyara писал(а):а замени как сетевушку, на реалтек 8139 - чисто для эксперименту...
Так Intel лучше. И такая же была на старом железе. Т.е. подозреваю, что проблема всетки в самой ОС. Только где именно ? :(
lissyara писал(а):если возможность есть
- можно сказать, что нет.
Сервер одноюнитовый в стойке. Две встроенные сетевые (одинаковые). Можно на другую переключить. Но смысл, если она такая же.

Аватара пользователя
gmn
сержант
Сообщения: 239
Зарегистрирован: 2007-02-28 18:01:37
Откуда: UA, Kiev
Контактная информация:

Re: syslogd: sendto: No buffer space available

Непрочитанное сообщение gmn » 2007-09-26 19:31:41

Нашел такое - http://www.freebsd.org/releases/6.2R/errata.html
Сделал, как написано. Завтра посмотрю.

Код: Выделить всё

[20070116] FreeBSD 6.2-RELEASE has been diagnosed with kernel bug related to UNIX-domain sockets. A patch for this problem has been committed to HEAD and RELENG_6, and is a candidate for an errata patch to RELENG_6_2 after further testing.

[20070116, update 20070212] Systems with very heavy network activity have been observed to have some problems with the kernel memory allocator. Symptoms are processes that get stuck in zonelimit state, or system livelocks. One partial workaround for this problem is to add the following line to /boot/loader.conf and reboot:

kern.ipc.nmbclusters="0"

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35071
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: syslogd: sendto: No buffer space available

Непрочитанное сообщение Alex Keda » 2007-09-27 0:41:49

отпишись.
интересно.
Убей их всех! Бог потом рассортирует...

Аватара пользователя
gmn
сержант
Сообщения: 239
Зарегистрирован: 2007-02-28 18:01:37
Откуда: UA, Kiev
Контактная информация:

Re: syslogd: sendto: No buffer space available

Непрочитанное сообщение gmn » 2007-09-27 10:02:21

Не помогло :(

Код: Выделить всё

Sep 27 09:56:25 sirius syslogd: sendto: No buffer space available
Sep 27 09:58:45 sirius syslogd: sendto: No buffer space available
Sep 27 10:00:30 sirius last message repeated 2 times
Как только пошла нагрузка - так и пошли ошибки.

Аватара пользователя
manefesto
Группенфюррер
Сообщения: 6934
Зарегистрирован: 2007-07-20 8:27:30
Откуда: Пермь
Контактная информация:

Re: syslogd: sendto: No buffer space available

Непрочитанное сообщение manefesto » 2007-09-27 11:22:01

Я думаю следует посмотреть в список рассылки и всё таки погуглить по

Код: Выделить всё

vfs.runningbufspace: 0
vfs.bufspace: 117211136
vfs.maxbufspace: 117932032
vfs.bufmallocspace: 2048
vfs.maxmallocbufspace: 5863833

Всё таки названия говорят сами за себя.
Покажи top во время высоких нагрузок.
я такой яростный шо аж пиздеЦ
Изображение

Аватара пользователя
gmn
сержант
Сообщения: 239
Зарегистрирован: 2007-02-28 18:01:37
Откуда: UA, Kiev
Контактная информация:

Re: syslogd: sendto: No buffer space available

Непрочитанное сообщение gmn » 2007-09-27 12:04:35

manefesto писал(а):Я думаю следует посмотреть в список рассылки и всё таки погуглить по

Код: Выделить всё

vfs.runningbufspace: 0
vfs.bufspace: 117211136
vfs.maxbufspace: 117932032
vfs.bufmallocspace: 2048
vfs.maxmallocbufspace: 5863833

Всё таки названия говорят сами за себя.
Покажи top во время высоких нагрузок.
Для такого сервера можно сказать что не загружен:

Код: Выделить всё

hw.model: Intel(R) Xeon(R) CPU            5110  @ 1.60GHz
hw.ncpu: 2
hw.physmem: 3748466688
А вот топ:

Код: Выделить всё

last pid:  5898;  load averages:  0.76,  0.79,  0.80                                                  up 0+16:25:29  11:55:20
388 processes: 2 running, 386 sleeping
CPU states:     % user,     % nice,     % system,     % interrupt,     % idle
Mem: 1838M Active, 1268M Inact, 266M Wired, 134M Cache, 112M Buf, 5008K Free
Swap: 4096M Total, 4096M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
 1302 mysql      10  20    0 49752K 12800K kserel 1   9:09  1.66% mysqld
 1002 squid      20  20    0  1571M  1442M kserel 0  83:34  0.00% squid
  510 root        1  96    0  1380K   908K CPU0   0   3:01  0.00% syslogd
  642 openfire   14  20    0   462M 95272K kserel 0   1:32  0.00% java
  584 bind        1  96    0 14544K 13324K select 1   0:50  0.00% named
MySQL светится в топах, потому что у сквида есть external acl, которые проверяются в базе - когда в свое время вынес много acl из сквида - загрузка процессом squid упала процентов на 30.
Ну и на этом же сервере еще Openfire+Java ... - но сейчас там мало пользователей (50 на данный момент).
Основное - squid (больше 2000 пользователей, трафик порядка 20 Мбит через него), плюс по всему этому access.log сквида передается на syslog.
Вот из-за этого по udp и происходит затык.

Аватара пользователя
manefesto
Группенфюррер
Сообщения: 6934
Зарегистрирован: 2007-07-20 8:27:30
Откуда: Пермь
Контактная информация:

Re: syslogd: sendto: No buffer space available

Непрочитанное сообщение manefesto » 2007-09-27 12:21:29

vfs.runningbufspace: 0
vfs.bufspace: 117211136
vfs.maxbufspace: 117932032
vfs.bufmallocspace: 2048
vfs.maxmallocbufspace: 5863833
Погугли по этим переменным, может целесообразней будет их увеличить ???
я такой яростный шо аж пиздеЦ
Изображение

Аватара пользователя
gmn
сержант
Сообщения: 239
Зарегистрирован: 2007-02-28 18:01:37
Откуда: UA, Kiev
Контактная информация:

Re: syslogd: sendto: No buffer space available

Непрочитанное сообщение gmn » 2007-09-27 13:08:09

manefesto писал(а):
vfs.runningbufspace: 0
vfs.bufspace: 117211136
vfs.maxbufspace: 117932032
vfs.bufmallocspace: 2048
vfs.maxmallocbufspace: 5863833
Погугли по этим переменным, может целесообразней будет их увеличить ???
Этих хватает.

Код: Выделить всё

vfs.bufmallocspace: 2048
vfs.maxmallocbufspace: 5863833
А вот эти надо посмотреть ...

Код: Выделить всё

vfs.bufspace: 117211136
vfs.maxbufspace: 117932032
http://people.freebsd.org/~hmp/utilitie ... ysctl.html

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35071
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: syslogd: sendto: No buffer space available

Непрочитанное сообщение Alex Keda » 2007-09-28 0:13:20

а зачем лог сквида сислогу кормить?
если он так нужен на удалённом хосте - подмонтируй шару по nfs и пиши в файл на ней...
или ротацию грамотную... шоб двигала его на удалённую шару...
Убей их всех! Бог потом рассортирует...

Аватара пользователя
gmn
сержант
Сообщения: 239
Зарегистрирован: 2007-02-28 18:01:37
Откуда: UA, Kiev
Контактная информация:

Re: syslogd: sendto: No buffer space available

Непрочитанное сообщение gmn » 2007-09-28 9:11:12

lissyara писал(а):а зачем лог сквида сислогу кормить?
если он так нужен на удалённом хосте - подмонтируй шару по nfs и пиши в файл на ней...
Нужен ... Потому что нужна статистика, приближенная к realtime. Лог за сутки порядка 2,5 Гб. Вот я его таким образом и перебрасываю на друой сервер.
Что касется NFS, то:
1. Я с ней никогда не работал.
2. И в ядре отключаю на всех серверах.
lissyara писал(а):или ротацию грамотную... шоб двигала его на удалённую шару...
Не подходит из-за выше описанных причин.
P.S. Да и использование NFS решит МОЮ проблему (разгрузит syslog, не будет сетевых затыков), но все же интересно, чего именно (почему) и кому не хватает?

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35071
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: syslogd: sendto: No buffer space available

Непрочитанное сообщение Alex Keda » 2007-09-28 9:27:33

а попробуй штатный сислог на другой заменить.
Убей их всех! Бог потом рассортирует...

Аватара пользователя
gmn
сержант
Сообщения: 239
Зарегистрирован: 2007-02-28 18:01:37
Откуда: UA, Kiev
Контактная информация:

Re: syslogd: sendto: No buffer space available

Непрочитанное сообщение gmn » 2007-09-28 14:24:18

Заменил на syslog-ng2
В понедельник посмотрим на результаты.

Аватара пользователя
gmn
сержант
Сообщения: 239
Зарегистрирован: 2007-02-28 18:01:37
Откуда: UA, Kiev
Контактная информация:

Re: syslogd: sendto: No buffer space available

Непрочитанное сообщение gmn » 2007-10-01 17:05:28

Не помогло.

Код: Выделить всё

Oct  1 16:46:02 sirius syslog-ng[56149]: I/O error occurred while writing; fd='12', error='No buffer space available (55)'
Oct  1 16:46:02 sirius syslog-ng[56149]: Connection broken; time_reopen='60'
Oct  1 16:58:07 sirius syslog-ng[56149]: I/O error occurred while writing; fd='12', error='No buffer space available (55)'
Oct  1 16:58:07 sirius syslog-ng[56149]: Connection broken; time_reopen='60'
Буду искать дальше ...