Непонятное включение фаервола.

Простые/общие вопросы по UNIX системам. Спросите здесь, если вы новичок

Модераторы: vadim64, terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
glb_ussr
мл. сержант
Сообщения: 110
Зарегистрирован: 2010-05-13 7:45:38

Непонятное включение фаервола.

Непрочитанное сообщение glb_ussr » 2016-10-21 5:43:25

Привет всем.
Словил какой то дебильный глюк, немогу понять куда искать.
FreeBSD 10.3 p4. Поднят веб nginx + php-fpm, бд и мемкеш на удаленном серваке, все в одной локалке работает по гигабиту, таких серваков 3. Один из них "погнал"
Все как обычно, "я ничего не делал все само". Началось все с перезагрузки...
Итак, после старта веб сервис на сервере отвечает исправно, никаких ошибок, ни одна система ни матюгается. Даю нагрузку на сервер, переключаю на него часть пользователей, опять же все нормально. Что значит все нормально ?
  • last pid: 6252; load averages: 5.42, 13.06, 12.66 up 0+00:54:32 02:03:56
    186 processes: 11 running, 175 sleeping
    CPU: 15.1% user, 0.0% nice, 1.6% system, 0.9% interrupt, 82.4% idle
    Mem: 219M Active, 311M Inact, 1312M Wired, 839M Buf, 29G Free
    Swap: 3712M Total, 3712M Free
  • netstat -Lan
    Current listen queue sizes (qlen/incqlen/maxqlen)
    Proto Listen Local Address
    tcp4 0/0/2048 *.443
    tcp4 0/0/2048 *.80
    tcp4 0/0/128 *.10050
    tcp46 0/0/5 *.30865
    tcp4 0/0/128 *.22
    tcp6 0/0/128 *.22
    tcp4 0/0/5 *.873
    tcp6 0/0/5 *.873
    Some tcp sockets may have been created.
    unix 0/0/2048 /tmp/php.sock
    unix 0/0/4 /var/run/devd.pipe
    unix 0/0/4 /var/run/devd.seqpacket.pipe
и так проходит некоторое время, и начинается следующее:
1. Нагрузка скачком взлетает load averages до 50
2.
  • netstat -Lan
    Current listen queue sizes (qlen/incqlen/maxqlen)
    Proto Listen Local Address
    tcp4 37/0/128 *.443
    tcp4 0/0/128 *.80
    tcp4 0/0/128 *.10050
    tcp46 0/0/5 *.30865
    tcp4 0/0/128 *.22
    tcp6 0/0/128 *.22
    tcp4 0/0/5 *.873
    tcp6 0/0/5 *.873
    Some tcp sockets may have been created.
    unix 176/0/128 /tmp/php.sock
    unix 0/0/4 /var/run/devd.pipe
    unix 0/0/4 /var/run/devd.seqpacket.pipe
3. /var/log/security начинает заваливать сообщениями
65534 Deny TCP 192.168.20.12:39352 192.168.20.24:3306 out via lagg0
65534 Deny TCP 192.168.20.12:39352 192.168.20.25:11211 out via lagg0
last message repeated 5 times
И вот это самое непонятное ! С какого перепуга оно начинает срабатывать ...
На других серверах, так же как и на этом, есть правило:
  • allow tcp from me to any setup keep-state
И его хватает по самые помидоры.

И действительно, проверяешь, не пускает !
  • telnet 192.168.20.24 3306
    Trying 192.168.20.24...
    telnet: connect to address 192.168.20.24: Can't assign requested address
    telnet: Unable to connect to remote host
Изменение kern.ipc.soacceptqueue толку не дает.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35291
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Непонятное включение фаервола.

Непрочитанное сообщение Alex Keda » 2016-11-02 7:22:07

Код: Выделить всё

ipfw show
в момент когда недоступен и "заваливает" - дайте

Ну и неплохо мониторить систему - кактусом или чем.
kpps, mbit/s и прочие

Телепатирую - скачок нагрузки или ддос
Убей их всех! Бог потом рассортирует...

Аватара пользователя
glb_ussr
мл. сержант
Сообщения: 110
Зарегистрирован: 2010-05-13 7:45:38

Непонятное включение фаервола.

Непрочитанное сообщение glb_ussr » 2016-11-02 7:35:02

Вопрос решился отключение всех твиков в sysctl.conf, полет нормальный.
Ошибок по логам нет.
Мониторниг есть, в момент затыка резко взлетает количество прерываний. Странно, что небыло никаких дебаг сообщений.
Ддос исключаю, 443 порт закрыт для всех кроме клаудфлара, другие серваки из кластера не принимают никаких аномальных нагрузок в этот момент.
В общем сейчас по обстановке буду действовать.

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35291
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Непонятное включение фаервола.

Непрочитанное сообщение Alex Keda » 2016-11-03 7:06:29

Размеры буферов tcp/UDP увеличьте
Убей их всех! Бог потом рассортирует...

BlitzKrieg
ст. прапорщик
Сообщения: 538
Зарегистрирован: 2008-03-13 12:02:59

Непонятное включение фаервола.

Непрочитанное сообщение BlitzKrieg » 2016-11-03 10:04:47

А я бы сказал, не трогайте sysctl.conf пока четко не поймете зачем и для чего вы это делаете. У меня почему-то не было особой необходимости никогда туда лазить кроме чего-нибудь в духе

Код: Выделить всё

net.ipv4.conf.all.forwarding = 1