Freebsd-13 jail

Проблемы установки, настройки и работы Правильной Операционной Системы

Модератор: terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Freebsd-13 jail

Непрочитанное сообщение kharkov_max » 2021-09-26 10:21:30

День добрый.
Наткнулся на проблему, пока не знаю как решить.

Была установлена Freebsd-12/Stable, через исходники обновился до Freebsd-13/Stable, обновил мир, пересобрал ядро, прошел mergemaster - все прошло без ошибок и проблем. После обновления системы сделал porupgrade -af, т.е. обновил все порты.

В системе присутствует, и чудесно работало на 12й версии, несколько jail на базе скриптов ezjail.
В 13й версии - тоже работает но !!!
Если я в основной системе в rc.conf включаю параметр jail_parameters="allow.sysvipc", сервер загружается - все работает ровно 30-60 сек и сервер виснет, при чем не работает даже клавиатура в него подключенная, нет пингов и т.д.
Сервер это громко сказано, это обычный не плохой desktop ...

allow.sysvipc необходим для Zabbix в jail

При этом если данный параметр выключен, все остальные клетки с сервисами, их около 6 - отлично работают.
Как особенность jail, это то что сетевые интерфейсы клеток собраны на алиасах bridge.
В логах - ни чего подозрительного.
Мир в клетках обновлен.
Ради теста оставлял активной только клетку с zabbix, предварительно в клетке пересобрал все порты, при включении allow.sysvipc так же виснет.

Собственно пока не знаю куда копать, если есть идеи - пишите.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Freebsd-13 jail

Непрочитанное сообщение kharkov_max » 2021-09-26 10:31:47

PS
Может наведет на мысль
В 13 версии при пересборке портов CPU периодически нагружался до 100%, так вот в эти моменты в локалке отваливается сеть, коннекты.
Нагрузка на CPU падает - сеть восстанавливается.
На 12й версии такого не было.
Сетевая 2х портовая, на этой сетевой bridge

Код: Выделить всё

<Intel(R) PRO/1000 PT 82571EB/82571GB (Copper)

guest
проходил мимо

Freebsd-13 jail

Непрочитанное сообщение guest » 2021-09-27 11:08:17

jail тоже на 13-stable?

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Freebsd-13 jail

Непрочитанное сообщение kharkov_max » 2021-09-27 12:26:17

Да, обновил для jail ...

guest
проходил мимо

Freebsd-13 jail

Непрочитанное сообщение guest » 2021-09-27 16:12:41

allow.sysvipc
A process within the jail has access to System V IPC
primitives. This is deprecated in favor of the per-mod-
ule parameters (see below). When this parameter is set,
it is equivalent to setting sysvmsg, sysvsem, and sysvshm
all to "inherit".
замени sysvipc на sysvmsg=new и тд в конфиге клеток ezjail которые используют SYSV IPC.
Ну и посмотри параметры ipc в ядре, возможно следует подкрутить.
Клетки и host система используют одни и те же ipc параметры ядра, бо ядро одно,
возможно нужно подкрутить значения, by default они маленькие.

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Freebsd-13 jail

Непрочитанное сообщение kharkov_max » 2021-09-27 17:21:52

Вот значения из sysctl проблемного сервера

Код: Выделить всё

kern.ipc.shmall: 131072
kern.ipc.shmseg: 128
kern.ipc.shmmni: 512
kern.ipc.shmmin: 1
kern.ipc.shmmax: 536870912
kern.ipc.semaem: 16384
kern.ipc.semvmx: 32767
kern.ipc.semusz: 632
kern.ipc.semume: 50
kern.ipc.semopm: 100
kern.ipc.semmsl: 340
kern.ipc.semmnu: 256
kern.ipc.semmns: 512
kern.ipc.semmni: 256
kern.ipc.msgseg: 2048
kern.ipc.msgssz: 8
kern.ipc.msgtql: 40
kern.ipc.msgmnb: 2048
kern.ipc.msgmni: 40
kern.ipc.msgmax: 16384
В loader.conf добавленно

Код: Выделить всё

kern.ipc.shmmni=512
kern.ipc.semmni=256
kern.ipc.semmns=512
kern.ipc.semmnu=256
Ради интереса сравнил с похожим сервером но на 12й freebsd +/- значения совпадают и на 12й все ОК.

Тут еще прилетела проблема, даже без включения allow.sysvipc, сервер виснет через какое то время 3-5 часов, как минимум отказывает сеть и не работает клавиатура, но внутренний cron работает...
Обратил внимание, есть скрипт который в лог пишет, так вот в то время когда сервер уже 'лежал', cron чудесно писал в файлик лога ...

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Freebsd-13 jail

Непрочитанное сообщение Neus » 2021-09-27 19:39:17

Откатывай взад.
У меня на виртуалке xfce на 13 виснет, на 12 нормально.
В чем проблема хз.
Physics is mathematics with the constraint of reality.
Engineering is physics with the constraint of money.

LOR захватили ситхи.
Добро пожаловать на светлую сторону!

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Freebsd-13 jail

Непрочитанное сообщение kharkov_max » 2021-09-27 20:06:19

Как бы 13/Stable.... Где то барабака порылась... С большими....

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Freebsd-13 jail

Непрочитанное сообщение kharkov_max » 2021-09-27 22:10:57

Протестил, система железобетонно виснет в ступор когда jail_parameters="sysvshm".
Но даже если данный параметр выключен, виснет через не определенное время 2,3 -6 часов.

Такое ощущение что забиваются какие то ресурсы ...
А jail_parameters="sysvshm" просто укоряет процесс ...

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Freebsd-13 jail

Непрочитанное сообщение Demis » 2021-09-28 7:57:09

Ядро свое собирали?

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Freebsd-13 jail

Непрочитанное сообщение kharkov_max » 2021-09-28 8:08:59

Да

Код: Выделить всё

# Freebsd 13-Stable $

cpu             HAMMER
include         GENERIC
ident           FREE13

options         DEVICE_POLLING
options         HZ=1000

options         IPFIREWALL                         
options         IPFIREWALL_VERBOSE                 
options         IPFIREWALL_VERBOSE_LIMIT=20       
options         IPFIREWALL_NAT                    
options         LIBALIAS                         
options         DUMMYNET                         
options         ROUTETABLES=12                   

options         GEOM_MIRROR
options         IPSEC_DEBUG

# NETGRAPH IPFW
options         NETGRAPH
options         NETGRAPH_IPFW
options         NETGRAPH_NAT
options         NETGRAPH_NETFLOW
options         NETGRAPH_SPLIT
options         NETGRAPH_KSOCKET
options         NETGRAPH_SOCKET
options         NETGRAPH_BPF
options         NETGRAPH_IFACE
# MPPC
options         NETGRAPH_MPPC_COMPRESSION
options         NETGRAPH_MPPC_ENCRYPTION
options         NETGRAPH_PPP

options         NETGRAPH_PPTPGRE
options         NETGRAPH_TCPMSS
options         NETGRAPH_VJC
# --
options         NETGRAPH_ASYNC
options         NETGRAPH_BRIDGE
options         NETGRAPH_CISCO
options         NETGRAPH_ECHO
options         NETGRAPH_ETHER
options         NETGRAPH_FRAME_RELAY
options         NETGRAPH_GIF
options         NETGRAPH_GIF_DEMUX
options         NETGRAPH_HOLE
options         NETGRAPH_IP_INPUT
options         NETGRAPH_L2TP
options         NETGRAPH_LMI
options         NETGRAPH_ONE2MANY
options         NETGRAPH_RFC1490
options         NETGRAPH_TEE
options         NETGRAPH_TTY
options         NETGRAPH_UI

options         NETSMB     
options         LIBMCHAIN          
options         LIBICONV           
options         SMBFS              

options         MROUTING           
options         NULLFS

options         GEOM_BDE       
options         GEOM_ELI       

device          enc         

options         PANIC_REBOOT_WAIT_TIME=16

device          if_bridge
device          coretemp

options         COM_MULTIPORT           #Для  Com портов

device          ucom          
device          uplcom
device          ucycom

# 3G modem
device          u3g
device          umodem

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Freebsd-13 jail

Непрочитанное сообщение Demis » 2021-09-28 8:19:20

Понял.
Как версия, попробуйте генерик (если есть возможность) или учесть моменты как здесь freebsd-f8/strannaya-problema-s-zfs-i-s ... ml#p385971 написал. Понятно, что у Вас система новее, но возможно что-то аналогичное.

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Freebsd-13 jail

Непрочитанное сообщение Demis » 2021-09-28 12:52:01

И еще, бывало, что помогал такой трюк (как это ни странно) при сборке:

Код: Выделить всё

make -j1 buildworld
make -j1 buildkernel KERNCONF=FREE13
Но учтите, что это помогало НЕ вместо действий указанных по ссылке выше, а "в некоторых иных" случаях.
Естественно, что

Код: Выделить всё

cd /usr/obj
chflags -R noschg *
rm -rf *
cd /usr/src
make cleandir  # хендбук рекомендует выполнять эту команду дважды (!)
make cleandir  # хендбук рекомендует выполнять эту команду дважды (!)
в этих "в некоторых иных" случаях выполнялось, но эффекта не давало.

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Freebsd-13 jail

Непрочитанное сообщение kharkov_max » 2021-09-28 13:15:47

Demis,

Так делал когда повторно пересобирал мир и ядро 13й версии, ибо без ограничения по потокам сервер не мог ни чего собрать и вис.

Код: Выделить всё

make -j2 buildworld
make -j2 buildkernel KERNCONF=FREE13
Так делаю всегда при обновлении мира и ядра

Код: Выделить всё

cd /usr/obj
chflags -R noschg *
rm -rf *
cd /usr/src
make cleandir не делал, но думаю не в этом вопрос ....

Начинаю думать на железо, в часности на ОЗУ, 4 планки вдруг так совпало и что то умерло ...
Прогоню вечером мемтестом ....

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Freebsd-13 jail

Непрочитанное сообщение kharkov_max » 2021-09-28 13:28:31

Кстати параллельно переходил с SVN на GIT, поэтому /usr/src убивал полностью

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Freebsd-13 jail

Непрочитанное сообщение Demis » 2021-09-28 13:46:25

Тогда рекомендую -j1 и обязательно разборки с опциями в кастомном ядре (как по ссылке, плюс возможно всплывут новые фичи перенесенные в ядро).
Думаю, предполагаю, с железом у Вас все будет в порядке...

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Freebsd-13 jail

Непрочитанное сообщение Demis » 2021-09-28 15:37:55

И еще момент, обратите внимание, что написано в UPDATING про 13-ую (http://svn.freebsd.org/base/head/UPDATING):

Код: Выделить всё

/usr/ports/UPDATING.  Please read that file before running portupgrade.

NOTE TO PEOPLE WHO THINK THAT FreeBSD 13.x IS SLOW:
	FreeBSD 13.x has many debugging features turned on, in both the kernel
	and userland.  These features attempt to detect incorrect use of
	system primitives, and encourage loud failure through extra sanity
	checking and fail stop semantics.  They also substantially impact
	system performance.  If you want to do performance measurement,
	benchmarking, and optimization, you'll want to turn them off.  This
	includes various WITNESS- related kernel options, INVARIANTS, malloc
	debugging flags in userland, and various verbose features in the
	kernel.  Many developers choose to disable these features on build
	machines to maximize performance.  (To completely disable malloc
	debugging, define WITH_MALLOC_PRODUCTION in /etc/src.conf and rebuild
	world, or to merely disable the most expensive debugging functionality
	at runtime, run "ln -s 'abort:false,junk:false' /etc/malloc.conf".)

20201216:
	The services database has been updated to cover more of the basic
	services expected in a modern system. The database is big enough
	that it will cause issues in mergemaster in Releases previous to
	12.2 and 11.3, or in very old current systems from before r358154.

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Freebsd-13 jail

Непрочитанное сообщение Neus » 2021-09-28 16:03:51

Demis писал(а):
2021-09-28 15:37:55
И еще момент, обратите внимание, что написано в UPDATING про 13-ую
это относится к тому времени, когда 13-я была -current.
в -release версиях debugging features отключены.
Physics is mathematics with the constraint of reality.
Engineering is physics with the constraint of money.

LOR захватили ситхи.
Добро пожаловать на светлую сторону!

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Freebsd-13 jail

Непрочитанное сообщение Demis » 2021-09-28 18:51:59

1. Смотрел по указанному линку сегодня.
2. Ведь написано, что
Demis писал(а):
2021-09-28 15:37:55
FreeBSD 13.x
, т.е. 13.х при чем тут
Neus писал(а):
2021-09-28 16:03:51
-current
?

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Freebsd-13 jail

Непрочитанное сообщение Demis » 2021-09-28 18:59:47

А, блин!
Все.
Дошло...
Как-то я пропустил, что теперь все на гите...
https://github.com/freebsd/freebsd-src/ ... n/UPDATING
Каюсь.

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Freebsd-13 jail

Непрочитанное сообщение kharkov_max » 2021-09-29 7:49:14

Мучаюсь дальше )

Пересобрал ядро в необходимый минимум:

Код: Выделить всё

# Freebsd 13-Stable $
cpu             HAMMER
include         GENERIC
ident           FREE13

options         DEVICE_POLLING
options         HZ=1000

options         IPFIREWALL  
options         IPFIREWALL_VERBOSE 
options         IPFIREWALL_VERBOSE_LIMIT=20 
options         IPFIREWALL_NAT              
options         LIBALIAS                    
options         DUMMYNET                    
options         ROUTETABLES=12              

options         GEOM_MIRROR

# NETGRAPH IPFW
options         NETGRAPH
options         NETGRAPH_IPFW
options         NETGRAPH_NAT
При включении в rc.conf jail_parameters="sysvsem sysvshm allow.raw_sockets" и в jail соответственно - виснет
Пробовал оставлять по одной планке памяти - виснет, т.е. дело не в железе 100%.

Вчера в течении для при отключенном jail_parameters и оставил работать только пару клеток - виснет, в разное время нет закономерности.

Как, что можно включить что бы отдебажить ?
В логах мертвая тишина, зацепиться не за что.

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Freebsd-13 jail

Непрочитанное сообщение Demis » 2021-09-29 12:58:51

Дык, это...
Смотрим еще раз и внимательно линк: freebsd-f8/strannaya-problema-s-zfs-i-s ... ml#p385971
Там белым "по-белому", что-ли(?), написано (ну мы-же помним, что # - это комментарий в строке, не?):

Код: Выделить всё

#options         IPFIREWALL
#options         NETGRAPH
#options         NETGRAPH_ETHER
#options         NETGRAPH_SOCKET
#options         NETGRAPH_TEE
#options         NETGRAPH_MPPC_ENCRYPTION
#options         DDB
#options         DDB_NUMSYM
#options         GDB
#options         OPENSOLARIS_WITNESS
И написано "Теперь никак не живут в оном. Проверял на каждой, пока добился устойчивой работы."
А у Вас что?
Смотрим:
kharkov_max писал(а):
2021-09-29 7:49:14
options IPFIREWALL
options IPFIREWALL_VERBOSE
options IPFIREWALL_VERBOSE_LIMIT=20
options IPFIREWALL_NAT
kharkov_max писал(а):
2021-09-29 7:49:14
options NETGRAPH
options NETGRAPH_IPFW
options NETGRAPH_NAT
Плюс упоминал, что могут и новые заковыки появиться...
Рано еще мучаться...

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Freebsd-13 jail

Непрочитанное сообщение Demis » 2021-09-29 13:06:26

kharkov_max писал(а):
2021-09-28 13:15:47
make cleandir не делал, но думаю не в этом вопрос ....
А вот это вот зря. Недаром в хендбуке это находится в разделе "если что-то пошло не так".
Правда, почему-то в последней (en) (вроде для 14-ой) версии я этого не нашел. В русской и старой это есть.
Там в en даже порядок обновления совсем иной, чем ранее...

Аватара пользователя
kharkov_max
капитан
Сообщения: 1862
Зарегистрирован: 2008-10-03 14:56:40

Freebsd-13 jail

Непрочитанное сообщение kharkov_max » 2021-09-29 13:11:57

Demis,
Сегодня утром собрал ядро без

Код: Выделить всё

options NETGRAPH
options NETGRAPH_IPFW
options NETGRAPH_NAT
Перестал Nat работать ...

Что Вы хотите сказать, что данные опции уже запилины в ядро?

guest
проходил мимо

Freebsd-13 jail

Непрочитанное сообщение guest » 2021-09-29 13:28:46

Что Вы хотите сказать, что данные опции уже запилины в ядро?
Он хочет сказать что расширенный функционал, можно задействовать путем
подгрузки модулей, будь то netgraph или kernel nat или масса других возможностей...

Код: Выделить всё

# ls -la /boot/kernel/ng_*
# ls -la /boot/kernel/ | grep ipfw
Уже больше 7 лет не собираю собственное ядро.

ps. Что Вас побудило использовать Stable вместо Release?