Freebsd-13 jail
Модератор: terminus
Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
- kharkov_max
- капитан
- Сообщения: 1862
- Зарегистрирован: 2008-10-03 14:56:40
Freebsd-13 jail
День добрый.
Наткнулся на проблему, пока не знаю как решить.
Была установлена Freebsd-12/Stable, через исходники обновился до Freebsd-13/Stable, обновил мир, пересобрал ядро, прошел mergemaster - все прошло без ошибок и проблем. После обновления системы сделал porupgrade -af, т.е. обновил все порты.
В системе присутствует, и чудесно работало на 12й версии, несколько jail на базе скриптов ezjail.
В 13й версии - тоже работает но !!!
Если я в основной системе в rc.conf включаю параметр jail_parameters="allow.sysvipc", сервер загружается - все работает ровно 30-60 сек и сервер виснет, при чем не работает даже клавиатура в него подключенная, нет пингов и т.д.
Сервер это громко сказано, это обычный не плохой desktop ...
allow.sysvipc необходим для Zabbix в jail
При этом если данный параметр выключен, все остальные клетки с сервисами, их около 6 - отлично работают.
Как особенность jail, это то что сетевые интерфейсы клеток собраны на алиасах bridge.
В логах - ни чего подозрительного.
Мир в клетках обновлен.
Ради теста оставлял активной только клетку с zabbix, предварительно в клетке пересобрал все порты, при включении allow.sysvipc так же виснет.
Собственно пока не знаю куда копать, если есть идеи - пишите.
Наткнулся на проблему, пока не знаю как решить.
Была установлена Freebsd-12/Stable, через исходники обновился до Freebsd-13/Stable, обновил мир, пересобрал ядро, прошел mergemaster - все прошло без ошибок и проблем. После обновления системы сделал porupgrade -af, т.е. обновил все порты.
В системе присутствует, и чудесно работало на 12й версии, несколько jail на базе скриптов ezjail.
В 13й версии - тоже работает но !!!
Если я в основной системе в rc.conf включаю параметр jail_parameters="allow.sysvipc", сервер загружается - все работает ровно 30-60 сек и сервер виснет, при чем не работает даже клавиатура в него подключенная, нет пингов и т.д.
Сервер это громко сказано, это обычный не плохой desktop ...
allow.sysvipc необходим для Zabbix в jail
При этом если данный параметр выключен, все остальные клетки с сервисами, их около 6 - отлично работают.
Как особенность jail, это то что сетевые интерфейсы клеток собраны на алиасах bridge.
В логах - ни чего подозрительного.
Мир в клетках обновлен.
Ради теста оставлял активной только клетку с zabbix, предварительно в клетке пересобрал все порты, при включении allow.sysvipc так же виснет.
Собственно пока не знаю куда копать, если есть идеи - пишите.
Услуги хостинговой компании Host-Food.ru
Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/
- kharkov_max
- капитан
- Сообщения: 1862
- Зарегистрирован: 2008-10-03 14:56:40
Freebsd-13 jail
PS
Может наведет на мысль
В 13 версии при пересборке портов CPU периодически нагружался до 100%, так вот в эти моменты в локалке отваливается сеть, коннекты.
Нагрузка на CPU падает - сеть восстанавливается.
На 12й версии такого не было.
Сетевая 2х портовая, на этой сетевой bridge
Может наведет на мысль
В 13 версии при пересборке портов CPU периодически нагружался до 100%, так вот в эти моменты в локалке отваливается сеть, коннекты.
Нагрузка на CPU падает - сеть восстанавливается.
На 12й версии такого не было.
Сетевая 2х портовая, на этой сетевой bridge
Код: Выделить всё
<Intel(R) PRO/1000 PT 82571EB/82571GB (Copper)
- kharkov_max
- капитан
- Сообщения: 1862
- Зарегистрирован: 2008-10-03 14:56:40
Freebsd-13 jail
Да, обновил для jail ...
-
- проходил мимо
Freebsd-13 jail
замени sysvipc на sysvmsg=new и тд в конфиге клеток ezjail которые используют SYSV IPC.allow.sysvipc
A process within the jail has access to System V IPC
primitives. This is deprecated in favor of the per-mod-
ule parameters (see below). When this parameter is set,
it is equivalent to setting sysvmsg, sysvsem, and sysvshm
all to "inherit".
Ну и посмотри параметры ipc в ядре, возможно следует подкрутить.
Клетки и host система используют одни и те же ipc параметры ядра, бо ядро одно,
возможно нужно подкрутить значения, by default они маленькие.
- kharkov_max
- капитан
- Сообщения: 1862
- Зарегистрирован: 2008-10-03 14:56:40
Freebsd-13 jail
Вот значения из sysctl проблемного сервера
В loader.conf добавленно
Ради интереса сравнил с похожим сервером но на 12й freebsd +/- значения совпадают и на 12й все ОК.
Тут еще прилетела проблема, даже без включения allow.sysvipc, сервер виснет через какое то время 3-5 часов, как минимум отказывает сеть и не работает клавиатура, но внутренний cron работает...
Обратил внимание, есть скрипт который в лог пишет, так вот в то время когда сервер уже 'лежал', cron чудесно писал в файлик лога ...
Код: Выделить всё
kern.ipc.shmall: 131072
kern.ipc.shmseg: 128
kern.ipc.shmmni: 512
kern.ipc.shmmin: 1
kern.ipc.shmmax: 536870912
kern.ipc.semaem: 16384
kern.ipc.semvmx: 32767
kern.ipc.semusz: 632
kern.ipc.semume: 50
kern.ipc.semopm: 100
kern.ipc.semmsl: 340
kern.ipc.semmnu: 256
kern.ipc.semmns: 512
kern.ipc.semmni: 256
kern.ipc.msgseg: 2048
kern.ipc.msgssz: 8
kern.ipc.msgtql: 40
kern.ipc.msgmnb: 2048
kern.ipc.msgmni: 40
kern.ipc.msgmax: 16384
Код: Выделить всё
kern.ipc.shmmni=512
kern.ipc.semmni=256
kern.ipc.semmns=512
kern.ipc.semmnu=256
Тут еще прилетела проблема, даже без включения allow.sysvipc, сервер виснет через какое то время 3-5 часов, как минимум отказывает сеть и не работает клавиатура, но внутренний cron работает...
Обратил внимание, есть скрипт который в лог пишет, так вот в то время когда сервер уже 'лежал', cron чудесно писал в файлик лога ...
- Neus
- капитан
- Сообщения: 1980
- Зарегистрирован: 2008-09-08 21:59:56
Freebsd-13 jail
Откатывай взад.
У меня на виртуалке xfce на 13 виснет, на 12 нормально.
В чем проблема хз.
У меня на виртуалке xfce на 13 виснет, на 12 нормально.
В чем проблема хз.
Physics is mathematics with the constraint of reality.
Engineering is physics with the constraint of money.
LOR захватили ситхи.
Добро пожаловать на светлую сторону!
Engineering is physics with the constraint of money.
LOR захватили ситхи.
Добро пожаловать на светлую сторону!
- kharkov_max
- капитан
- Сообщения: 1862
- Зарегистрирован: 2008-10-03 14:56:40
Freebsd-13 jail
Как бы 13/Stable.... Где то барабака порылась... С большими....
- kharkov_max
- капитан
- Сообщения: 1862
- Зарегистрирован: 2008-10-03 14:56:40
Freebsd-13 jail
Протестил, система железобетонно виснет в ступор когда jail_parameters="sysvshm".
Но даже если данный параметр выключен, виснет через не определенное время 2,3 -6 часов.
Такое ощущение что забиваются какие то ресурсы ...
А jail_parameters="sysvshm" просто укоряет процесс ...
Но даже если данный параметр выключен, виснет через не определенное время 2,3 -6 часов.
Такое ощущение что забиваются какие то ресурсы ...
А jail_parameters="sysvshm" просто укоряет процесс ...
-
- прапорщик
- Сообщения: 496
- Зарегистрирован: 2015-05-25 14:36:32
Freebsd-13 jail
Ядро свое собирали?
- kharkov_max
- капитан
- Сообщения: 1862
- Зарегистрирован: 2008-10-03 14:56:40
Freebsd-13 jail
Да
Код: Выделить всё
# Freebsd 13-Stable $
cpu HAMMER
include GENERIC
ident FREE13
options DEVICE_POLLING
options HZ=1000
options IPFIREWALL
options IPFIREWALL_VERBOSE
options IPFIREWALL_VERBOSE_LIMIT=20
options IPFIREWALL_NAT
options LIBALIAS
options DUMMYNET
options ROUTETABLES=12
options GEOM_MIRROR
options IPSEC_DEBUG
# NETGRAPH IPFW
options NETGRAPH
options NETGRAPH_IPFW
options NETGRAPH_NAT
options NETGRAPH_NETFLOW
options NETGRAPH_SPLIT
options NETGRAPH_KSOCKET
options NETGRAPH_SOCKET
options NETGRAPH_BPF
options NETGRAPH_IFACE
# MPPC
options NETGRAPH_MPPC_COMPRESSION
options NETGRAPH_MPPC_ENCRYPTION
options NETGRAPH_PPP
options NETGRAPH_PPTPGRE
options NETGRAPH_TCPMSS
options NETGRAPH_VJC
# --
options NETGRAPH_ASYNC
options NETGRAPH_BRIDGE
options NETGRAPH_CISCO
options NETGRAPH_ECHO
options NETGRAPH_ETHER
options NETGRAPH_FRAME_RELAY
options NETGRAPH_GIF
options NETGRAPH_GIF_DEMUX
options NETGRAPH_HOLE
options NETGRAPH_IP_INPUT
options NETGRAPH_L2TP
options NETGRAPH_LMI
options NETGRAPH_ONE2MANY
options NETGRAPH_RFC1490
options NETGRAPH_TEE
options NETGRAPH_TTY
options NETGRAPH_UI
options NETSMB
options LIBMCHAIN
options LIBICONV
options SMBFS
options MROUTING
options NULLFS
options GEOM_BDE
options GEOM_ELI
device enc
options PANIC_REBOOT_WAIT_TIME=16
device if_bridge
device coretemp
options COM_MULTIPORT #Для Com портов
device ucom
device uplcom
device ucycom
# 3G modem
device u3g
device umodem
-
- прапорщик
- Сообщения: 496
- Зарегистрирован: 2015-05-25 14:36:32
Freebsd-13 jail
Понял.
Как версия, попробуйте генерик (если есть возможность) или учесть моменты как здесь freebsd-f8/strannaya-problema-s-zfs-i-s ... ml#p385971 написал. Понятно, что у Вас система новее, но возможно что-то аналогичное.
Как версия, попробуйте генерик (если есть возможность) или учесть моменты как здесь freebsd-f8/strannaya-problema-s-zfs-i-s ... ml#p385971 написал. Понятно, что у Вас система новее, но возможно что-то аналогичное.
-
- прапорщик
- Сообщения: 496
- Зарегистрирован: 2015-05-25 14:36:32
Freebsd-13 jail
И еще, бывало, что помогал такой трюк (как это ни странно) при сборке: Но учтите, что это помогало НЕ вместо действий указанных по ссылке выше, а "в некоторых иных" случаях.
Естественно, что в этих "в некоторых иных" случаях выполнялось, но эффекта не давало.
Код: Выделить всё
make -j1 buildworld
make -j1 buildkernel KERNCONF=FREE13
Естественно, что
Код: Выделить всё
cd /usr/obj
chflags -R noschg *
rm -rf *
cd /usr/src
make cleandir # хендбук рекомендует выполнять эту команду дважды (!)
make cleandir # хендбук рекомендует выполнять эту команду дважды (!)
- kharkov_max
- капитан
- Сообщения: 1862
- Зарегистрирован: 2008-10-03 14:56:40
Freebsd-13 jail
Demis,
Так делал когда повторно пересобирал мир и ядро 13й версии, ибо без ограничения по потокам сервер не мог ни чего собрать и вис.
Так делаю всегда при обновлении мира и ядра
make cleandir не делал, но думаю не в этом вопрос ....
Начинаю думать на железо, в часности на ОЗУ, 4 планки вдруг так совпало и что то умерло ...
Прогоню вечером мемтестом ....
Так делал когда повторно пересобирал мир и ядро 13й версии, ибо без ограничения по потокам сервер не мог ни чего собрать и вис.
Код: Выделить всё
make -j2 buildworld
make -j2 buildkernel KERNCONF=FREE13
Код: Выделить всё
cd /usr/obj
chflags -R noschg *
rm -rf *
cd /usr/src
Начинаю думать на железо, в часности на ОЗУ, 4 планки вдруг так совпало и что то умерло ...
Прогоню вечером мемтестом ....
- kharkov_max
- капитан
- Сообщения: 1862
- Зарегистрирован: 2008-10-03 14:56:40
Freebsd-13 jail
Кстати параллельно переходил с SVN на GIT, поэтому /usr/src убивал полностью
-
- прапорщик
- Сообщения: 496
- Зарегистрирован: 2015-05-25 14:36:32
Freebsd-13 jail
Тогда рекомендую -j1 и обязательно разборки с опциями в кастомном ядре (как по ссылке, плюс возможно всплывут новые фичи перенесенные в ядро).
Думаю, предполагаю, с железом у Вас все будет в порядке...
Думаю, предполагаю, с железом у Вас все будет в порядке...
-
- прапорщик
- Сообщения: 496
- Зарегистрирован: 2015-05-25 14:36:32
Freebsd-13 jail
И еще момент, обратите внимание, что написано в UPDATING про 13-ую (http://svn.freebsd.org/base/head/UPDATING):
Код: Выделить всё
/usr/ports/UPDATING. Please read that file before running portupgrade.
NOTE TO PEOPLE WHO THINK THAT FreeBSD 13.x IS SLOW:
FreeBSD 13.x has many debugging features turned on, in both the kernel
and userland. These features attempt to detect incorrect use of
system primitives, and encourage loud failure through extra sanity
checking and fail stop semantics. They also substantially impact
system performance. If you want to do performance measurement,
benchmarking, and optimization, you'll want to turn them off. This
includes various WITNESS- related kernel options, INVARIANTS, malloc
debugging flags in userland, and various verbose features in the
kernel. Many developers choose to disable these features on build
machines to maximize performance. (To completely disable malloc
debugging, define WITH_MALLOC_PRODUCTION in /etc/src.conf and rebuild
world, or to merely disable the most expensive debugging functionality
at runtime, run "ln -s 'abort:false,junk:false' /etc/malloc.conf".)
20201216:
The services database has been updated to cover more of the basic
services expected in a modern system. The database is big enough
that it will cause issues in mergemaster in Releases previous to
12.2 and 11.3, or in very old current systems from before r358154.
- Neus
- капитан
- Сообщения: 1980
- Зарегистрирован: 2008-09-08 21:59:56
Freebsd-13 jail
это относится к тому времени, когда 13-я была -current.
в -release версиях debugging features отключены.
Physics is mathematics with the constraint of reality.
Engineering is physics with the constraint of money.
LOR захватили ситхи.
Добро пожаловать на светлую сторону!
Engineering is physics with the constraint of money.
LOR захватили ситхи.
Добро пожаловать на светлую сторону!
-
- прапорщик
- Сообщения: 496
- Зарегистрирован: 2015-05-25 14:36:32
-
- прапорщик
- Сообщения: 496
- Зарегистрирован: 2015-05-25 14:36:32
Freebsd-13 jail
А, блин!
Все.
Дошло...
Как-то я пропустил, что теперь все на гите...
https://github.com/freebsd/freebsd-src/ ... n/UPDATING
Каюсь.
Все.
Дошло...
Как-то я пропустил, что теперь все на гите...
https://github.com/freebsd/freebsd-src/ ... n/UPDATING
Каюсь.
- kharkov_max
- капитан
- Сообщения: 1862
- Зарегистрирован: 2008-10-03 14:56:40
Freebsd-13 jail
Мучаюсь дальше )
Пересобрал ядро в необходимый минимум:
При включении в rc.conf jail_parameters="sysvsem sysvshm allow.raw_sockets" и в jail соответственно - виснет
Пробовал оставлять по одной планке памяти - виснет, т.е. дело не в железе 100%.
Вчера в течении для при отключенном jail_parameters и оставил работать только пару клеток - виснет, в разное время нет закономерности.
Как, что можно включить что бы отдебажить ?
В логах мертвая тишина, зацепиться не за что.
Пересобрал ядро в необходимый минимум:
Код: Выделить всё
# Freebsd 13-Stable $
cpu HAMMER
include GENERIC
ident FREE13
options DEVICE_POLLING
options HZ=1000
options IPFIREWALL
options IPFIREWALL_VERBOSE
options IPFIREWALL_VERBOSE_LIMIT=20
options IPFIREWALL_NAT
options LIBALIAS
options DUMMYNET
options ROUTETABLES=12
options GEOM_MIRROR
# NETGRAPH IPFW
options NETGRAPH
options NETGRAPH_IPFW
options NETGRAPH_NAT
Пробовал оставлять по одной планке памяти - виснет, т.е. дело не в железе 100%.
Вчера в течении для при отключенном jail_parameters и оставил работать только пару клеток - виснет, в разное время нет закономерности.
Как, что можно включить что бы отдебажить ?
В логах мертвая тишина, зацепиться не за что.
-
- прапорщик
- Сообщения: 496
- Зарегистрирован: 2015-05-25 14:36:32
Freebsd-13 jail
Дык, это...
Смотрим еще раз и внимательно линк: freebsd-f8/strannaya-problema-s-zfs-i-s ... ml#p385971
Там белым "по-белому", что-ли(?), написано (ну мы-же помним, что # - это комментарий в строке, не?):
И написано "Теперь никак не живут в оном. Проверял на каждой, пока добился устойчивой работы."
А у Вас что?
Смотрим:
Рано еще мучаться...
Смотрим еще раз и внимательно линк: freebsd-f8/strannaya-problema-s-zfs-i-s ... ml#p385971
Там белым "по-белому", что-ли(?), написано (ну мы-же помним, что # - это комментарий в строке, не?):
Код: Выделить всё
#options IPFIREWALL
#options NETGRAPH
#options NETGRAPH_ETHER
#options NETGRAPH_SOCKET
#options NETGRAPH_TEE
#options NETGRAPH_MPPC_ENCRYPTION
#options DDB
#options DDB_NUMSYM
#options GDB
#options OPENSOLARIS_WITNESS
А у Вас что?
Смотрим:
kharkov_max писал(а): ↑2021-09-29 7:49:14options IPFIREWALL
options IPFIREWALL_VERBOSE
options IPFIREWALL_VERBOSE_LIMIT=20
options IPFIREWALL_NAT
Плюс упоминал, что могут и новые заковыки появиться...kharkov_max писал(а): ↑2021-09-29 7:49:14options NETGRAPH
options NETGRAPH_IPFW
options NETGRAPH_NAT
Рано еще мучаться...
-
- прапорщик
- Сообщения: 496
- Зарегистрирован: 2015-05-25 14:36:32
Freebsd-13 jail
А вот это вот зря. Недаром в хендбуке это находится в разделе "если что-то пошло не так".
Правда, почему-то в последней (en) (вроде для 14-ой) версии я этого не нашел. В русской и старой это есть.
Там в en даже порядок обновления совсем иной, чем ранее...
- kharkov_max
- капитан
- Сообщения: 1862
- Зарегистрирован: 2008-10-03 14:56:40
Freebsd-13 jail
Demis,
Сегодня утром собрал ядро без
Перестал Nat работать ...
Что Вы хотите сказать, что данные опции уже запилины в ядро?
Сегодня утром собрал ядро без
Код: Выделить всё
options NETGRAPH
options NETGRAPH_IPFW
options NETGRAPH_NAT
Что Вы хотите сказать, что данные опции уже запилины в ядро?
-
- проходил мимо
Freebsd-13 jail
Он хочет сказать что расширенный функционал, можно задействовать путемЧто Вы хотите сказать, что данные опции уже запилины в ядро?
подгрузки модулей, будь то netgraph или kernel nat или масса других возможностей...
Код: Выделить всё
# ls -la /boot/kernel/ng_*
# ls -la /boot/kernel/ | grep ipfw
ps. Что Вас побудило использовать Stable вместо Release?