Jail limits under FREEBSD-CURRENT

[paix]

OFFTOPIC

Товарищи, есть вопрос немного не по теме.
Собрал я значит сегодняшний CURRENT с патчами товарища kostjn, поставил все как надо, и решил из того же /usr/obj поставить и джайлы. То есть после установки системы я /usr/obj не удалял и /usr/src не чистил. Значит делаю все по хендбуку:

Код: Выделить всё

# setenv D /here/is/the/jail
# mkdir -p $D 
# cd /usr/src
# make world DESTDIR=$D 
# cd etc/ [1]
# make distribution DESTDIR=$D 
# mount -t devfs devfs $D/dev

ужос!!!

Код: Выделить всё

/usr/ports/sysutils/ezjail

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[kostjn]

когда собираеться мир /usr/include/* вообще не затрагиваеться
мир собираеться и использует токо /usr/src/*

так что пересмотрите что то не то или не так делаете или сделали

Меня смутила команда

Код: Выделить всё

cc -O2 -pipe  -std=gnu99 -fstack-protector  -c /usr/src/usr.bin/killall/killall.c

Если make world делает ее в точности, то

Код: Выделить всё

[root@book /usr/src]# ktrace -i cc -O2 -pipe  -std=gnu99 -fstack-protector  -c /usr/src/usr.bin/killall/killall.c
[root@book /usr/src]# kdump | grep jail.h
	#include <sys/jail.h>
 84251 cc1      NAMI  "/usr/include/sys/jail.h"
	 * $FreeBSD: src/sys/sys/jail.h,v 1.40 2009/05/05 05:49:08 jamie Exp $

Использует как раз /usr/include/sys/jail.h.

[paradox]

если делать
cd /usr/src && make buildworld
никаких /usr/include/
не используеться и не должны использоваться
а иначе бы
на 7 нельзя например было собрать куррент для перехода на него
логично?

а вот если делать
cd /usr/src/sbin.usr/чего то там
то как раз будет юзатьться /usr/include
потому что окружение не настроено

так что подумай....что то где то не так

[kostjn]

С точки зрения админа - это не очень удобно. Для именения лимитов надо сначала добавить класс с соответвующими параметрами и тольео мотом прыгать на него... Наверняка должна быть возможность создавать классы динамически, но на этот вопрос, наверно, только в листах ответят...

Классы регистрации используются только для удобства. Чтобы не делать так

Код: Выделить всё

jail -S 10 -M 10 -P 100 -F 256 остальные опции

Классы регистрации не подходят, потому что многие лимиты, например datasize не имеют смысла для jail в целом.

[paradox]

ktrace -i cc -O2 -pipe -std=gnu99 -fstack-protector -c /usr/src/usr.bin/killall/killall.c

вот вот
ты это и делаешь
а

Код: Выделить всё

cd /usr/src/ && make buildworld

делает совсем другое
он как раз настраивает окружение
что бы не юзалоись /usr/include
а юзались /usr/src/include/

[terminus]

Нельзя остановить джайл стандартным способом?

Код: Выделить всё

# jls
   JID  IP Address      Hostname                      Path
     1  10.10.10.1      jail1.d.lv              /usr/local/jails/jail1

# /etc/rc.d/jail forcestop jail1
Stopping jails: jail1.d.lv.
# jls
   JID  IP Address      Hostname                      Path
     1  10.10.10.1      jail1.d.lv              /usr/local/jails/jail1
# jls
   JID  IP Address      Hostname                      Path
     1  10.10.10.1      jail1.d.lv              /usr/local/jails/jail1

# /etc/rc.d/jail stop jail1
Stopping jails: cannot stop jail jail1. No jail id in /var/run
.
# jls
   JID  IP Address      Hostname                      Path
     1  10.10.10.1      jail1.d.lv              /usr/local/jails/jail1

---

ужос!!!
/usr/ports/sysutils/ezjail

Я ленюсь

[kostjn]

Нельзя остановить джайл стандартным способом?

Забавно Только сейчас заметил, скрипт /etc/rc.d/jail дописывает вывод программы jail в /var/run/jail_jail1.id например.
А после этого он не знает кого убивать .
Удалите из /usr/src/usr.sbin/jail/jail.c строки

Код: Выделить всё

243     printf("Limits cpu %lu, mem %lu, proc %lu file %lu",
244         (unsigned long int) j.limits[RLIMIT_CPU].rlim_max,
245         (unsigned long int) j.limits[RLIMIT_RSS].rlim_max,
246         (unsigned long int) j.limits[RLIMIT_NPROC].rlim_max,
247         (unsigned long int) j.limits[RLIMIT_NOFILE].rlim_max);

И пересоберите только программу jail. Или можно завершать jailы так,

Код: Выделить всё

killall -TERM -j 1

[ProFTP]

на 7 нельзя например было собрать куррент для перехода на него
логично?

всмысле, из 7.0 на ракент нельзя обновится? надо сначало на 7.2 потом на 8.0?

куда рапорты ошибок отсылать? ну что типо все работает чтобы они его в продакшен поставили...

Если все ок, можно подписаться на freebsd-jail http://lists.freebsd.org/mailman/listinfo/freebsd-jail, и туда написать .

там бывает не всегда отвичают, если спросить например про Cedega или про эмулятр Xen, могут не ответить, так как оно никому не надо!!

а кто написал? где его емайл? он в рассылке участвует? если в каренте что-то изменят в исходниках, то потом может не собратся...

[paradox]

>ProFTP
не выдергивай слов из контекста

да я пропустил там слово
щас вставлю
что бы понятней было

если делать
cd /usr/src && make buildworld
никаких /usr/include/
не используеться и не должны использоваться
а иначе бы
на 7 нельзя например было БЫ собрать куррент для перехода на него
логично?

внимательней читай
и не флуди
виш человек полезное для жайлов сделал

[ProFTP]

он сказал что это не он сделал, а кто-то другой..

[c45gqchsba_]

Это Вы написали?

Да.

Почетно.

Пока нет. Когда в основное дерево примут будет здорово
Нужно тестировать и еще раз тестировать.[/quote]

[kostjn]

Привет.
Кой чего дописал.
1. Добавил проверки при создании socket, socketpair , pipe, fifo, shm_open, posix_openpt, kqueue, ksem_create. Таким образом, при превышении лимита по файловым дескрипторам, ничего из указанного создать нельзя. Различные счетчики на каждый тип файлов делать нет смысла.
2. Лимиты на число открытых файлов стали более жесткими (существенно превысить лимит как раньше нельзя.)
3. Лимиты на число процессов стали также более жесткие, превысить не получится.
4. Лимиты на память также более жесткие. Если есть возможность убивать процессы jail-а при превышении лимита памяти, патч будет убивать процессы пока использование памяти не станет меньше лимита, убиваются большие процессы.
Новая версия доступна по старой ссылке.
Чтобы собрать, нужно:
Обновиться с помощью cvsup.
И собрать только ядро.
Обновлять мир не нужно.

[terminus]

Я пока со старой версией патча играюсь.

Вот такая картинка:

Код: Выделить всё

# jls
   JID  IP Address      Hostname                      Path
     5  10.10.10.2      jail2.d.lv              /usr/local/jails/jail2
     6  10.10.10.1      jail1.d.lv              /usr/local/jails/jail1

В каждой клетке запущено несколько

Код: Выделить всё

dd if=/dev/urandom of=/dev/null &

в материнской системе видно:

Код: Выделить всё

# ./jget 6
Jail limits and rusage, jid = 6
Limits: CPU 10, MEM 64M, NPROC 256, NOFILE 1024
Usage: CPU 95, MEM 11M, NPROC 10, NOFILE 63

# ./jget 5
Jail limits and rusage, jid = 5
Limits: CPU 10, MEM 64M, NPROC 256, NOFILE 1024
Usage: CPU 77, MEM 10M, NPROC 9, NOFILE 58

Код: Выделить всё

last pid: 67523;  load averages:  6.85,  6.69,  5.37                                                 up 0+03:04:43  12:50:22
44 processes:  8 running, 36 sleeping
CPU:  4.4% user,  0.0% nice, 95.6% system,  0.0% interrupt,  0.0% idle
Mem: 79M Active, 98M Inact, 50M Wired, 5304K Cache, 34M Buf, 5792K Free
Swap: 2048M Total, 2048M Free

  PID JID USERNAME  THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
67422   5 root        1  99    0  3232K  1320K RUN     1   4:20  9.96% dd
67424   5 root        1  99    0  3232K  1320K RUN     0   4:10  9.96% dd
67423   5 root        1  99    0  3232K  1320K RUN     1   4:07  9.96% dd
67460   6 root        1  99    0  3232K  1320K RUN     0   2:53  9.96% dd
67462   6 root        1  99    0  3232K  1320K RUN     1   2:49  9.96% dd
67461   6 root        1  98    0  3232K  1320K CPU1    1   2:48  9.96% dd
67459   6 root        1  99    0  3232K  1320K RUN     0   2:42  9.96% dd
33716   0 root        1  44    0  3624K  1760K select  0   0:05  0.00% top
65817   0 root        1  44    0  9344K  4604K select  0   0:02  0.00% sshd
65820   0 root        1  44    0  4504K  2168K wait    0   0:01  0.00% bash
 1203   0 root        1  44    0  4504K  1964K wait    1   0:00  0.00% bash
 1143   0 root        1  44    0  3396K  1144K select  1   0:00  0.00% moused
67407   0 root        1  44    0  6368K  4000K select  1   0:00  0.00% ssh
67437   0 root        1  44    0  9344K  4708K select  0   0:00  0.00% sshd
  583   0 root        1  44    0  3292K  1252K select  0   0:00  0.00% syslogd
67408   5 root        1  44    0  9344K  4204K select  0   0:00  0.00% sshd
  823   0 root        1  48    0  3320K  1268K nanslp  0   0:00  0.00% cron
  814   0 root        1  44    0  6620K  3168K select  1   0:00  0.00% sshd
67425   5 root        1  44    0  3624K  1940K select  0   0:00  0.00% top
67442   6 root        1  44    0  9344K  4904K select  0   0:00  0.00% sshd
13246   0 root        1  44    0  4504K  1992K ttyin   0   0:00  0.00% bash
 1197   0 root        1  45    0  3756K  1520K wait    0   0:00  0.00% login
67411   5 root        1  44    0  4612K  2792K pause   0   0:00  0.00% csh
67441   0 root        1  44    0  6368K  4004K select  1   0:00  0.00% ssh
67506   6 root        1  44    0  3624K  1968K select  0   0:00  0.00% top
 1196   0 root        1  45    0  3756K  1520K wait    1   0:00  0.00% login
67454   6 root        1  44    0  3588K  2680K pause   1   0:00  0.00% csh
 1395   0 root        1  44    0  4504K  1856K wait    1   0:00  0.00% bash
  476   0 root        1  44    0  1888K   440K select  0   0:00  0.00% devd
 1198   0 root        1  44    0  3756K  1532K wait    0   0:00  0.00% login
67099   5 root        1  44    0  6620K  3920K select  1   0:00  0.00% sshd
67440   0 root        1  44    0  4504K  2316K wait    0   0:00  0.00% bash
66993   5 root        1  44    0  3292K  1516K select  1   0:00  0.00% syslogd
67108   5 root        1  45    0  3320K  1552K nanslp  1   0:00  0.00% cron
67362   6 root        1  45    0  3320K  1552K nanslp  0   0:00  0.00% cron
67247   6 root        1  44    0  3292K  1516K select  0   0:00  0.00% syslogd

в материнской системе сделаны классы в login.conf

Код: Выделить всё

jail64:\
        :cputime=10:\
        :memoryuse=64M:\
        :maxproc=256:\
        :openfiles=1024:\
        :tc=default:

jail128:\
        :cputime=10:\
        :memoryuse=128M:\
        :maxproc=256:\
        :openfiles=1024:\
        :tc=default:

если остановить процессы в jail2 то в материнской видно:

Код: Выделить всё

last pid: 67527;  load averages:  3.77,  5.23,  5.39                                                 up 0+03:09:10  12:54:49
40 processes:  5 running, 35 sleeping
CPU:  5.2% user,  0.0% nice, 94.8% system,  0.0% interrupt,  0.0% idle
Mem: 77M Active, 98M Inact, 50M Wired, 5304K Cache, 34M Buf, 8648K Free
Swap: 2048M Total, 2048M Free

  PID JID USERNAME  THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
67459   6 root        1 102    0  3232K  1320K RUN     0   4:27 29.98% dd
67462   6 root        1 102    0  3232K  1320K RUN     0   4:26 29.98% dd
67460   6 root        1 101    0  3232K  1320K RUN     0   4:20 19.97% dd
67461   6 root        1  99    0  3232K  1320K CPU0    1   4:21  9.96% dd
33716   0 root        1  44    0  3624K  1760K select  0   0:06  0.00% top
65817   0 root        1  44    0  9344K  4604K select  0   0:02  0.00% sshd
65820   0 root        1  44    0  4504K  2168K wait    1   0:01  0.00% bash
 1203   0 root        1  44    0  4504K  1964K wait    1   0:00  0.00% bash
67437   0 root        1  44    0  9344K  4708K select  0   0:00  0.00% sshd
67407   0 root        1  44    0  6368K  4000K select  1   0:00  0.00% ssh
 1143   0 root        1  45    0  3396K  1144K select  1   0:00  0.00% moused
67408   5 root        1  44    0  9344K  4204K select  1   0:00  0.00% sshd
  583   0 root        1  44    0  3292K  1252K select  0   0:00  0.00% syslogd
  823   0 root        1  44    0  3320K  1268K nanslp  1   0:00  0.00% cron
  814   0 root        1  44    0  6620K  3168K select  1   0:00  0.00% sshd
67442   6 root        1  44    0  9344K  4904K select  1   0:00  0.00% sshd
67441   0 root        1  44    0  6368K  4004K select  0   0:00  0.00% ssh
67411   5 root        1  44    0  4612K  2888K ttyin   1   0:00  0.00% csh
13246   0 root        1  44    0  4504K  1992K ttyin   0   0:00  0.00% bash
 1197   0 root        1  45    0  3756K  1520K wait    0   0:00  0.00% login
 1196   0 root        1  45    0  3756K  1520K wait    1   0:00  0.00% login
67454   6 root        1  44    0  3588K  2680K pause   1   0:00  0.00% csh
 1395   0 root        1  44    0  4504K  1856K wait    1   0:00  0.00% bash
  476   0 root        1  44    0  1888K   440K select  0   0:00  0.00% devd
 1198   0 root        1  44    0  3756K  1532K wait    0   0:00  0.00% login
67526   6 root        1  44    0  3624K  1968K select  0   0:00  0.00% top
66993   5 root        1  44    0  3292K  1516K select  1   0:00  0.00% syslogd
67099   5 root        1  44    0  6620K  3920K select  1   0:00  0.00% sshd
67247   6 root        1  44    0  3292K  1516K select  1   0:00  0.00% syslogd
67440   0 root        1  44    0  4504K  2316K wait    0   0:00  0.00% bash
67108   5 root        1  44    0  3320K  1552K nanslp  1   0:00  0.00% cron
67362   6 root        1  44    0  3320K  1552K nanslp  0   0:00  0.00% cron
67527   0 root        1  44    0  3624K  1956K CPU1    0   0:00  0.00% top
 1200   0 root        1  72    0  3292K  1120K ttyin   1   0:00  0.00% getty
 1201   0 root        1  76    0  3292K  1120K ttyin   1   0:00  0.00% getty
 1199   0 root        1  72    0  3292K  1120K ttyin   1   0:00  0.00% getty

Код: Выделить всё

# ./jget 5
Jail limits and rusage, jid = 5
Limits: CPU 10, MEM 64M, NPROC 256, NOFILE 1024
Usage: CPU 0, MEM 7M, NPROC 5, NOFILE 38

# ./jget 6
Jail limits and rusage, jid = 6
Limits: CPU 10, MEM 64M, NPROC 256, NOFILE 1024
Usage: CPU 124, MEM 11M, NPROC 10, NOFILE 63

че не так?

[kostjn]

Все хорошо насколько я вижу.
После завершения одного jail-а, все свободные процессорные ресурсы были отданы работающему jail-у.
Суть ограничения CPU в том, что при планировании потоков на выполнения мы пропускаем потоки принадлежащие jail-ам, превышающим лимит по cpu.
Потоки в jail-ах, которые лимит не превышают не пропускаются.
Потоки вне jail-ов не пропускаются.

[terminus]

А, понял...
То есть "лимит в 10%" на джайл это не жесткий потолок процессорного времени, а "вес", как в случае с ipfw queue - вес определяет приеритет при борьбе за ресурс, а когда ресурс свободен то он может быть занят под 100% ?

[kostjn]

Да. Мне кажется это правильно.
Нужно отдавать jail-у свободные процессорные ресурсы.
Это не совсем вес. Это порог, после которого к тредам внутри jail-а применяются штрафные санкции в виде пропусков при планировании.

[fxp]

Где ж ты был неделю назад... скрепя сердцем уже засетапил openvz на CentOS >_<

[chd]

/me думает что автору лучше пообщаться плотненько с jamie@, автором иерархического патча.

[ProFTP]

ставте в релиз, если будет глючить, то до стабла исправите

[kostjn]

/me думает что автору лучше пообщаться плотненько с jamie@, автором иерархического патча.

Пообщаемся

ставте в релиз, если будет глючить, то до стабла исправите

Нет, так делать нельзя.

[kostjn]

Необходимо доделывать ограничения ресурсов.
1. Дисковые квоты.
2. Ограничения на использование сетевой подсистемы (число используемых сетевых буферов).
3. Отдельный лимит на число pts(псевдотерминалы).
4. Упростить добавление новых ограничений.
Только после этого можно думать о коммите.

[Alex Keda]

а у меня руки поигратть никак не доползут =(
но под AMD64 CURRENT - собралось. уже хорошо

[terminus]

При использовании ezjail класс пользователя задается так (чего и следовало ожидать - я просто проверил что все работает)

/usr/local/etc/ezjail/jail1_d_lv

Код: Выделить всё

export jail_jail1_d_lv_flags="-Ljail64"

Это корректно отработало:

Код: Выделить всё

[root@hius ~/newjaillimit]# ./jget 7
Jail limits and rusage, jid = 7
Limits: CPU 90, MEM 128M, NPROC 256, NOFILE 1024
Usage: CPU 0, MEM 7M, NPROC 5, NOFILE 35

[root@hius ~/newjaillimit]# ./jget 8
Jail limits and rusage, jid = 8
Limits: CPU 10, MEM 64M, NPROC 256, NOFILE 1024
Usage: CPU 0, MEM 7M, NPROC 5, NOFILE 35

[root@hius ~/newjaillimit]# jls
   JID  IP Address      Hostname                      Path
     7  10.10.10.2      jail2.d.lv              /usr/jails/jail2.d.lv
     8  10.10.10.1      jail1.d.lv              /usr/jails/jail1.d.lv

[root@hius ~/newjaillimit]# ezjail-admin list
-f: not found
STA JID   IP              Hostname                     Root Directory
--- ----- --------------- ---------------------------- -------------------------
DR  7     10.10.10.2      jail2.d.lv             /usr/jails/jail2.d.lv
DR  8     10.10.10.1      jail1.d.lv             /usr/jails/jail1.d.lv

[kostjn]

Хорошо.
Нужно бы проверить правильность посчета используемых ресурсов.
Или погонять какие нибудь стресс тесты.
Нужно обсудить дисковые квоты Написал в рассылку, но пока они там ответят..
Cоздал тему
http://forum.lissyara.su/viewtopic.php?f=8&t=18142

[terminus]

Вот мне этот вопрос тоже интересен - на счет потестить.
У меня счас, значит, два джайла. Я думаю попробовать выставит лимиты у одного 10%+256MB, а у второго 90%+256MB и погонять там что-нибудь. Ну а потом погонять те же тесты, но уже в системе без ограничений. Результаты сравнить. По идее в первом случае время выполнения для джайла 90% должно быть меньше, а во втором случае поровну...

Какие тесты лучше использовать?

Для скорости аллокации я знаю про ebizzy.
Для скорости работы ФС dbench.
Чем тестить загруженность процессора?
MySQL sysbench?