ZFS в качестве основной ФС

[DevZone]

или camcontrol devlist

Инфа тут http://koitsu.wordpress.com/2010/07/22/ ... with-ahci/

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[konstantine]

Ребят делал всё по стать, но многое в голове осталось не в понятном виде поэтому видать и не получилось.


Кароче у меня следающая трабла:
В очередной раз упала винда и моё терпение кончилось... Заказал два винта по террабайту <WD1003FBYX>, а пока они едут начал всё ставить и настраивать на старом винте, а как винты придут, то сделать dump/restore на "железное" (всмысле контроллер встроенный в мать) зеркало из новых винтов. И вот через неделю подъехали винты и приступил к переносу, но не тут то было, сервер на матери Intel s5000vsa и её встроенный райд контроллер не поддерживается фряхой (ставил 9ку). Хоть зеркало и было создано, но фря всеравно упорно видела два винта и пишет на них отдельно, т.е. ничего не зеркалируется
А мне хочется систему то зеркалить и как то не очень хочеться держать 2ой винт тупо для того чтобы dump | restore туда систему каждую ночь, поэтому вспомнил про zfs.

Как я делал:

Код: Выделить всё

1. #gpart create -s GPT ipsd0
2. Потом не ручками, а через bsdinstall создаю разделы на обоих винтах:
pol8 /dev/#gpart show ada0
=>        34  1953525101  ada0  GPT  (931G)
          34         128     1  freebsd-boot  (64k)
         162  1944059776     2  freebsd-ufs  (927G)
  1944059938     8388608     3  freebsd-swap  (4.0G)
  1952448546     1076589        - free -  (525M)

pol8 /dev/#gpart show -l ada1
=>        34  1953525101  ada1  GPT  (931G)
          34         128     1  bootfs  (64k)
         162  1944059776     2  rootfs  (927G)
  1944059938     8388608     3  swapfs  (4.0G)
  1952448546     1076589        - free -  (525M)

3. Создаю зеркальный пул из корневых разделлов, т.к. как я понял создать пул из дисков нельзя, потому что не смогу с них загрузиться, либо выносить /boot каталог за zfs на ufs маленький раздел.
#zpool create MIRROR mirror ada0p2 ada1p2
Он у меня монтируется в /MIRROR, далее 
#zpool set bootfs=MIRROR MIRROR
#zfs set checksum=fletcher4 MIRROR
#zfs set atime=off MIRROR
pol8 /dev/#zfs list
NAME     USED  AVAIL  REFER  MOUNTPOINT
MIRROR    94K   906G    31K  /MIRROR
4. Устанавливаю загрузсчик сразу на оба винта, для того чтобы в случае выхода из строя одного я спокойно загрузился со второго:
pol8 /dev/#gpart bootcode -b /boot/pmbr -p /boot/gptzfsboot -i 1 ada0
bootcode written to ada0
pol8 /dev/#gpart bootcode -b /boot/pmbr -p /boot/gptzfsboot -i 1 ada1
bootcode written to ada1
5. Переливаю полностью настроенную систему:
pol8 /#dump -0 -L -f - / > root.dump
pol8 /#cd /MIRROR
pol8 /MIRROR/#restore -rf ../root.dump
6. Запесочился:
#chroot /MIRROR
#echo 'zfs_load="YES"' > /boot/loader.conf
#echo 'vfs.root.mountfrom="zfs:MIRROR"' >> /boot/loader.conf
#echo 'zfs_enable="YES"' > /etc/rc.conf
7. Правлю fstab
pol8 /home/konstantine/#cat /MIRROR/etc/fstab
# Device	Mountpoint	FStype	Options	Dump	Pass#
#/dev/ada2p2	/		ufs	rw	1	1
/dev/ada0p3	none		swap	sw	0	0
/dev/ada1p3	none		swap	sw	0	0
linproc		/compat/linux/proc linprocfs rw 0	0
8. Размонтируем zfs каталоги
pol8 /MIRROR/#bash
[root@pol8 /MIRROR]# export LD_LIBRARY_PATH=/MIRROR
[root@pol8 /MIRROR]# cd /
[root@pol8 /]# zfs unmount -a
cannot unmount '/MIRROR': Устройство занято
Тогда я просто ребутюсь, а потом делаю опять
pol8 /MIRROR/#bash
[root@pol8 /MIRROR]# export LD_LIBRARY_PATH=/MIRROR
[root@pol8 /MIRROR]# cd /
[root@pol8 /]# zfs unmount -a
- всё ок, теперь 
root@pol8 /]#zfs set mountpoint=legacy MIRROR
9. Ребучусс, вытыкаю старый винт, оставляю только два террабайтника и в ответ получаю:
gptzfsboot: No ZFS pools located, can`t boot.

И самое интересное, что пока я тут писал я параллельно это всё по новой проделовал, но что я заметил:

Код: Выделить всё

Если воткнуть старый винт и по новой закрузиться с него и сделать следующее:
#echo 'zfs_load="YES"' > /boot/loader.conf
#echo 'vfs.root.mountfrom="zfs:MIRROR"' >> /boot/loader.conf
#echo 'zfs_enable="YES"' > /etc/rc.conf
То тогда система стартанёт! и корень будет на ZFS разделе. Как я это понял:
[konstantine@pol8 ~]$ df -h
Filesystem    Size    Used   Avail Capacity  Mounted on
MIRROR        905G     11G    894G     1%    /
devfs         1.0k    1.0k      0B   100%    /dev
linprocfs     4.0k    4.0k      0B   100%    /usr/compat/linux/proc
devfs         1.0k    1.0k      0B   100%    /var/named/dev
devfs         1.0k    1.0k      0B   100%    /usr/local/etc/jails/ISKUS/dev
procfs        4.0k    4.0k      0B   100%    /usr/local/etc/jails/ISKUS/proc
[konstantine@pol8 ~]$ zfs list
NAME     USED  AVAIL  REFER  MOUNTPOINT
MIRROR  11,2G   894G  11,2G  /MIRROR

Внимание вопрос:
Скажите где я не правильно делаю или посоветуйте в какую сторону копать?

Второй впорос: А нормально будет если я воткну в сервер флешку на ней создам ufs раздел и положу туда каталог /boot настроенный на ZFS пулы на двух террабайтниках, это будет нармально или дурость ???

п.с. Большое извинение за мой русский, просто торопился

[snorlov]

a файлик zpool.cache где у вас имеется...

[konstantine]

a файлик zpool.cache где у вас имеется...

в 9ке он автоматом создаётся в:

Код: Выделить всё

pol8 /home/konstantine/#df -h
Filesystem    Size    Used   Avail Capacity  Mounted on
MIRROR        905G     11G    894G     1%    /
devfs         1.0k    1.0k      0B   100%    /dev
linprocfs     4.0k    4.0k      0B   100%    /usr/compat/linux/proc
devfs         1.0k    1.0k      0B   100%    /var/named/dev
devfs         1.0k    1.0k      0B   100%    /usr/local/etc/jails/ISKUS/dev
procfs        4.0k    4.0k      0B   100%    /usr/local/etc/jails/ISKUS/proc
pol8 /home/konstantine/#ls /boot/zfs/
zpool.cache

Хм я думал за выходные народ на советует , а то я всё больше склоняюсь к варианту сделать загрузку с флешки.

[snorlov]

Странно, но у меня все нормально грузится, правда я не переносил систему а поставил ее с нуля...

[konstantine]

хм странно, сейчас залил на флешку весь каталог /boot/* и установил загрузчик

Код: Выделить всё

pol8 /mnt/#gpart bootcode -b /boot/pmbr -p /boot/gptzfsboot -i 1 da0
bootcode written to da0
pol8 /mnt/#cp -R /boot/* .
pol8 /mnt/#

Гружусь с неё и опять вижу:

gptzfsboot: No ZFS pools located, can`t boot

[konstantine]

В общем решил я попробывать как вы поставить с нуля 9ку на zfs. И что вы думаете ? Заработало ))) Как часики, единственное, так это то, что инсталятор в 9ке полностью переделан там bsdinstall, поэтому я сначало долго искал установочное файло, а потом чуток по гуглив нашёл вот этоу удобную хаутушку:
https://sites.google.com/site/luzanov/f ... s/root_zfs
- сделал по ней всё руками и завелась!

Сейчас осталось только старый /usr заресторить и ядро с миром пересобрать, а то дефолтный мир в 9ке почему то не хотел jail`ы запускать, поэтому нужно опять обновить исходники и всё пересобрать.

[konstantine]

Ещё вопрос ребят

Какие нужно выставлять значания параметров:
- vm.kmem_size
- vm.kmem_size_max
- vfs.zfs.arc
- vfs.zfs.arc_max
- vfs.zfs.vdev.cache.size
в /boot/loader.conf
и "options KVA_PAGES=?" в ядре, если у нас система amd64, 8xCPU: Intel(R) Xeon(R) CPU E5405 2.00GHz (1995.04-MHz K8-class CPU), 8Gb RAM ???

[iZEN]

Ещё вопрос ребят

Какие нужно выставлять значания параметров:
- vm.kmem_size
- vm.kmem_size_max
- vfs.zfs.arc
- vfs.zfs.arc_max
- vfs.zfs.vdev.cache.size
в /boot/loader.conf
и "options KVA_PAGES=?" в ядре, если у нас система amd64, 8xCPU: Intel(R) Xeon(R) CPU E5405 2.00GHz (1995.04-MHz K8-class CPU), 8Gb RAM ???

Не нужно ничего выставлять, если задача ещё не опробована на тех настроках, что есть. Оставьте как есть, а если что-то будет не устраивать в работе, то будет видно что.

[konstantine]

Понял

[dekloper]

а подскажите, плз, вот чо..
если я не хочу целиком винт отдавать под это дело (с GPT), можно ли заинсталиться на слайс? (предполагается использовать хард и под другие ОСы)

[f_andrey]

НЕТ.
Другие ОСы тоже вообще то могут понимать GPT :p

[dekloper]

странно
вот тут у народа вроде как получается
но у меня не получилось
какая то подозрительная ругань была на невыровненную партицию

Код: Выделить всё

/sbin/gpart add -t freebsd -s 450G ada0
ada0s1 added, but partition is not aligned on 4096 bytes

надо будет поразбираться еще..

[Fomalhaut]

странно
вот тут у народа вроде как получается

Конечно: там описана установка не с GPT, а с MBR.

какая то подозрительная ругань была на невыровненную партицию

Код: Выделить всё

/sbin/gpart add -t freebsd -s 450G ada0
ada0s1 added, but partition is not aligned on 4096 bytes

надо будет поразбираться еще..

Конечно, и если будут вопросы, то дать информацию полнее: по крайней мере все проведённые операции от начала, до момента ошибки. Или хотя бы

Код: Выделить всё

$ gpart show

[dekloper]

Конечно: там описана установка не с GPT, а с MBR.

да не, мне как раз так и надо, как там в мануале расписано с мбр-схемой

это дело (с GPT)

я имел ввиду все те мануалы, в которых весь адекватный народ ставит зфс на целевую систему с жпт (без всяких мультибутов и прочего..)
===
ставил дома на виртуалке в слайс по мануалу, всё хорошо..
шас один в один всё тоже самое проделал на живой железяке
нихрена не грузится, мбр-ный загрузчик отработал, спросил какую ОСь грузить, и всё..
перезагрузился с загрузочного девайса
смотрю пул.. и не вижу..

Код: Выделить всё

zpool list
no pools available

когда создавал пул, заметил не хорошую штуку

Код: Выделить всё

zpool create zroot /dev/ada0s1a
invalid vdev specification
use '-f' to override the following errors:
/dev/ada0s1a is part of potentially active pool 'zroot'

пришлось применить форс
почему так?

и еще сомненья.. при записи загрузчика

Код: Выделить всё

dd if=/boot/zfsboot of=/dev/ada0s1 count=1
1+0 records in
1+0 records out
512 bytes transferred in 0.000159 secs (3219616 bytes/sec)

dd if=/boot/zfsboot of=/dev/ada0s1a skip=1 seek=1024
128+0 records in
128+0 records out
65536 bytes transferred in 0.008666 secs (7562602 bytes/sec)

про вторую часть загрузки
собсно, в мануале так же, и у мня на виртуалке завелось
в частности, в данной статье тов. Лиссяра пишет почемуто вторую часть не в бзд-раздел (с буквой а), а в слайс (без буквы)
но главное, почему пул потерялся??

шоу после перезагрузки:

Код: Выделить всё

mfsbsd# gpart show
=>        63  1953525105  ada0  MBR  (931G)
          63          63        - free -  (31k)
         126   943718328     1  freebsd  [active]  (450G)
   943718454  1009806714        - free -  (481G)

=>     63  1981665  ada1  MBR  (967M)
       63  1981665        - free -  (967M)

=>        0  943718328  ada0s1  BSD  (450G)
          0          2          - free -  (1.0k)
          2  926941184       1  freebsd-zfs  (442G)
  926941186   16777136       2  freebsd-swap  (8G)
  943718322          6          - free -  (3.0k)

=>     63  1981665  ufsid/501acdee2aeec04f  MBR  (967M)
       63  1981665                          - free -  (967M)

mfsbsd# gpart show ada0
=>        63  1953525105  ada0  MBR  (931G)
          63          63        - free -  (31k)
         126   943718328     1  freebsd  [active]  (450G)
   943718454  1009806714        - free -  (481G)

[fox]

Добрый день!
Вопрос на засыпку. А можно средствами zfs следить за событиями удалениями файлов. Есть хистори, но это журнал действий администрирования или делегированного пользователя.
А как насчёт журнала просто удалений файлов?

[f_andrey]

Нет, можно делать частые снапшоты и играть в "тайм машин"

[fox]

Нет, можно делать частые снапшоты и играть в "тайм машин"

Это немножко не то. Тут отчётность нужна кто кого и за что...

[f_andrey]

Это как бы не функция ФС, если тема так интересна то предлагаю не засорять а открыть новую тему

[Гость]

Поставь пробу на unlink() в dtrace или используй /dev/filemon родителем. Второе можно сделать через python/lua/etc (см. FFI), если компилить ради одного ioctl'я не охота.

NAME
filemon — the filemon device

DESCRIPTION
The filemon device allows a process to collect file operations data of
its children. The device /dev/filemon responds to two ioctl(2) calls.

System calls are denoted using the following single letters:

‘C’ chdir(2)
‘D’ unlink(2)
‘E’ exec(2)
‘F’ fork(2), vfork(2)
‘L’ link(2), linkat(2), symlink(2), symlinkat(2)
‘M’ rename(2)
‘R’ open(2) for read
‘S’ stat(2)
‘W’ open(2) for write
‘X’ _exit(2)

Есть еще порт devel/libinotify (от NetBSD GSoC). Пример использования через python:

Код: Выделить всё

$ python
>>> from inotifyx import *
>>> fd = init()
>>> wd = add_watch(fd, '/home/luser, IN_DELETE)
>>> while True: print get_events(fd)
...
[InotifyEvent(6, 512, 0, 'foo')]
[InotifyEvent(6, 512, 0, 'bar'), InotifyEvent(6, 512, 0, '.histfile.LOCK')]

(.histfile.LOCK - это так zsh обходится с файлом истории.)

[Гость]

Нет, можно делать частые снапшоты и играть в "тайм машин"

через zfs diff?

[dm07]

Прочитал статью, поставил в VMWare и на реальной машине, правда на FreeBSD 9. Все заработало с 1го раза. Автору огромное спасибо.
Небольшое замечание по статье: поскольку установщик FreeBSD 9 немного изменен, то чтобы все заработало по статье, нужно заходить в SHELL по одноименной кнопке (а не через Fixit). Также, везде, где в тексте упоминается путь /mnt2 (в частности, где прописываются загрузчики), брать все из /boot. Ну и наконец, в части статьи, где происходит установка системы из архивов:

Код: Выделить всё

cd /usr/freebsd-dist
export DESTDIR=/mnt
for file in base.txz lib32.txz kernel.txz doc.txz ports.txz src.txz;
do (cat $file | tar --unlink -xpJf - -C ${DESTDIR:-/}); done

Ну нет в установщике 9ки что-то похожее на /dist/9-RELEASE.
Теперь мои вопросы. На заграничном хостинге держу парочку сервачков для клиентов. Планирую перевести в тестовом режиме часть функционала на FBSD9 с ZFS. В связи с тестами, возник ряд вопросов:
1) насколько понял, при создании пула желательно делать через метки, чтобы обезопаситься от смены нумерации дисков при добавлении новых дисков/контроллеров, например: zpool create systor mirror gpt/disk0 gpt/disk1. Достаточно ли такого способа? На форуме еще предлагали использовать glabel, вот хотел бы уточнить.
2) в одной из статей по ссылке автор предлагает построить своп-том на базе gmirror. Насколько понимаю, это оправдано, т.к. чтобы не было затыка при загрузке системы, в fstab мы прописываем не отдельно взятую партицию, а ссылку на gmirror-swap том: /dev/mirror/swap0. Я лично не долюбливаю gmirror схемы, т.к. gmirror распадается при малейшем сбое (типа нечитаемость сектора, который может быть и софт-bad блоком), начинаются жуткие тормоза системы, что в продакшене недопустимо. Нужен комментарий на этот счет...
3) делал на реальной машине тестовый сбой, на ходу отключил питание одного из дисков. При этом система как работала, так и продолжала работать. Однако, я не смог зайти в консоль (после ввода имени пользователя, система не запрашивает пароль, как-будто при очень сильной загруженности сервера), система в общем не отвечала на введенные команды. Пришлось экстренно перегрузить. Что это могло быть?

[dekloper]

я вот тут сталкивался с похожими вопросами
мне хотелось не столько "доработать скрипт", сколько понять, что происходит с пулом при отсутствии в нем девайса...
ну и разные способы инсталляции.. "фиксит" для меня не удобно..

1) насколько понял, при создании пула желательно делать через метки, чтобы обезопаситься от смены нумерации дисков при добавлении новых дисков/контроллеров, например: zpool create systor mirror gpt/disk0 gpt/disk1. Достаточно ли такого способа?

для жпарта, думаю, да
но мне хотелось в слайс вкорячить, потому у меня через жлабел, ибо md0 -> ada0 фатально для загрузки..
а другие слайсы - для других, не менее правильных ОСей, например NetBSD

[Упоротый_в_щи]

Пытаюсь поставить 8.1 уже пару рабочих дней. Сисинстал сыпет ошибки no inodes free (и это на двух разных машинах с двумя разными винтами, пробовал и 8.0, и другую флешку, и винты затирал ноликами, эффект один). Пришел к решению поставить врукопашную на ZFS. Ставил трижды на каждой машине по трем разным мануалам. В итоге во всех случаях фря грузится, но затем не может смонтировать корневую файловую систему. Указываю пинком mount ZFS:/dev/*имя*, указываю по псевдониму mount /dev/GPT/disc0 - толку ноль. Что можете посоветовать?

[snorlov]

Поставить 9.0 или 8.3