ZFS остались вопросы. Давайте посоветуемся :)

[sEr...]

Итак, решил себе поставить фрю 8 на ZFS сразу. Мучался где-то сутки через костыли ставил на маленький древний винт на 4 гига, чтоб с него продолжить установку. Потом допер, что при установке кернел паник из-за недостаточного vm.kmem_size пересобрал ядро и увеличил vm.kmem_size до 1024M. Был огарчён что не добавили возможности установки на ZFS в инсталлер фряхи. Надеюсь, когда-нить добавят.
Делал по куче манов, с миру по нитке, насобирал себе вот такую хрень.

Код: Выделить всё

ser@server01 ~>uname -a
FreeBSD server01 8.0-RELEASE FreeBSD 8.0-RELEASE #0: Mon Jan 11 17:36:39 EET 2010     ser@server01:/usr/obj/usr/src/sys/sErvEr01  i386

Сразу вопрос, он тут уже задан но ответа пока небыло. Если нет никаких видимых причин оставаться на i386 стоит ли мне ради ZFS перейти на amd64.
У меня Core2Duo 2 ядра по 2 гигагерца и 2 гига оперативы )
Я уже понял что 2 гига оперативы это для ZFS очень мало и сейчас стараюсь выжать максимум скорость чтения/записи играясь параметрами в /boot/loader.conf
Скорость проверяю очень просто по три раза делаю такие команды

Код: Выделить всё

dd if=/dev/zero of=111 bs=1024 count=1000000
dd if=111 of=/dev/null

Пока максимум что мне удавалось 61 Мб/с запись и 55 Мб/c чтение. Не понимаю почему чтение все время немного медленнее записи...

Самое главное, как я разбил свои диски и что на ворганил. до сих пор терзают сомнения по поводу рациональности. Покритикуйте меня ))
Есть 2 винта SATA Samsung 250 Gb. Вот чтоя на них на творил...

Код: Выделить всё

ser@server01 ~>gpart show
=>       34  488394988  ad0  GPT  (233G)
         34        128    1  freebsd-boot  (64K)
        162    4194304    2  freebsd-swap  (2.0G)
    4194466   65011712    3  freebsd-zfs  (31G)
   69206178  419188844    4  freebsd-zfs  (200G)

=>       34  488394988  ad2  GPT  (233G)
         34        128    1  freebsd-boot  (64K)
        162    4194304    2  freebsd-swap  (2.0G)
    4194466   65011712    3  freebsd-zfs  (31G)
   69206178  419188844    4  freebsd-zfs  (200G)

ser@server01 ~>zpool list
NAME      SIZE   USED  AVAIL    CAP  HEALTH  ALTROOT
data400   398G   150G   248G    37%  ONLINE  -
zroot    30,8G  2,17G  28,6G     7%  ONLINE  -
ser@server01 ~>zpool status
  pool: data400
 state: ONLINE
 scrub: none requested
config:

	NAME        STATE     READ WRITE CKSUM
	data400     ONLINE       0     0     0
	  ad0p4     ONLINE       0     0     0
	  ad2p4     ONLINE       0     0     0

errors: No known data errors

  pool: zroot
 state: ONLINE
 scrub: none requested
config:

	NAME        STATE     READ WRITE CKSUM
	zroot       ONLINE       0     0     0
	  mirror    ONLINE       0     0     0
	    ad0p3   ONLINE       0     0     0
	    ad2p3   ONLINE       0     0     0

errors: No known data errors

Как видно, я для системы сделал отдельно 2 раздела на винтах и зеркало, а остальное пространство мне стало жалко зеркалировать поэтому я его сделал двумя другими разделами по 200 гиг просто zpool add

О так вот вопросы которые остались:
1. Про платформу i386 или amd64 я спросил в начале
2. Я не очень много работал с рейдами точнее почти не работал есть простейший вопрос в рейде первого уровная, как у меня зеркало должна увеличиться скорость относительно одного такого винчестера? В рейде нулевого уровня как в моём пуле data400 я так понимаю что должна...
3. Что конкретно означает параметр vfs.zfs.prefetch_disable="1"? Что даёт его применение?
4. Как мне сейчас корректно записать на раздел ad2p1 freebsd-boot второго диска данные чтоб если "ВДРУГ" я выдерну ad0, то комп смогбы загрузиться с ad2. Ведь система какраз на зеркальномпуле и по идее должно сработать...

Вроде больше нет пока вопросов. Жду отзывов

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Alex Keda]

лучше amd64

[sEr...]

лучше amd64

Доступно объясняешь спасибо.
Ну а по поводу других вопросов? Чо-нить кто-нить ответит?
Или многим наверное лень читать много написал...

[LMik]

Скорость в обоих рейдах увеличится. Дисков же больше.
prefetch - в доке написано. Это предчтение файлов очень умное и хитрое.

[Neus]

3. Что конкретно означает параметр vfs.zfs.prefetch_disable="1"? Что даёт его применение?

ну блин... вроде бы по названию должно быть понятно...
если его поставить в 0, включается механизм предвыборки файловой системы, т.е. повышается производительность операций чтения
но, в i386 он отключен по умолчанию и включать его вроде как не рекомендуются
на amd64 он включен.
---
ну по остальным вопросам - гугль в помощь

[sEr...]

Во спасибо! Теперь ясно!
У меня в голове созрел ещё один коварный вопрос.
Вопрос в том, что когда я выполняю проверку скорости с помощью dd if=/dev/zero of=111 bs=1024 count=1000000 или просто копирование то винт думает по полной несколько секунд, потом вооообщше не думае, потом опять думает. Тоесть запись или чтение происходит как бы порциями => скорость чтения записи у меня органичена не скоростью винта. Какой параметр на это влияет, что можно увеличить или почему так происходит? Я хочу чтоб если копирование то оно заставляло думать винт на 100% ну или по возможности максимально.

[gloom]

Код: Выделить всё

CPU: Intel(R) Celeron(R) D CPU 3.33GHz (3333.25-MHz 686-class CPU)
real memory  = 2147483648 (2048 MB)
avail memory = 2078089216 (1981 MB)
uname -rsp
FreeBSD 8.0-RELEASE-p2 i386

с vm.kmem_size="1024M"
не грузится(
768 тоже
с 512 работает

с vfs.zfs.prefetch_disable=0
жуткие тормоза

[sEr...]

с vm.kmem_size="1024M"
не грузится(
768 тоже
с 512 работает

с vfs.zfs.prefetch_disable=0
жуткие тормоза

А ты ядро пересобирал?
Если те ны пересобирёшь ядро с опцией

Код: Выделить всё

options              KVA_PAGES=512

То выставить vm.kmem_size больше 512 нельзя.

[Fastman]

Скорость в обоих рейдах увеличится. Дисков же больше.
prefetch - в доке написано. Это предчтение файлов очень умное и хитрое.

Наглая ложь !

По поводу скорости и рейда.
Скорость чего ??? На каком типе нагрузки ???
На 1-ом рейде сильно не подрастет. По крайней мере под нагрузкой это заметно не будет на мелких блоках и одновременном доступен.
На линейном потоке возможно скорость будет заметнее выше.
На страйпе(0 рэйд) скорость зависит(конечная зависимость, от контроллера и мощности железа) от количества дисков. Чем больше - тем выше скорость.
Не забываем что пропорционально будет уменьшаться надежность

[LMik]

Скорость в обоих рейдах увеличится. Дисков же больше.
prefetch - в доке написано. Это предчтение файлов очень умное и хитрое.

Наглая ложь !

По поводу скорости и рейда.
Скорость чего ??? На каком типе нагрузки ???
На 1-ом рейде сильно не подрастет. По крайней мере под нагрузкой это заметно не будет на мелких блоках и одновременном доступен.
На линейном потоке возможно скорость будет заметнее выше.
На страйпе(0 рэйд) скорость зависит(конечная зависимость, от контроллера и мощности железа) от количества дисков. Чем больше - тем выше скорость.
Не забываем что пропорционально будет уменьшаться надежность

Что-то не понял где ложь? Сам же написал что все равно подрастет скорость.

[Neus]

...
Вопрос в том, что когда я выполняю проверку скорости с помощью dd if=/dev/zero of=111 bs=1024 count=1000000 или просто копирование то винт думает по полной несколько секунд, потом вооообщше не думае, потом опять думает. Тоесть запись или чтение происходит как бы порциями => скорость чтения записи у меня органичена не скоростью винта. Какой параметр на это влияет, что можно увеличить или почему так происходит? Я хочу чтоб если копирование то оно заставляло думать винт на 100% ну или по возможности максимально.

это фича zfs, она сначала кэш накачивает под завязку, а потом сбрасывает на хард (впрочем его можно и отключить)
вопщем по дефолту она стремица минимизировать обращения в диску...

[Neus]

...с vfs.zfs.prefetch_disable=0
жуткие тормоза

ну касяк там какойта с i386
не просто так же он по умолчанию в 1 выставлен

[sEr...]

...
Вопрос в том, что когда я выполняю проверку скорости с помощью dd if=/dev/zero of=111 bs=1024 count=1000000 или просто копирование то винт думает по полной несколько секунд, потом вооообщше не думае, потом опять думает. Тоесть запись или чтение происходит как бы порциями => скорость чтения записи у меня органичена не скоростью винта. Какой параметр на это влияет, что можно увеличить или почему так происходит? Я хочу чтоб если копирование то оно заставляло думать винт на 100% ну или по возможности максимально.

это фича zfs, она сначала кэш накачивает под завязку, а потом сбрасывает на хард (впрочем его можно и отключить)
вопщем по дефолту она стремица минимизировать обращения в диску...

Ну, собственно, я так и подумал. Но результат - падение скорости, а к винту по времени он всё равно обращается столько же сколько он бы обращался еслиб лил без оставноки... Может можно увеличить какой-то параметр?

PS: Уже переставляю систему с i386 на amd64. Хорошо, что она ещё совсем не настроенная была

[Neus]

Ну, собственно, я так и подумал. Но результат - падение скорости, а к винту по времени он всё равно обращается столько же сколько он бы обращался еслиб лил без оставноки... Может можно увеличить какой-то параметр?

PS: Уже переставляю систему с i386 на amd64. Хорошо, что она ещё совсем не настроенная была

Хы.. падение скорости..
ты запусти gstat в консоли и посмотри с какой скоростью она пишет на винт (она ж еще при этом дефрагментацию пытается свести к 0), раза в 2-3 быстрее UFS..

[Гость]

>это фича zfs, она сначала кэш накачивает под завязку, а потом сбрасывает на хардэто фича zfs, она сначала кэш накачивает под завязку, а потом сбрасывает на хард
Хм, а как эта фича называется, можно узнать?

[sEr...]

Вопрос ещё появился. Я систему ещё не установил amd64. Не пойму, как нормально удалить старую систему чтоб удалились все файлы.
Картина такая:

Код: Выделить всё

server01# zpool list
NAME    SIZE   USED  AVAIL    CAP  HEALTH  ALTROOT
zroot  30.8G  2.15G  28.6G     6%  ONLINE  -
server01# mount -t zfs zroot /mnt
server01# cd /mnt
server01# pwd
/mnt
server01# ls
.cshrc		.profile	bin		lib		libexec		sbin
server01# rm -rf *
rm: bin/rcp: Operation not permitted
rm: bin: Directory not empty
rm: lib/libthr.so.3: Operation not permitted
rm: lib/libc.so.7: Operation not permitted
rm: lib/libcrypt.so.5: Operation not permitted
rm: lib: Directory not empty
rm: libexec/ld-elf.so.1: Operation not permitted
rm: libexec: Directory not empty
rm: sbin/init: Operation not permitted
rm: sbin: Directory not empty

Вот и чё с этим делать-то?
Может снести пул создать заново и с помощью файлика скрипта быстро восстановить ФС со всеми разделами? Или есть менее радикальный способ?

[Neus]

>это фича zfs, она сначала кэш накачивает под завязку, а потом сбрасывает на хардэто фича zfs, она сначала кэш накачивает под завязку, а потом сбрасывает на хард
Хм, а как эта фича называется, можно узнать?

ARC это называется

[Neus]

Может снести пул создать заново и с помощью файлика скрипта быстро восстановить ФС со всеми разделами? Или есть менее радикальный способ?

Код: Выделить всё

dd if=/dev/zero of=/dev/[your device] bs=1M count=1

[sEr...]

>это фича zfs, она сначала кэш накачивает под завязку, а потом сбрасывает на хардэто фича zfs, она сначала кэш накачивает под завязку, а потом сбрасывает на хард
Хм, а как эта фича называется, можно узнать?

ARC это называется

Знчит это этот параметр?

Код: Выделить всё

vfs.zfs.arc_max="100M"

И как влияют его настройки?
Чем он больше тем больше он будет накачиваться и сливать инфу на винт и меньше вероятность фрагментации, и чем он меньше тем он бесполезнее? Я правильно понимаю?

[sEr...]

Люди, кто юзает ZFS поделитесь у кого какая скорость на каком железе и чем меряете? Интересны настройки кто как оптимизировал?...
Просто, я не понимаю. у меня скорость записи на ZFS почти в 2 раза больше чем скорость чтения... Как так? Разве обычно не наоборот?...
А при копировании данных между ZFS разделами скорость вообще неприличная, в среднем 25 мегабайт в секунду, это даже между разными винчестерами...

[kolossus]

Если те ны пересобирёшь ядро с опцией

Код: Выделить всё

options              KVA_PAGES=512

То выставить vm.kmem_size больше 512 нельзя.

А если выставил , что делать?
Грузиться система отказалась.

Код: Выделить всё

kmem_suballoc bad status return of 3

Загрузился с диска РусBSD, сделал zpool import, затем rollback - был снимок на момент проведения эксперимента.
Теперь при загрузке выдает:

Код: Выделить всё

Trying to mount root from zfs:system/ROOT
ROOT MOUNT ERROR:
...
Loader variables:
vfs.root.mountfrom=zfs:system/ROOT
vfs.root.mountfrom.options=rw

mountroot>

Никто не знает, что делать?

[Alex Keda]

кэш восстанавливать

[kolossus]

кэш восстанавливать

А как это сделать?

Еще такой момент, только теперь обнаружил:
FreeBSD (7.2, 8.0) диск с ZFS - ad6
а в РусБСД он же - ad2
Создавался zfs pool во FreeBSD c диском - ad6, снапшот - то же, а вот роллбэк - на РусБСД и диск был уже ad2.
Может это как-то повлияло.

[OHOSTING2]

Народ, вопрос со скоростью записи на системном диске ZFS. Помогите, плз
http://forum.lissyara.su/viewtopic.php? ... 35#p262135