ZFS в качестве основной ФС

[fox]

Но по kmem_suballoc есть, оказывается, волшебный параметр для ядра:
Если нужно kmem_size более 512Мб, то нужно перекомпилировать ядро с параметром
KVA_PAGES=512 (по умолчанию 256): это даст возможность выставить kmem_size до 1G:

Код: Выделить всё

options KVA_PAGES=512
P.S. Заодно в статью добавлю...[/quote]

Оке, перекомпилю. Тоже подумал об этом, но как-то ушла мысль :)[/quote]

У автора статьи читал, сразу не вспомнил где видел а теперь вспомнил вот:
http://wiki.freebsd.org/ZFSTuningGuide

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[fox]

Вот ещё одня не задача, создаю пул, затем к ниму подрубаю второй хард как зеркало:

Код: Выделить всё

#zpool attach poll dev dev

Всё подрубается без проблем и работает!
Но если первый винт выкинуть, то второй не мантируется машина дуплится долго и не чего не происходит что я не так делал?

[Fomalhaut]

Вот ещё одня не задача, создаю пул, затем к ниму подрубаю второй хард как зеркало:

Код: Выделить всё

#zpool attach poll dev dev

Всё подрубается без проблем и работает!
Но если первый винт выкинуть, то второй не мантируется машина дуплится долго и не чего не происходит что я не так делал?

Странно. У меня отвал диска нормально отработался: как писал, случайно проверил, когда кабель САТА выпал из разъёма.
У тебя похожая конфигурация зеркала?

Код: Выделить всё

# gpart show -l
=>       34  143372221 isp0p3  GPT  (68G)
         34        256      1  ----   (128K)
        290    8388608      2  swap0  (4.0G)
    8388898  134983357      3  disk0  (64G)

=>       34  143372221 isp1p3  GPT  (68G)
         34        256      1  ----   (128K)
        290    8388608      2  swap1  (4.0G)
    8388898  134983357      3  disk1  (64G)

# zpool list
NAME     SIZE   USED  AVAIL    CAP  HEALTH  ALTROOT
systor    64G  4.15G  59.8G     6%  ONLINE  -

# zpool status
  pool: systor
 state: ONLINE
 scrub: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        systor      ONLINE       0     0     0
          mirror    ONLINE       0     0     0
            disk0   ONLINE       0     0     0
            disk1   ONLINE       0     0     0

errors: No known data errors

[fox]

Да похожая, но если второй диск отвалится то не старшно стандартная процедура!
А если первый то проблема...
Дело в том что я вначале слил койкакую инфу на первый диск, а потом подключил второй и началась синхронизация! Прошла успешно но вот второй вин не подмена первому случившись что-либо с первым!

[Yorik]

Мне посчастливилось огрести проблем с ZFS на GPT.
Видимо, при очередном отключении электричества на моем HS полетела GPT на одном из дисков. После этого восстановить GPT или zpool, что на ней был, так и не удалось.
После этого на винты с данными ZFS ставлю на весь винт, не разбивая на разделы, дабы избежать лишнего уровня ошибок (не просто так ZFS охватывает и уровень менеджера томов).
Всвязи со всем этим вопрос - можно ли как-то поставить ZFS в качестве основной ФС без GPT? Чего для этого не хватает?

[ZAPODLO]

Трэд распараллелился ) по проблемам...

Собственно вот... увеличение ОЗУ, пересборка ядра и правка loader.conf на использование памяти для ZFS 1536MB - не дала ровным счетом ничего... Скорость как была УГ, так и осталась... Я хз, что с этим делать... Через Самбу заливается 40-60 Mbyte\s, локально копирование с пула на пул - не более 20. Пойду убьюсь обо что-нибудь...

[Fomalhaut]

Мне посчастливилось огрести проблем с ZFS на GPT.
Видимо, при очередном отключении электричества на моем HS полетела GPT на одном из дисков. После этого восстановить GPT или zpool, что на ней был, так и не удалось.
После этого на винты с данными ZFS ставлю на весь винт, не разбивая на разделы, дабы избежать лишнего уровня ошибок (не просто так ZFS охватывает и уровень менеджера томов).
Всвязи со всем этим вопрос - можно ли как-то поставить ZFS в качестве основной ФС без GPT? Чего для этого не хватает?

Собственно мелочь: freebsd-boot, размером от 32 до 545 кБ. Своп-то можно и внутри ZFS пула создать (только без возможности сбрасывать туда крэш-дамп ядра), а вот избавиться от загрузчика будет сложновато. Это не загрузочные ZFS пулы можно распространять на весь диск, а с загрузочными такое не пройдёт.
Но про слетание GPT подробней, плз: какие сиптомы и что делалось. Я на такой случай сделал:

Код: Выделить всё

# gpart backup ad4 > /mnt/ad4.bkp

Если что - можно GPT восстановить вручную с livefs:

Код: Выделить всё

# gpart restore ad4 < /mnt/ad4.bkp

Собственное я делал ссылку на "Резервное копирование таблицы разделов при помощи gpart".

[Fomalhaut]

Трэд распараллелился ) по проблемам...

Собственно вот... увеличение ОЗУ, пересборка ядра и правка loader.conf на использование памяти для ZFS 1536MB - не дала ровным счетом ничего... Скорость как была УГ, так и осталась... Я хз, что с этим делать... Через Самбу заливается 40-60 Mbyte\s, локально копирование с пула на пул - не более 20. Пойду убьюсь обо что-нибудь...

Это рановато. Надо ещё попробовать разобраться. Но меня смущает скорость через Самбу: 50МБайт/sec ~= 400Mbit/sec - у тебя гигабитная сеть?

[ZAPODLO]

у тебя гигабитная сеть?

Да

[fox]

Серьёзный вопрос!
Мне нужно сделать хронилеще важных данных выбрал 2 харда по 2 ТР.Б, файловую систему ZFS, харды подключить в зеркало, это будут вспомогательные винты (для хранилещя) система стоит на UFS! Как мне разбить, при помощи gpart сделать под ZFS раздел? Или тупа сами харды в пул включить без разметки?
Как надёжней будет? Потому что это очень ответсвенная информация будет хрониться!

[Fomalhaut]

Серьёзный вопрос!
Мне нужно сделать хронилеще важных данных выбрал 2 харда по 2 ТР.Б, файловую систему ZFS, харды подключить в зеркало, это будут вспомогательные винты (для хранилещя) система стоит на UFS! Как мне разбить, при помощи gpart сделать под ZFS раздел? Или тупа сами харды в пул включить без разметки?
Как надёжней будет? Потому что это очень ответсвенная информация будет хрониться!

Если винты целиком под пул, то смысла нет с GPT или MBR разбивке.
А для ответственной информации есть два важных параметра: доступность и сохранность.
В первом случае лучше, имхо, RAIDZ или зеркало на три винта. А для сохранности ещё добавить регулярный бэкап на дополнительный носитель, хранящийся отдельно (желательно две копии в разных местах). Это мы не рассматривали вопрос финансовых трат - тут, конечно, несколько усложняется и делаются поблажки и упрощения.
Собственно бэкапы стоит делать всегда.

[fox]

Серьёзный вопрос!
Мне нужно сделать хронилеще важных данных выбрал 2 харда по 2 ТР.Б, файловую систему ZFS, харды подключить в зеркало, это будут вспомогательные винты (для хранилещя) система стоит на UFS! Как мне разбить, при помощи gpart сделать под ZFS раздел? Или тупа сами харды в пул включить без разметки?
Как надёжней будет? Потому что это очень ответсвенная информация будет хрониться!

Если винты целиком под пул, то смысла нет с GPT или MBR разбивке.
А для ответственной информации есть два важных параметра: доступность и сохранность.
В первом случае лучше, имхо, RAIDZ или зеркало на три винта. А для сохранности ещё добавить регулярный бэкап на дополнительный носитель, хранящийся отдельно (желательно две копии в разных местах). Это мы не рассматривали вопрос финансовых трат - тут, конечно, несколько усложняется и делаются поблажки и упрощения.
Собственно бэкапы стоит делать всегда.

Согласен со всем Вами сказано, однозначно!
Но мне дали 2 винта и сказали крутись как хочешь) Есть сервер и прейдётся к ниму прекручивать, максимум что я смогу сделать это зеркало! Исходя из того что я имею...

Значит лучше gpt не использовать а в тупую винты задействовать, а есть ли в такой конфигурации отрицательные строны вироятность запортить пул или что то в этом роде?

[fox]

Да и ещё помоги выставить правильно параметры:

Код: Выделить всё

vm.kmem_size="512M"
vm.kmem_size_max="512M"
vfs.zfs.arc="80M"
vfs.zfs.arc_max="80M"
vfs.zfs.vdev.cache.size="30M"

Ну с этими понятно:

Код: Выделить всё

vm.kmem_size="512M"
vm.kmem_size_max="512M"

При 2 гигах аперативы с платформой i386 больше 512М не надо!
А эти как правельно выставить?

Код: Выделить всё

vfs.zfs.arc="80M"
vfs.zfs.arc_max="80M"
vfs.zfs.vdev.cache.size="30M"

[dagor]

Танцы с GNOP не помогли,падение скорости огромное,в статье стоит показать,что если пытаетесь играть с GNOP то и разделы и прочее надо создавать на nop девайсе. А помогло вот что http://www.solarismen.de/archives/5-Sol ... art-2.html так как версии разные,то строки нужные в другом месте,но не проблема. Пересобираем zpool,zpool create и вуаля! Скорость почти как при записи в raw. PS. Пересборка мира,как и пересборка ядра,почемуто не пересобирает все относящееся к zfs. Как бы это поправить?

[fox]

Танцы с GNOP не помогли,падение скорости огромное,в статье стоит показать,что если пытаетесь играть с GNOP то и разделы и прочее надо создавать на nop девайсе. А помогло вот что http://www.solarismen.de/archives/5-Sol ... art-2.html так как версии разные,то строки нужные в другом месте,но не проблема. Пересобираем zpool,zpool create и вуаля! Скорость почти как при записи в raw. PS. Пересборка мира,как и пересборка ядра,почемуто не пересобирает все относящееся к zfs. Как бы это поправить?

А можно подоробней аналогичная проблема((( Скорость жутко низка gnop не помагет, пересбока ядра не помогла с нужным параметром 512, изминении конфигураций лоудера не помогла... Что делать??? Сос, продакшен нужно запускать а он тормазит неужели прейдётся к UFS возврощаться?

[Fomalhaut]

Значит лучше gpt не использовать а в тупую винты задействовать, а есть ли в такой конфигурации отрицательные строны вироятность запортить пул или что то в этом роде?

Определённая вероятность всегда есть. Но без GPT/MBR в целом система упрощается, а следовательно снижается и вероятность негативных изменений. Лично я про негативные стороны не знаю.

[Fomalhaut]

А эти как правельно выставить?

Код: Выделить всё

vfs.zfs.arc="80M"
vfs.zfs.arc_max="80M"
vfs.zfs.vdev.cache.size="30M"

Я во всех тонкостях этих параметров не разобрался: это надо много чего читать на английском. Данные цифры были мной взяты после как рекомендованные с какого-то канала (IRC или jabber - точно не помню) по FreeBSD. Правда я ещё добавил 20 и 10 в каждому их них, т.к. у меня чуть больше памяти, чем обсуждалось.
Насколько я помню - эти параметры в како-то мере подбираются экспериментально: ZFS Tuning Guide.

[Fomalhaut]

Танцы с GNOP не помогли,падение скорости огромное,в статье стоит показать,что если пытаетесь играть с GNOP то и разделы и прочее надо создавать на nop девайсе. А помогло вот что http://www.solarismen.de/archives/5-Sol ... art-2.html так как версии разные,то строки нужные в другом месте,но не проблема. Пересобираем zpool,zpool create и вуаля! Скорость почти как при записи в raw. PS. Пересборка мира,как и пересборка ядра,почемуто не пересобирает все относящееся к zfs. Как бы это поправить?

Очень интересно! Но сразу не буду добавлять, а вначале проконсультируюсь с хорошим специалистом на будущей неделе - ситуацию надо разобрать, тем более, если по каким-то причинам части системы (я про zpool) не пересобираются.
Но уточните, плз, что вы делали, по подробней, плз. И ваше "zpool create" что означает? Нормальную скорость записли данных только через пересоздание пула?
И базовое: у вас винты с 4кБ секторами?

[dagor]

Танцы с GNOP не помогли,падение скорости огромное,в статье стоит показать,что если пытаетесь играть с GNOP то и разделы и прочее надо создавать на nop девайсе. А помогло вот что http://www.solarismen.de/archives/5-Sol ... art-2.html так как версии разные,то строки нужные в другом месте,но не проблема. Пересобираем zpool,zpool create и вуаля! Скорость почти как при записи в raw. PS. Пересборка мира,как и пересборка ядра,почемуто не пересобирает все относящееся к zfs. Как бы это поправить?

Очень интересно! Но сразу не буду добавлять, а вначале проконсультируюсь с хорошим специалистом на будущей неделе - ситуацию надо разобрать, тем более, если по каким-то причинам части системы (я про zpool) не пересобираются.
Есть подозрение,что гдето я чтото в конфигах удалил не подумав,что система считает что это пересобирать не надо.
Но уточните, плз, что вы делали, по подробней, плз.
Читал вышеуказанную статью,поправил согласно нее /usr/src/cddl/contrib/opensolaris/cmd/zpool/zpool_vdev.c
тоесть добавил строчку verify(nvlist_add_uint64(vdev, ZPOOL_CONFIG_ASHIFT, 12) == 0); в строку 315
что как я понял говорит что у нас 4к сектора причем говорит,что 4к всегда.
cd /usr/src/cddl/sbin/zpool
make clean
make
make install
make clean
И ваше "zpool create" что означает? Нормальную скорость записли данных только через пересоздание пула?
Пул я только создаю,посему я просто его создал заново,насколько это подействует на существующий пул сказать не могу,также не могу сказать что будет с если в пуле разносекторные диски,кстати что вообще должна ZFS по этому поводу делать нужно спрашивать спецов.
И базовое: у вас винты с 4кБ секторами?

Само собой.
диск на 2ТБ,GPT,раздел создан -b 40

[pimlab]

странно .... у меня с gnop по сравнению , чем без него скорость стала очень разительна.

Код: Выделить всё

 gpart show ada1.nop
=>        6  244190635  ada1.nop  GPT  (932G)
          6  244190635         1  freebsd-zfs  (932G)

[dagor]

Есть подозрение на версию ZFS,у меня 14.

[pimlab]

Код: Выделить всё

 zpool upgrade 
This system is currently running ZFS pool version 14.

All pools are formatted using this version.

Код: Выделить всё

uname -a
FreeBSD barton 8.1-RELEASE-p2 FreeBSD 8.1-RELEASE-p2 #2: Sun Jan 23 20:25:06 EET 2011     root@barton:/usr/obj/usr/src/sys/amd64  amd64

[Fomalhaut]

Код: Выделить всё

 zpool upgrade 
This system is currently running ZFS pool version 14.

All pools are formatted using this version.

Код: Выделить всё

uname -a
FreeBSD barton 8.1-RELEASE-p2 FreeBSD 8.1-RELEASE-p2 #2: Sun Jan 23 20:25:06 EET 2011     root@barton:/usr/obj/usr/src/sys/amd64  amd64

В 8.1 и есть 14-я. 15-я в 8.2 появится (точнее, уже есть, но 8.2 ещё не зарелизили).

[dagor]

Вообще ZFS очень странно себя ведет,скорость при запущенном ktorrent _не_ трогающем его раздел падает в разы!!! Ко всему прочему,скорость копирования из /dev/random как минимум в 2 раза меньше чем скорость из /dev/zero. (компрессия отключена). Ради разнообразия решил сравнить диск с патченным zpool (2T,4k)

Код: Выделить всё

diskinfo -t /dev/ad12
/dev/ad12
        512             # sectorsize
        2000398934016   # mediasize in bytes (1.8T)
        3907029168      # mediasize in sectors
        0               # stripesize
        0               # stripeoffset
        3876021         # Cylinders according to firmware.
        16              # Heads according to firmware.
        63              # Sectors according to firmware.
        WD-WCAZA2118557 # Disk ident.

Seek times:
        Full stroke:      250 iter in   5.809124 sec =   23.236 msec
        Half stroke:      250 iter in   4.189740 sec =   16.759 msec
        Quarter stroke:   500 iter in   7.006222 sec =   14.012 msec
        Short forward:    400 iter in   3.407555 sec =    8.519 msec
        Short backward:   400 iter in   2.174668 sec =    5.437 msec
        Seq outer:       2048 iter in   0.235747 sec =    0.115 msec
        Seq inner:       2048 iter in   0.199061 sec =    0.097 msec
Transfer rates:
        outside:       102400 kbytes in   0.847845 sec =   120777 kbytes/sec
        middle:        102400 kbytes in   1.000778 sec =   102320 kbytes/sec
        inside:        102400 kbytes in   1.910806 sec =    53590 kbytes/sec

с диском древним как Г мамонта и отформаченным в EXT2FS

Код: Выделить всё

diskinfo -t /dev/ad5
/dev/ad5
        512             # sectorsize
        122942324736    # mediasize in bytes (114G)
        240121728       # mediasize in sectors
        0               # stripesize
        0               # stripeoffset
        238216          # Cylinders according to firmware.
        16              # Heads according to firmware.
        63              # Sectors according to firmware.
        Y33ZFW8E        # Disk ident.

Seek times:
        Full stroke:      250 iter in   5.004110 sec =   20.016 msec
        Half stroke:      250 iter in   3.807486 sec =   15.230 msec
        Quarter stroke:   500 iter in   6.383944 sec =   12.768 msec
        Short forward:    400 iter in   2.355659 sec =    5.889 msec
        Short backward:   400 iter in   2.850935 sec =    7.127 msec
        Seq outer:       2048 iter in   0.222532 sec =    0.109 msec
        Seq inner:       2048 iter in   0.213617 sec =    0.104 msec
Transfer rates:
        outside:       102400 kbytes in   1.781299 sec =    57486 kbytes/sec
        middle:        102400 kbytes in   2.057116 sec =    49778 kbytes/sec
        inside:        102400 kbytes in   3.304685 sec =    30986 kbytes/sec

Код: Выделить всё

# dd if=/dev/random of=/media/ad5s1/000.dd bs=128K count=10000
10000+0 records in
10000+0 records out
1310720000 bytes transferred in 26.975992 secs (48588389 bytes/sec)
# dd if=/dev/random of=/mnt/000.dd bs=128K count=10000
10000+0 records in
10000+0 records out
1310720000 bytes transferred in 35.058285 secs (37386883 bytes/sec)

и с системным разделом на котором кончается место
ufs2+s винт 2х летней давности

Код: Выделить всё

dd if=/dev/random of=/home/dagor/000.dd bs=128K count=10000
10000+0 records in
10000+0 records out
1310720000 bytes transferred in 29.004791 secs (45189776 bytes/sec)

И на последок провел тест UFS2 на ad12 и прямую запись получил интересные результаты

Код: Выделить всё

dd if=/dev/random of=/media/443d6e1e-2aef-11e0-9637-0022151bed59-1/000.dd bs=128K count=10000
10000+0 records in
10000+0 records out
1310720000 bytes transferred in 24.053683 secs (54491447 bytes/sec)
# dd if=/dev/zero of=/media/443d6e1e-2aef-11e0-9637-0022151bed59-1/000.dd bs=128K count=10000
10000+0 records in
10000+0 records out
1310720000 bytes transferred in 11.216522 secs (116856188 bytes/sec)
# dd if=/dev/zero of=/dev/ad12 bs=128K count=10000
10000+0 records in
10000+0 records out
1310720000 bytes transferred in 10.846309 secs (120844797 bytes/sec)
# dd if=/dev/random of=/dev/ad12 bs=128K count=10000
10000+0 records in
10000+0 records out
1310720000 bytes transferred in 28.661846 secs (45730481 bytes/sec)

Отсюда вопрос,WTF? Либо у нас тормозит random,либо производители винтов откровенно врут на предмет _реальной_ скорости записи,иначе откуда такая разница между записью 0 и рандома.
ЗЫ. при копировании с рандома загрузка проца не зашкаливала.

[dagor]

врет всетаки random

Код: Выделить всё

dd if=/dev/random of=/dev/null bs=128K count=10000
10000+0 records in
10000+0 records out
1310720000 bytes transferred in 21.677909 secs (60463396 bytes/sec)

по идее система должна показывать фантастические скорости.