ZFS

Проблемы установки, настройки и работы Правильной Операционной Системы

Модератор: terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
terminus
майор
Сообщения: 2305
Зарегистрирован: 2007-10-29 11:27:35
Откуда: Рига

Re: ZFS

Непрочитанное сообщение terminus » 2008-02-07 21:02:02

Я думаю Вас сомнило ето высказывание?!
Дак в нем написано что архитектура amd64 более предпочтительна из-за своего большого адресного пространства и все!!!!!
А категорическго "НЕ" тут нет, и думаю не будет.
Не, там не так. Я сейчас не найду где это было - в каком-то mail листе обсуждали почему ZFS иногда подглюкивает, и сам pjd (со ссылкой на SUN) сказал, что так как ZFS в SUN затачивали на 64бит архитектуры, то и собстно поэтому она на 32 часто и подглючивает так как у нее внутри нет никаких специальных проверок и защит от специфичных проблем 32 архитектуры. Как-то так - вольно пересказал.
Просто после этого я для себя запомнил, что если хочешь ZFS, то это значит автоматически надо хотеть 64bit систему, и не по-другому...
Модель: AST-PM-105/0044; Тип: Универсальный, ремонтный; Название: Терминус; Род повреждения: Распад функций; Выводы: Сдать на слом.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
f_andrey
майор
Сообщения: 2651
Зарегистрирован: 2007-12-26 1:22:58
Откуда: СПб
Контактная информация:

Re: ZFS

Непрочитанное сообщение f_andrey » 2008-02-07 21:06:19

В ИРЦ народ говорил что она на 32 архитектуре падает очень часто при удалении очень большого массива мелких файлов
Если ваша тема перенесена, то смотри http://forum.lissyara.su/viewtopic.php?f=1&t=32308

Аватара пользователя
FreePascal
сержант
Сообщения: 245
Зарегистрирован: 2006-05-14 8:50:05
Контактная информация:

Re: ZFS

Непрочитанное сообщение FreePascal » 2008-02-07 21:20:16

terminus писал(а):
Я думаю Вас сомнило ето высказывание?!
Дак в нем написано что архитектура amd64 более предпочтительна из-за своего большого адресного пространства и все!!!!!
А категорическго "НЕ" тут нет, и думаю не будет.
Не, там не так. Я сейчас не найду где это было - в каком-то mail листе обсуждали почему ZFS иногда подглюкивает, и сам pjd (со ссылкой на SUN) сказал, что так как ZFS в SUN затачивали на 64бит архитектуры, то и собстно поэтому она на 32 часто и подглючивает так как у нее внутри нет никаких специальных проверок и защит от специфичных проблем 32 архитектуры. Как-то так - вольно пересказал.
Просто после этого я для себя запомнил, что если хочешь ZFS, то это значит автоматически надо хотеть 64bit систему, и не по-другому...
Давай тогда конкретно источник, а то ввел в заблуждение. :twisted:
terminus писал(а): В ИРЦ народ говорил что она на 32 архитектуре падает очень часто при удалении очень большого массива мелких файлов
Не отрицаю, BETA2 и BETA3 действительно падала и на память матюкалась,tar -xvzf -- вообще хана мгновенно :D. Память менял на samba грешил. Но после выхода
пререлиз, как то последнее время работает и давно уже не падает.
ФАРТ?

Аватара пользователя
terminus
майор
Сообщения: 2305
Зарегистрирован: 2007-10-29 11:27:35
Откуда: Рига

Re: ZFS

Непрочитанное сообщение terminus » 2008-02-07 21:32:52

Давай тогда конкретно источник, а то ввел в заблуждение.
Не найду уже - не помню где было.
Да ладно - если в вике не написано "строго запрещено" то значит можно... :P
Модель: AST-PM-105/0044; Тип: Универсальный, ремонтный; Название: Терминус; Род повреждения: Распад функций; Выводы: Сдать на слом.

Аватара пользователя
f_andrey
майор
Сообщения: 2651
Зарегистрирован: 2007-12-26 1:22:58
Откуда: СПб
Контактная информация:

Re: ZFS

Непрочитанное сообщение f_andrey » 2008-02-07 21:46:27

FreePascal писал(а): Не отрицаю, BETA2 и BETA3 действительно падала и на память матюкалась,tar -xvzf -- вообще хана мгновенно :D. Память менял на samba грешил. Но после выхода
пререлиз, как то последнее время работает и давно уже не падает.
ФАРТ?
А что у тебя на ZFS вынесено, у меня на BETA4 амд64 2Гб при и всем чем можно вынесенном на ZFS падала при сборке больших портов например Майэскуэля, на UFS все вроде нормально, а да на ZFS интересно падала первый раз делаешь make система в ребут произвольно на второй раз нормально собиралось :)
Если ваша тема перенесена, то смотри http://forum.lissyara.su/viewtopic.php?f=1&t=32308

Аватара пользователя
FreePascal
сержант
Сообщения: 245
Зарегистрирован: 2006-05-14 8:50:05
Контактная информация:

Re: ZFS

Непрочитанное сообщение FreePascal » 2008-02-07 22:15:43

Вынесено на ZFS все кроме boot.
Сборка системы и обновление портов 2 дневной давности.
Крутится squid, samba, apache и так мелочь portsentry, bruteblock.
Вчера собирал php, mysql, lightsquid.

Да по идее buildkernel и buildworld намного накладнее на файловую чем mysql.

P.S. Не звонят, значит не падает. В суботу попробую несколько src распаковать одновременно, может и упадет :D :D

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: ZFS

Непрочитанное сообщение Alex Keda » 2008-02-07 23:22:36

дык - в ответ на глюки надо багрепортить.
шоб фиксили =)
Убей их всех! Бог потом рассортирует...

Аватара пользователя
FreePascal
сержант
Сообщения: 245
Зарегистрирован: 2006-05-14 8:50:05
Контактная информация:

Re: ZFS

Непрочитанное сообщение FreePascal » 2008-02-08 0:33:25

Ума не хватает.... :twisted:
Да и буржуйский, как собака, понимать понимаю а говорить так и не научили. :cry:

Аватара пользователя
iZEN
ст. лейтенант
Сообщения: 1095
Зарегистрирован: 2007-09-15 16:45:26
Контактная информация:

Re: ZFS

Непрочитанное сообщение iZEN » 2008-02-08 2:15:33

Что если на ZFS сделать каталог и задать туда WRKDIRPREFIX в /etc/make.conf, быстрее будет компилироваться или не особо?

Кто пробовал MFS (ФС в памяти) для каталога компиляции? Что бывает, когда раздел с MFS полностью заполнен и нельзя больше на него писать, начинает свопится или как?
GNU/Linux — это не Unix и даже никогда им не был, и, что самое смешное, никогда им не станет — GNU's Not Unix

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: ZFS

Непрочитанное сообщение Alex Keda » 2008-02-08 8:11:38

ну, наверное быстрей - но недумаю что будет огромный выигрыш....
===========
6.0 на таком падала, щас не знаю - может уже и нет.
Убей их всех! Бог потом рассортирует...

Аватара пользователя
Adekamer
пингвин
Сообщения: 694
Зарегистрирован: 2007-10-09 18:36:48
Откуда: 127.0.0.1
Контактная информация:

Re: ZFS

Непрочитанное сообщение Adekamer » 2008-02-08 10:34:19

рам диск изпользовать при компиляции глупо - как раз при компиляции наиболее важно иметь не сколько мошный проц - или дисковую систему - сколько обьем оперативки

Аватара пользователя
iZEN
ст. лейтенант
Сообщения: 1095
Зарегистрирован: 2007-09-15 16:45:26
Контактная информация:

Re: ZFS

Непрочитанное сообщение iZEN » 2008-02-08 14:59:57

Adekamer писал(а):рам диск изпользовать при компиляции глупо - как раз при компиляции наиболее важно иметь не сколько мошный проц - или дисковую систему - сколько обьем оперативки
Использование RAM-диска при компиляции должно быть совсем не глупо на бездисковых машинах. :roll:
GNU/Linux — это не Unix и даже никогда им не был, и, что самое смешное, никогда им не станет — GNU's Not Unix

Аватара пользователя
f_andrey
майор
Сообщения: 2651
Зарегистрирован: 2007-12-26 1:22:58
Откуда: СПб
Контактная информация:

Re: ZFS

Непрочитанное сообщение f_andrey » 2008-02-08 22:35:18

FreePascal писал(а):Ума не хватает.... :twisted:
Да и буржуйский, как собака, понимать понимаю а говорить так и не научили. :cry:
Самое оно пока так же, с другой стороны на свободной ОС пока пол года ну что с меня пока взять во многом еше не то и не так понимаю хотя стремлюсь :)
Если ваша тема перенесена, то смотри http://forum.lissyara.su/viewtopic.php?f=1&t=32308

Аватара пользователя
rufer
рядовой
Сообщения: 37
Зарегистрирован: 2008-01-06 19:57:50
Откуда: Ульяновск
Контактная информация:

Re: ZFS

Непрочитанное сообщение rufer » 2008-02-08 22:41:47

Поддержка ZFS доступна в главной ветви и будет доступна в FreeBSD 7.0-RELEASE как экспериментальная особенность т.е. на боевом сервере не стоит использовать zfs? Да и для фри 6.2 как я понял нужно обновляться до 7, чтобы поюзать zfs?
Изображение
Именно чайники развивают самую кипучую деятельность.

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: ZFS

Непрочитанное сообщение Alex Keda » 2008-02-09 3:33:20

rufer писал(а):Поддержка ZFS доступна в главной ветви и будет доступна в FreeBSD 7.0-RELEASE как экспериментальная особенность т.е. на боевом сервере не стоит использовать zfs? Да и для фри 6.2 как я понял нужно обновляться до 7, чтобы поюзать zfs?
модулями вроде было - качать надо с сайта
Убей их всех! Бог потом рассортирует...

Аватара пользователя
FreePascal
сержант
Сообщения: 245
Зарегистрирован: 2006-05-14 8:50:05
Контактная информация:

Re: ZFS

Непрочитанное сообщение FreePascal » 2008-02-09 15:14:11

Не знаю на сколько данный тест обьективен.
1.

Код: Выделить всё

vm.kmem_size="512M" 
vm.kmem_size_max="512M"
Одновременно разархивируем 10 архивов с исходниками системы == система падает(точнее просто висит,не на что не реагирует) и вообще ничего не сообщает, core нету.
5 архивов выдерживает.

2. Применяем недавно появившуюся рекомендацию!!!

Код: Выделить всё

options KVA_PAGES=512
vm.kmem_size="768M" 
vm.kmem_size_max="1024M"
полет нормальный.

Аватара пользователя
rufer
рядовой
Сообщения: 37
Зарегистрирован: 2008-01-06 19:57:50
Откуда: Ульяновск
Контактная информация:

Re: ZFS

Непрочитанное сообщение rufer » 2008-02-09 16:08:51

FreePascal
А ты zfs на 7'ке юзаешь?
Изображение
Именно чайники развивают самую кипучую деятельность.

Аватара пользователя
FreePascal
сержант
Сообщения: 245
Зарегистрирован: 2006-05-14 8:50:05
Контактная информация:

Re: ZFS

Непрочитанное сообщение FreePascal » 2008-02-09 16:12:59

ага

supchik
проходил мимо

Re: ZFS

Непрочитанное сообщение supchik » 2008-11-06 16:20:12

поднял тему т.к. перетаскиваю на zfs сейчас всё своё богатство в 4ТБ.
вопрос собсно такой (к людям уже давно пользующим):
сейчас на терабайтном харде создан tank на котором висит фря 7.1 уже переведённая на zfs со всеми каталогами кроме бутового.
если подцепить ещё один хард к tank, то он объеденит пространсвто и будеть страйпить?
если да, то соответственно для 2го харда надо создавать другой tank? при условии что я хочу всё же разграничивать пространство физических дисков.

если есть хард с уже созданой ufs как её правильно конвертнуть? или полюбому всё похерится?

P.S.>> имя tank использовал для удобства восприятия читающих. т.к. в мануалах и howto используется именно оно.

supchik
рядовой
Сообщения: 30
Зарегистрирован: 2008-11-06 21:16:24

Re: ZFS

Непрочитанное сообщение supchik » 2008-11-06 21:37:11

supchik писал(а):поднял тему т.к. перетаскиваю на zfs сейчас всё своё богатство в 4ТБ.
вопрос собсно такой (к людям уже давно пользующим):
сейчас на терабайтном харде создан tank на котором висит фря 7.1 уже переведённая на zfs со всеми каталогами кроме бутового.
если подцепить ещё один хард к tank, то он объеденит пространсвто и будеть страйпить?
если да, то соответственно для 2го харда надо создавать другой tank? при условии что я хочу всё же разграничивать пространство физических дисков.

если есть хард с уже созданой ufs как её правильно конвертнуть? или полюбому всё похерится?

P.S.>> имя tank использовал для удобства восприятия читающих. т.к. в мануалах и howto используется именно оно.
моя нетерпеливость и пытливость кончилась следующим:

Код: Выделить всё

# zpool add tank /dev/ad15s1c

Код: Выделить всё

# zpool status -v
  pool: tank
 state: ONLINE
 scrub: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        tank        ONLINE       0     0     0
          ad12s1d   ONLINE       0     0     0
          ad15s1c   ONLINE       0     0     0

errors: No known data errors
т.е. присоединение диска дало обЪеденённое пространство как я и предположил. хотя raidz при создании танка не планировался.
+ я не смог узнать судьбу данных на прикрученом диске т.к.:

Код: Выделить всё

# zpool remove tank /dev/ad15s1c
cannot remove /dev/ad15s1c: only inactive hot spares can be removed

Код: Выделить всё

# zpool offline tank /dev/ad15s1c
cannot offline /dev/ad15s1c: no valid replicas

Код: Выделить всё

# zpool replace tank /dev/ad15s1c
invalid vdev specification
use '-f' to override the following errors:
ad15s1c is in use (r1w1e1)

Код: Выделить всё

# zpool replace -f tank /dev/ad15s1c
invalid vdev specification
the following errors must be manually repaired:
ad15s1c is in use (r1w1e1)
при физическом отрубании диска система не грузится т.к.:

Код: Выделить всё

# zfs list
NAME            USED  AVAIL  REFER  MOUNTPOINT
tank            352G  1013G    18K  none
tank/mnt        282G  1013G    18K  none
tank/mnt/s      282G  1013G   282G  /mnt/s
tank/root      67,9G  1013G  67,9G  /tank
tank/tmp         27K  1013G    27K  /tmp
tank/usr       1,96G  1013G  1,96G  /usr
tank/usr/home    36K  1013G    36K  /usr/home
tank/var       33,9M  1013G  33,9M  /var
всё это очень обидно т.к. это надо было прочитать до любых деяний:
Можно ли удалять устройства из массива ZFS?

Удаление vdev верхнего уровня, такого как всей группы RAID-Z или диска в конфигурации без зеркала, в настоящее время не поддерживается. Планируется включить эту функцию в следующий выпуск.

Можно удалить устройство из зеркальной конфигурации ZFS с помощью команды zpool detach.

Можно заменить устройство устройством аналогичного размера из зеркальной или RAID-Z конфигурации с помощью команды zpool replace.
я всё это к тому написал, что бы те кто только встаю на тропу ZFS не наступали на мои грабли.

Аватара пользователя
iZEN
ст. лейтенант
Сообщения: 1095
Зарегистрирован: 2007-09-15 16:45:26
Контактная информация:

Ввести в зеркалируемый пул ещё один накопитель

Непрочитанное сообщение iZEN » 2009-06-21 23:45:38

Пытаюсь разобрать зеркало на пуле: удалить один накопитель и заменить его другим.
(Пока что всё пробую на виртуальных устройствах)

Код: Выделить всё

% dd if=/dev/zero of=/usr/local/image1 bs=1M count=250
250+0 records in
250+0 records out
262144000 bytes transferred in 3.565497 secs (73522426 bytes/sec)
% dd if=/dev/zero of=/usr/local/image2 bs=1M count=250
250+0 records in
250+0 records out
262144000 bytes transferred in 3.719200 secs (70483973 bytes/sec)
% mdconfig -a -t vnode -f /usr/local/image1
md0
% mdconfig -a -t vnode -f /usr/local/image2
md1
% zpool create tank mirror md0 md1
% zfs create tank/ports
% zfs set compression=on tank
% zfs set atime=off tank
% zfs set mountpoint=/ports tank/ports
% cp -R /usr/ports/ /ports/
% zpool status
  pool: tank
 state: ONLINE
 scrub: none requested
config:

	NAME        STATE     READ WRITE CKSUM
	tank        ONLINE       0     0     0
	  mirror    ONLINE       0     0     0
	    md0     ONLINE       0     0     0
	    md1     ONLINE       0     0     0

errors: No known data errors

Далее выношу из зеркала один накопитель:

Код: Выделить всё

% zpool detach tank md0
% zpool status
  pool: tank
 state: ONLINE
 scrub: none requested
config:

	NAME        STATE     READ WRITE CKSUM
	tank        ONLINE       0     0     0
	  md1       ONLINE       0     0     0

errors: No known data errors
И пытаюсь добавить в зеркало другое устройство:

Код: Выделить всё

% dd if=/dev/zero of=/usr/local/image3 bs=1M count=250
250+0 records in
250+0 records out
262144000 bytes transferred in 3.747304 secs (69955361 bytes/sec)
% mdconfig -a -t vnode -f /usr/local/image3
md2
% zpool attach tank md2
missing <new_device> specification
usage:
	attach [-f] <pool> <device> <new-device>
— не получается.

Что за "<new-device>"?

Здесь: http://opensolaris.org/os/community/zfs ... iceremoval
# Можно ли расщепить зеркало ZFS?

В настоящее время ZFS не поддерживает расщепления зеркала для клонирования или резервного копирования. Лучший способ клонирования или резервного копирования – использования функции клонирования или мгновенного снимка ZFS. Сведения об использовании клонирования и мгновенного снимка ZFS см. в разделе Руководство по администрированию ZFS. Обратитесь к RFE 6421958, чтобы рекурсивно отправлять мгновенные снимки, улучшающие процесс репликации систем.

В дополнении к функциям клонирования и мгновенного снимка состояния ZFS удаленная репликация файловой системы ZFS обеспечивается продуктом Sun StorageTek Availability Suite. Демонстрации AVS/ZFS доступны здесь.

Если вы пытаетесь расщепить зеркальную конфигурацию ZFS для клонирования или резервного копирования, помните о следующем:

* Расщепление зеркальной конфигурации ZFS не поддерживается ZFS. В RFE 6421958 эта функция зафиксирована.
* Нельзя удалить диск из зеркальной конфигурации ZFS, выполнить резервное копирование на диск и затем использовать данные для создания массива-клона.
* Если хотите использовать аппаратное резервное копирование или мгновенный снимок вместо функции мгновенного снимка ZFS, необходимо выполнить следующее:
1. zpool export имя_массива
2. Выполнить аппаратный мгновенный снимок
3. zpool import имя_массива
* Любые попытки расщепить зеркальный массив ZFS путем удаления дисков или изменения на аппаратном уровне элемента работающего массива может привести к повреждению данных.
сказано, что расщепить зеркало нельзя, тогда почему у меня получилось вывести (detach) из зеркала устройство? Или это удалённое устройство вынесено из зеркала раз и навсегда и никакими средствами его вернуть в пул больше нельзя? :st:
GNU/Linux — это не Unix и даже никогда им не был, и, что самое смешное, никогда им не станет — GNU's Not Unix

Аватара пользователя
Neus
капитан
Сообщения: 1980
Зарегистрирован: 2008-09-08 21:59:56

Re: ZFS

Непрочитанное сообщение Neus » 2009-06-22 7:44:12

нада так делать:

Код: Выделить всё

% zpool attach tank md1 md2

Аватара пользователя
iZEN
ст. лейтенант
Сообщения: 1095
Зарегистрирован: 2007-09-15 16:45:26
Контактная информация:

Re: ZFS

Непрочитанное сообщение iZEN » 2009-06-22 18:03:37

Neus писал(а):нада так делать:

Код: Выделить всё

% zpool attach tank md1 md2
Спасибо.
GNU/Linux — это не Unix и даже никогда им не был, и, что самое смешное, никогда им не станет — GNU's Not Unix

Аватара пользователя
itux
мл. сержант
Сообщения: 114
Зарегистрирован: 2008-11-09 12:37:55
Откуда: Kemerovo
Контактная информация:

Re: ZFS

Непрочитанное сообщение itux » 2009-06-23 6:59:00

A amd64 system is preferred due to its larger address space and better performance on 64bit variables, which ZFS uses a lot.
Простите за старье, но уж как перевели-то :)
amd64 = x86_64
AMD 64 = x86_64
Intel Core = x86_64
Intel Pentium D = x86_64!? (кривая, то-есть даже не до-реализация память то адресуется, а вот ядрышко не поддерживает многих весчей)

Вот,... :)
несу чушь, не дорого... звонить +7903.......

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: ZFS

Непрочитанное сообщение Alex Keda » 2009-06-24 23:46:10

да всё у них кривое...
спецификации AMD им дала - а вот сделать нормально они ниасилили...
Убей их всех! Бог потом рассортирует...