Задача для ПРОФИ или zfs перенос/клонирование дисков(пулов) freeBSD 11

Простые/общие вопросы по UNIX системам. Спросите здесь, если вы новичок

Модераторы: vadim64, terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
iartemt
рядовой
Сообщения: 11
Зарегистрирован: 2017-07-14 10:45:09

Задача для ПРОФИ или zfs перенос/клонирование дисков(пулов) freeBSD 11

Непрочитанное сообщение iartemt » 2017-07-14 10:48:28

Добрый день, столкнулся с одной проблемой во Фряхе.

Собрал сервер mITX для файлообменника и Plex, в системе ada0 ssd(Freebsd 11) и ada1 wd 250Gb zfs pool вмонтирован в /dlna, вот приобрел wd red 1Tb и хочу перенести данные с wd 250Gb на wd red 1Tb. Что то не выходит, пробовал Acronis клонировать диск, при загрузке с 1тб диск в нем не монтируется в папку /dlna. И еще засада на матери только 2 sata, контроллера дополнительного нет. При создании нового пула /dlna ругается что этот пул уже существует (побоялся удалять пул из-за потери информации). Если есть возможность помочь буду очень рад!
что было сделано:

1) Акронисом клонирован диск

2) Загрузка с клоном не дало результатов, система помнит диск на 250 Гб

3) При попытке создать пул zpool create dlna /dev/ada1 система пишет что пул уже создан.

4) При попытке создать пул zpool add dlna /dev/ada1 также пишет что пул не активен и добавиться невозможно

5) При попытке присоединить пул zpool add dlna /dev/ada1 также система пишет что пул не активен и присоединение невозможно.

6) При попытке активировать пул zpool online dlna /dev/ada1 также система пишет что пул не обнаружен и активация невозможно.

7) При попытке замены одного пула на другой zpool replace dlna /dev/ada1 /dev/ada1 также система пишет что исходный пул не обнаружен и замена невозможно.

Короче засада, без подключения исходника и манипулячии с ним ничего не выходит…

Еще пробовал, при создании пула zpool create test /dev/ada1 пишет что на устройстве /dev/ada1 уже висит пул dlna и не создает, загружался с флешки c freeBSD создал пул на ada0, переставляю на ada1 и идет ругня об отсутствии пула на ada0 и удалить я его не могу т.к. не активный, замкнутый круг!
Последний раз редактировалось f_andrey 2017-07-14 11:12:46, всего редактировалось 1 раз.
Причина: Автору. пожалуйста, выбирайте соответствующий раздел форума.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

snorlov
подполковник
Сообщения: 3927
Зарегистрирован: 2008-09-04 11:51:25
Откуда: Санкт-Петербург

Задача для ПРОФИ или zfs перенос/клонирование дисков(пулов) freeBSD 11

Непрочитанное сообщение snorlov » 2017-07-14 11:04:36

ссд у вас какой размерности? Я в том смысле, что создать снапшот упаковать его и оставить на ссд, затем сделать экспорт dlna, после чего вставить новый диск, создать на нем пул, ну а дальше, разархивировать снапшот и послать его на новый пул...
Почитайте https://www.lissyara.su/?id=2224 и творчески ее переработайте под собственные нужды...

iartemt
рядовой
Сообщения: 11
Зарегистрирован: 2017-07-14 10:45:09

Задача для ПРОФИ или zfs перенос/клонирование дисков(пулов) freeBSD 11

Непрочитанное сообщение iartemt » 2017-07-14 11:11:33

Добрый день, ssd маленький 56Гб для фряхи и это гигантский размер, так что вариант снапов отметается! Спасибо!


iartemt
рядовой
Сообщения: 11
Зарегистрирован: 2017-07-14 10:45:09

Задача для ПРОФИ или zfs перенос/клонирование дисков(пулов) freeBSD 11

Непрочитанное сообщение iartemt » 2017-07-14 11:30:10

есть такая приблуда, монтирует винт как usb устройство в папку /media

pimlab
прапорщик
Сообщения: 483
Зарегистрирован: 2007-10-09 11:31:03

Задача для ПРОФИ или zfs перенос/клонирование дисков(пулов) freeBSD 11

Непрочитанное сообщение pimlab » 2017-07-14 11:35:23

ну раз смогли установить и настроить свою систему , то я думаю не составит труда и новый диск разметить , .... и перенести нужную инфу

iartemt
рядовой
Сообщения: 11
Зарегистрирован: 2017-07-14 10:45:09

Задача для ПРОФИ или zfs перенос/клонирование дисков(пулов) freeBSD 11

Непрочитанное сообщение iartemt » 2017-07-14 11:59:24

да инфа то перенесена на 1Тб, запарка в том как диск с инфой активировать. Если я zpool destroy dlna старый винт, то при zpool create dlna 1тб вся инфа сотрется и создастся новый чистый пул

а если я сделаю zpool attach(add) dlna /dev/ada1 /media , то при физическом отсоединении диска 250 Гб система будет ругаться что диск не активен и я его удалить не смогу. Вопрос еще как определится винт через usb и можно ли его будет в пул ввести, а когда переставлю в сата, как удалить из пула?

pimlab
прапорщик
Сообщения: 483
Зарегистрирован: 2007-10-09 11:31:03

Задача для ПРОФИ или zfs перенос/клонирование дисков(пулов) freeBSD 11

Непрочитанное сообщение pimlab » 2017-07-14 12:20:10

Чтобы не было запарки с перестановкой и определением дисков научитесь пользоватся метками
gpart вам в помощь

iartemt
рядовой
Сообщения: 11
Зарегистрирован: 2017-07-14 10:45:09

Задача для ПРОФИ или zfs перенос/клонирование дисков(пулов) freeBSD 11

Непрочитанное сообщение iartemt » 2017-07-14 12:32:03

намек понял, буду экспериментировать, о результатах отпишусь.

guest
проходил мимо

Задача для ПРОФИ или zfs перенос/клонирование дисков(пулов) freeBSD 11

Непрочитанное сообщение guest » 2017-07-14 12:32:30

iartemt писал(а): Задача для ПРОФИ или zfs перенос/клонирование дисков(пулов) freeBSD 11
это не задача для ПРОФИ, это желание получить готовое решение, вместо
получения минимальных знаний.
Не хочется читать про ZFS, поиск migrate zfs storage pool
or zfs move pool

самый простой вариант:
- создать новый zfs stripe pool из одного диска (на новом диске)
a) можно на другом PC (на другом можно создать pool с тем же именем)
b) можно используя виртуалку
c) можно на том же PC где существующий (взять второй контроллер)
- реплицировать на новый пул данные со старого пула (любым _доступным_ и понятным для Вас способом - намек
на самые разные способы, как собственные zfs, так и обычные для обычных FS)
- удалить старый пул
- export'ировать новый
- import'тровать новый с новым именем (если на одном и том же PC)

Все, нудивительно что никто не хочет отвечать, задача тьфу.

iartemt
рядовой
Сообщения: 11
Зарегистрирован: 2017-07-14 10:45:09

Задача для ПРОФИ или zfs перенос/клонирование дисков(пулов) freeBSD 11

Непрочитанное сообщение iartemt » 2017-07-14 12:50:44

Guest, добрый день, спасибо за конструктивную критику, но я пришел во freeBSD из мира Linux(я не профи, просто делал домашний сервер с приемлемой производительностью), сказать что я не зондировал тему ZFS, так это не так (выше я описал шаги), получился у меня затык - поэтому и обратился к открытому комьюнити за помощью, как это обычно делал в мире Linux... Проблема в том что в наличии материнка с 2 сата, внешний DVD и sata2usb и всё, для меня это проблема. Спасибо за помощь буду изучать вопрос более глубоко!

pimlab
прапорщик
Сообщения: 483
Зарегистрирован: 2007-10-09 11:31:03

Задача для ПРОФИ или zfs перенос/клонирование дисков(пулов) freeBSD 11

Непрочитанное сообщение pimlab » 2017-07-14 13:13:55

А чего Плеx ? если надо только длна и ТВ сам все кодеки подерживает, есть по проще проги
ИМXО

snorlov
подполковник
Сообщения: 3927
Зарегистрирован: 2008-09-04 11:51:25
Откуда: Санкт-Петербург

Задача для ПРОФИ или zfs перенос/клонирование дисков(пулов) freeBSD 11

Непрочитанное сообщение snorlov » 2017-07-14 13:32:28

iartemt писал(а):Guest, добрый день, спасибо за конструктивную критику, но я пришел во freeBSD из мира Linux(я не профи, просто делал домашний сервер с приемлемой производительностью), сказать что я не зондировал тему ZFS, так это не так (выше я описал шаги), получился у меня затык - поэтому и обратился к открытому комьюнити за помощью, как это обычно делал в мире Linux... Проблема в том что в наличии материнка с 2 сата, внешний DVD и sata2usb и всё, для меня это проблема. Спасибо за помощь буду изучать вопрос более глубоко!
Я вам дал ссылку на статью, там сохранение идет на ftp-сервер, кто вам мешает делать это на usb-ный диск,
пусть у вас пул zroot, тогда

Код: Выделить всё

zfs snapshot -r zroot@backup
zfs send -Rv zroot@backup | gzip > /media/full-backup.zfs.gz
zfs destroy -r zroot@backup
zpool export zroot

После чего вынимаете старый диск, вставляете новый, размечаете, создаете пул zroot, импортируете, монтируете и

Код: Выделить всё

gunzip -c /media/full-backup.zfs.gz | zfs receive -vdF zroot

guest
проходил мимо

Задача для ПРОФИ или zfs перенос/клонирование дисков(пулов) freeBSD 11

Непрочитанное сообщение guest » 2017-07-14 13:39:03

iartemt писал(а):Guest, добрый день, спасибо за конструктивную критику, но я пришел во freeBSD из мира Linux(я не профи, просто делал домашний сервер с приемлемой производительностью),
не советую в будущем: "мы сами не местные", "я новичек", 'отпуск на носу" и тд и тп...
сказать что я не зондировал тему ZFS, так это не так (выше я описал шаги), получился у меня затык - поэтому и обратился к открытому комьюнити за помощью, как это обычно делал в мире Linux... Проблема в том что в наличии материнка с 2 сата, внешний DVD и sata2usb и всё, для меня это проблема. Спасибо за помощь буду изучать вопрос более глубоко!
Никому не интересны шаги на словах, показывают логи:
- есть:
# uname -a
# mount
# df
# gpart
# zpool list
# zpool status
# zfs list

делаю:
...
...
ошибка -> логи
...
надо:
...

У меня дома есть PC, я никогда жене и дочке не говорю, не могу сделать ... потому что у меня нет того-то,
не поймут.
Мелочовку, можно купить в магазине за недорого или все необходимое можно взять на время на работе
или на время у знакомых, или просто сделать нужное на работе и принести домой результат или опыт...

Потренироваться можно на Виртуалках.
Есть две книги FreeBSD Mastery: ZFS / Advanced ZFS - легко находятся в Internet.

snorlov
подполковник
Сообщения: 3927
Зарегистрирован: 2008-09-04 11:51:25
Откуда: Санкт-Петербург

Задача для ПРОФИ или zfs перенос/клонирование дисков(пулов) freeBSD 11

Непрочитанное сообщение snorlov » 2017-07-14 13:41:57

Кстати у вас юсб портов наваломи, так что можно скачать загрузочную флешку с сайта и грузиться с ней, а ваши 2-а диска сразу подключить на сата, а загрузившись с флешки уйти в шелл, ну а дальше дело техники

iartemt
рядовой
Сообщения: 11
Зарегистрирован: 2017-07-14 10:45:09

Задача для ПРОФИ или zfs перенос/клонирование дисков(пулов) freeBSD 11

Непрочитанное сообщение iartemt » 2017-07-14 13:46:30

snorlov, вот уже интереснее, спасибо большое, сегодня попробую

guest, все понял на будущее учту, еще раз спасибо

Просто не думал, что такая элементарная операция как замена диска один на другой выльется в трехдневное гугление инфы и форумов )))

Отправлено спустя 2 минуты 2 секунды:
сегодня под завязку загрузился информацией сегодня вечером буду тесть различные варианты
snorlov писал(а): Кстати у вас юсб портов наваломи, так что можно скачать загрузочную флешку с сайта и грузиться с ней, а ваши 2-а диска сразу подключить на сата, а загрузившись с флешки уйти в шелл, ну а дальше дело техники

snorlov
подполковник
Сообщения: 3927
Зарегистрирован: 2008-09-04 11:51:25
Откуда: Санкт-Петербург

Задача для ПРОФИ или zfs перенос/клонирование дисков(пулов) freeBSD 11

Непрочитанное сообщение snorlov » 2017-07-14 14:07:36

iartemt писал(а):snorlov, вот уже интереснее, спасибо большое, сегодня попробую
Только надо брать ту же версию операционки, которая стоит, в противном случае, если возьмете старше, ваши пулы проапгрейдятся на версию zfs постарше, в результате, та, что стоит на ссд потом скажет, что не знает эту версию zfs, если возьмете помладше, то она стразу скажет про незнакомую версию zfs...

iartemt
рядовой
Сообщения: 11
Зарегистрирован: 2017-07-14 10:45:09

Задача для ПРОФИ или zfs перенос/клонирование дисков(пулов) freeBSD 11

Непрочитанное сообщение iartemt » 2017-07-14 14:48:27

snorlov писал(а): Только надо брать ту же версию операционки, которая стоит, в противном случае, если возьмете старше, ваши пулы проапгрейдятся на версию zfs постарше, в результате, та, что стоит на ссд потом скажет, что не знает эту версию zfs, если возьмете помладше, то она стразу скажет про незнакомую версию zfs...
Аккумулируя всю информацию решил по usb загрузится с ссд(freebsd) и попробовать всё то, что Вы посоветовали! Спасибо!

iartemt
рядовой
Сообщения: 11
Зарегистрирован: 2017-07-14 10:45:09

Задача для ПРОФИ или zfs перенос/клонирование дисков(пулов) freeBSD 11

Непрочитанное сообщение iartemt » 2017-07-19 9:51:07

Всем здравствуйте, после всего вышеописанного купил контроллер на 2сата, подключил винт 1Тб, добавил его в пул

#zpool add dlna /dev/ada2

теперь не могу удалить первый диск ada1 или вывести его в оффлайн
скрины прилагаю

Отправлено спустя 1 минуту 55 секунд:
Вопрос, как быть и что делать? (испробовал и варианты с detach)

Отправлено спустя 30 секунд:
Вопрос, как быть и что делать? (испробовал и варианты с detach)
Вложения
1.jpg
2.jpg

guest
проходил мимо

Задача для ПРОФИ или zfs перенос/клонирование дисков(пулов) freeBSD 11

Непрочитанное сообщение guest » 2017-07-19 10:12:55

iartemt писал(а):Всем здравствуйте, после всего вышеописанного купил контроллер на 2сата, подключил винт 1Тб, добавил его в пул

#zpool add dlna /dev/ada2

теперь не могу удалить первый диск ada1 или вывести его в оффлайн
скрины прилагаю

Вопрос, как быть и что делать? (испробовал и варианты с detach)
zfs - система умная и дурако-устойчивая, что может иногда вредить и защищать.

У Вас был массив типа RAID0 stripe - pool "dlna", но из одного диска,
Вы добавили в этот массив еще диск и "Эврика" - получили RAID0 stripe из
двух дисков. Массив чудесным образом - расширился.
Так кто же Вам позволит теперь изъять диск из RAID0, это тоже
самое что разрушить Пул, но для этого есть соответствующие
команды. Те - теперь только удалить пул.

Я же Вам написал:
- создаете ПУЛ из одного диска, как для dlna - но с другим именем пула
- реплицируете данные с dlna на newdlna, хоть средствами zfs, хоть rsync/tar/pax
- экспортируете пул dlna
- перезагружаетесь с LiveCD/USB
- размонтируете все
- удаляете пул dlna
- переименовываете пул newdlna в dlna
- export / import
- изымаете оба диска от старого удаленного пула dlna
- reboot и вуаля

iartemt
рядовой
Сообщения: 11
Зарегистрирован: 2017-07-14 10:45:09

Задача для ПРОФИ или zfs перенос/клонирование дисков(пулов) freeBSD 11

Непрочитанное сообщение iartemt » 2017-07-19 10:32:37

Да....!!! Вот это геммор..., короче самый простой способ это #zpool destroy dlna, вынимаю диск на 250 Гб, создаю новый пул #zpool create dlna /dev/1Tb переношу все данные (допустим с usb винта) раздаю права на папки и готово?

А зачем тогда команда #zpool remove ?

guest
проходил мимо

Задача для ПРОФИ или zfs перенос/клонирование дисков(пулов) freeBSD 11

Непрочитанное сообщение guest » 2017-07-19 11:19:30

iartemt писал(а):Да....!!! Вот это геммор..., короче самый простой способ это #zpool destroy dlna, вынимаю диск на 250 Гб, создаю новый пул #zpool create dlna /dev/1Tb переношу все данные (допустим с usb винта) раздаю права на папки и готово?

А зачем тогда команда #zpool remove ?
нет никакого геморроя, Вы ж не хотите изучать zfs...
В итоге - простые вещи в Вашем непонимании, представляются как геморрой.

Наличие тех или иных команд, предусматривает понимание, посему
в zfs есть страховки.

Вам сразу был расписан самый простой способ:
- create new pool из одного диска
- zfs send/receieve с пула на пул
- после чего удалить старый
- переименовать новый

если с использованием zfs clone/snapshot/send/recv проблемы по
незнанию, то и было предложено заменить на еще более
простой и доступный в Вашем понимании:
- подключить диск к другой машине с той же версией ZFS
- создать тот же пул, с тем же именем dlna и с теми же опциями пула и dataset
- затем rsync/tar/cpio/pax - скопировать данные со старого на новый
- export нового и отключение диска
- destroy старый и отключение диска
- замена старого на новый и import

Sorry, все объяснено, расписано и так и сяк и эдак, а уж как делать - решать Вам.

iartemt
рядовой
Сообщения: 11
Зарегистрирован: 2017-07-14 10:45:09

Задача для ПРОФИ или zfs перенос/клонирование дисков(пулов) freeBSD 11

Непрочитанное сообщение iartemt » 2017-07-19 11:35:35

guest, спасибо, буду пробовать! Да "психология" в корне отличается от Windows, но более интересна, попробуй в винде объединить 2,3, 4...диска в один, ведь запаришься же, и ценных ресурсов винда будет "жрать" намного побольше, а во фряхе вроде всё просто, но без "курения" вопроса никак! Но как ни крути очень рад, что начал использовать эту легкую и уникальную систему freeBSD. Еще раз спасибо!

guest
проходил мимо

Задача для ПРОФИ или zfs перенос/клонирование дисков(пулов) freeBSD 11

Непрочитанное сообщение guest » 2017-07-19 14:02:22

iartemt писал(а):guest, спасибо, буду пробовать! Да "психология" в корне отличается от Windows, но более интересна, попробуй в винде объединить 2,3, 4...диска в один, ведь запаришься же, и ценных ресурсов винда будет "жрать" намного побольше, а во фряхе вроде всё просто, но без "курения" вопроса никак! Но как ни крути очень рад, что начал использовать эту легкую и уникальную систему freeBSD. Еще раз спасибо!
Есть очень ВАЖНОЕ правило:
- никогда не натягивать знания и подход одной ОС на другую
это позволит без проблем освоить новую ОС и не хаить предыдущую.

ZFS очень требовательна к ресурсам: точнее к объему RAM, если хочется чтобы
все работало быстро.

Есть менее требовательные к RAM и CPU иструменты:
- UFS2, если хочется ее неубиваемости, как минимум отключить журналирование:
a) SU == SoftUpdates
b) SUJ == SoftUpdates + Journaling (не путать UFS2 Journal с GEOM Journal/gjournal)

С UFS мжно использовать нетребовательные технологии на базе фреймворка GEOM:
- gconcat для конкатенации дисков
- gstripe - для RAID0
- gmirror или graid для RAID1: soft and fake raid1
- graid3 - RAID3
- graid5 из портов или пакетов, но состояние надежности и стабильности на текущий
момент, лично мне неизвестно

Выбор за Вами, удачи.