Новый HDD 12Тб, разметка в ZFS и перенос данных с NTFS

Проблемы установки, настройки и работы Правильной Операционной Системы

Модератор: terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
Monarh
ефрейтор
Сообщения: 66
Зарегистрирован: 2009-04-03 10:48:20

Новый HDD 12Тб, разметка в ZFS и перенос данных с NTFS

Непрочитанное сообщение Monarh » 2022-04-22 20:41:07

Здравия всем!
Имеется новый HDD на 12Тб, планирую разметить его в ZFS, один раздел, под файлохранилище.
ОС: FreeBSD v12.1-STABLE. Стоит на M2-диске 256Gb.
С учётом того, что HDD-диск новый, а также с учётом того, что размер диска 12Тб, какие действия нужно произвести с диском, чтобы разметить его в ZFS?
Нужно ли что-то делать и если нужно, то что, чтобы таблица разделов на нём стала GPT?
Далее мне нужно будет скопировать на него данные с NTFS-диска, планирую сделать это из под рута. Не будет ли здесь каких-то подводных камней? Может есть какие-то предостережения на этот счёт? В частности, на счёт итоговых прав доступа к файлам.
При установке FreeBSD, я под раздел /usr отвёл мало места 9.7Гб, часто установка прерывается из-за нехватки места, приходится вручную переносить каталоги на /home и прокидывать ссылки на эти каталоги. Планирую объединить /usr и /home. Можно ли это сделать без переустановки ОС? Если можно, то как?
С учётом планируемой переустановки ОС на более свежую, будет ли разница осуществлять вышеописанные операции с диском и файлами на текущей ОС FreeBSD v12.1-STABLE или на более свежей ОС?
Заранее всех Благодарю!
_____________________________
С наилучшими пожеланиями,
Monarh

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

FiL
ст. лейтенант
Сообщения: 1374
Зарегистрирован: 2010-02-05 0:21:40

Новый HDD 12Тб, разметка в ZFS и перенос данных с NTFS

Непрочитанное сообщение FiL » 2022-04-23 1:09:19

1) никаких. просто zpool create... и указывай диск.
2) кто-ж знает какие у тебя там права на NTFS. Но если оно прочитается, то и хорошо. Если у тебя там рекурсивные линки (как винда любит в AppData), то хрен его знает как оно пойдет. Но если просто данные то проблем быть не должно
3) скорее нет, чем да. Я-бы не заморачивался. Забакапил все и переустановил 13.1 через неделю-другую

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Новый HDD 12Тб, разметка в ZFS и перенос данных с NTFS

Непрочитанное сообщение Demis » 2022-04-24 14:34:28

Monarh писал(а):
2022-04-22 20:41:07
какие действия нужно произвести с диском, чтобы разметить его в ZFS?
Прежде чем что-то делать с размещением ZFS на Вашем диске, нужно с начала убедиться,
что Вам не придется столкнуться с проблемами частично описанными по ссылке:
freebsd-f8/strannaya-problema-s-zfs-i-s ... ml#p391851

lazhu
сержант
Сообщения: 254
Зарегистрирован: 2013-08-10 14:28:38
Контактная информация:

Новый HDD 12Тб, разметка в ZFS и перенос данных с NTFS

Непрочитанное сообщение lazhu » 2022-05-11 10:07:57

Monarh писал(а):
2022-04-22 20:41:07
Нужно ли что-то делать и если нужно, то что, чтобы таблица разделов на нём стала GPT?
По-науке:

Код: Выделить всё

gpart create -s gpt ada1
gpart add -t freebsd-zfs -l disk1 ada1
(вместо ada1 имя диска в /dev)
А затем уже собственно zpool create myomegapool /dev/gpt/disk1

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Новый HDD 12Тб, разметка в ZFS и перенос данных с NTFS

Непрочитанное сообщение Demis » 2022-05-12 12:42:24

Все верно, но тут немного интереснее задача.
Нужно просчитать, а не получит-ли ТС кашку и полную потерю данных через год, два, три.

О чем пытаюсь сказать?

Смотрите, есть хорошая статья про то, как пишутся данные на диски в ZFS:
https://arstechnica.com/information-tec ... rformance/

Сопровождена очень доходчивыми анимациями.
Смотреть раздел "Copy-on-Write semantics" первую картинку в наборе.
Она из четырех частей. Первая анимация это как ведет себя обычная FS, а остальные, интереснее...

Посмотрим, к примеру, вторую анимацию.
Что такое вторая анимация?
Сразу под названием "Copy-on-Write semantics" большая картинка.
Под ней четыре мелкие. Вот вторую и кликаем из этих четырех...

Т.о. мы понимаем, что первый проход записи от 1-го сектора до самого последнего из 12Тб будет писаться некоторое продолжительное время.
Полгода, год, два, три, не знаю (все зависит от конкретных условий у ТС).
Пока этот проход пишется все будет красиво.

Но вот когда дело дойдет до перезаписи, условно второй проход (и последующие), вот тут SMR диска и может "сыграть" у ТС - превратив все в набор бесполезных бит (см. предыдущий пост).
Demis писал(а):
2022-04-24 14:34:28
Прежде чем что-то делать с размещением ZFS на Вашем диске, нужно с начала убедиться,
что Вам не придется столкнуться с проблемами

Аватара пользователя
Monarh
ефрейтор
Сообщения: 66
Зарегистрирован: 2009-04-03 10:48:20

Новый HDD 12Тб, разметка в ZFS и перенос данных с NTFS

Непрочитанное сообщение Monarh » 2022-05-28 19:04:01

Demis писал(а):
2022-04-24 14:34:28
Прежде чем что-то делать с размещением ZFS на Вашем диске, нужно с начала убедиться,
что Вам не придется столкнуться с проблемами частично описанными по ссылке:
freebsd-f8/strannaya-problema-s-zfs-i-s ... ml#p391851
По нижеприведённым дискам:
  1. TOSHIBA MG07ACA12TE
  2. TOSHIBA MG04ACA600E
Может быть подскажете
1) Они с SMR или с CMR?
2) Будут ли с ними проблемы при использовании ZFS, в том числе, как Вы упоминали через год, два, три?
В первую очередь интересует диск "TOSHIBA MG07ACA12TE".
3) Для меня очень важна длительная надёжность хранимых на диске данных.
Если не ZFS, то какую ФС Вы по рекомендуете в плане длительной надёжности хранимых на диске данных и с учётом ежедневного использования диска в качестве хранилища для скачиваемых файлов, в том числе, например, торрентов?
_____________________________
С наилучшими пожеланиями,
Monarh

Аватара пользователя
Monarh
ефрейтор
Сообщения: 66
Зарегистрирован: 2009-04-03 10:48:20

Новый HDD 12Тб, разметка в ZFS и перенос данных с NTFS

Непрочитанное сообщение Monarh » 2022-05-28 19:14:16

Какую ФС лучше использовать для SMR-дисков?
_____________________________
С наилучшими пожеланиями,
Monarh

Аватара пользователя
Monarh
ефрейтор
Сообщения: 66
Зарегистрирован: 2009-04-03 10:48:20

Новый HDD 12Тб, разметка в ZFS и перенос данных с NTFS

Непрочитанное сообщение Monarh » 2022-05-28 19:49:24

У обоих вышеуказанных дисков в описании упомянуто "Advanced Format, 512e"
Ниже приведу выдержки из статьи (https://www.nix.ru/computer_hardware_ne ... ?id=188116):
#Advanced_Format #512e #4K
Advanced Format - формат разметки области хранения данных на жестких дисках нового поколения, выполненных по технологии 4K (использование физических секторов размером 4 килобайт вместо традиционных 512 байт)
...
Однако длительное время размер сектора в 512 байт был стандартом де-факто, поэтому для работы с существующим программным обеспечением диски с технологией Advanced Format вынуждены эмулировать секторы такого размера, размещая в одном физическом секторе восемь логических.

Операционные системы Windows 7 и Windows Vista не требуют каких-либо мер для достижения оптимального быстродействия, уже поддерживая технологию Advanced Format, а для более старых ОС (в первую очередь - Windows XP) для выравнивания расположения логических секторов относительно физических необходимо воспользоваться программой WD Align, либо ее аналогами, для подготовки диска к работе под ОС Windows XP или перед клонированием диска, содержащего разделы с этой ОС. Также оптимизация возможна запуском этой программы уже после установки ОС.

Основным недостатком этой технологии является падение скорости работы с мелкими (менее 4096 байт) файлами по понятным причинам, однако если не произвести выравнивания разделов при установке или клонировании ОС, не имеющей встроенной поддержки 4K Cluster(другое название технологии Advaced Format), то могут наблюдаться более серьезные проблемы вплоть до трёхкратного падения скорости записи.
1) Поддерживает ли FreeBSD технологию Advanced Format?
2) Нужно ли производить выравнивание разделов хранилища?
_____________________________
С наилучшими пожеланиями,
Monarh

lazhu
сержант
Сообщения: 254
Зарегистрирован: 2013-08-10 14:28:38
Контактная информация:

Новый HDD 12Тб, разметка в ZFS и перенос данных с NTFS

Непрочитанное сообщение lazhu » 2022-05-28 20:09:20

Monarh писал(а):
2022-05-28 19:49:24
1) Поддерживает ли FreeBSD технологию Advanced Format?
2) Нужно ли производить выравнивание разделов хранилища?
1) Поддерживает
2) Нужно. ashift=12

Аватара пользователя
Neus
капитан
Сообщения: 1976
Зарегистрирован: 2008-09-08 21:59:56

Новый HDD 12Тб, разметка в ZFS и перенос данных с NTFS

Непрочитанное сообщение Neus » 2022-05-29 20:48:44

Physics is mathematics with the constraint of reality.
Engineering is physics with the constraint of money.

LOR захватили ситхи.
Добро пожаловать на светлую сторону!

Demis
прапорщик
Сообщения: 496
Зарегистрирован: 2015-05-25 14:36:32

Новый HDD 12Тб, разметка в ZFS и перенос данных с NTFS

Непрочитанное сообщение Demis » 2022-05-30 11:43:38

Ну, собственно, народ Вам уже все написал.
Проверить текущее состояние выравнивания:

Код: Выделить всё

diskinfo -v mfid1p1
mfid1p1
        512             # sectorsize
        2999998963712   # mediasize in bytes (2.7T)
        5859372976      # mediasize in sectors
        0               # stripesize
        20480           # stripeoffset
        364729          # Cylinders according to firmware.
        255             # Heads according to firmware.
        63              # Sectors according to firmware.
                        # Disk descr.
                        # Disk ident.
        No              # TRIM/UNMAP support
        Unknown         # Rotation rate in RPM
Если stripeoffset:

Код: Выделить всё

echo 20480 % 4096 | bc
0
Т.е. равно 0, то выравнивание уже работает.