Страница 1 из 1

С чего начать? То или это?! Есть диск.., а дальше что?

Добавлено: 2014-07-10 18:10:32
UBRIUM
Доброго времени суток всем!

Уже как три дня, сначала для обновления знаний, потом для интереса, потом уже в агонии, ищу ответы на свои вопросы. Сначала было все понятно и хотелось конкретного. Но после пары статей начался полномасштабный анализ в голове. А ближе к сегодняшнему вечеру превратилась вся информация в кесю-месю. К логическому и окончательному выбору прийти не удаётся, хочу просить помощи у всех.

Имелась вновь собранная система под небольшой такой Web-сервер. На нем под систему два диска естественно в зеркало и естественно не в железное зеркало, а силами самой OS. Естественно была установлена FreeBSD, а именно 9.2-RELEASE, на диски с GPT и сделано зеркало gmirror. Но дальше вы спросите - "какого черта и, что я делаю с gmirror на GPT?". Я задавался теми же вопросами, но только потом, после нестарта ситсемы. Так как я не знал о тонкостях GPT и дружбы его с gmirror. В целом сроки не давили и решение об установке мною было отложено на такой срок, за который я бы изучил все вопросы по поводу установки FreeBSD в своем современном облике. Так как раньше я не парился, ну небыло такого огромного выбора! :crazy:

Но в интернете как всегда, кто-то утверждает одно в протест ему кучу доводов об обратном, на других ресурсах говорят о другом и кучу доводов в пользу иного выбора.

Пришел к тому, что выбрать не могу между старым MBR и GPT, наверно тоже не таким уж и молодым, но все же. Так как у меня два диска на систему в зеркало всего-то 250Gb, то из плюсов GPT я подчеркнул лишь один - это более или менее надежность(может и не прав, поправьте) по отношению к MBR за счет копирования своих данных в разные части диска несколько раз. В остальном для меня в обоих вариантах все равно становиться. И все же не могу сделать выбор, стоит ли заморачиваться с GPT или же оставить MBR. Так как зерзалирование средствами gmirror с GPT уже превращается в большую перестройке, а не настройку как раньше.

Второй вопрос - это какую ФС выбрать. Да, популярных для FreeBSD всего две на текущий момент, это UFS и ZFS. Ну да, я подумываю использовать ZFS как корневую ФС, ну во первых можно средствами ZFS сделать зеркало. А во вторых я имею опыт работы в течении двух лет с ZFS в качестве raid5, и она показала себя исключительно хорошо даже с отвалившимся диском и его заменой, очень удобна в плане дминистрирования, квотирования и сохранностью данных размещенных на ней. Тем более, что в новую систему было инсталлировано 4Gb ОЗУ с последующим добором до 16Gb. Выделить под ее нужны памяти хватило бы с лихвой. Тем более читал о стабильной и шустрой работе и с 2Gb, видимо задачи у всех разные. И опять же, стоит ли заморачиватся с ZFS, какие могут быть камни преткновения уже в процессе эксплуатации. В процессе восстановления данных с поврежденных(надеюсь, до такого не дойдет) дисков? Что же выбирать.

Вопрос не стоит о сложности настройки, а все новое нам интересно, но не хотелось бы в следствии экспериментов ночами сидеть и восстанавливать данные(что можно компенсировать бекапами) или поднимать все снова. Что нужнее в бою, что покажет себя лучше, а что хуже?

Прошу прощения за многобукв. :shock:

Re: С чего начать? То или это?! Есть диск.., а дальше что?

Добавлено: 2014-07-10 21:19:31
Bayerische
В последний раз выбрал GPT+UFS.
Первое просто наконец надо было попробовать, второе от того, что оно поумолчанию в ОС.

Re: С чего начать? То или это?! Есть диск.., а дальше что?

Добавлено: 2014-07-10 21:25:58
Shuba
Уже несколько лет юзаю только GPT+ZFS, в том числе и зеркало через raidz. Чего и топикстартеру советую.

Re: С чего начать? То или это?! Есть диск.., а дальше что?

Добавлено: 2014-07-10 21:29:18
Shuba
Кста, по поводу восстановления по ночам - импорт-экспорт снапшотов (как полных, так и инкрементных-дифференциальных) - отличная вещь.

Re: С чего начать? То или это?! Есть диск.., а дальше что?

Добавлено: 2014-07-11 0:20:34
UBRIUM
Shuba писал(а):Кста, по поводу восстановления по ночам - импорт-экспорт снапшотов (как полных, так и инкрементных-дифференциальных) - отличная вещь.
А на счет снапшотов - это хорошая вещь, особенно там где разшарена самба на ZFS. Из винды на самбе можно восстанавливать предыдущий версии фалов. Это отличная штука, скажу я.
Shuba писал(а):Уже несколько лет юзаю только GPT+ZFS, в том числе и зеркало через raidz. Чего и топикстартеру советую.
Начинаю сам все больше к этой композиции склоняться. Уж больно интересно и красиво все должно быть. Только бы затюнить все это подходяще под нужды. )

Re: С чего начать? То или это?! Есть диск.., а дальше что?

Добавлено: 2014-07-11 0:28:10
UBRIUM
Bayerische писал(а):...от того, что оно поумолчанию в ОС.
С этим тоже нельзя не согласиться.

И сам пользовался некоторое время GPT+UFS, но оно стояло и стояло. Я не трогал, а оно работало и без тонкой настройки и без зеркал. Но тут надо сделать все как следует. )

Re: С чего начать? То или это?! Есть диск.., а дальше что?

Добавлено: 2014-07-11 8:08:21
Charlz_Klug_
На прошлой работе настроил GPT+UFS+GMIRROR - полёт нормальный. Почему именно GPT и GMIRROR - потому что памяти полтора гигабайта, было бы побольше памяти - поставил бы ZFS.

Re: С чего начать? То или это?! Есть диск.., а дальше что?

Добавлено: 2014-07-11 9:13:25
snorlov
А я юзаю gpt + zfs, но при этом зеркало создается через zfs, но swap отдельным разделом, не на zfs, и вот там gmirror...

Re: С чего начать? То или это?! Есть диск.., а дальше что?

Добавлено: 2014-07-11 14:57:00
Shuba
UBRIUM писал(а):Начинаю сам все больше к этой композиции склоняться. Уж больно интересно и красиво все должно быть. Только бы затюнить все это подходяще под нужды. )
Само собой что для отдельных разделов выбрал те или иные опции (вроде сжатия, квот и т.д. и т.п.), но это не обязательно, можно оставить и по-умолчанию.

Re: С чего начать? То или это?! Есть диск.., а дальше что?

Добавлено: 2014-07-13 0:40:02
UBRIUM
Shuba писал(а):Само собой что для отдельных разделов выбрал те или иные опции (вроде сжатия, квот и т.д. и т.п.), но это не обязательно, можно оставить и по-умолчанию.
Ну да, в общем об этом и думал.

Спасибо всем за советы и мысли! :Yahoo!:

Установил на ZFS FreeBSD 9.2. Скорость записи не чем не уступает UFS, а чтение само собой за гигабайты в секунду при попадании файла в кеш! )
Пока доволен. Надеюсь работать и дальше будет одно удовольствие, попробую тесты с мелкими файлами в будущем. А сейчас настройка, настройка, настройка...

P.S.: Всем сомневающимся думаю тоже могу теперь дать совет. Юзайтей GPT+ZFS. Вынес SWAP в отдельный раздел. И конечно не забываем про сектора 4K. В принципе можно и на дисках с сектором 512b сделать выравнивание сразу для 4K, что бы при замене устаревшего диска не париться. )

Re: С чего начать? То или это?! Есть диск.., а дальше что?

Добавлено: 2014-07-13 6:33:40
Bayerische
Сейчас у вас 4 ГБ?
Вопрос ко всем, у кого ZFS. Сколько примерно оно отжирает?

Re: С чего начать? То или это?! Есть диск.., а дальше что?

Добавлено: 2014-07-14 8:00:29
dekloper

Код: Выделить всё

FreeBSD 10.0-STABLE #0 r264335M: Wed Apr 23 15:59:59 NOVT 2014
    root@titan:/usr/obj/usr/src/sys/pfrtipsec amd64
FreeBSD clang version 3.4 (tags/RELEASE_34/final 197956) 20140216
CPU: Intel(R) Xeon(R) CPU E5-2609 0 @ 2.40GHz (2394.28-MHz K8-class CPU)
  Origin = "GenuineIntel"  Id = 0x206d7  Family = 0x6  Model = 0x2d  Stepping = 7
  Features=0xbfebfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,DTS,ACPI,MMX,FXSR,SSE,SSE2,SS,HTT,TM,PBE>
  Features2=0x1fbee3ff<SSE3,PCLMULQDQ,DTES64,MON,DS_CPL,VMX,SMX,EST,TM2,SSSE3,CX16,xTPR,PDCM,PCID,DCA,SSE4.1,SSE4.2,x2APIC,POPCNT,TSCDLT,AESNI,XSAVE,OSXSAVE,AVX>
  AMD Features=0x2c100800<SYSCALL,NX,Page1GB,RDTSCP,LM>
  AMD Features2=0x1<LAHF>
  TSC: P-state invariant, performance statistics
real memory  = 8589934592 (8192 MB)
avail memory = 8226299904 (7845 MB)

Код: Выделить всё

last pid: 10729;  load averages:  0.30,  0.35,  0.30                                                     up 44+17:24:47  11:59:15
86 processes:  1 running, 84 sleeping, 1 zombie
CPU:  0.4% user,  0.0% nice,  0.6% system,  0.1% interrupt, 98.9% idle
Mem: 657M Active, 708M Inact, 6359M Wired, 48M Cache, 122M Free
ARC: 4422M Total, 768M MFU, 2606M MRU, 656K Anon, 91M Header, 956M Other
Swap: 2048M Total, 184M Used, 1864M Free, 8% Inuse

Re: С чего начать? То или это?! Есть диск.., а дальше что?

Добавлено: 2014-07-20 5:33:53
UBRIUM

Код: Выделить всё

25 processes:  1 running, 24 sleeping
Mem: 55M Active, 685M Inact, 6530M Wired, 177M Cache, 817M Buf, 372M Free
ARC: 5287M Total, 163M MFU, 4876M MRU, 272K Anon, 32M Header, 215M Other
Swap: 4095M Total, 139M Used, 3956M Free, 3% Inuse

Код: Выделить всё

real memory  = 8589934592 (8192 MB)
avail memory = 8139497472 (7762 MB)
Это данные с NAS сервера под управлением NAS4Free. Круглосуточно работает торентокачалка на раздачу и на прием. Раньше стояло тут же всего 2Gb оперативы на 10.9Tb это с RAIDZ одинарным контролем четности, типа RAID5. Работало достаточно шустро для качалки торентов, дома с несколькими компами и пары внешних пользователей. Объем оперативы увеличил до 8Gb, но особо прироста не заметил, так как сервер используется по сети и скорость не вырастала никогда больше 75Mb/s. Единственное, в каталогах с большим количеством файлов стало прогружатся значительно быстрее. Все крутилось на Athom D2700.
А на самом деле в конфиге можно выделить сколько хочешь оперативы, но минимальный рекомендуемый объем для ZFS вроде 512Mb.
Сейчас выделено памяти так:

Код: Выделить всё

vfs.zfs.arc_min="768M"
### Расчет на 8Gb
vm.kmem_size="7760M"
vfs.zfs.arc_max="7520M"
А было так:

Код: Выделить всё

vfs.zfs.arc_min="768M"
### Расчет на 2Gb
vm.kmem_size="1860"
vfs.zfs.arc_max="1590M"
На сервере который настроил стоит 4Gb и при этом все очень шустро работает пока с дефолтными настройками, дальше время покажет и планируется наростить ОЗУ в любом случае для выполнения его боевых задач. За тюнинг самой ZFS еще в полной мере не брался, только для раздела базы данных подправил пару параметров. Так, что если для NAS-сервера домой, то думаю меньше 1Gb не надо брать, да и больше двух гигов оперативы уже будет излишеством точно, даже на диски общим объемом 10.9Tb или менее.

Re: С чего начать? То или это?! Есть диск.., а дальше что?

Добавлено: 2014-09-15 13:13:23
Bayerische
http://habrahabr.ru/post/214707/
Основная проблема в том, что система ZFS очень чувствительна к ошибкам ОЗУ. Вот вывод экспертного исследования методической устойчивости ZFS к ошибкам ОЗУ, проведенного группой Yupu Zhang, Abhishek Rajimwale, Andrea C. Arpaci-Dusseau, Remzi H. Arpaci-Dusseau из Университета Висконсин-Мэдисон (цитата из труда End-to-end Data Integrity for File Systems: A ZFS Case Study):

In the last section we showed the robustness of ZFS to disk corruptions. Although ZFS was not specifically designed to tolerate memory corruptions, we still would like to know how ZFS reacts to memory corruptions, i.e., whether ZFS can detect and recover from a single bit flip in data and metadata blocks. Our fault injection experiments indicate that ZFS has no precautions for memory corruptions: bad data blocks are returned to the user or written to disk, file system operations fail, and many times the whole system crashes.