hastd: da vs zvol
Модератор: terminus
Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
- dekloper
- ст. лейтенант
- Сообщения: 1331
- Зарегистрирован: 2008-02-24 15:43:19
- Откуда: давно здесь сидим..
- Контактная информация:
hastd: da vs zvol
товаГищи, ставлю вопрос на голосование: за и против двух принципиально разных\парадоксальных схем построения HA-хранилища
1. пул строится поверх хаст девайса (первична репликация девайса)
2. строится пул девайсов (где сущность для реплицирования - есть звол)
доклад окончил
1. пул строится поверх хаст девайса (первична репликация девайса)
2. строится пул девайсов (где сущность для реплицирования - есть звол)
доклад окончил
ТОВАгИЩИ! БгАТЬЯ И СЕСТгЫ! ДОЛОЙ гАВНОДУШИЕ!
Услуги хостинговой компании Host-Food.ru
Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/
- Neus
- капитан
- Сообщения: 1980
- Зарегистрирован: 2008-09-08 21:59:56
hastd: da vs zvol
садись 2
- dekloper
- ст. лейтенант
- Сообщения: 1331
- Зарегистрирован: 2008-02-24 15:43:19
- Откуда: давно здесь сидим..
- Контактная информация:
hastd: da vs zvol
сенсей знает другие варианты построения HA?
==
навыки чтения хендбука это канэшн хорошо, но до тех пор пока объект для репликации - не более одного девайса..
если же их da0-daX, возникает парадокс (зависимость целостности пула от стабильности\корректности репликации каждого из da0-daX) и.. другие схемы построения HA..
собственно, плюсы очевидны
==
навыки чтения хендбука это канэшн хорошо, но до тех пор пока объект для репликации - не более одного девайса..
если же их da0-daX, возникает парадокс (зависимость целостности пула от стабильности\корректности репликации каждого из da0-daX) и.. другие схемы построения HA..
собственно, плюсы очевидны
давайте поговорим о минусах.. господа "отличники"))+ no need to hast each individual disk in the zpool so you can access all
available storage on either storage unit
+ maintaining storage units remains functionally consistent between them
+ once setup, zvols are easily migrated to new storage environments in real-time
since there is only a single zvol hast resource to replicate. (no need
to have all
matching zpool hast members, just reconfigure the primary zvol hast
resource to point to
a new secondary server and swap roles/failover when ready)
+ can have active hast zvols on each unit to distribute IO
+ no need for zpool export/import on failover
+ hast easily added to current zvols
+ retains performance of entire zpool
+ zpool can be expanded without changing hast config
+ minimizes hast replication traffic between storage units
+ hast split-brain localized to specific zvol's
+ can use ufs on hast zvol resource for things like samba and nfs
ТОВАгИЩИ! БгАТЬЯ И СЕСТгЫ! ДОЛОЙ гАВНОДУШИЕ!
- Neus
- капитан
- Сообщения: 1980
- Зарегистрирован: 2008-09-08 21:59:56
- Neus
- капитан
- Сообщения: 1980
- Зарегистрирован: 2008-09-08 21:59:56
- dekloper
- ст. лейтенант
- Сообщения: 1331
- Зарегистрирован: 2008-02-24 15:43:19
- Откуда: давно здесь сидим..
- Контактная информация:
hastd: da vs zvol
воть-воть, и я ап томже..
парадокс, аднака..
парадокс, аднака..
ТОВАгИЩИ! БгАТЬЯ И СЕСТгЫ! ДОЛОЙ гАВНОДУШИЕ!
- Neus
- капитан
- Сообщения: 1980
- Зарегистрирован: 2008-09-08 21:59:56
hastd: da vs zvol
а всякие DFS не вариант?
- dekloper
- ст. лейтенант
- Сообщения: 1331
- Зарегистрирован: 2008-02-24 15:43:19
- Откуда: давно здесь сидим..
- Контактная информация:
hastd: da vs zvol
дфс вражьи поделия - в пентагон фашистам всё уйдет, че я буду делать..
ТОВАгИЩИ! БгАТЬЯ И СЕСТгЫ! ДОЛОЙ гАВНОДУШИЕ!
- Neus
- капитан
- Сообщения: 1980
- Зарегистрирован: 2008-09-08 21:59:56
hastd: da vs zvol
да нужен ты пентагону как 5 колесо телеге
Отправлено спустя 19 минут 51 секунду:
а фряха чо, у нас разрабатывается?
а не боишься же юзать
Отправлено спустя :
а фряха чо, у нас разрабатывается?
а не боишься же юзать
Отправлено спустя 19 минут 51 секунду:
а фряха чо, у нас разрабатывается?
а не боишься же юзать
Отправлено спустя :
а фряха чо, у нас разрабатывается?
а не боишься же юзать
- dekloper
- ст. лейтенант
- Сообщения: 1331
- Зарегистрирован: 2008-02-24 15:43:19
- Откуда: давно здесь сидим..
- Контактная информация:
hastd: da vs zvol
ну наших людей в коллективе не мало..
и код никто не скрывает..
в отличие от тех падонкав, что пиздят код XEN-а обильно приправляя его всевозможными закладками\бэкдорами и называя всю эту страшную "красоту" гиперВИ....
ТОВАгИЩИ! БгАТЬЯ И СЕСТгЫ! ДОЛОЙ гАВНОДУШИЕ!
- Neus
- капитан
- Сообщения: 1980
- Зарегистрирован: 2008-09-08 21:59:56
hastd: da vs zvol
а причем тут "мелкий софт" (R)?
я не про его DFS говорил, а про вообще DFS - OpenAFS, GlusterFS, LeoFS все это лежит в портах.
я не про его DFS говорил, а про вообще DFS - OpenAFS, GlusterFS, LeoFS все это лежит в портах.
- dekloper
- ст. лейтенант
- Сообщения: 1331
- Зарегистрирован: 2008-02-24 15:43:19
- Откуда: давно здесь сидим..
- Контактная информация:
hastd: da vs zvol
да как то не суръезно все эти btrfs и иже с ними дфс-ы.. в работе под нагрузкой я их не видел..
а вот зрейд ахота потерзать, не зря ж контроллер покупал)
зы. мож соляру\индиану ради такого дела воткну)
а вот зрейд ахота потерзать, не зря ж контроллер покупал)
зы. мож соляру\индиану ради такого дела воткну)
ТОВАгИЩИ! БгАТЬЯ И СЕСТгЫ! ДОЛОЙ гАВНОДУШИЕ!
- Neus
- капитан
- Сообщения: 1980
- Зарегистрирован: 2008-09-08 21:59:56
hastd: da vs zvol
Мои девайс скромнее, btrfs его вешает.
ZFS легко держит 25к iops (на запись).
Индиану не ставь, это девелоперский полигон.
OmniOS + nappit -- клевый сторадж получается.
ZFS легко держит 25к iops (на запись).
Индиану не ставь, это девелоперский полигон.
OmniOS + nappit -- клевый сторадж получается.
- dekloper
- ст. лейтенант
- Сообщения: 1331
- Зарегистрирован: 2008-02-24 15:43:19
- Откуда: давно здесь сидим..
- Контактная информация:
hastd: da vs zvol
ну вот оно.. ращепление мозга
похоже в стабильной ветке чота с сис.переменными наслучалось..
на обоих нодах net.inet.carp.preempt=0
тоесть, принудительно мастер-роль у бэкапа (если он стал таковым по выпадению мастера) не забирается
экперимент проводим на стабле-11
1. кладем карп-иф на мастере
логи на бэкапе (стал мастером, сервисы есть, пул есть)
2. поднимаем иф на мастере
логи на бэкапе (моск ращепился - какого хрена он отдает роль???)
лог на мастере (в момент поднятия интерфейса - какого хрена он забирает себе роль, неглядя на сисцтл???)
==
пс. на курренте (который теперь уже 12) такой хирни нет, всё работает как положено..!
похоже в стабильной ветке чота с сис.переменными наслучалось..
на обоих нодах net.inet.carp.preempt=0
тоесть, принудительно мастер-роль у бэкапа (если он стал таковым по выпадению мастера) не забирается
экперимент проводим на стабле-11
1. кладем карп-иф на мастере
логи на бэкапе (стал мастером, сервисы есть, пул есть)
Код: Выделить всё
Jul 24 21:50:34 free02 kernel: carp: 55@ix1: BACKUP -> MASTER (master timed out)
Jul 24 21:50:34 free02 kernel: ifa_maintain_loopback_route: insertion failed for interface ix1: 17
Jul 24 21:50:34 free02 Zcontrol_2.sh: Caught MASTER from 55@ix1
Jul 24 21:50:54 free02 hastd[1932]: [zvol] (primary) Unable to connect to 10.5.5.1: Operation timed out.
Jul 24 21:50:55 free02 Zcontrol_2.sh: HAST role changed to primary
Jul 24 21:50:56 free02 Zcontrol_2.sh: ZFS pool for resource zvol imported.
Jul 24 21:50:56 free02 Zcontrol_2.sh: Starting inetd in master-mode
Jul 24 21:50:56 free02 Zcontrol_2.sh: Starting ntpd in master-mode
Jul 24 21:50:56 free02 ntpd[1984]: ntpd 4.2.8p8-a (1): Starting
логи на бэкапе (моск ращепился - какого хрена он отдает роль???)
Код: Выделить всё
Jul 24 21:51:36 free02 kernel: carp: 55@ix1: MASTER -> INIT (hardware interface down)
Jul 24 21:51:36 free02 kernel: carp: demoted by 240 to 240 (interface down)
Jul 24 21:51:36 free02 kernel: ix1: link state changed to DOWN
Jul 24 21:51:36 free02 kernel: carp: 55@ix1: INIT -> BACKUP (initialization complete)
Jul 24 21:51:36 free02 kernel: carp: demoted by -240 to 0 (interface up)
Jul 24 21:51:36 free02 kernel: ix1: link state changed to UP
Jul 24 21:51:36 free02 Zcontrol_2.sh: Caught BACKUP from 55@ix1
Jul 24 21:51:36 free02 ntpd[1985]: ntpd exiting on signal 15 (Terminated)
Jul 24 21:51:37 free02 kernel: carp: 55@ix1: BACKUP -> INIT (hardware interface down)
Jul 24 21:51:37 free02 kernel: carp: demoted by 240 to 240 (interface down)
Jul 24 21:51:37 free02 kernel: ix1: link state changed to DOWN
Jul 24 21:51:38 free02 Zcontrol_2.sh: ZFS pool for resource zvol exported.
Jul 24 21:51:41 free02 kernel: carp: 55@ix1: INIT -> BACKUP (initialization complete)
Jul 24 21:51:41 free02 kernel: carp: demoted by -240 to 0 (interface up)
Jul 24 21:51:41 free02 kernel: ix1: link state changed to UP
Jul 24 21:51:42 free02 hastd[1932]: [zvol] (primary) Remote node acts as primary for the resource and not as secondary.
Jul 24 21:51:42 free02 Zcontrol_2.sh: HAST role changed to secondary
Jul 24 21:51:42 free02 Zcontrol_2.sh: Caught BACKUP from 55@ix1
Jul 24 21:51:42 free02 Zcontrol_2.sh: HAST role changed to secondary
Jul 24 21:51:55 free02 hastd[2082]: [zvol] (secondary) Split-brain detected, exiting.
Jul 24 21:52:00 free02 hastd[1867]: [zvol] (secondary) Worker process exited ungracefully (pid=2082, exitcode=78).
Jul 24 21:52:05 free02 hastd[2094]: [zvol] (secondary) Split-brain detected, exiting.
Jul 24 21:52:10 free02 hastd[1867]: [zvol] (secondary) Worker process exited ungracefully (pid=2094, exitcode=78).
Код: Выделить всё
Jul 24 21:51:42 free01 hastd[1657]: [zvol] (primary) We act as primary for the resource and not as secondary as requested by tcp://10.5.5.2:20792.
Jul 24 21:51:44 free01 kernel: carp: 55@ix1: BACKUP -> MASTER (master timed out)
Jul 24 21:51:44 free01 kernel: ifa_maintain_loopback_route: insertion failed for interface ix1: 17
Jul 24 21:51:54 free01 hastd[1671]: [zvol] (primary) Unable to receive reply header: Socket is not connected.
Jul 24 21:51:54 free01 hastd[1671]: [zvol] (primary) Disconnected from 10.5.5.2.
Jul 24 21:51:54 free01 Zcontrol_2.sh: ZFS pool for resource zvol exported.
Jul 24 21:51:54 free01 Zcontrol_2.sh: HAST role changed to secondary
Jul 24 21:51:54 free01 Zcontrol_2.sh: Caught MASTER from 55@ix1
Jul 24 21:51:55 free01 hastd[1806]: [zvol] (primary) Split-brain condition!
Jul 24 21:51:55 free01 Zcontrol_2.sh: HAST role changed to primary
Jul 24 21:51:56 free01 Zcontrol_2.sh: ZFS pool for resource zvol imported.
Jul 24 21:51:56 free01 Zcontrol_2.sh: Starting inetd in master-mode
Jul 24 21:51:56 free01 Zcontrol_2.sh: Starting ntpd in master-mode
пс. на курренте (который теперь уже 12) такой хирни нет, всё работает как положено..!
ТОВАгИЩИ! БгАТЬЯ И СЕСТгЫ! ДОЛОЙ гАВНОДУШИЕ!
-
- сержант
- Сообщения: 254
- Зарегистрирован: 2013-08-10 14:28:38
- Контактная информация:
hastd: da vs zvol
dekloper писал(а):сенсей знает другие варианты построения HA?
Код: Выделить всё
zpool create tank mirror <iscsi_1> <iscsi_2> ... <iscsi_n>
юзерленд-демон считается минусом?давайте поговорим о минусах.. господа "отличники"))
- dekloper
- ст. лейтенант
- Сообщения: 1331
- Зарегистрирован: 2008-02-24 15:43:19
- Откуда: давно здесь сидим..
- Контактная информация:
hastd: da vs zvol
а че хорошего?
сессия порвется
как делать синхронизацию состояний?
ТОВАгИЩИ! БгАТЬЯ И СЕСТгЫ! ДОЛОЙ гАВНОДУШИЕ!
-
- сержант
- Сообщения: 254
- Зарегистрирован: 2013-08-10 14:28:38
- Контактная информация:
- dekloper
- ст. лейтенант
- Сообщения: 1331
- Зарегистрирован: 2008-02-24 15:43:19
- Откуда: давно здесь сидим..
- Контактная информация:
hastd: da vs zvol
непонял
я вобщето про пфсинк...
хаст нужен, как без него
кто будет репу складывать прозапас?
ТОВАгИЩИ! БгАТЬЯ И СЕСТгЫ! ДОЛОЙ гАВНОДУШИЕ!
-
- сержант
- Сообщения: 254
- Зарегистрирован: 2013-08-10 14:28:38
- Контактная информация:
hastd: da vs zvol
Зеркало из iscsi с разных серверов. Вот вам репликация в реальном времени. Хаст можно при этом использовать для передачи адреса. Только экспортировать/импортировать пул при up/down
- dekloper
- ст. лейтенант
- Сообщения: 1331
- Зарегистрирован: 2008-02-24 15:43:19
- Откуда: давно здесь сидим..
- Контактная информация:
hastd: da vs zvol
в смысле - карп, в той конструкции что вы озвучили, хаст действительно - не нужен.
остается главный вопрос - кто будит следить за состоянием мозга - вдруг ращепится..
хаст по крайней мере об этом рассказывал, на основани чего можно было скорректировать скрипт..
а тут какбе сказе покласть - что упало то пропало..
ТОВАгИЩИ! БгАТЬЯ И СЕСТгЫ! ДОЛОЙ гАВНОДУШИЕ!
-
- сержант
- Сообщения: 254
- Зарегистрирован: 2013-08-10 14:28:38
- Контактная информация:
hastd: da vs zvol
Делаем флаговый звол символического размера, скажем 10Мб. Настраиваем на нем хаст+карп для корректного фэйловера. Для этого даже не надо выделенного интерфейса, никаких данных тут не будет. Главное, не забыть в ап/даун скриптах прописать импорт/экспорт iscsi-зеркала.dekloper писал(а):в смысле - карп, в той конструкции что вы озвучили, хаст действительно - не нужен.
остается главный вопрос - кто будит следить за состоянием мозга - вдруг ращепится..
хаст по крайней мере об этом рассказывал, на основани чего можно было скорректировать скрипт..
а тут какбе сказе покласть - что упало то пропало..
- dekloper
- ст. лейтенант
- Сообщения: 1331
- Зарегистрирован: 2008-02-24 15:43:19
- Откуда: давно здесь сидим..
- Контактная информация:
hastd: da vs zvol
идея поюзать айскази (в не профильных целях) канешн интересная.. но.., вы пробовали на практике\продакшн? иль чисто теоретически? в "лабораторных" условиях оно какбе можно..
потом сказать что один из дисков зеркала в оффлайне (иначе до пула не достучаться, будет вечная попытка синхронизироваться с трупом)
может возникнуть еще куча непредусмотренных\необработанных фейлов, после чего пул можно похоронить..
сцыкотно аднака..
не главное. до импорта\экспорта надо еще фейл сеансов таргет\инициатор обработать..
потом сказать что один из дисков зеркала в оффлайне (иначе до пула не достучаться, будет вечная попытка синхронизироваться с трупом)
может возникнуть еще куча непредусмотренных\необработанных фейлов, после чего пул можно похоронить..
сцыкотно аднака..
ТОВАгИЩИ! БгАТЬЯ И СЕСТгЫ! ДОЛОЙ гАВНОДУШИЕ!
-
- сержант
- Сообщения: 254
- Зарегистрирован: 2013-08-10 14:28:38
- Контактная информация:
hastd: da vs zvol
Все в одну кучу смешали. Зеркало - котлеты, HA - мухи. Есть 4 хоста, A и B предоставляют iscsi-таргеты. C и D предоставляют HA-зеркало клиентам. При работе хотя бы одного хоста из каждой пары доступ к данным сохраняется. На C и D при старте запускаем
При старте/ребуте обоих хостов одновременно назначаем мастера вручную/скриптом.
Код: Выделить всё
hastctl role secondary resource
iscsictl - Aa
- dekloper
- ст. лейтенант
- Сообщения: 1331
- Зарегистрирован: 2008-02-24 15:43:19
- Откуда: давно здесь сидим..
- Контактная информация:
hastd: da vs zvol
этак и я могу (С)
с 4-мя хостами то..
в условии задачи - 2 железки
у меня каждый хост однвременно является отдающим звол соседу и принимающим соседский звол
к тому же каждый хост отдает собственный звол самому себе %) (ибо зеркало между зволом и блочным девайсом не построить)
вот так и жрут мухи котлеты)
==
придется вертать к изначальной схеме..
с 4-мя хостами то..
в условии задачи - 2 железки
у меня каждый хост однвременно является отдающим звол соседу и принимающим соседский звол
к тому же каждый хост отдает собственный звол самому себе %) (ибо зеркало между зволом и блочным девайсом не построить)
вот так и жрут мухи котлеты)
==
придется вертать к изначальной схеме..
ТОВАгИЩИ! БгАТЬЯ И СЕСТгЫ! ДОЛОЙ гАВНОДУШИЕ!
-
- сержант
- Сообщения: 254
- Зарегистрирован: 2013-08-10 14:28:38
- Контактная информация:
hastd: da vs zvol
С 2-мя хостами кроме хаста ничего не сделать. Не самая надежная система, ибо, как уже говорилось, хаст это юзерленд.