кластер высокой доступности

VirtualBox, QEMU, ESX/ESXi и прочия
Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
zefir01
рядовой
Сообщения: 30
Зарегистрирован: 2007-02-27 15:47:54

кластер высокой доступности

Непрочитанное сообщение zefir01 » 2010-12-18 13:56:56

всем здравствуйте.
я тут тоже задумал построить кластер. у меня нет сервисов которые абсолютно не должны прерываться. но, все равно бывает нужно какой нить сервак остановить, а беспокоить пользователей не охота ) поэтому живые копии виртуалок пока не запланированы.

собственно, хочу описать идею, чтоб общественость покритиковала.... пока не начал железо закупать... )

Идея:
по скольку отказ апаратной системы хранения мало вероятен, но все же возможен, я решил собрать собственную из двух хостов. оба физических хоста имеют общее устройство drdb в режиме primary-primary. на этом устройстве крутится xen domu с freebsd 8.0 . эта фряха является чем то вроде контроллера хранилища. также с физических хостов системы хранения экспортируются другие жесткие через iscsi.
на фряхе эти жесткие через iscsi импортирутся. и из них, средствами zfs, строятся зеркала. т.е. жесткий с первого физического хоста зеркалируется с соответствующим жестким второго физического хоста. через фряху. зачем: чтобы при остановки одного из физических хостов системы хранения, фряха мигрировала на второй и подключения и работоспособность массива zfs сохранилась.
далее: фряха на импортном массиве создает zvolы (пардон, не знаю как по русски их обозвать) , которые экспортирует вычислительным нодам кластера через iscsi. на котрых будет xen и соответственно какие то виртуальные машины с полезной нагрузкой.
я прекрасно понимаю, что это сильно нагрузит сеть. соответственно планируется использовать стекируемые, гигабитные коммутаторы и конечно lacp или какую нить его альтернативу. я думаю 2 гигабита на хост будет достаточно чтоб дабать канал для дисковой подсистемы вычислительных хостов до 100 мегабайт в секунду. возможно придется corosync вывести на отдельный интерфейс, но этобудет видно в процессе тестирования. также возможно, будет лучше сделать две фряхи (на каждом хосте системы хранения по одной) для балансировки нагрузки на сеть системы хранения. опять же тестирование покажет.

пока я остановился на курении мануала pacemaker. чтоб обеспечить миграцию доменов по хитрой политике.

прошу критиковать...

PS если кто нить подкинет русскую инфу по pacemaker буду очень благодарен, а то от английского уже мозг сводит...

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
fox
ст. лейтенант
Сообщения: 1154
Зарегистрирован: 2008-07-24 0:25:31
Откуда: Ukraine, Donetsk

Re: кластер высокой доступности

Непрочитанное сообщение fox » 2011-01-10 20:24:56

Какие службы тебе нужно что бы без отказно работали? А то ты что то накрутил такое сложное...
Поставь изначальную задачу! Только с полной конфигурацией требований...
Да пребудет с нами сила!!!
Всех убью, один останусь!

Аватара пользователя
m0ps
лейтенант
Сообщения: 986
Зарегистрирован: 2008-05-08 20:18:06
Откуда: Chernigov (Ukraine)
Контактная информация:

Re: кластер высокой доступности

Непрочитанное сообщение m0ps » 2011-01-11 10:47:53

думаю что не стоить этакое крутить, если нет прямой задачи от руководства, а если она (задача) есть - то не стоить затягивать себе на шее петлю и крутить что-то на freebsd.

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35462
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: кластер высокой доступности

Непрочитанное сообщение Alex Keda » 2011-01-11 10:52:08

интересное мнение
Убей их всех! Бог потом рассортирует...

Аватара пользователя
m0ps
лейтенант
Сообщения: 986
Зарегистрирован: 2008-05-08 20:18:06
Откуда: Chernigov (Ukraine)
Контактная информация:

Re: кластер высокой доступности

Непрочитанное сообщение m0ps » 2011-01-11 11:05:52

Alex Keda писал(а):интересное мнение
эт ты обо мне? :)
ну вот такое у меня мнение (спорить не хочу на эту тему). чем дольше я работаю админом, тем больше начинаю убеждаться что серьезные вещи на коленке крутить не стоит. для таких целей - только коммерческие продукты (без какого-либо самостоятельного допиливания) с качественной поддержкой. иначе результат не оправдывает ожидания, а геморрой обеспечен. если руководство осознает риск - не вопрос, сделаю что захотят, но тогда претензии по работе/функционалу пусть выдвигают себе а не мне :)

а, и еще:
инициатива еб*т инициатора

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35462
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: кластер высокой доступности

Непрочитанное сообщение Alex Keda » 2011-01-11 11:12:43

решений "искаропки" под конкретную задачу - катастрофически мало.
любое боле-мене серьёзное решение - это кручение коробки под себя.
Убей их всех! Бог потом рассортирует...

Аватара пользователя
m0ps
лейтенант
Сообщения: 986
Зарегистрирован: 2008-05-08 20:18:06
Откуда: Chernigov (Ukraine)
Контактная информация:

Re: кластер высокой доступности

Непрочитанное сообщение m0ps » 2011-01-11 11:25:51

Alex Keda писал(а):решений "искаропки" под конкретную задачу - катастрофически мало.
любое боле-мене серьёзное решение - это кручение коробки под себя.
в таком случае производитель должен предоставлять услуги по "подкручиванию", что б он потом он мог и решать проблемы, возникшие в результате "кручения", а не отвечать:
"Sorry, but we don't support custom configurations." (яркий пример - кастомное ядро в RHEL)
я допускаю минимальное самостоятельное допиливание, но только в том случае, если оно не усложняет схему (ну и не противоречит высказыванию выше про поддержку производителем)

ev
ст. лейтенант
Сообщения: 1325
Зарегистрирован: 2008-07-27 17:11:30
Откуда: Москва

Re: кластер высокой доступности

Непрочитанное сообщение ev » 2011-01-11 12:14:07

для таких целей - только коммерческие продукты (без какого-либо самостоятельного допиливания) с качественной поддержкой
если посмотреть как делаются эти "коммерческие продукты", то порой доверия больше решению "на коленке" ;)
имхо вообще нет разделения на коммерческие продукты и коленки всякие... все оно делается людьми, просто имеет разное качество... а судить о качестве по фактору коммерческое или нет - крайне опрометчиво

Аватара пользователя
fox
ст. лейтенант
Сообщения: 1154
Зарегистрирован: 2008-07-24 0:25:31
Откуда: Ukraine, Donetsk

Re: кластер высокой доступности

Непрочитанное сообщение fox » 2011-01-11 19:29:07

Нужна всегда правельная постановка вопроса и рациональное решение, а то что вы коленками называете это по не осторожносте!
Да пребудет с нами сила!!!
Всех убью, один останусь!

zefir01
рядовой
Сообщения: 30
Зарегистрирован: 2007-02-27 15:47:54

Re: кластер высокой доступности

Непрочитанное сообщение zefir01 » 2011-01-14 1:17:08

прошу прощения за долгое отсутствие, уже не думал что когото заинтересует...
полностью поддерживаю мнение о том что все делается людьми. это уже вопрос о том что лучше аутсорс или самим.... это очень не однозначно.
по поводу поставленой задачи, тут много всего сплелось... описывать все, по моему, не имеет смыла. т.к. конкретный проект делается под конкретные обстоятельства. в отличии от решения из коробки, он не ограничен одной "схемой". одна из основных идей, это концентрация большинства сложных моментов в "ядре" (freebsd) и максимальное облегчение конфигурации вычислительных нодов. т.е. есть сложное ядро кластера, которое достаточно универсально, и работа с ним описана на бумажке и ни шагу в сторону. ну и часть достаточно сложных моментов не требующих изменеий в процессе администрирования. делается это для того, что если админ не доступен, эникейщики могли бы выполнять штатные работы с нодами.
но это все лирика.
главный ворос в том, нет ли явных косяков в схеме. что то конечно подкоректирю в процессе... но одна голова хорошо, а много лучше )

Аватара пользователя
fox
ст. лейтенант
Сообщения: 1154
Зарегистрирован: 2008-07-24 0:25:31
Откуда: Ukraine, Donetsk

Re: кластер высокой доступности

Непрочитанное сообщение fox » 2011-01-14 19:43:35

Не чего не понятно! Какаие сервесы, для чего это делается? Какая конечная задача?
Да пребудет с нами сила!!!
Всех убью, один останусь!

Аватара пользователя
konstantine
ефрейтор
Сообщения: 55
Зарегистрирован: 2009-03-14 11:51:17

Re: кластер высокой доступности

Непрочитанное сообщение konstantine » 2011-01-24 17:52:46

У нас примерно подобная песня:
Есть 4е 1С файловые базы, которые уже крутятся на лялихах через etersoft и + много всяких ещё различных сервисов, но вдруг начало лихорадить само железо на серверах и т.к. я давным давно чисто для себя юзал xen на одном из серверов. Также захотели перейти на виртуализацию + тоже пробовали с ДРДБ всё замечательно даже через 100Mb интерфейс не хило синхронизируется- довольно быстро, но я вот к чему я пришёл пока это всё делали, что чем проще решена проблема тем ЛУЧШЕ. Ты конешно всё класно придумал - в теории. Я бы на твоём месте сделал сначало параллельно пока ты ждёшь когда к тебе приедут заказанные там например твои 2а Пролианта от HP ты тупо на на каких нибудь десктопных тачках всё АБСОЛЮТНО тоже самое подыми.
1. Как подымешь ты уже сделаешь вывод какие будут затраты для поддержки этой системы т.к. допиливание будет ВСЕГДА просто со временем сам понимаешь его всё меньше и меньше .... и прикинь всё это надо ещё не забывать, в голове держать когда изменяешь.
2. Когда начнёшь все это мутить лучше исходить их мнения "Чем проше система в ПОНИМАНИИ тем лучше", не усложняй всякими лишними феничками рюшечками аля там например у всех вирталок будет 1 общий LVM раздел который в свою очеред ДРДбешиться между хостами...

Потому что ты прикинь как потом это всё после тебя будут другие саппортить, либо пиши сразу параллельно документацию, т.к. даю 100% после настройки и отладки тебе уже будет ТакоЙ лЕНЬ её писать и ты уже будешь гореть другими идеями.
@lissyara: Решений "искаропки" под конкретную задачу - катастрофически мало.
Любое боле-мене серьёзное решение - это кручение коробки под себя.

Аватара пользователя
m0ps
лейтенант
Сообщения: 986
Зарегистрирован: 2008-05-08 20:18:06
Откуда: Chernigov (Ukraine)
Контактная информация:

Re: кластер высокой доступности

Непрочитанное сообщение m0ps » 2011-01-24 18:08:11

konstantine писал(а):У нас примерно подобная песня:
Есть 4е 1С файловые базы, которые уже крутятся на лялихах через etersoft и + много всяких ещё различных сервисов, но вдруг начало лихорадить само железо на серверах и т.к. я давным давно чисто для себя юзал xen на одном из серверов. Также захотели перейти на виртуализацию + тоже пробовали с ДРДБ всё замечательно даже через 100Mb интерфейс не хило синхронизируется- довольно быстро, но я вот к чему я пришёл пока это всё делали, что чем проще решена проблема тем ЛУЧШЕ. Ты конешно всё класно придумал - в теории. Я бы на твоём месте сделал сначало параллельно пока ты ждёшь когда к тебе приедут заказанные там например твои 2а Пролианта от HP ты тупо на на каких нибудь десктопных тачках всё АБСОЛЮТНО тоже самое подыми.
1. Как подымешь ты уже сделаешь вывод какие будут затраты для поддержки этой системы т.к. допиливание будет ВСЕГДА просто со временем сам понимаешь его всё меньше и меньше .... и прикинь всё это надо ещё не забывать, в голове держать когда изменяешь.
2. Когда начнёшь все это мутить лучше исходить их мнения "Чем проше система в ПОНИМАНИИ тем лучше", не усложняй всякими лишними феничками рюшечками аля там например у всех вирталок будет 1 общий LVM раздел который в свою очеред ДРДбешиться между хостами...

Потому что ты прикинь как потом это всё после тебя будут другие саппортить, либо пиши сразу параллельно документацию, т.к. даю 100% после настройки и отладки тебе уже будет ТакоЙ лЕНЬ её писать и ты уже будешь гореть другими идеями.
абсолютно согласен, это и пытался донести выше

Аватара пользователя
fox
ст. лейтенант
Сообщения: 1154
Зарегистрирован: 2008-07-24 0:25:31
Откуда: Ukraine, Donetsk

Re: кластер высокой доступности

Непрочитанное сообщение fox » 2011-01-24 18:11:28

m0ps писал(а): абсолютно согласен, это и пытался донести выше
а по моему не это а другое... или излогал непонятно...
Да пребудет с нами сила!!!
Всех убью, один останусь!

Аватара пользователя
konstantine
ефрейтор
Сообщения: 55
Зарегистрирован: 2009-03-14 11:51:17

Re: кластер высокой доступности

Непрочитанное сообщение konstantine » 2011-01-25 7:15:56

Если кратко, то:

Лучше в самом начале на себя со стороны посмотри - спокойно ли ты потянешь всё это после того как настроешь или же ты относишься к таким как я, которые вечно нервничают и психуют, из за каких то детских проблем, которые будут мешать нормально спать. Или из за самонеудовлетворения лично я вечно чё нить подкручиваю, подпиливаю, через год или два, при этом уже не помня полностью весь технологический процесс (т.к. он уже настолько идиотски сложен, что в голове просто уже всё не укладывается) и в связи с этим что то да отваливается - не сразу, а как назло через день или неделю (и тебя начинает раздражать собственная тупость, что ты ЗАБЫЛ САМ о какой то веще).

п.с. Как говорили выше есть два решения:
а) Коленка. б) Проприетарщина


а) - Вечно ТВОЙ геморой по саппорту.
б) - Чужой геморой по саппорту.
@lissyara: Решений "искаропки" под конкретную задачу - катастрофически мало.
Любое боле-мене серьёзное решение - это кручение коробки под себя.

Аватара пользователя
fox
ст. лейтенант
Сообщения: 1154
Зарегистрирован: 2008-07-24 0:25:31
Откуда: Ukraine, Donetsk

Re: кластер высокой доступности

Непрочитанное сообщение fox » 2011-01-25 10:55:52

Трагично тут у вас сейчас сам играюсь подобными вещами как наиграюсь отпишусь... Фаталезируете вы всё!
Да пребудет с нами сила!!!
Всех убью, один останусь!

Аватара пользователя
m0ps
лейтенант
Сообщения: 986
Зарегистрирован: 2008-05-08 20:18:06
Откуда: Chernigov (Ukraine)
Контактная информация:

Re: кластер высокой доступности

Непрочитанное сообщение m0ps » 2011-01-25 11:03:22

fox писал(а):Трагично тут у вас сейчас сам играюсь подобными вещами как наиграюсь отпишусь... Фаталезируете вы всё!
играться это одно (сам люблю строить разные лабы), а вот вводить в продакшен - это совсем другое.

Аватара пользователя
fox
ст. лейтенант
Сообщения: 1154
Зарегистрирован: 2008-07-24 0:25:31
Откуда: Ukraine, Donetsk

Re: кластер высокой доступности

Непрочитанное сообщение fox » 2011-01-25 11:08:22

m0ps писал(а):
fox писал(а):Трагично тут у вас сейчас сам играюсь подобными вещами как наиграюсь отпишусь... Фаталезируете вы всё!
играться это одно (сам люблю строить разные лабы), а вот вводить в продакшен - это совсем другое.
Согласен, но наигравшись в усмерть тогда можно смело принемать решения о продакшене, потому что максимально видно все достатки и не достатки!
Да пребудет с нами сила!!!
Всех убью, один останусь!

Аватара пользователя
ADRE
майор
Сообщения: 2645
Зарегистрирован: 2007-07-26 8:53:49
Контактная информация:

Re: кластер высокой доступности

Непрочитанное сообщение ADRE » 2011-01-31 8:06:53

fox писал(а):
m0ps писал(а):
fox писал(а):Трагично тут у вас сейчас сам играюсь подобными вещами как наиграюсь отпишусь... Фаталезируете вы всё!
играться это одно (сам люблю строить разные лабы), а вот вводить в продакшен - это совсем другое.
Согласен, но наигравшись в усмерть тогда можно смело принемать решения о продакшене, потому что максимально видно все достатки и не достатки!
а чё играться? настроил -> вроде работает -> запустил юзверей -> ловят баги -> отладка.
//del

Аватара пользователя
m0ps
лейтенант
Сообщения: 986
Зарегистрирован: 2008-05-08 20:18:06
Откуда: Chernigov (Ukraine)
Контактная информация:

Re: кластер высокой доступности

Непрочитанное сообщение m0ps » 2011-01-31 9:32:11

настроил -> вроде работает -> запустил юзверей -> ловят баги -> отладка.
-> жопа в мыле

Аватара пользователя
fox
ст. лейтенант
Сообщения: 1154
Зарегистрирован: 2008-07-24 0:25:31
Откуда: Ukraine, Donetsk

Re: кластер высокой доступности

Непрочитанное сообщение fox » 2011-01-31 16:54:41

m0ps писал(а):
настроил -> вроде работает -> запустил юзверей -> ловят баги -> отладка.
-> жопа в мыле
ну да сделал файловый сервр куда залили кучю стратегической информации, а он как лёг((( не то что будет жопа в мыле... могут и уволить с пазором!

поэтому лучше на виртуалке или тестовом тазике наигратся в усмерть посоздовать аварийные ситуации, не штатные ситуации нахождение выхода из положения, вот тогда и думать стоит такую конфигурацию пускать в продакшен, или нет...
Да пребудет с нами сила!!!
Всех убью, один останусь!

Аватара пользователя
konstantine
ефрейтор
Сообщения: 55
Зарегистрирован: 2009-03-14 11:51:17

Re: кластер высокой доступности

Непрочитанное сообщение konstantine » 2011-01-31 20:22:23

))))))))) Мне это напоминает те жестокие годы когда я с масдаем мучался............ Причём вроде всё наигрался, а пол года проходит и был там антивирь, не было, всеравно переставлять всё заново. Вот быдло-гопо-софт.
@lissyara: Решений "искаропки" под конкретную задачу - катастрофически мало.
Любое боле-мене серьёзное решение - это кручение коробки под себя.

Аватара пользователя
dekloper
ст. лейтенант
Сообщения: 1331
Зарегистрирован: 2008-02-24 15:43:19
Откуда: давно здесь сидим..
Контактная информация:

Re: кластер высокой доступности

Непрочитанное сообщение dekloper » 2011-07-08 8:27:59

zefir01 писал(а):всем здравствуйте.
я тут тоже задумал построить кластер.
дык.. эта.. как на поприще, коллега? :drinks:
идея очень интересная, шас фтыкаю изо фсех сил..
zefir01 писал(а):на фряхе эти жесткие через iscsi импортирутся. и из них, средствами zfs, строятся зеркала.
наимпортировал кучку девайсов..
возникает ряд вопросов
как далее..? какие виды зеркал можно построить? как лучше?
я так понимаю, размер девайсов должен быть одинаков, иначе принимается меньший размер из имеющихся?
в итоге мне надо получить zvol, размер которого потом можно было бы поменять, не разрушив на нём данные..
возможно ли так?
чота слабовтыкаемая штука, эта зфс.. :(
ТОВАгИЩИ! БгАТЬЯ И СЕСТгЫ! ДОЛОЙ гАВНОДУШИЕ!