кластер высокой доступности

[zefir01]

всем здравствуйте.
я тут тоже задумал построить кластер. у меня нет сервисов которые абсолютно не должны прерываться. но, все равно бывает нужно какой нить сервак остановить, а беспокоить пользователей не охота ) поэтому живые копии виртуалок пока не запланированы.

собственно, хочу описать идею, чтоб общественость покритиковала.... пока не начал железо закупать... )

Идея:
по скольку отказ апаратной системы хранения мало вероятен, но все же возможен, я решил собрать собственную из двух хостов. оба физических хоста имеют общее устройство drdb в режиме primary-primary. на этом устройстве крутится xen domu с freebsd 8.0 . эта фряха является чем то вроде контроллера хранилища. также с физических хостов системы хранения экспортируются другие жесткие через iscsi.
на фряхе эти жесткие через iscsi импортирутся. и из них, средствами zfs, строятся зеркала. т.е. жесткий с первого физического хоста зеркалируется с соответствующим жестким второго физического хоста. через фряху. зачем: чтобы при остановки одного из физических хостов системы хранения, фряха мигрировала на второй и подключения и работоспособность массива zfs сохранилась.
далее: фряха на импортном массиве создает zvolы (пардон, не знаю как по русски их обозвать) , которые экспортирует вычислительным нодам кластера через iscsi. на котрых будет xen и соответственно какие то виртуальные машины с полезной нагрузкой.
я прекрасно понимаю, что это сильно нагрузит сеть. соответственно планируется использовать стекируемые, гигабитные коммутаторы и конечно lacp или какую нить его альтернативу. я думаю 2 гигабита на хост будет достаточно чтоб дабать канал для дисковой подсистемы вычислительных хостов до 100 мегабайт в секунду. возможно придется corosync вывести на отдельный интерфейс, но этобудет видно в процессе тестирования. также возможно, будет лучше сделать две фряхи (на каждом хосте системы хранения по одной) для балансировки нагрузки на сеть системы хранения. опять же тестирование покажет.

пока я остановился на курении мануала pacemaker. чтоб обеспечить миграцию доменов по хитрой политике.

прошу критиковать...

PS если кто нить подкинет русскую инфу по pacemaker буду очень благодарен, а то от английского уже мозг сводит...

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[fox]

Какие службы тебе нужно что бы без отказно работали? А то ты что то накрутил такое сложное...
Поставь изначальную задачу! Только с полной конфигурацией требований...

[m0ps]

думаю что не стоить этакое крутить, если нет прямой задачи от руководства, а если она (задача) есть - то не стоить затягивать себе на шее петлю и крутить что-то на freebsd.

[Alex Keda]

интересное мнение

[m0ps]

интересное мнение

эт ты обо мне?
ну вот такое у меня мнение (спорить не хочу на эту тему). чем дольше я работаю админом, тем больше начинаю убеждаться что серьезные вещи на коленке крутить не стоит. для таких целей - только коммерческие продукты (без какого-либо самостоятельного допиливания) с качественной поддержкой. иначе результат не оправдывает ожидания, а геморрой обеспечен. если руководство осознает риск - не вопрос, сделаю что захотят, но тогда претензии по работе/функционалу пусть выдвигают себе а не мне

а, и еще:
инициатива еб*т инициатора

[Alex Keda]

решений "искаропки" под конкретную задачу - катастрофически мало.
любое боле-мене серьёзное решение - это кручение коробки под себя.

[m0ps]

решений "искаропки" под конкретную задачу - катастрофически мало.
любое боле-мене серьёзное решение - это кручение коробки под себя.

в таком случае производитель должен предоставлять услуги по "подкручиванию", что б он потом он мог и решать проблемы, возникшие в результате "кручения", а не отвечать:
"Sorry, but we don't support custom configurations." (яркий пример - кастомное ядро в RHEL)
я допускаю минимальное самостоятельное допиливание, но только в том случае, если оно не усложняет схему (ну и не противоречит высказыванию выше про поддержку производителем)

[ev]

для таких целей - только коммерческие продукты (без какого-либо самостоятельного допиливания) с качественной поддержкой

если посмотреть как делаются эти "коммерческие продукты", то порой доверия больше решению "на коленке"
имхо вообще нет разделения на коммерческие продукты и коленки всякие... все оно делается людьми, просто имеет разное качество... а судить о качестве по фактору коммерческое или нет - крайне опрометчиво

[fox]

Нужна всегда правельная постановка вопроса и рациональное решение, а то что вы коленками называете это по не осторожносте!

[zefir01]

прошу прощения за долгое отсутствие, уже не думал что когото заинтересует...
полностью поддерживаю мнение о том что все делается людьми. это уже вопрос о том что лучше аутсорс или самим.... это очень не однозначно.
по поводу поставленой задачи, тут много всего сплелось... описывать все, по моему, не имеет смыла. т.к. конкретный проект делается под конкретные обстоятельства. в отличии от решения из коробки, он не ограничен одной "схемой". одна из основных идей, это концентрация большинства сложных моментов в "ядре" (freebsd) и максимальное облегчение конфигурации вычислительных нодов. т.е. есть сложное ядро кластера, которое достаточно универсально, и работа с ним описана на бумажке и ни шагу в сторону. ну и часть достаточно сложных моментов не требующих изменеий в процессе администрирования. делается это для того, что если админ не доступен, эникейщики могли бы выполнять штатные работы с нодами.
но это все лирика.
главный ворос в том, нет ли явных косяков в схеме. что то конечно подкоректирю в процессе... но одна голова хорошо, а много лучше )

[fox]

Не чего не понятно! Какаие сервесы, для чего это делается? Какая конечная задача?

[konstantine]

У нас примерно подобная песня:
Есть 4е 1С файловые базы, которые уже крутятся на лялихах через etersoft и + много всяких ещё различных сервисов, но вдруг начало лихорадить само железо на серверах и т.к. я давным давно чисто для себя юзал xen на одном из серверов. Также захотели перейти на виртуализацию + тоже пробовали с ДРДБ всё замечательно даже через 100Mb интерфейс не хило синхронизируется- довольно быстро, но я вот к чему я пришёл пока это всё делали, что чем проще решена проблема тем ЛУЧШЕ. Ты конешно всё класно придумал - в теории. Я бы на твоём месте сделал сначало параллельно пока ты ждёшь когда к тебе приедут заказанные там например твои 2а Пролианта от HP ты тупо на на каких нибудь десктопных тачках всё АБСОЛЮТНО тоже самое подыми.
1. Как подымешь ты уже сделаешь вывод какие будут затраты для поддержки этой системы т.к. допиливание будет ВСЕГДА просто со временем сам понимаешь его всё меньше и меньше .... и прикинь всё это надо ещё не забывать, в голове держать когда изменяешь.
2. Когда начнёшь все это мутить лучше исходить их мнения "Чем проше система в ПОНИМАНИИ тем лучше", не усложняй всякими лишними феничками рюшечками аля там например у всех вирталок будет 1 общий LVM раздел который в свою очеред ДРДбешиться между хостами...

Потому что ты прикинь как потом это всё после тебя будут другие саппортить, либо пиши сразу параллельно документацию, т.к. даю 100% после настройки и отладки тебе уже будет ТакоЙ лЕНЬ её писать и ты уже будешь гореть другими идеями.

[m0ps]

У нас примерно подобная песня:
Есть 4е 1С файловые базы, которые уже крутятся на лялихах через etersoft и + много всяких ещё различных сервисов, но вдруг начало лихорадить само железо на серверах и т.к. я давным давно чисто для себя юзал xen на одном из серверов. Также захотели перейти на виртуализацию + тоже пробовали с ДРДБ всё замечательно даже через 100Mb интерфейс не хило синхронизируется- довольно быстро, но я вот к чему я пришёл пока это всё делали, что чем проще решена проблема тем ЛУЧШЕ. Ты конешно всё класно придумал - в теории. Я бы на твоём месте сделал сначало параллельно пока ты ждёшь когда к тебе приедут заказанные там например твои 2а Пролианта от HP ты тупо на на каких нибудь десктопных тачках всё АБСОЛЮТНО тоже самое подыми.
1. Как подымешь ты уже сделаешь вывод какие будут затраты для поддержки этой системы т.к. допиливание будет ВСЕГДА просто со временем сам понимаешь его всё меньше и меньше .... и прикинь всё это надо ещё не забывать, в голове держать когда изменяешь.
2. Когда начнёшь все это мутить лучше исходить их мнения "Чем проше система в ПОНИМАНИИ тем лучше", не усложняй всякими лишними феничками рюшечками аля там например у всех вирталок будет 1 общий LVM раздел который в свою очеред ДРДбешиться между хостами...

Потому что ты прикинь как потом это всё после тебя будут другие саппортить, либо пиши сразу параллельно документацию, т.к. даю 100% после настройки и отладки тебе уже будет ТакоЙ лЕНЬ её писать и ты уже будешь гореть другими идеями.

абсолютно согласен, это и пытался донести выше

[fox]

абсолютно согласен, это и пытался донести выше

а по моему не это а другое... или излогал непонятно...

[konstantine]

Если кратко, то:

Лучше в самом начале на себя со стороны посмотри - спокойно ли ты потянешь всё это после того как настроешь или же ты относишься к таким как я, которые вечно нервничают и психуют, из за каких то детских проблем, которые будут мешать нормально спать. Или из за самонеудовлетворения лично я вечно чё нить подкручиваю, подпиливаю, через год или два, при этом уже не помня полностью весь технологический процесс (т.к. он уже настолько идиотски сложен, что в голове просто уже всё не укладывается) и в связи с этим что то да отваливается - не сразу, а как назло через день или неделю (и тебя начинает раздражать собственная тупость, что ты ЗАБЫЛ САМ о какой то веще).

п.с. Как говорили выше есть два решения:
а) Коленка. б) Проприетарщина


а) - Вечно ТВОЙ геморой по саппорту.
б) - Чужой геморой по саппорту.

[fox]

Трагично тут у вас сейчас сам играюсь подобными вещами как наиграюсь отпишусь... Фаталезируете вы всё!

[m0ps]

Трагично тут у вас сейчас сам играюсь подобными вещами как наиграюсь отпишусь... Фаталезируете вы всё!

играться это одно (сам люблю строить разные лабы), а вот вводить в продакшен - это совсем другое.

[fox]

Трагично тут у вас сейчас сам играюсь подобными вещами как наиграюсь отпишусь... Фаталезируете вы всё!

играться это одно (сам люблю строить разные лабы), а вот вводить в продакшен - это совсем другое.

Согласен, но наигравшись в усмерть тогда можно смело принемать решения о продакшене, потому что максимально видно все достатки и не достатки!

[ADRE]

Трагично тут у вас сейчас сам играюсь подобными вещами как наиграюсь отпишусь... Фаталезируете вы всё!

играться это одно (сам люблю строить разные лабы), а вот вводить в продакшен - это совсем другое.

Согласен, но наигравшись в усмерть тогда можно смело принемать решения о продакшене, потому что максимально видно все достатки и не достатки!

а чё играться? настроил -> вроде работает -> запустил юзверей -> ловят баги -> отладка.

[m0ps]

настроил -> вроде работает -> запустил юзверей -> ловят баги -> отладка.

-> жопа в мыле

[fox]

настроил -> вроде работает -> запустил юзверей -> ловят баги -> отладка.

-> жопа в мыле

ну да сделал файловый сервр куда залили кучю стратегической информации, а он как лёг((( не то что будет жопа в мыле... могут и уволить с пазором!

поэтому лучше на виртуалке или тестовом тазике наигратся в усмерть посоздовать аварийные ситуации, не штатные ситуации нахождение выхода из положения, вот тогда и думать стоит такую конфигурацию пускать в продакшен, или нет...

[konstantine]

))))))))) Мне это напоминает те жестокие годы когда я с масдаем мучался............ Причём вроде всё наигрался, а пол года проходит и был там антивирь, не было, всеравно переставлять всё заново. Вот быдло-гопо-софт.

[dekloper]

всем здравствуйте.
я тут тоже задумал построить кластер.

дык.. эта.. как на поприще, коллега?
идея очень интересная, шас фтыкаю изо фсех сил..

на фряхе эти жесткие через iscsi импортирутся. и из них, средствами zfs, строятся зеркала.

наимпортировал кучку девайсов..
возникает ряд вопросов
как далее..? какие виды зеркал можно построить? как лучше?
я так понимаю, размер девайсов должен быть одинаков, иначе принимается меньший размер из имеющихся?
в итоге мне надо получить zvol, размер которого потом можно было бы поменять, не разрушив на нём данные..
возможно ли так?
чота слабовтыкаемая штука, эта зфс..