Схема построения отказоустойчивого хостинга

Проблемы установки, настройки и работы Правильной Операционной Системы

Модератор: terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
paix
лейтенант
Сообщения: 863
Зарегистрирован: 2007-09-24 12:41:05
Откуда: dn.ua
Контактная информация:

Re: Схема построения отказоустойчивого хостинга

Непрочитанное сообщение paix » 2008-07-22 11:45:06

LMik писал(а): Ставится два сервера, на них nginx+apache+php-fastcgi или просто nginx-php-fastcgi - как удобнее.
Сервера имеют по две сетевухи, вторыми сетевухами они соеденины серой адресацией.
mysql реплицируется в master-mastrer на обоих серверах.
Оба сервероа будет играть роль "себя как Frontend, второй как бэкап и бэкенд".
Пакет /usr/ports/net/wackamole занимается распределением обращения к адресам серверов и отказоустойчивостью.
Так на базе двух серверов получается кластер с 4 девятками точно + распределение нагрузки.
ЗЫ а DRBD на бсд работает кстати?
вариант законный, но:

1) репликация мультимастер вызывает достаточно большой оверхеад на синхронизациях записи.
2) исходя из идеологии wackamole в один момент времени только одна нода из данного кластера может обладать виртуальным айпишником (рабочим, не серым), т.е. только одна из нод кластера зайдействована в рабочем режиме. Вопрос: о каком распределении нагрузки речь?
3) что вы будете делать со своим мульти-мастер репликацией при росте нагрузки на базу данных?

drbd, на фрее, увы, не работает ;/
кстати по сути, описанная вами связка, по принципу очень похожа на drbd+heartbeat, за исключеним репликации мускиля.
With best wishes, Sergej Kandyla

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: Схема построения отказоустойчивого хостинга

Непрочитанное сообщение LMik » 2008-07-22 11:58:18

1. Во время синхронизации - лок. В это время сервак ложиться. Новый ессно работает но данные не имеют актуальной свежести.
2. Аналогично
3. Дублирование критично важных узлов - одна из мер достижения того чего вы хотите.

Ваши 4 девятки достижимы только в случае построения на основе общего хранилища данных + снапшоты и бэкап.
Что мы в этом случае получаем:
1. Не надо в общем случае синхронизитровать ни базы ни контент.. он общий для 2-х серверов..отваливается один - второй работает.
2. Всегда актуальный снапшот..если вдруг косяк пошел.
3. Бэкап еще никому не вредил
4. Централизованное управление и масштабирование системы !
1. Чего? Да вон ставишь rsync скрипт в крон раз в минуту, он при запуске проверяет еть ли лок файл, есил нету создает лок файл и синхится по завершении удаляет лок - все работает везде.
2. Какие локи при реплекации? Все работает.
3. Ну так сервера дублируют друг друга во всем, можно мускулы на ndb класетрицазии построить, ещё круче получится ;)


Это в какое место общее хранилище вам надежности добавит? вот ёпнецо оно и нету связи никакой...
Снапшот это дело конкретно разработчика/клиента
Бэкапы это отдельная тема и не имеет никокого отношение к отказоустойчивости.
Маштабируй хоть до милиона хостов, в чем проблема то?

Мы схему тут ищем для бюджетного варианта максиум на 2 сервера. А ты кластер на 30 килобаксов нарисовал если не больше. :cf:
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: Схема построения отказоустойчивого хостинга

Непрочитанное сообщение LMik » 2008-07-22 12:01:25

paix писал(а):
вариант законный, но:

1) репликация мультимастер вызывает достаточно большой оверхеад на синхронизациях записи.
2) исходя из идеологии wackamole в один момент времени только одна нода из данного кластера может обладать виртуальным айпишником (рабочим, не серым), т.е. только одна из нод кластера зайдействована в рабочем режиме. Вопрос: о каком распределении нагрузки речь?
3) что вы будете делать со своим мульти-мастер репликацией при росте нагрузки на базу данных?

drbd, на фрее, увы, не работает ;/
кстати по сути, описанная вами связка, по принципу очень похожа на drbd+heartbeat, за исключеним репликации мускиля.
1. Можно NDB кластер попробовать, хотя сам не юзал, но хочу - никак не соберусь построить виртуальный для начала. Да и не будет оверхеда если апдейтов не будет много ползать.
2. А это и нужно, в днс пишется один адрес, по внутреннему интерфейсу будут работать мускул репликация и nginx бэкенд на второй сервер.
3. См п.1
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: Схема построения отказоустойчивого хостинга

Непрочитанное сообщение LMik » 2008-07-22 12:02:37

Ещё возможен вариант с раундробин ДНС на оба внешних адреса а вакамолу заставить держать оба ипа на обоих серверах, чтобы в случае падения она ип второго сервака себе схватывала. Онаж вроде умеет это... надо доку пофтыкать.
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: Схема построения отказоустойчивого хостинга

Непрочитанное сообщение LMik » 2008-07-22 12:03:18

С ndb тоже не очень гладко получается, т.к надо управленческий сервер держать где то включеным на случаи падения и следующего подъема нод.
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: Схема построения отказоустойчивого хостинга

Непрочитанное сообщение LMik » 2008-07-22 12:04:42

LMik писал(а):Ещё возможен вариант с раундробин ДНС на оба внешних адреса а вакамолу заставить держать оба ипа на обоих серверах, чтобы в случае падения она ип второго сервака себе схватывала. Онаж вроде умеет это... надо доку пофтыкать.
Ну да, вот собственно цитата с доки.
This allows you to run a service using multiple DNS RR records without the worry of one of the machines crashing -- if the machine crashes, the virtual IP addresses it was responsible for will be managed by the remaining machines in the cluster.
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

Аватара пользователя
Fastman
ст. лейтенант
Сообщения: 1236
Зарегистрирован: 2006-07-07 10:20:38
Откуда: Минск. РБ

Re: Схема построения отказоустойчивого хостинга

Непрочитанное сообщение Fastman » 2008-07-22 12:17:57

LMik писал(а):
:
Балин.. ну во первых хранилище на 2-х массивах.. то что они одновременно накроются - это врядли :)
Во вторых... ну не совместимо слово надежно и бюджетно :))))
Можно в вашем случае говорить о адекватном стоимости решения времени простоя :)
В третьих то шо я нарисовал в 30К не влезет :)
Давай тогда не будем говорить о 4-х девятках в твоем случае, любой инженер который проектирует системы хранения подразумевающих
надежность в твои 4-е девятки заложит именно не менее 20-30 косарей минимум(хотя я не верю в такие цифры :)
Главное в жизни здоровье и любовь, остальное я все куплю.

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: Схема построения отказоустойчивого хостинга

Непрочитанное сообщение LMik » 2008-07-22 12:23:52

Fastman писал(а):
LMik писал(а):
:
Балин.. ну во первых хранилище на 2-х массивах.. то что они одновременно накроются - это врядли :)
Во вторых... ну не совместимо слово надежно и бюджетно :))))
Можно в вашем случае говорить о адекватном стоимости решения времени простоя :)
В третьих то шо я нарисовал в 30К не влезет :)
Давай тогда не будем говорить о 4-х девятках в твоем случае, любой инженер который проектирует системы хранения подразумевающих
надежность в твои 4-е девятки заложит именно не менее 20-30 косарей минимум(хотя я не верю в такие цифры :)
Ну так вот мы тут и извращаемся чтобы надежно и бюджетно.

А че? все по правилам, все друг друга заменяет в обих серверах. Если в них ещё по зеркалу хардварному то о 4 девятках 100% можно уже говорить.
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: Схема построения отказоустойчивого хостинга

Непрочитанное сообщение LMik » 2008-07-22 12:27:26

Собственно задача то не получить эти девятки в формулах, а вот на практике ИМХО реально сделать и из двух серверов.
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

paix
лейтенант
Сообщения: 863
Зарегистрирован: 2007-09-24 12:41:05
Откуда: dn.ua
Контактная информация:

Re: Схема построения отказоустойчивого хостинга

Непрочитанное сообщение paix » 2008-07-22 12:29:03

LMik писал(а):
paix писал(а): 2) исходя из идеологии wackamole в один момент времени только одна нода из данного кластера может обладать виртуальным айпишником (рабочим, не серым), т.е. только одна из нод кластера зайдействована в рабочем режиме. Вопрос: о каком распределении нагрузки речь?
3) что вы будете делать со своим мульти-мастер репликацией при росте нагрузки на базу данных?

1. Можно NDB кластер попробовать, хотя сам не юзал, но хочу - никак не соберусь построить виртуальный для начала. Да и не будет оверхеда если апдейтов не будет много ползать.
2. А это и нужно, в днс пишется один адрес, по внутреннему интерфейсу будут работать мускул репликация и nginx бэкенд на второй сервер.
3. См п.1
2. хех, это вы уже не high-aviability, а fault-tolerance системы штоли пытаетесь строить....т.е. системы предполагающие высокодоступность и автоматическое распределение нагрузки. А это ведь совсем не дешевые системы, и на порядок более сложные.И на ограниченном бюджете - это головная боль. Я бы этого не советовал делать товарищам, желающим построить HA-системы. Для начала неплохо бы построить хотябы HA кластер.
Одна из самых веских причин, клиентов обслуживают 2 сервера, если один выпадает - второй с нагрузкой не справляется. В данном случае про мультимастер мускиля я вообще молчу ;)

1,3. а ну ка, по подробней про nbd, afaik он сильно под линукс заточен, а фревый вариант в недописанном состоянии находится, плюс ко всему я так полагаю вы собрались штоли его на отдельную машину вынести? и в чем сдесь заключается маштабирование ?
With best wishes, Sergej Kandyla

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: Схема построения отказоустойчивого хостинга

Непрочитанное сообщение LMik » 2008-07-22 12:39:47

paix писал(а):
2. хех, это вы уже не high-aviability, а fault-tolerance системы штоли пытаетесь строить....т.е. системы предполагающие высокодоступность и автоматическое распределение нагрузки. А это ведь совсем не дешевые системы, и на порядок более сложные.И на ограниченном бюджете - это головная боль. Я бы этого не советовал делать товарищам, желающим построить HA-системы. Для начала неплохо бы построить хотябы HA кластер.
Одна из самых веских причин, клиентов обслуживают 2 сервера, если один выпадает - второй с нагрузкой не справляется. В данном случае про мультимастер мускиля я вообще молчу ;)

1,3. а ну ка, по подробней про nbd, afaik он сильно под линукс заточен, а фревый вариант в недописанном состоянии находится, плюс ко всему я так полагаю вы собрались штоли его на отдельную машину вынести? и в чем сдесь заключается маштабирование ?
1,3. Ну это я предположение высказал, да и откуда инфа что его не доточили под бсд, да и собственно код на C он везде код на C. Там точить особо нечего. Я говорю - я сам ещё не пробовал, но очень хочу протестить, и возможно устроить продакшен в итоге.

2. Ну это как последствие можно сделать, на самом деле можно и не балансировать нагрузку получится просто HA. Для этого надо делать без раунд робина и вакамолу оставить просто следить за падением основного сервера. А на бэк сервере реплицировать базу и файлы.

Все же репликация-то дело для HA лучше было бы ИМХО.
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: Схема построения отказоустойчивого хостинга

Непрочитанное сообщение LMik » 2008-07-22 12:41:32

Кстати про дешевезну и т.п прошу заметить - у нас вся страна на PC роутерах вместо цисок, и т.п ;) Это к слову о циферках 30+ килобаксах - и все у людей работает :crazy:
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

Аватара пользователя
Fastman
ст. лейтенант
Сообщения: 1236
Зарегистрирован: 2006-07-07 10:20:38
Откуда: Минск. РБ

Re: Схема построения отказоустойчивого хостинга

Непрочитанное сообщение Fastman » 2008-07-22 12:45:18

LMik писал(а):Кстати про дешевезну и т.п прошу заметить - у нас вся страна на PC роутерах вместо цисок, и т.п ;) Это к слову о циферках 30+ килобаксах - и все у людей работает :crazy:
Да никто не спорит то :)
Просто у нас в странах СНГ не понимают слов "стоимость владения" и "сопровождение и поддержка проекта".
И сидим мы не на цисках только от нашего желания сделать вот прямо счас хорошо и подешевле - а потом все равно нужно будет переделывать :)
Я не против локального применения таких решений. Просто нужно немного в будущее смотреть :)
Главное в жизни здоровье и любовь, остальное я все куплю.

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: Схема построения отказоустойчивого хостинга

Непрочитанное сообщение LMik » 2008-07-22 12:46:38

Fastman писал(а):
LMik писал(а):Кстати про дешевезну и т.п прошу заметить - у нас вся страна на PC роутерах вместо цисок, и т.п ;) Это к слову о циферках 30+ килобаксах - и все у людей работает :crazy:
Да никто не спорит то :)
Просто у нас в странах СНГ не понимают слов "стоимость владения" и "сопровождение и поддержка проекта".
И сидим мы не на цисках только от нашего желания сделать вот прямо счас хорошо и подешевле - а потом все равно нужно будет переделывать :)
Я не против локального применения таких решений. Просто нужно немного в будущее смотреть :)
:D ну в будующее у нас не смотрят, а сразу туда попадают ггг....
Я сам тоже не сторонник всякой такой хрени, по мне лучше сразу по человечески построить.
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

Аватара пользователя
Fastman
ст. лейтенант
Сообщения: 1236
Зарегистрирован: 2006-07-07 10:20:38
Откуда: Минск. РБ

Re: Схема построения отказоустойчивого хостинга

Непрочитанное сообщение Fastman » 2008-07-22 12:48:47

На самом деле я поддерживаю твое старание придумать что нить в этом роде.
Хотя бы для своего развития - это мегаполезно :)
Нужно просто всегда вносить долю здоровой критики чтобы небо розовым не казалось :)
Главное в жизни здоровье и любовь, остальное я все куплю.

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: Схема построения отказоустойчивого хостинга

Непрочитанное сообщение LMik » 2008-07-22 12:57:48

Fastman писал(а):На самом деле я поддерживаю твое старание придумать что нить в этом роде.
Хотя бы для своего развития - это мегаполезно :)
Нужно просто всегда вносить долю здоровой критики чтобы небо розовым не казалось :)
Теперь ждем чтобы человек построил всю эту хрень :D
Очень интересная система получается.

Вот только с мускулем надо определиться.
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

paradox
проходил мимо
Сообщения: 11620
Зарегистрирован: 2008-02-21 18:15:41

Re: Схема построения отказоустойчивого хостинга

Непрочитанное сообщение paradox » 2008-07-22 13:00:34

топик мастер наверное имел ввиду какойто бедного заказчика который тупо хотел бекап
а вы тут начинаете решение на 30к советовать)))

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: Схема построения отказоустойчивого хостинга

Непрочитанное сообщение LMik » 2008-07-22 13:02:56

paradox писал(а):топик мастер наверное имел ввиду какойто бедного заказчика который тупо хотел бекап
а вы тут начинаете решение на 30к советовать)))
Не, я решение советую на таверах за 10к :D А ведь реально работать будет лол.
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35266
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Схема построения отказоустойчивого хостинга

Непрочитанное сообщение Alex Keda » 2008-07-22 13:04:53

да не.
судя по вопросам в аське от одного гражданина, примерно в то же время - я наверно даже знаю заказчика....
=======
просто хостер у чела неадекват полный - на полдня положил всё - сказав регламентные работы... без предупреждения.
и не первый раз уже.
Убей их всех! Бог потом рассортирует...

paradox
проходил мимо
Сообщения: 11620
Зарегистрирован: 2008-02-21 18:15:41

Re: Схема построения отказоустойчивого хостинга

Непрочитанное сообщение paradox » 2008-07-22 13:05:54

порнухо мастеры делают свои решение дешевле чем даже ты предлагаешь
а челу в сотню раз меньше нужно будет (нагрузка)

paradox
проходил мимо
Сообщения: 11620
Зарегистрирован: 2008-02-21 18:15:41

Re: Схема построения отказоустойчивого хостинга

Непрочитанное сообщение paradox » 2008-07-22 13:07:14

lissyara писал(а):да не.
судя по вопросам в аське от одного гражданина, примерно в то же время - я наверно даже знаю заказчика....
=======
просто хостер у чела неадекват полный - на полдня положил всё - сказав регламентные работы... без предупреждения.
и не первый раз уже.
тогда как я говоил
два разнесенных сервака
а в DNS две запили алияс
токо это спасет в таких случаях

это если на хосте стат инфо
а не форум какой то

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35266
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Схема построения отказоустойчивого хостинга

Непрочитанное сообщение Alex Keda » 2008-07-22 13:08:38

живой сайтик... на мусе.
однако - как сказали - инфа за последние минут несколько не так уж и важна.
т.е. время перключения - единицы минут с потерей инфы - так что если это тот человек - не усложняйте всё...
=======
лучше расскажите как будете в нормальный режим работы всю связку выводить, после аврала....
Убей их всех! Бог потом рассортирует...

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: Схема построения отказоустойчивого хостинга

Непрочитанное сообщение LMik » 2008-07-22 13:11:18

Блин, да никто ничего не усложняет :D

Уже давно от частного случая ушли и флудим тут по теме в общем...

А про днс - шляпа будет, два адреса они днсами будут по очереди отдаваться и не у всех с первой попытке будет попадать на рабочий сервер.
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: Схема построения отказоустойчивого хостинга

Непрочитанное сообщение LMik » 2008-07-22 13:12:33

А в нормальный режим теоретически должно само войти.

Муся как врубится сразу полезет к соседу по репликации за изменениями.
rsync полезет смотреть че с файлами произошло (ну или че то другое полезет)
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

paradox
проходил мимо
Сообщения: 11620
Зарегистрирован: 2008-02-21 18:15:41

Re: Схема построения отказоустойчивого хостинга

Непрочитанное сообщение paradox » 2008-07-22 13:13:36

>LMik
аналогия с AOL
так что я думаю нормально