FreeBSD кластер

Проблемы установки, настройки и работы Правильной Операционной Системы

Модератор: terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Aris
проходил мимо

FreeBSD кластер

Непрочитанное сообщение Aris » 2008-04-11 15:37:36

Подскажите пожалуйста, c помощью чего можно реализовать WEB-Кластер на FreeBSD 7.0 + mysql + apache + php
Очень много всего начитался, буду рад любой информации.

Сочитаются ли вместе кластер высокой доступности (HA) и кластер с балансировкой нагрузки (то есть высокой производительности - HP)? Или это 2-е разных технологии?

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2460 рублей (8 CPU, 8Gb RAM, 2x500Gb HDD, RAID 3ware 9750):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
sitnin
рядовой
Сообщения: 42
Зарегистрирован: 2008-03-28 11:37:49
Откуда: Moscow, Russia
Контактная информация:

Re: FreeBSD кластер

Непрочитанное сообщение sitnin » 2008-04-11 15:51:33

Отличный вопрос!

А вот подскажите, что вы называете кластером: виртуальный сервер, состоящий из различных нод или систему серверов с балансировкой и резервированием?

Аватара пользователя
salvator
мл. сержант
Сообщения: 88
Зарегистрирован: 2008-04-01 12:18:59
Откуда: Kiev, Ukraine

Re: FreeBSD кластер

Непрочитанное сообщение salvator » 2008-04-11 16:01:50

Если имеется в виду балансировка нагрузки

mysql - настраивать репликацию, или mysql_proxy;
если обязательно нужен apache - то или ставить его бекендом, а нагрузку балансировать чем-нибудь вроде nginx (им же статику отдавать можно) или
делить трафик файрволом
если апач не обязательно - можно запустить php как fastcgi на нескольких серверах и обращаться к ним из nginx например.
файловая система - nfs, желательно экспортировать в read only;
для кеша и сессий можно memcached

Если распределенные вычисления - на сколько я знаю, freebsd такую технологию не поддерживает, вроде как ребята из dragonfly занимались кластеризацией...

Aris
проходил мимо

Re: FreeBSD кластер

Непрочитанное сообщение Aris » 2008-04-11 16:15:08

А вот подскажите, что вы называете кластером: виртуальный сервер, состоящий из различных нод или систему серверов с балансировкой и резервированием?
Система серверов с балансировкой и резервированием.


Гость
проходил мимо

Re: FreeBSD кластер

Непрочитанное сообщение Гость » 2008-04-12 1:08:55

salvator писал(а):файловая система - nfs, желательно экспортировать в read only;
может лучше afs?
http://wiki.freebsd.org/afs
http://wiki.freebsd.org/afs-server

Аватара пользователя
salvator
мл. сержант
Сообщения: 88
Зарегистрирован: 2008-04-01 12:18:59
Откуда: Kiev, Ukraine

Re: FreeBSD кластер

Непрочитанное сообщение salvator » 2008-04-12 12:27:07

Гость писал(а):может лучше afs?
http://wiki.freebsd.org/afs
http://wiki.freebsd.org/afs-server
на счет afs ничего не скажу, т.к. не юзал. где-нибудь бенчмарки есть?

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: FreeBSD кластер

Непрочитанное сообщение princeps » 2008-04-14 10:40:11

Для резервирования предлагаю свой вариант:
файловая система coda+heartbeat по мотивам вот этой статьи:
http://www.samag.ru/cgi-bin/go.pl?q=art ... .2006;a=02
Там, кстати, вариант с nfs считается недостаточно надежным. Там вообще вместо сетевой распределенной файловой системы используется средство зеркалирования жестких дисков по сети DRBD, но в портах я его не нашел, а из исходников на фре оно у меня не собралось, правда я и не сильно старался.
Если объем небольшой, то можно попробовать rsync, хотя мне такой вариант не кажется надежным. Если либо к первому, либо ко второму варианту прикрутить протокол CARP, то можно использовать такой кластер и для балансировки.
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

Аватара пользователя
tango
Access Forbidden
Сообщения: 247
Зарегистрирован: 2007-12-15 17:41:18
Откуда: Санкт- Петербург
Контактная информация:

Re: FreeBSD кластер

Непрочитанное сообщение tango » 2008-04-30 18:51:34

К вопросу о кластерах....
Подняла на работе вычеслительный кластер из трех серверов, туда же воткнула (4-ым) свой рабочий комп, ибо проц у него слабоват.... почему бы не воспользоваться ресурсами нормальных сервантов... :)
Вобщем всё хорошо, всё работает. Для теста запустила на своем компе одновременную компиляцию пяти различных приложений. Мониторилка нагрузки кластера показывала загрузку проца- 130% и при этом я вполне комфортно могла работать, нигде ничего не тормозило.

Теперь хотелось бы создать ОТКАЗОУСТОЙЧИВЫЙ кластер.... информации в инете фактически нет.... :(
Есть ли у кого положительный опыт в этом вопросе?

Аватара пользователя
sitnin
рядовой
Сообщения: 42
Зарегистрирован: 2008-03-28 11:37:49
Откуда: Moscow, Russia
Контактная информация:

Re: FreeBSD кластер

Непрочитанное сообщение sitnin » 2008-04-30 19:25:45

tango писал(а):информации в инете фактически нет
именно.

складывается впечатление, что такого порядка информацию попросту зажимают. оно и понятно: потом и кровью ведь.

интересно другое -- когда это прекратится? =)

Аватара пользователя
Morty
ст. лейтенант
Сообщения: 1370
Зарегистрирован: 2007-07-17 23:25:12

Re: FreeBSD кластер

Непрочитанное сообщение Morty » 2008-04-30 19:42:55


Аватара пользователя
f_andrey
майор
Сообщения: 2651
Зарегистрирован: 2007-12-26 1:22:58
Откуда: СПб
Контактная информация:

Re: FreeBSD кластер

Непрочитанное сообщение f_andrey » 2008-04-30 19:48:50

tango писал(а):информации в инете фактически нет
Ай яяй какие злые интернет обитатели а может просто кто то не умеет искать ;)
На вскиндку вот блог в котором обсуждаются весьма любопытные веши по моему, ну еше наверное стоит на Сановском сайте покопаться они шас весьма сильно занимаются проблеммой.
А насчет того что инфа не на каждом углу ну а кому она нужна, кому надо все найдет :oops:
Если ваша тема перенесена, то смотри http://forum.lissyara.su/viewtopic.php?f=1&t=32308

Аватара пользователя
koffu
сержант
Сообщения: 154
Зарегистрирован: 2008-03-23 0:51:18
Откуда: Киев
Контактная информация:

Re: FreeBSD кластер

Непрочитанное сообщение koffu » 2008-05-04 21:18:47

Если говорить об apache, то можно средствами PF, IPFW равномерно распределять нагрузку в DMZ, но такой способ даст только распределение TCP сессий. А вот в MySQL, слышал, как-то можно кластеризацию делать его собственными силами. Мне тоже эта тема интересна, периодически пытаюсь создать что-то такое работающее.

Аватара пользователя
buryanov
ст. сержант
Сообщения: 311
Зарегистрирован: 2008-04-29 13:41:48
Откуда: Харьков
Контактная информация:

Re: FreeBSD кластер

Непрочитанное сообщение buryanov » 2008-05-05 12:46:50

koffu писал(а):Если говорить об apache, то можно средствами PF, IPFW равномерно распределять нагрузку в DMZ, но такой способ даст только распределение TCP сессий. А вот в MySQL, слышал, как-то можно кластеризацию делать его собственными силами. Мне тоже эта тема интересна, периодически пытаюсь создать что-то такое работающее.
Делал подобную реализацию, но возникили проблемы: при 1 обращении роутер отправлял к 1 серверу, а скажем при 10 ко 2(все обращения с одного хоста) и второй сервер говорил что я немогу, тебя незнаю и давай заполняй всё заново. Это возникало обращении к форумам или последовательным страницам(в cookies получался прописан 1 сервер а при попадинии на 2, получалось что сервер вобще незнает клиента). Проблему решили созданием общей базы запросов web разработчики.
Дмитрий.
buryanov*ukr.net
icq# 118639660; skype: buryanov

paix
лейтенант
Сообщения: 863
Зарегистрирован: 2007-09-24 12:41:05
Откуда: dn.ua
Контактная информация:

Re: FreeBSD кластер

Непрочитанное сообщение paix » 2008-05-05 15:03:21

buryanov писал(а):
Делал подобную реализацию, но возникили проблемы: при 1 обращении роутер отправлял к 1 серверу, а скажем при 10 ко 2(все обращения с одного хоста) и второй сервер говорил что я немогу, тебя незнаю и давай заполняй всё заново. Это возникало обращении к форумам или последовательным страницам(в cookies получался прописан 1 сервер а при попадинии на 2, получалось что сервер вобще незнает клиента). Проблему решили созданием общей базы запросов web разработчики.
можно использовать nginx load balansing, в частности ip_hash. (метод распределения запросов по серверам на основе IP-адресов клиентов).
Собственно это балансинг бекендов.
Для фронтендов - afaik PF CARP
With best wishes, Sergej Kandyla

bespredel-mina
проходил мимо

Re: FreeBSD кластер

Непрочитанное сообщение bespredel-mina » 2009-04-29 2:01:34

скиньте плз кто нить конфиг распределения через nginx

Ocr
проходил мимо

Re: FreeBSD кластер

Непрочитанное сообщение Ocr » 2009-04-29 11:50:17

Вот рабочий конфиг для балансировки одного домена.
Меня больше устраивает робинраунд балансировка чем через #ip_hash; (с ней нету соотношения 50/50)


upstream backend {
#ip_hash;
#server backend1;
#server backend2;
server backend1 weight=1 max_fails=3 fail_timeout=30s;
server backend2 weight=1 max_fails=3 fail_timeout=30s;
}

server {
listen x.x.x.x:80;
server_name www.xxx.ru;
access_log /var/log/nginx/www.xxx.ru_access.log combined;

location / {
proxy_pass http://backend;
proxy_next_upstream error timeout invalid_header http_500 http_503;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $remote_addr;
}


}

/etc/hosts
x.x.x.x backend1;
x.x.x.x backend2;