FreeBSD кластер
Модератор: terminus
Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
-
- проходил мимо
FreeBSD кластер
Подскажите пожалуйста, c помощью чего можно реализовать WEB-Кластер на FreeBSD 7.0 + mysql + apache + php
Очень много всего начитался, буду рад любой информации.
Сочитаются ли вместе кластер высокой доступности (HA) и кластер с балансировкой нагрузки (то есть высокой производительности - HP)? Или это 2-е разных технологии?
Очень много всего начитался, буду рад любой информации.
Сочитаются ли вместе кластер высокой доступности (HA) и кластер с балансировкой нагрузки (то есть высокой производительности - HP)? Или это 2-е разных технологии?
Услуги хостинговой компании Host-Food.ru
Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/
- sitnin
- рядовой
- Сообщения: 42
- Зарегистрирован: 2008-03-28 11:37:49
- Откуда: Moscow, Russia
- Контактная информация:
Re: FreeBSD кластер
Отличный вопрос!
А вот подскажите, что вы называете кластером: виртуальный сервер, состоящий из различных нод или систему серверов с балансировкой и резервированием?
А вот подскажите, что вы называете кластером: виртуальный сервер, состоящий из различных нод или систему серверов с балансировкой и резервированием?
- salvator
- мл. сержант
- Сообщения: 88
- Зарегистрирован: 2008-04-01 12:18:59
- Откуда: Kiev, Ukraine
Re: FreeBSD кластер
Если имеется в виду балансировка нагрузки
mysql - настраивать репликацию, или mysql_proxy;
если обязательно нужен apache - то или ставить его бекендом, а нагрузку балансировать чем-нибудь вроде nginx (им же статику отдавать можно) или
делить трафик файрволом
если апач не обязательно - можно запустить php как fastcgi на нескольких серверах и обращаться к ним из nginx например.
файловая система - nfs, желательно экспортировать в read only;
для кеша и сессий можно memcached
Если распределенные вычисления - на сколько я знаю, freebsd такую технологию не поддерживает, вроде как ребята из dragonfly занимались кластеризацией...
mysql - настраивать репликацию, или mysql_proxy;
если обязательно нужен apache - то или ставить его бекендом, а нагрузку балансировать чем-нибудь вроде nginx (им же статику отдавать можно) или
делить трафик файрволом
если апач не обязательно - можно запустить php как fastcgi на нескольких серверах и обращаться к ним из nginx например.
файловая система - nfs, желательно экспортировать в read only;
для кеша и сессий можно memcached
Если распределенные вычисления - на сколько я знаю, freebsd такую технологию не поддерживает, вроде как ребята из dragonfly занимались кластеризацией...
-
- проходил мимо
Re: FreeBSD кластер
Система серверов с балансировкой и резервированием.А вот подскажите, что вы называете кластером: виртуальный сервер, состоящий из различных нод или систему серверов с балансировкой и резервированием?
-
- проходил мимо
Re: FreeBSD кластер
может лучше afs?salvator писал(а):файловая система - nfs, желательно экспортировать в read only;
http://wiki.freebsd.org/afs
http://wiki.freebsd.org/afs-server
- salvator
- мл. сержант
- Сообщения: 88
- Зарегистрирован: 2008-04-01 12:18:59
- Откуда: Kiev, Ukraine
Re: FreeBSD кластер
на счет afs ничего не скажу, т.к. не юзал. где-нибудь бенчмарки есть?
-
- майор
- Сообщения: 2684
- Зарегистрирован: 2007-09-25 10:20:59
- Откуда: Сочи, Москва
- Контактная информация:
Re: FreeBSD кластер
Для резервирования предлагаю свой вариант:
файловая система coda+heartbeat по мотивам вот этой статьи:
http://www.samag.ru/cgi-bin/go.pl?q=art ... .2006;a=02
Там, кстати, вариант с nfs считается недостаточно надежным. Там вообще вместо сетевой распределенной файловой системы используется средство зеркалирования жестких дисков по сети DRBD, но в портах я его не нашел, а из исходников на фре оно у меня не собралось, правда я и не сильно старался.
Если объем небольшой, то можно попробовать rsync, хотя мне такой вариант не кажется надежным. Если либо к первому, либо ко второму варианту прикрутить протокол CARP, то можно использовать такой кластер и для балансировки.
файловая система coda+heartbeat по мотивам вот этой статьи:
http://www.samag.ru/cgi-bin/go.pl?q=art ... .2006;a=02
Там, кстати, вариант с nfs считается недостаточно надежным. Там вообще вместо сетевой распределенной файловой системы используется средство зеркалирования жестких дисков по сети DRBD, но в портах я его не нашел, а из исходников на фре оно у меня не собралось, правда я и не сильно старался.
Если объем небольшой, то можно попробовать rsync, хотя мне такой вариант не кажется надежным. Если либо к первому, либо ко второму варианту прикрутить протокол CARP, то можно использовать такой кластер и для балансировки.
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru
http://www.itforum-sochi.ru
- tango
- Access Forbidden
- Сообщения: 247
- Зарегистрирован: 2007-12-15 17:41:18
- Откуда: Санкт- Петербург
- Контактная информация:
Re: FreeBSD кластер
К вопросу о кластерах....
Подняла на работе вычеслительный кластер из трех серверов, туда же воткнула (4-ым) свой рабочий комп, ибо проц у него слабоват.... почему бы не воспользоваться ресурсами нормальных сервантов...
Вобщем всё хорошо, всё работает. Для теста запустила на своем компе одновременную компиляцию пяти различных приложений. Мониторилка нагрузки кластера показывала загрузку проца- 130% и при этом я вполне комфортно могла работать, нигде ничего не тормозило.
Теперь хотелось бы создать ОТКАЗОУСТОЙЧИВЫЙ кластер.... информации в инете фактически нет....
Есть ли у кого положительный опыт в этом вопросе?
Подняла на работе вычеслительный кластер из трех серверов, туда же воткнула (4-ым) свой рабочий комп, ибо проц у него слабоват.... почему бы не воспользоваться ресурсами нормальных сервантов...
Вобщем всё хорошо, всё работает. Для теста запустила на своем компе одновременную компиляцию пяти различных приложений. Мониторилка нагрузки кластера показывала загрузку проца- 130% и при этом я вполне комфортно могла работать, нигде ничего не тормозило.
Теперь хотелось бы создать ОТКАЗОУСТОЙЧИВЫЙ кластер.... информации в инете фактически нет....
Есть ли у кого положительный опыт в этом вопросе?
- sitnin
- рядовой
- Сообщения: 42
- Зарегистрирован: 2008-03-28 11:37:49
- Откуда: Moscow, Russia
- Контактная информация:
Re: FreeBSD кластер
именно.tango писал(а):информации в инете фактически нет
складывается впечатление, что такого порядка информацию попросту зажимают. оно и понятно: потом и кровью ведь.
интересно другое -- когда это прекратится?
- Morty
- ст. лейтенант
- Сообщения: 1370
- Зарегистрирован: 2007-07-17 23:25:12
- f_andrey
- майор
- Сообщения: 2651
- Зарегистрирован: 2007-12-26 1:22:58
- Откуда: СПб
- Контактная информация:
Re: FreeBSD кластер
Ай яяй какие злые интернет обитатели а может просто кто то не умеет искатьtango писал(а):информации в инете фактически нет
На вскиндку вот блог в котором обсуждаются весьма любопытные веши по моему, ну еше наверное стоит на Сановском сайте покопаться они шас весьма сильно занимаются проблеммой.
А насчет того что инфа не на каждом углу ну а кому она нужна, кому надо все найдет
Если ваша тема перенесена, то смотри http://forum.lissyara.su/viewtopic.php?f=1&t=32308
- koffu
- сержант
- Сообщения: 154
- Зарегистрирован: 2008-03-23 0:51:18
- Откуда: Киев
- Контактная информация:
Re: FreeBSD кластер
Если говорить об apache, то можно средствами PF, IPFW равномерно распределять нагрузку в DMZ, но такой способ даст только распределение TCP сессий. А вот в MySQL, слышал, как-то можно кластеризацию делать его собственными силами. Мне тоже эта тема интересна, периодически пытаюсь создать что-то такое работающее.
- buryanov
- ст. сержант
- Сообщения: 311
- Зарегистрирован: 2008-04-29 13:41:48
- Откуда: Харьков
- Контактная информация:
Re: FreeBSD кластер
Делал подобную реализацию, но возникили проблемы: при 1 обращении роутер отправлял к 1 серверу, а скажем при 10 ко 2(все обращения с одного хоста) и второй сервер говорил что я немогу, тебя незнаю и давай заполняй всё заново. Это возникало обращении к форумам или последовательным страницам(в cookies получался прописан 1 сервер а при попадинии на 2, получалось что сервер вобще незнает клиента). Проблему решили созданием общей базы запросов web разработчики.koffu писал(а):Если говорить об apache, то можно средствами PF, IPFW равномерно распределять нагрузку в DMZ, но такой способ даст только распределение TCP сессий. А вот в MySQL, слышал, как-то можно кластеризацию делать его собственными силами. Мне тоже эта тема интересна, периодически пытаюсь создать что-то такое работающее.
Дмитрий.
buryanov*ukr.net
icq# 118639660; skype: buryanov
buryanov*ukr.net
icq# 118639660; skype: buryanov
-
- лейтенант
- Сообщения: 863
- Зарегистрирован: 2007-09-24 12:41:05
- Откуда: dn.ua
- Контактная информация:
Re: FreeBSD кластер
можно использовать nginx load balansing, в частности ip_hash. (метод распределения запросов по серверам на основе IP-адресов клиентов).buryanov писал(а):
Делал подобную реализацию, но возникили проблемы: при 1 обращении роутер отправлял к 1 серверу, а скажем при 10 ко 2(все обращения с одного хоста) и второй сервер говорил что я немогу, тебя незнаю и давай заполняй всё заново. Это возникало обращении к форумам или последовательным страницам(в cookies получался прописан 1 сервер а при попадинии на 2, получалось что сервер вобще незнает клиента). Проблему решили созданием общей базы запросов web разработчики.
Собственно это балансинг бекендов.
Для фронтендов - afaik PF CARP
With best wishes, Sergej Kandyla
-
- проходил мимо
Re: FreeBSD кластер
скиньте плз кто нить конфиг распределения через nginx
-
- проходил мимо
Re: FreeBSD кластер
Вот рабочий конфиг для балансировки одного домена.
Меня больше устраивает робинраунд балансировка чем через #ip_hash; (с ней нету соотношения 50/50)
upstream backend {
#ip_hash;
#server backend1;
#server backend2;
server backend1 weight=1 max_fails=3 fail_timeout=30s;
server backend2 weight=1 max_fails=3 fail_timeout=30s;
}
server {
listen x.x.x.x:80;
server_name www.xxx.ru;
access_log /var/log/nginx/www.xxx.ru_access.log combined;
location / {
proxy_pass http://backend;
proxy_next_upstream error timeout invalid_header http_500 http_503;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $remote_addr;
}
}
/etc/hosts
x.x.x.x backend1;
x.x.x.x backend2;
Меня больше устраивает робинраунд балансировка чем через #ip_hash; (с ней нету соотношения 50/50)
upstream backend {
#ip_hash;
#server backend1;
#server backend2;
server backend1 weight=1 max_fails=3 fail_timeout=30s;
server backend2 weight=1 max_fails=3 fail_timeout=30s;
}
server {
listen x.x.x.x:80;
server_name www.xxx.ru;
access_log /var/log/nginx/www.xxx.ru_access.log combined;
location / {
proxy_pass http://backend;
proxy_next_upstream error timeout invalid_header http_500 http_503;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $remote_addr;
}
}
/etc/hosts
x.x.x.x backend1;
x.x.x.x backend2;