Кластер балансировки и отказоустойчивый в одном флаконе.?

[beerdy]

День добрый. На FreeBSD 2-ю неделю.
По порядку:

Есть социальная сеть "KROLIKI";
Планируемая (начальная) посещаемость 5-млн. пользователей.
Объемы информации очень большие.

Вопросы:

1. Какую ОС выбрать
- FreeBSD 8.2 но информации на тему кластеров на данной ОС очень мало и создается такое впечатление что она вовсе не предназначена для выполнения поставленной задачи.
Есть ли возможность создать чтото похожее на КЛАСТЕРНУЮ систему при помощи имеющейся комбинацмм програмных продуктов в портах FreeBSD?
- Linux (какой дистрибутив конкретно). Как вариант рассматривается Debian, Arch Linux, Slackware, Gentoo. Необходим бесплатный и похожий на FreeBSD дистрибутив в частности возможность сборки из портов?

Сам сейчас сижу на FreeBSD, книги покупал тоже на нее же. И хотелось конечно бы организовать все на ней.

2. Далее как сам все вижу:
Верны ли мои видения?
(А конкретно):


3. Как организовать кэш - на сколько я понимаю: это отдельный комп с HDD (SSD) или классическими HDD на сервере балансировки?
4. Какую файловую систему использовать для хранения БД? Я думаю что должна быть связка звеньев серверов с Apache к которому монтируется сервера с NFS. Каждое звено должно состоять к примеру из одного сервера APACHE на который монтируется Три сервера c файловой системой NFS, вот только вопрос:?????????ГДЕ должен крутиться демон БД сервера на трех серверах с NFS или на сервере с APACHE???
5. Какую БД использовать чтобы была без заморочек и с нормальной поддержкой репликации?
6. Как осуществляется репликация? (если можно источники на русском.)
7. Нужно ли организовывать RAID, какого типа и на каких серверах - думаю RAID10?
8. Как организовать резервное копирование DUMP?, копирование?
9. Какой канал интернета скорость, синхронность?
10. Что еще дополнить?

Вообщем парни, в голове каша и с чего начать незнаю.
Если можно литературу и ссылочки что можно почитать. Очень поможете!

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[opt1k]

1) прежде чем выбирать ОС надо определиться с остальными пунктами.
2) по схеме ни чего не скажу, тут я не компетентен.
3) не совсем ясно для чего нужен кеш. Если для дисковых запросов, то нужен комп с большим кол-вом ОЗУ.
4) сложно сказать, из вашей схемы мне не ясно чего вы на этой фс хранить собираетесь.
5) думаю pg или mysql подойдут, хотя опыта не имею ни какого. Знаю только что и та и та имеют кластерные ф-ии.
6) не знаю
7) необходимость рейда зависит от структуры вцелом. Сейчас есть примеры крупных проектов, где рэйд не используется вообще.
вопрос не ясен. Копировать можно хоть с помощью cp.
9) не знаю
10) указать ориентировочный бюджет под оборудование.

[beerdy]

10) указать ориентировочный бюджет под оборудование.

Я думаю будут отдельно сервера:
- статика;
- динамика (в виде всего контента создаваемого пользователями) ;
- динамика (в виде отдельно фото, музыка, видео).

Если можно подскажите их приблизитильную стоимость:

- одного сервера под БД |
-------------------------------------------------------- |-> какие кишки лучше приобретать в каждый (бюджета достаточно! только по целесообразности).
- одного сервера БАЛАНСИРОВКИ |
Сколько пользователе будет тянуть связка этого железа

Также я пока не очень представляю как организовать ФАЙЛОВЫЕ хранилища? Т.е.:
1) файловая система БД? (как вариант думаю использовать дисковый массив подключенный к БД через сетевой интерфейс?)
2) стоит ли разносить на разные сервера APACHE и сервис сервер-БД

[Gloft]

Надо отталкиваться от решаемых задач.
Нет информации о ПО и его реализации. Поэтому судить верно и насколько оптимальна реализована схема работы серверов нет возможности.
Надо точно знать где в ПО узкие места и исходя от этого делать расчеты и рисовать схемы.

Например вопрос: какую БД использовать.
Программисты должны предоставить информацию о том какого типа это БД должна быть SQL или NoSQL.
Количество запросов на чтение/запись в БД.
Каких запросов на чтение будет больше статических (больше серверов кеширования) или динамических (больше серверов на чтение).
Как часто проводить синхронизацию между серверами.
Как часто делать резервную копию БД и по какому принципу.
Все это обсуждается с программистами и архитекторами ПО.
Некоторые расчеты можно сделать на бумаге.
Но на большинство вопросов ответ даст только тест ПО в конкретной среде.

И так по всем вопросам.
При разработке подобных проектов нет готовых решений. Есть только примеры использования.
Но читая обзоры по высоко нагруженным системам надо обращать внимание на причины того почему были приняты те или иные архитектурные решения.

[LMik]

В принципе исходя из вашей схемы, ничего сложного нет. Озвучите требования к системе для начала, да и саму задачу.

[homoadminus]

ТС, стучитесь в icq 426832114 gtalk: homoadminus@gmail.com, обсудим

[manefesto]

дада...за бабло....

[homoadminus]

вы так говорите, словно это что-то плохое )))

да и про деньги я ничего не писал.

[schizoid]

мне вот тока интересны всегда такие вот люди: не зная что именно вы хотите, не зная как оно будет работать, не зная ОС, с которой предстоит работать - вы беретесь за такой проект.
вам клиента и тех , сколько вы там сказали, 5млн?, пользователей, не жалко?
что вы будете делать, если это все богатство, настроенное по принципу копи-паста, начнет безбожно глючить?

[f_andrey]

Он скажет что его DDoSят

[homoadminus]

Топикстартеру:

1)забыть apache как страшный сон. в принципе забудьте про такой вебсервер
2)добавить в проект memcached/redis
3)добавить в проект AMQP(rabbitmq/apache qpid/zeromq)
4)убрать с балансировщика nginx
5)использовать в кач-ве балансировщика haproxy/linux ipvs (в любом случае на балансировщике использовать linux)
6)задуматься о handlersocket для mysql

это первое, что в голову пришло.

PS: мне достался похожий проект "в наследство". за 4 месяца мы с коллегой вывели его из состояние "в полной ж..." до состояния практически самоокупаемости. сейчас готовы "выстрелить", т.к. по эффективности мы сильно лучше конкурентов(не говоря уже о других вещах).

[LMik]

Это с какой дури вы на балансировщик линух посатвили и без nginx?

[homoadminus]

а что, nginx умеет мониторить апстримы? nginx научился http 1.1 ?

[LMik]

а что, nginx умеет мониторить апстримы? nginx научился http 1.1 ?

Ну модули есть конечно. А зачем вам 1.1?

[homoadminus]

а что, nginx умеет мониторить апстримы? nginx научился http 1.1 ?

Ну модули есть конечно. А зачем вам 1.1?

например? или вы про healthcheck_nginx_upstreams?
так оно умеет только http, и то 1.0

А это значит никакого keep-alive в первую очередь. Опять же, проксировать comet через nginx тоже геморройно.
Почему linux?

On very recent Linux 2.6 (>= 2.6.27.19), HAProxy can use the new splice() syscall to forward data between interfaces without any copy. Performance above 10 Gbps may only be achieved that way.

[LMik]

а что, nginx умеет мониторить апстримы? nginx научился http 1.1 ?

Ну модули есть конечно. А зачем вам 1.1?

например? или вы про healthcheck_nginx_upstreams?
так оно умеет только http, и то 1.0

А это значит никакого keep-alive в первую очередь. Опять же, проксировать comet через nginx тоже геморройно.
Почему linux?

On very recent Linux 2.6 (>= 2.6.27.19), HAProxy can use the new splice() syscall to forward data between interfaces without any copy. Performance above 10 Gbps may only be achieved that way.

Мде, не просто как у вас все получилось... Про comet понятно. Есть модуль nginx_http_push_module. Про линукс не очень, а чем в FreeBSD HAProxy гоняет трафик? И где вы собираетесь 10Г брать?

[homoadminus]

Мде, не просто как у вас все получилось... Про comet понятно. Есть модуль nginx_http_push_module. Про линукс не очень, а чем в FreeBSD HAProxy гоняет трафик? И где вы собираетесь 10Г брать?

да модулей то хватает, но это не значит, что они рабочие или же не крэшат/текут. Если память мне не изменяет, то с push-модулем nginx у меня весьма активно кушал память, со времем съедая всю доступную RAM. От того же ngx_eval или ngx_memcached пришлось отказаться, т.к. 1й весьма ограничен и был сломан(фикс был для тогдашней dev-ветки 0.9, для более ранних был фикс, но мантейнер порта nginx не захотел его принимать, т.к. боялся что оно сломает где-то в другом месте), а ngx_memcached работал "странно".

Код: Выделить всё

nosplice 
  Disables the use of kernel tcp splicing between sockets on Linux. It is 
  equivalent to the command line argument "-dS".  Data will then be copied 
  using conventional and more portable recv/send calls.

А в чём проблема 10GE? карточки стоят 1k$, датацентр такую полосу нам дает.

[LMik]

http://habrahabr.ru/blogs/nginx/125530/ как заказывали.

[Fastman]

вы все психи. вы обсуждаете проблемы до которых вам дорасти еще надо.
Не хотел обидеть, Но ваши "картинки" меня повеселили

[LMik]

вы все психи. вы обсуждаете проблемы до которых вам дорасти еще надо.
Не хотел обидеть, Но ваши "картинки" меня повеселили

Это в принципе верно, но лучше сразу запастись, чем потом бегать с обожженной жопой когда гранет трафик.

[Fastman]

вы все психи. вы обсуждаете проблемы до которых вам дорасти еще надо.
Не хотел обидеть, Но ваши "картинки" меня повеселили

Это в принципе верно, но лучше сразу запастись, чем потом бегать с обожженной жопой когда гранет трафик.

Я на опыте знаю простую вещь. Считайте меня KO:
Вы запасетесь, а потом все равно будете с жареной жопой бегать.
Только минус будет в том что вы потратитесь на нерациональные
запасы которые вашей горящей жопе на тот момент будет как мертвому припарка

[LMik]

вы все психи. вы обсуждаете проблемы до которых вам дорасти еще надо.
Не хотел обидеть, Но ваши "картинки" меня повеселили

Это в принципе верно, но лучше сразу запастись, чем потом бегать с обожженной жопой когда гранет трафик.

Я на опыте знаю простую вещь. Считайте меня KO:
Вы запасетесь, а потом все равно будете с жареной жопой бегать.
Только минус будет в том что вы потратитесь на нерациональные
запасы которые вашей горящей жопе на тот момент будет как мертвому припарка

Не знаю какой вы КО, но ни разу не бегал с жареной жопой, все заложенные нагрузки мой кластер держит. Когда я его строил, был разработан проект и заложены лимиты. И если лимиты превышаются, я могу спокойно об этом говорить и за жопу не беспокоиться. Ну и соответственно т.к в проекте заложено масштабирование - увеличивать лимиты мне очень просто.

[Fastman]

Не знаю какой вы КО, но ни разу не бегал с жареной жопой, все заложенные нагрузки мой кластер держит. Когда я его строил, был разработан проект и заложены лимиты. И если лимиты превышаются, я могу спокойно об этом говорить и за жопу не беспокоиться. Ну и соответственно т.к в проекте заложено масштабирование - увеличивать лимиты мне очень просто.

Так у вас был проект а не ручкой на бумаге в клеточку. Вы понимали чего хотите.
А тут понимаешь ли KROLIKI с домино и доярками, FreeBSD, SSD, "какую БД", "какого типа и на каких серверах - думаю RAID10? "
Я только ничего про "грабить караваны" не увидел почему то. С 5-ю лимонами посещений это даже не серьезно без "грабить..."
Я вот просто не решил, это толстый троль, или свовсем мир сума сошел )

[LMik]

Не знаю какой вы КО, но ни разу не бегал с жареной жопой, все заложенные нагрузки мой кластер держит. Когда я его строил, был разработан проект и заложены лимиты. И если лимиты превышаются, я могу спокойно об этом говорить и за жопу не беспокоиться. Ну и соответственно т.к в проекте заложено масштабирование - увеличивать лимиты мне очень просто.

Так у вас был проект а не ручкой на бумаге в клеточку. Вы понимали чего хотите.
А тут понимаешь ли KROLIKI с домино и доярками, FreeBSD, SSD, "какую БД", "какого типа и на каких серверах - думаю RAID10? "
Я только ничего про "грабить караваны" не увидел почему то. С 5-ю лимонами посещений это даже не серьезно без "грабить..."
Я вот просто не решил, это толстый троль, или свовсем мир сума сошел )

Ну мой проект тоже был когда то в таком виде Надож с чего то начинать. Хотя конечно знания должны быть по этим вопросам прежде чем даже рисовать в тетрадочке.

[f_andrey]

Раз уж все так оживились, тема с аналогичным названием и живым топикстартером обсуждалась на бсдпортале, так что кому интересно туда поулыбаться