Linux + Postgres. Или просто Кластер

[paix]

во первых попробуйте в haresources прописать все в одной строке без переносов.

во вторых откуда взялся у вас в центосе постгрес 8.3 ? и корректно ли он установлен?
действительно ли есть такой скрипт /etc/init.d/postgres-8.3 ?

и последнее, не рекомендую обращаться исключительно ко мне. Другие участники ветки тоже ее читают. Форум - суть публичная вещь.

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[BI_J]

не рекомендую обращаться исключительно ко мне. Другие участники ветки тоже ее читают. Форум - суть публичная вещь.

прошу прощения, больше не буду

во первых попробуйте в haresources прописать все в одной строке без переносов.

пробовал, тоже самое

во вторых откуда взялся у вас в центосе постгрес 8.3 ? и корректно ли он установлен?

Ставил postgresql-8.3.5-1-linux.bin, сам по себе он работает как положено.

действительно ли есть такой скрипт /etc/init.d/postgres-8.3 ?

Да, он есть. Пробовал манипулировать с именами и символическми ссылками на этот скрипт, бес толку.

На тестовых виртуальных машинах стоит встроенный postgresql-8.1 с ним все работает. Видимо при инсталляции он как-то хитро прописываться в системе, что его видно. Но где ???

[paix]

если вам подходит 8.1 то используйте его. Он имеется в официальных репозиторях centos. На него выходят секьюрити патчи, фиксы и т.д.

руками не стоит ничего ставить. А если уже и ставить то как минимум в родном формате для системы (rpm)

[BI_J]

Так то оно так, но программисты шибко хотят именно последнюю версию, аргументируют какими-то нужными новшествами.

Как раз сегодня подумал о том что стоит скомпилить rpm и вы как раз посоветовали, буду пробовать.
Спасибо

[paix]

можно попробовать чтото из духа:

http://www.postgresql.org/ftp/binary/v8 ... el-5-i386/
https://projects.commandprompt.com/public/pgcore

[BI_J]

порбовал собрать RPM, не вышло ((:
rpmbuild -ta postgresql-8.3.5.tar.bz2

ошибка: Поле Name обязано присутствовать в пакете: (main package)
ошибка: Поле Version обязано присутствовать в пакете: (main package)
ошибка: Поле Release обязано присутствовать в пакете: (main package)
ошибка: Поле Summary обязано присутствовать в пакете: (main package)
ошибка: Поле Group обязано присутствовать в пакете: (main package)
ошибка: Поле License обязано присутствовать в пакете: (main package)

Нашёл на сайте инструкция по обновлению postgresql через yum
На 8.3.5-1 обновлять не захотело, выдало ошибку, а вот до 8.4-1 обновилось и даже заработало )) Видимо и правда там закавыка с поддержкой CentOS Но это решение тоже не подходит, боевые сервера в мир никто и никогда не выпустит.

Попробую поковырять http://www.postgresql.org/ftp/binary/v8 ... el-5-i386/ готовые rpm для redhat

[BI_J]

ЕСТЬ
Postgresql 3.8.5 из rpm установились. Кластер, Heartbeat 2.1 поднялся.

Код: Выделить всё

http://www.postgresql.org/ftp/binary/v8.3.5/linux/rpms/redhat/rhel-5-i386/

Вот думаю еще протестировать новую версию Heartbeat 3.х

Когда расставлю все точки над "И" отпишусь и подведу резюме о проделанной работе.

Спасибо огромное всем кто помогал !!!

[paix]

что есть такого в heartbeat 3 ?
тебе что суп из него варить?

у меня в debian вообще 1.2.5 стоит.
Лучшее - враг хорошего. Если поставил и все работает - не ищи приключения на свою Ж.
Тем более что он не будет поддерживаться официальными репозиториями.

[BI_J]

что есть такого в heartbeat 3 ?

Это последняя, ноябрьская версия heartbeat
http://linux-ha.org/DownloadSoftware
http://download.opensuse.org/repositori ... OS_5/i386/

у меня в debian вообще 1.2.5 стоит

С CentOS вообще нету heartbeat , это внешнее решение.

Лучшее - враг хорошего. Если поставил и все работает - не ищи приключения на свою Ж.

Совершенно с вами согласен. Тем более что поставленная задача решается в полной мере.

Тем более что он не будет поддерживаться официальными репозиториями.

Там вроде как есть поддержка CentOS 5.

Пробовал ставить heartbeat 3.х, но что то оно не поставилось, слишком много зависимостей, много пакетов нужно тянуть отдельно с инета, да и не настаивал я сильно, так как задача уже решена с версией 2.1.

В CentOS есть свое решение для кластера, нужно будет еще разобраться с ним, так как встроенное средства все таки логичнее использовать.

[BI_J]

Маленькое резюме о проделанной работе

Изначально настраивал heartbeat вот по это статье:
http://www.opennet.ru/docs/RUS/ha_cluster/
Меня интересовал сам принцип отказоустойчивого сервера БД, ну и настройка непосредственно heartbeat
Версию 2.1 можно взять тут:
http://download.opensuse.org/repositori ... :/lha-2.1/

Документация:
офсайт: http://linux-ha.org/FAQ
ну и локальная версия:

Код: Выделить всё

/usr/share/heartbeat/
/usr/share/doc/packages/heartbeat 

Пример конфигов приводить думаю не стоит, необходимый минимум написан в статье. Все отсально можно понять интуитивно. ну и тесты-тесты-тесты

У меня эта штука заработала на двух серверах VMware и общим хранилищем по NFS
И на боевых серверах с внешним RAID хранилищем.

Грабли, с которыми я столкнулся:
1. Не стартовал Postgresql установленный из *.bin
Он как бы работал сам по себе, но heartbeat его не видел. Нужно ставится встроенную версию ПО, ну или собирать из актуальных RPM.
2. Сервера должны быть настроены идентично, вплоть до номера пользователя и номера группы
postgres501:501:PostgreSQL Server:/var/lib/pgsql:/bin/bash
Это важно когда разные ноды обращаются к одному внешнему хранилищу.

Ну пока что все..

Еще раз спасибо всем кто мне помогал.

[paix]

эх молодежь.....

а drbd ты откуда тогда поставил?
heartbeat находится в томже репозитории что и drbd.

Код: Выделить всё

 heartbeat               i386       2.1.3-3.el5.centos  extras            1.7 M

Вообще для кого люди доки пишут?
Configuring a High-Availability cluster with Heartbeat/DRBD http://wiki.centos.org/HowTos/Ha-Drbd

Сколько можно думать сегодняшним днем (скомпилю руками, найду гденибудь забытый Богом рпм)? а что вы будете с этим добром через год делать? Вообщем незачет. Это наверно беда линуксов, что существует множество извратных вариантов, которые каждый толкует в меру своего понимания системы, а потом из centos получается slackaware

PS. на счет heartbeat3 имелось в виду, что есть там такого ДЛЯ ВАС, что вы готовы ставить experimental(unstable) версию ?

[paix]

чтото я запамятовал, что drbd не используется в вашем случае.

Но это не меняет необходимости делать правильно (ставить софт из основных репозиториев, если данный софт там присутствует) и не гнаться за последними версиями.

примеров настроек что херберта, что дрбд - тонны, главное заложить правильную базу.

[BI_J]

Так то оно так, но yum нужны онлайн репозитории. А эти сервера котегорически в нет никто не выпустит.
Что в таком случае делать?

[Alex Keda]

в линуксе нельзя своё зеркало репозитория создать?
моя плакаль...

[BI_J]

lissyara
Почему же нельзя... я знаю как создать локальный репозиторий из компактов. Но на компакте нет hearbeat
Других вариантов не знаю
Подскажите если не сложно

[paix]

почему серверам нельзя ходить в инет, это еще тот вопрос (если они, скажем, за натом в ДМЗ)
скажите, как же вы их апдейтить собрались? )

Вариантов много.
Можно настроить отдельный сервер ( кеширующий, либо зеркало репозиториев ) внутри сети, и обновляться с него\через него. Особенно когда несколько однотипных систем, это очень удобно.

Также можно скачать пакет с официальных репозиториев, и установить руками. (ровно также как вы гдето нашли этот херберт)

[BI_J]

почему серверам нельзя ходить в инет, это еще тот вопрос (если они, скажем, за натом в ДМЗ)
скажите, как же вы их апдейтить собрались? )

Я их апдейтить не собираюсь. В нет незяль, политика безопасности компании. Они не за натом. Шибко важная там база должна стоять.

Можно настроить отдельный сервер ( кеширующий, либо зеркало репозиториев ) внутри сети, и обновляться с него\через него. Особенно когда несколько однотипных систем, это очень удобно.

Компания работает по субподряду. Настроили - >проверили -> ушли. Следующее появление только при поломке. А ее быть не должно долго

Также можно скачать пакет с официальных репозиториев, и установить руками. (ровно также как вы гдето нашли этот херберт)

Я указывал ссылку где нашел. Это фиц. репозиторий, сслыка на него была на сайте херберт.

Так что я сделал максимально правильно, с учетом условий.

[paix]

Я их апдейтить не собираюсь. В нет незяль, политика безопасности компании. Они не за натом. Шибко важная там база должна стоять.
Компания работает по субподряду. Настроили - >проверили -> ушли. Следующее появление только при поломке. А ее быть не должно долго

Я указывал ссылку где нашел. Это фиц. репозиторий, сслыка на него была на сайте херберт.
Так что я сделал максимально правильно, с учетом условий.

угу, а мониторить и следить уже не модно? А если скажем место закончится ? Или какой апаратный глюк будет? Или какая софтварная ошибка? Застраховаться на все случаи жизнь нельзя.

Вообще если сервер(и то что он выполняет) имеет стратегическую ценность, то он полюбому должен быть под присмотром.
В противном случа, извините, колхоз (имхо)
В прочем, тут от вас мало чего зависит, просто в душе я против такой модели.


Все же я рекомендую брать пакеты из официальных (для конкретной системы) репозиториев. В случа каких вопросов вы туда будете в первую очередь обращаться. С вашей такой точки зрения то и tar.gz можно считать рекомендуемым на сайте разрзаботчика, но это ж не значит что так делать правильно !!!

[BI_J]

С вашей такой точки зрения то и tar.gz можно считать рекомендуемым на сайте разрзаботчика, но это ж не значит что так делать правильно !!!

Ну этакого я не говорил, ничего из tar.gz я не ставил.

А вообще спасибо за науку, буду стараться делать правильно.


Подскажите хороший монитор процессов, который бы следил за постгресом.

Спасибо

[paix]

Подскажите хороший монитор процессов, который бы следил за постгресом.

nagios

[~>cerber<~]

koffu, подскажи, ты пробывал что-то помимо drdb и как оно? по слухам с drdb бывают отказы в работе, сейчас упорно тестирую glusterfs, пока результаты только радуют. Можешь что-то посоветовать для распределенной файловой системы aka raid1/raid5/raid6? может есть живые примеры?
еще вопросик по поводу ganeti, я ее щупал, так и не понял, возможно ли запускать не native системы, windows/OpenBSD/so on, с помощью этой тулзы? там это предусмотрено? debian etch заработал на ура.
и еще, на сколько реально в бесплатном xen-е настроить распределение вычислительных ресурсов, то есть живет к примеру одна виртуалка, а ее ресурсы делятся на несколько физических нод? в случае сбоя физической единицы просто падает мощность системы в целом.

суть затеи: HA-cluster с гибкой миграцией в случае сбоя

p.s. инет насыщен топиками о drdb, отзовитесь у кого были с ним успехи/проблемы, может есть примеры его использования на больших нагрузках?

[koffu]

Я использую на серверах drbd7 из репозитария debian etch. За пол-года работы кластеров, собранных мной (XEN,SQUID) само не валилось ниразу, при том, что обычно резервная машина стоит на слабеньком упсе или вообще без оного, а во время запланированного обслуживания повторная синхронизация происходит быстро. В конфиге можно задавть скорость сихронизации и другие параметры. На drbd8 еще не ставил в "реальные" условия.

Можно еще юзать nfs, но не использую. Другого пока не тестировал.

ganeti позволяет делать или HVM домены или нативные поверх DRBD, NFS, либо просто образ на диске / lvm. На тестовых машинах проявила себя хорошим образом, но для меня пока "testing".

[~>cerber<~]

Подскажи, а у тебя твой кластер в loadbalance или просто один пашет, а второй курит бамбук, и в случае сбоя у тебя происходит просто миграция на живую ноду?
если не трудно, опиши структуру, интересно.

[koffu]

HA-кластер, первый трудится, второй втыкает. DRBD7 не позволяет одновременно использовать 2 primary устройства. Вот играюсь сейчас с drbd8+ganeti+dtc-xen из базового репозитория Debian Lenny. Тоже failover режим интересует. Кстати, недавно наткнулся на интересный проект, для виртуализации в XEN, выполняет синхронизацию состояния памяти гостевых доменов. Скачал патчи уже, все руки не дойдут попробовать.

[koffu]

Ошибка в скрипте, поднимающий Postgres. Не знаю, где он в CentOS, у меня в дебиане они лежат в /etc/ha.d/resource.d/ .