Помогите решить что лучше для нагруженного сервера MySQL

Решение проблем связванных с работой железа. Проблемы программно-аппаратной совместимости.
Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
sasha181
сержант
Сообщения: 169
Зарегистрирован: 2008-02-04 17:02:30
Откуда: Краснодар

Помогите решить что лучше для нагруженного сервера MySQL

Непрочитанное сообщение sasha181 » 2011-09-20 15:53:20

Нужно подобрать железо для MySQL сервера. Базы данных на этом проекте оптимизированы плохо. Много разных join-ов с созданием временных таблиц, выборок по всем таблицам, сортировки с filesort. Вообщем, диск грузит прилично временами. Есть как MyISAM тик и InnoDB базы. Сейчас БД работает на одном sata диске с регулярными бекапами. На этот проект хотят направить разово высокую нагрузку (до 10к в минуту). Это раз в 50 выше, чем было в пике на этом проекте ранее. И раз 20-30, чем ориентировочно он потянет в существующей конфигурации. Для этого и решил вынести БД на отдельный сервер.

Планирую взять примерно следующее: однопроцессорный сервер с 4-х ядерным Xeon-ом, гигов 16 памяти, 4 или 2 ssd диска. В зависимости от количества дисков raid1 или raid10. Но склоняюсь всё же к 4-м дискам.

Вопроса несколько:
1. есть ли необходимость делать raid10 из ssd дисков или raid1 должно хватить с запасом.
2. какие диски лучше взять
3. ZFS или UFS использовать . Просто тут на форуме уже нашёл отзывы, что MySql под zfs медленнее.
4. При использовании ZFS думаю raid контроллер не нужен. А вот для UFS думаю даст прирост в производительности . Верно? Если использовать контроллер, посоветуйте пожалуйста, какой лучше взять.
Последний раз редактировалось f_andrey 2011-09-20 18:50:56, всего редактировалось 1 раз.
Причина: Автору, выбирайте пожалуйста раздел соответствуюший тематике вашего сообщения.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
Morty
ст. лейтенант
Сообщения: 1370
Зарегистрирован: 2007-07-17 23:25:12

Re: Помогите решить что лучше для нагруженного сервера MySQL

Непрочитанное сообщение Morty » 2011-09-20 17:42:57

если БД влезет на SSD ставь на них, учитывая что ты говоришь что она плохо оптимизированна.
Каким рейдом их собирать
думаю уже не сильно важно , лижбы не raid5(6).

По скорости если сравнивать будет точно быстрее любого харда или рейда с хардов.
Цифры не приведу ))


Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35332
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Помогите решить что лучше для нагруженного сервера MySQL

Непрочитанное сообщение Alex Keda » 2011-09-20 20:31:30

эм... ssd любят выходить из строя скопом...
бэкапьтесь регулярно.
Убей их всех! Бог потом рассортирует...

Аватара пользователя
Morty
ст. лейтенант
Сообщения: 1370
Зарегистрирован: 2007-07-17 23:25:12

Re: Помогите решить что лучше для нагруженного сервера MySQL

Непрочитанное сообщение Morty » 2011-09-21 9:02:27

slave sql
где-нибудь поставить в роли бэкапа , можно такой вариант

sasha181
сержант
Сообщения: 169
Зарегистрирован: 2008-02-04 17:02:30
Откуда: Краснодар

Re: Помогите решить что лучше для нагруженного сервера MySQL

Непрочитанное сообщение sasha181 » 2011-09-21 10:38:38

Размер баз разный. От 100 Mb до 2 Gb. Их около 15-ти

Где-то наталкивался на статью , что последние модели уже массово не умирают. Т.е. отказать могут конечно. Также непредвиденно и напрочь, но процент отказов гораздо ниже. Там даже статистика отказов приводилась в сравнении с обычными дисками. Процент отказов в первые 1-2 года использования стал ближе к обычным hdd. Т.е. из 4-х два диска потерять нереально по этим данным. Или это всё же не так и новые модели также вылетают как и раньше?

Идея про слейв сервер отличная. Большое спасибо совет.


Может есть смысл просто использовать 4 sas в raid10 или WD velochi raptor? например. Или скорости при большом количестве параллельных записей и чтений будут несоизмеримы в сравнении с ssd ?

Аватара пользователя
Morty
ст. лейтенант
Сообщения: 1370
Зарегистрирован: 2007-07-17 23:25:12

Re: Помогите решить что лучше для нагруженного сервера MySQL

Непрочитанное сообщение Morty » 2011-09-21 12:11:05

бери интеловские ssd , если скорость работы БД важна, лучше не придумать ))
Если бюджет позволяет 2 носителя в зеркало . Учитывая твои базы - работать будет отлично, не думаю что умрет.

По хаотичному чтению \ записи ССД сделает любой винт... А БД это какраз в первую очередь именно такая специфика работы.

sasha181
сержант
Сообщения: 169
Зарегистрирован: 2008-02-04 17:02:30
Откуда: Краснодар

Re: Помогите решить что лучше для нагруженного сервера MySQL

Непрочитанное сообщение sasha181 » 2011-09-21 12:17:57

Понял. Бюджет в принципе думаю и 4 в raid10 позволяет. Или для подобных задач и 2-х с запасом хватит, как считаете? И какой raid контроллер брать под это лучше. Или можно не заморачиваться и обойтись софтовым рейдом?

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: Помогите решить что лучше для нагруженного сервера MySQL

Непрочитанное сообщение LMik » 2011-09-21 12:43:59

sasha181 писал(а):Понял. Бюджет в принципе думаю и 4 в raid10 позволяет. Или для подобных задач и 2-х с запасом хватит, как считаете? И какой raid контроллер брать под это лучше. Или можно не заморачиваться и обойтись софтовым рейдом?
Хватит и 1 рейда. Памяти берем 32 гига, благо не дорогая. SSD круто но умрет очень быстро под нагруженной базой. Лучше за эти деньги SAS. Все базы переводим в INNODB, пул для них делаем гигов 16. Монитируем /tmp в память с размером гига 4. Ну и еще некоторая тонкая настройка муси потребуется. Будет летать.
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

Аватара пользователя
Morty
ст. лейтенант
Сообщения: 1370
Зарегистрирован: 2007-07-17 23:25:12

Re: Помогите решить что лучше для нагруженного сервера MySQL

Непрочитанное сообщение Morty » 2011-09-21 14:31:04

доклад http://www.slideshare.net/matsunobu/ssd ... -for-mysql советую глянуть , инфы мало но содержательно

Если мерять скорость (IOPS) то там видно что разница в сторону ССД , в 10 раз шустрее.

ЗЫ: насчет того что "ломается" , не знаю не слышал :D

Аватара пользователя
Morty
ст. лейтенант
Сообщения: 1370
Зарегистрирован: 2007-07-17 23:25:12

Re: Помогите решить что лучше для нагруженного сервера MySQL

Непрочитанное сообщение Morty » 2011-09-21 14:47:07

если деньги вобще не проблема то тебе сюда http://habrahabr.ru/blogs/hardware/46955/ :smile:
будет не то что летать , даже присвистывать будет , характеристики и работу таких железок сам видел пока только на картинках :smile:

ЗЫ: если озадачиться на гарантию думаю поставщик обеспечит ,т.к. не дешевая железка

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: Помогите решить что лучше для нагруженного сервера MySQL

Непрочитанное сообщение LMik » 2011-09-21 15:15:43

Morty писал(а):если деньги вобще не проблема то тебе сюда http://habrahabr.ru/blogs/hardware/46955/ :smile:
будет не то что летать , даже присвистывать будет , характеристики и работу таких железок сам видел пока только на картинках :smile:

ЗЫ: если озадачиться на гарантию думаю поставщик обеспечит ,т.к. не дешевая железка
Пост 2008 года. SSD давно уже так же быстро работают на SATA III
Пример http://www.citilink.ru/catalog/parts/hdd/hdd_in/629393/

Гарантия ничто по сравнению с упавшим сервером по причине умершего диска.
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

Аватара пользователя
Morty
ст. лейтенант
Сообщения: 1370
Зарегистрирован: 2007-07-17 23:25:12

Re: Помогите решить что лучше для нагруженного сервера MySQL

Непрочитанное сообщение Morty » 2011-09-21 16:57:15

да , похоже с Фьюжен драйвом я погорячился... ну и отлично , можно его не брать...
Твой корсар за 150баксов отличный вариант -)

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: Помогите решить что лучше для нагруженного сервера MySQL

Непрочитанное сообщение LMik » 2011-09-21 20:42:32

Morty писал(а):да , похоже с Фьюжен драйвом я погорячился... ну и отлично , можно его не брать...
Твой корсар за 150баксов отличный вариант -)
Нифига не отличный, он через пол года умрет при такой нагрузке. Ты бы хотел БД сервак критичный каждые пол года переставлять? Даже с гарантией что диски тебе поменяют.
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

FiL
ст. лейтенант
Сообщения: 1370
Зарегистрирован: 2010-02-05 0:21:40

Re: Помогите решить что лучше для нагруженного сервера MySQL

Непрочитанное сообщение FiL » 2011-09-21 20:52:38

LMik писал(а):Хватит и 1 рейда. Памяти берем 32 гига, благо не дорогая. SSD круто но умрет очень быстро под нагруженной базой. Лучше за эти деньги SAS. Все базы переводим в INNODB, пул для них делаем гигов 16. Монитируем /tmp в память с размером гига 4. Ну и еще некоторая тонкая настройка муси потребуется. Будет летать.
1. SSD быстро не умрет. Особенно если в основном из базы идет чтение, а не запись. Современные диски вполне неплохо живут.
2. Нахрена 32 гига, если там баз в общем меньше 16? (по крайней мере от 100 мег до 2 гиг общим количеством 15 я воспринял именно так). Но если есть возможность поставить достаточно мозгов, чтоб закешить все данные, то это, конечно, решает все проблемы. Диски уже не важны тогда :)
3. При таких объемах я таки посоветовал-бы лучше 4 мелких диска в RAID10. Денег не много будет стоить, а шустрости немного добавится. Но см. п.2.

Аватара пользователя
manefesto
Группенфюррер
Сообщения: 6934
Зарегистрирован: 2007-07-20 8:27:30
Откуда: Пермь
Контактная информация:

Re: Помогите решить что лучше для нагруженного сервера MySQL

Непрочитанное сообщение manefesto » 2011-09-22 8:02:40

да лучше брать винты wd, есть серия raid edition 10000 rpm, рапторы какие то
я такой яростный шо аж пиздеЦ
Изображение

sasha181
сержант
Сообщения: 169
Зарегистрирован: 2008-02-04 17:02:30
Откуда: Краснодар

Re: Помогите решить что лучше для нагруженного сервера MySQL

Непрочитанное сообщение sasha181 » 2011-10-06 12:04:28

Вообщем, решил сделать немного по-другому. Поставлю sas диски и raid на zfs . Если скорости винтов начнёт не хватать, подкину пару ssd для ZIL и L2ARC. В принципе, после выноса tmpdir на tmpfs и оптимизации десятка запросов сейчас уже нагрузки на диски почти нет.

snorlov
подполковник
Сообщения: 3888
Зарегистрирован: 2008-09-04 11:51:25
Откуда: Санкт-Петербург

Re: Помогите решить что лучше для нагруженного сервера MySQL

Непрочитанное сообщение snorlov » 2011-10-06 12:46:45

Я всегда говорил, что дерьмово составленным запросом можно положить практически любой SQL-сервер

Аватара пользователя
manefesto
Группенфюррер
Сообщения: 6934
Зарегистрирован: 2007-07-20 8:27:30
Откуда: Пермь
Контактная информация:

Re: Помогите решить что лучше для нагруженного сервера MySQL

Непрочитанное сообщение manefesto » 2011-10-10 9:30:32

в мемориз
я такой яростный шо аж пиздеЦ
Изображение

Аватара пользователя
UBRIUM
мл. сержант
Сообщения: 125
Зарегистрирован: 2009-11-16 4:05:34
Откуда: Ростов-на-Дону
Контактная информация:

Re: Помогите решить что лучше для нагруженного сервера MySQL

Непрочитанное сообщение UBRIUM » 2012-01-21 16:49:42

А если выбирать все же SSD, конечно для не столь загруженного сервера, то какой фирмы, и желательно модель? Основной характеристикой является надежность... Объем за глаза 64Gb, можно вполне даже 32.
FreeBSD 9.0-RELEASE amd64
CPU: AMD Athlon 64 X2 Dual Core Processor 4400+ (2294.95 K8-class CPU)
real memory = 4294967296 (4096 MB)
da0: 7660MB <JetFlash Transcend 8GB 8.07>
ad2: 114343MB <Seagate ST3120022A 8.01>