Freebsd zfs mysql под нагрузкой.

bagas · Непрочитанное сообщение **bagas** » 2016-01-24 10:51:46

snorlov писал(а):Принцип простой, на ссд писать все, что пишется и читается после загрузки, а система, кроме своих логов практически ничего писать и читать не будет... Ну и зачем ее на ссд, чтобы грузилась 20 секунд вместо 25...

хмм.

Хостинг HostFood.ru · **Хостинг HostFood.ru**

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Neus · Непрочитанное сообщение **Neus** » 2016-01-24 18:05:15

Поддержу коллегу.
Сделай лучше из этих ссд зеркало под базу.

bagas · Непрочитанное сообщение **bagas** » 2016-01-24 18:09:41

Neus писал(а):Поддержу коллегу.
Сделай лучше из этих ссд зеркало под базу.

Накладно делать зеркало 10.
рэйд 1 не эффективно, так-как ссд будит практически одинаково изнашиваться и в следствии что с одинм диском, что с двумя.

Amadeus · Непрочитанное сообщение **Amadeus** » 2016-01-24 19:59:51

А сущность "нагруженная база", это простите что?

1) Подсистема хранения данных?
2) Планируемый объем?
3) Стратегия резервирования?

bagas · Непрочитанное сообщение **bagas** » 2016-01-24 20:04:48

Amadeus писал(а):А сущность "нагруженная база", это простите что?

1) Подсистема хранения данных?
2) Планируемый объем?
3) Стратегия резервирования?

Не понял!
Рабочая база, с чтением и с тяжелыми запросами.

Amadeus · Непрочитанное сообщение **Amadeus** » 2016-01-24 20:21:24

Воот, для начала бы определились с этим и тремя пунктами, а то пока постановка вопроса "Я хочу, а для чего не знаю"

1) Еще раз - подсистема хранения данных какая? - В дефолтном mysql их минимум 2.

2) Объем базы, планируемый на этом сервере прежде чем зайдет разговор о шардинге?

3) Как будете резервировать ее?

snorlov · Непрочитанное сообщение **snorlov** » 2016-01-24 23:13:38

bagas,
ну что такое рабочая база с чтением и тяжелыми запросами... Сферический конь в вакууме...
Из практики,
Сначала анализ базы, приведу пример 5-ти летней давности, для ускорения работы пришлось нормализованную базу делать ненормализованной, т.е. вместо ссылочных полей вколачивать их значения, получились 4-е таблицы с числом полей больше 40, и 6-ть обычных до 20 полей, зато по выборке просто летала, с другой стороны пришлось добиваться, чтобы клиенту отдавалось только то, что он мог отобразить
И лишь потом аппаратные средства как то
2. память для ее кеша
3. диск, причем SSD лучше брать работающей на PCI-X, а не на SATA...

Amadeus · Непрочитанное сообщение **Amadeus** » 2016-01-25 1:34:58

snorlov писал(а):bagas,
ну что такое рабочая база с чтением и тяжелыми запросами... Сферический конь в вакууме...
Из практики,
Сначала анализ базы, приведу пример 5-ти летней давности, для ускорения работы пришлось нормализованную базу делать ненормализованной, т.е. вместо ссылочных полей вколачивать их значения, получились 4-е таблицы с числом полей больше 40, и 6-ть обычных до 20 полей, зато по выборке просто летала, с другой стороны пришлось добиваться, чтобы клиенту отдавалось только то, что он мог отобразить
И лишь потом аппаратные средства как то
2. память для ее кеша
3. диск, причем SSD лучше брать работающей на PCI-X, а не на SATA...

Это касательно софтовой части. Но это должны решать (если они есть конечно*) ) программисты и dba

У Вас был вопрос что лучше, файловая система A или Б

Если для сложного сайта визитки или интернет магазина, ну или тому подобных проектов - ответ пофигу

Если у вас кастомный функционал - то для начала именно те вопросы. Так как не забываем что все что В БАЗЕ - не ваша зона ответственности. Вам достаточно знать что там за принципы хранения информации,

Из практики могу сказать следующее - если у вас, например, остались такие личности, которые в качестве defaut engine до сих пор юзают myisam - берите zfs обязательно с отдельными SSD дисками под журнал и кеш - на выходе получите все преимущества ФС. + обязательно почитайте про размер блока, прежде чем вводить в продакшн.

Если innodb - то (но тут уже надо советоваться с dev отделом) для обычного ФС - может подойти по хорошему SAS ну если бюджетный вариант то sata. Про иннодб это

не догма

может у вас на сервере мало памяти, например, и придется ограничивать пулы. Тогда - читай пункт 1

Насчет объёма:
"большая" - это не объем.

Вопрос в том, что если у вас будет реально БОЛЬШОЙ обьем - то тут да, лучше zfs - так как ее проще маштабировать скажем так в онлайне.

Резервирование:
Если будете делать дампы только - то ставьте отдельные диски SSD для кеша. Так как, например, у меня есть пару баз, например на SmartOS дык там 55 гиговая БД последний раз когда засекал сделалась за минут 15 кажется.

Если снепшоты - то тут не так принципиально.

SteelS · Непрочитанное сообщение **SteelS** » 2016-01-27 1:27:19

Достаточно Kingston KC300 для базы, по скорости это конечно не Intel, но и цена разумная. На деле у меня уже второй массив собирается (на аппаратном рейде) - хорошие показатели. А вот логи (бинарные) если сервер один советую отключать.

bagas · Непрочитанное сообщение **bagas** » 2016-01-28 8:56:13

Amadeus писал(а):
snorlov писал(а):bagas,
ну что такое рабочая база с чтением и тяжелыми запросами... Сферический конь в вакууме...
Из практики,
Сначала анализ базы, приведу пример 5-ти летней давности, для ускорения работы пришлось нормализованную базу делать ненормализованной, т.е. вместо ссылочных полей вколачивать их значения, получились 4-е таблицы с числом полей больше 40, и 6-ть обычных до 20 полей, зато по выборке просто летала, с другой стороны пришлось добиваться, чтобы клиенту отдавалось только то, что он мог отобразить
И лишь потом аппаратные средства как то
2. память для ее кеша
3. диск, причем SSD лучше брать работающей на PCI-X, а не на SATA...
Это касательно софтовой части. Но это должны решать (если они есть конечно*) ) программисты и dba

У Вас был вопрос что лучше, файловая система A или Б

Если для сложного сайта визитки или интернет магазина, ну или тому подобных проектов - ответ пофигу

Если у вас кастомный функционал - то для начала именно те вопросы. Так как не забываем что все что В БАЗЕ - не ваша зона ответственности. Вам достаточно знать что там за принципы хранения информации,

Из практики могу сказать следующее - если у вас, например, остались такие личности, которые в качестве defaut engine до сих пор юзают myisam - берите zfs обязательно с отдельными SSD дисками под журнал и кеш - на выходе получите все преимущества ФС. + обязательно почитайте про размер блока, прежде чем вводить в продакшн.

Если innodb - то (но тут уже надо советоваться с dev отделом) для обычного ФС - может подойти по хорошему SAS ну если бюджетный вариант то sata. Про иннодб это
не догма
может у вас на сервере мало памяти, например, и придется ограничивать пулы. Тогда - читай пункт 1

Насчет объёма:
"большая" - это не объем.

Вопрос в том, что если у вас будет реально БОЛЬШОЙ обьем - то тут да, лучше zfs - так как ее проще маштабировать скажем так в онлайне.

Резервирование:
Если будете делать дампы только - то ставьте отдельные диски SSD для кеша. Так как, например, у меня есть пару баз, например на SmartOS дык там 55 гиговая БД последний раз когда засекал сделалась за минут 15 кажется.

Если снепшоты - то тут не так принципиально.

Объем старта базы 3Гига, но за 1-1,5 месяца база примерно вырастит до 10-15гигов. объем относительно большой.
Решили делать на ufs.
На ssd дисках.
Для бэкап базы специально будит существовать сервер репликации, там и чтение и слив базы.

snorlov · Непрочитанное сообщение **snorlov** » 2016-01-28 10:14:04

Будьте готовы, что через год-2 они умрут...

bagas · Непрочитанное сообщение **bagas** » 2016-01-28 10:55:04

snorlov писал(а):Будьте готовы, что через год-2 они умрут...

Я этот срок и рассчитываю.

unisol · Непрочитанное сообщение **unisol** » 2016-02-01 11:41:15

БД на ZFS без сжатия (средствами БД или ФС) - деньги на ветер. Без зеркала - одна ошибка на ФС наполнит жизнь новым смыслом

. Возможно, есть даже смысл в зеркало "всунуть" обычный раздел на обычном диске - потеряете скорость записи/scrub, чтение, скорее всего, будет с SSD в основном.

Не сферический опыт с БД на Intel X-25M 80GB:
БД делалась на зеркале, ashift=11 (да, 2КБ, а не 4. Для "в основном - чтение" было фиолетово, но ёмкость важна, т.к. купить тогда ещё - было нереально) recordsize=8/16KB, сжатие - gzip-3 - всё это давало оптимальный (но заметный!) расход проца при чтении-записи и хорошее сжатие. gzip-1 заметно проигрывал в сжатии без заметного уменьшения использования проца, gzip-6 - тормоз, -9 - "процов не хватит". lzjb - тоже проигрывал в сжатии. Потом - появился lz4 - жмет страшно быстро, степень сжатия чуть хуже lzjb. Всё упирается в тот факт, что для чтения данных нужно расжать кусок размером в recordsize, считав что ему нужно. Распаковывать 128КБ при необходимости в условных 100 байт - расточительно и долго. И другой параметр - recordsize сжимается в целое количество blocksize. Т.е. при recordsize=4K и blocksize=4K (ashift=12) - ничего не сожмется. В моём случае - 8КБ могло сжаться в 2/4/6КБ или не сжаться. 16КБ - в 2/4/6/8/10/12/14КБ. При ashift=12 - 8КБ = или 4, или "не прокатило", 16КБ=4/8/12/не сжалось.
Короче - нужно смотреть на то, как сжимаемы данные при recordsize=16KB и lz4, если "лишнего" проца мало, и как это повлияет на работу БД.

Использование под zil и поток в 6МБ/с (это не БД была уже) - оч. быстро заставляли флэш вылетать, считанные дни, если не часы - и список ремапов начинал расти. В обычном десктопе - те же диски живы до сих пор, и под БД отпахали тоже без роста ремапов. Конечно, сейчас может всё лучше.

Отправлено спустя 12 минут 38 секунд:

bagas писал(а):
snorlov писал(а):Будьте готовы, что через год-2 они умрут...
Я этот срок и рассчитываю.

Рассчитывать нужно на 2 вещи - "внезапно сдохли" и "планово сдохли". С Вашими объёмами и постановкой задачи ("в основном чтение") они помрут "планово никогда". noatime можно ещё включить

Отправлено спустя 21 секунду:

bagas писал(а):
snorlov писал(а):Будьте готовы, что через год-2 они умрут...
Я этот срок и рассчитываю.

Рассчитывать нужно на 2 вещи - "внезапно сдохли" и "планово сдохли". С Вашими объёмами и постановкой задачи ("в основном чтение") они помрут "планово никогда". noatime можно ещё включить

bagas · Непрочитанное сообщение **bagas** » 2016-02-20 20:52:47

Народ , привет.
У французов ovh взяли сервер. из панели установил zfs рэйд из двух дисков hdd, все нормально.
Обновил систему внутри своей ветки, с p9 до p12.
После обновления система не грузится, в чем может быть проблема?
FreeBSD 10.2 amd 64

Alex Keda

просить KVM, смотреть монитор

bagas · Непрочитанное сообщение **bagas** » 2016-02-21 8:51:24

Все нормально, косяк был со стороны дц, сейчас сервер загрузился корректно.

forum.lissyara.su