Страница 1 из 2

Freebsd zfs mysql под нагрузкой.

Добавлено: 2016-01-19 20:02:16
bagas
Всем привет.
Планирую запуск нагруженного проекта.
Нагрузка к база велика, есть тяжелые запросы (оптимизировать их уже некуда).
Хочу сразу ставить на zfs вместе ufs2.
Так вот, есть ли смысл ставить zfs на нагруженный проект, до этого с zfs дел не каких не имел.
Спасибо за понимание.

Freebsd zfs mysql под нагрузкой.

Добавлено: 2016-01-19 22:24:18
Neus
ssd под кэш и лог надо.

Freebsd zfs mysql под нагрузкой.

Добавлено: 2016-01-20 8:35:13
bagas
Neus писал(а):ssd под кэш и лог надо.
Я планировал кэш в оперативке организовать.
насчет лога не понял.

Freebsd zfs mysql под нагрузкой.

Добавлено: 2016-01-20 10:16:27
lazhu
bagas писал(а):
Neus писал(а):ssd под кэш и лог надо.
Я планировал кэш в оперативке организовать.
насчет лога не понял.
ZFS Intent Log
Для сильно нагруженной БД крайне желательно иметь его на ССД.
ARC (Adaptive replacement cache) и так находится в памяти, не надо ничего организовывать. А вот L2ARC (ARC 2-го уровня) тоже очень желательно иметь на ССД.

Freebsd zfs mysql под нагрузкой.

Добавлено: 2016-01-20 10:45:59
bagas
А стоит овчинка выделки?
менять ufs2 на zfs на нагруженной базе.
Я так и не понял, для zfs только базируется в рэйде или можно как обычную фс использовать на одном диске и будит ли с этого толк?
Как я понял в статьях, что уже тестирования zfs прошло и уже в работе можно смело использовать.

Freebsd zfs mysql под нагрузкой.

Добавлено: 2016-01-20 12:48:20
Neus
bagas писал(а): А стоит овчинка выделки?
менять ufs2 на zfs на нагруженной базе.
нагрузка на запись или чтение?
еси на чтение - зависит от размера базы и того как субд ее кэширует в памяти.
еси на запись - самый быстрый вариант: база на ssd (пофиг на какой фс), далее по быстроте: база на ZFS с логом на ssd.
Perfect suited ZIL:
- HGST ZeusRam (Dram-based, 3,5" SAS with 8GB)
- HGST S840Z, ZIL (2,5" SAS, ZIL optimized SSD, 16 GB)
- Intel S3700 (regular enterprise SSD but quite affordable for a ZIL)
что касается L2ARC - сначала расширяем оперативку, когда расширять некуда втыкаем ssd.
lazhu писал(а): А вот L2ARC (ARC 2-го уровня) тоже очень желательно иметь на ССД.
в каком смысле желательно? кэш на обычном диске это изврат.

Freebsd zfs mysql под нагрузкой.

Добавлено: 2016-01-20 14:29:52
bagas
Так я могу zfs использовать как без рэйда?
Intel S3700 - хорошие диски, но зараза дорогие!
У меня два диска ssd Intel S3500 и один hdd под логи системы.
Пока думаю как лучше все это реализовать.

Freebsd zfs mysql под нагрузкой.

Добавлено: 2016-01-20 15:53:51
Neus
bagas писал(а):Так я могу zfs использовать как без рэйда?
Intel S3700 - хорошие диски, но зараза дорогие!
У меня два диска ssd Intel S3500 и один hdd под логи системы.
Пока думаю как лучше все это реализовать.
эти тоже хорошие диски.
так если база на ssd нафига тебе zfs?
ну если оччень хочется то делай.
zfs нужен прямой доступ к дискам, сделаешь из них зеркало прямо из инсталлятора.

Freebsd zfs mysql под нагрузкой.

Добавлено: 2016-01-20 16:32:38
bagas
Neus писал(а):
bagas писал(а):Так я могу zfs использовать как без рэйда?
Intel S3700 - хорошие диски, но зараза дорогие!
У меня два диска ssd Intel S3500 и один hdd под логи системы.
Пока думаю как лучше все это реализовать.
zfs нужен прямой доступ к дискам, сделаешь из них зеркало прямо из инсталлятора.
Не понял.

Freebsd zfs mysql под нагрузкой.

Добавлено: 2016-01-20 23:18:32
Neus
До запятой не понял или после?

Freebsd zfs mysql под нагрузкой.

Добавлено: 2016-01-21 8:56:40
bagas
Neus писал(а):До запятой не понял или после?
До и после. )

Freebsd zfs mysql под нагрузкой.

Добавлено: 2016-01-21 10:12:36
Neus
т.е. ничего.. читай мануалы по zfs..

Freebsd zfs mysql под нагрузкой.

Добавлено: 2016-01-21 10:37:08
bagas
хорошо, но зеркало я не планировал делать из них.

Freebsd zfs mysql под нагрузкой.

Добавлено: 2016-01-21 12:59:47
snorlov
bagas писал(а):хорошо, но зеркало я не планировал делать из них.
Высоконагруженная база и выбор файловой системы несколько разные вещи хоть и немного связанные.
Я не знаю, как себе ведет ufs и zfs на ссд, но в отношении обычных дисках добавление небольшого ссд в качестве L2ARC для zfs повышает ее быстродействие... Ну а дальше сами решайте нужны ли вам свойства конкретных фс, например снапшоты или еще что-то

Freebsd zfs mysql под нагрузкой.

Добавлено: 2016-01-21 16:47:19
Neus
bagas писал(а): хорошо, но зеркало я не планировал делать из них.
не хорошо :)
т.к. теряешь профит от отказоустойчивости и параллельного чтения разных данных.

Freebsd zfs mysql под нагрузкой.

Добавлено: 2016-01-21 17:04:43
bagas
Neus писал(а):
bagas писал(а): хорошо, но зеркало я не планировал делать из них.
не хорошо :)
т.к. теряешь профит от отказоустойчивости и параллельного чтения разных данных.
Думаю скорость записи упадет.

Freebsd zfs mysql под нагрузкой.

Добавлено: 2016-01-21 17:56:47
snorlov
bagas писал(а): Думаю скорость записи упадет.
она при любом зеркале упадет, а вообще то надо оценить и другие параметры, как то простой базы из-за поломки, бэкапы базы тоже будет делать, на это тоже надо время. Я к примеру на zfs торможу сервер приложений, делаю снапшот и после чего его запускаю, потом с этого снапшота делаю бэкапы. Как оказалось для клиентов кратковременная остановка лучше чем тормоза во время бэкапа сервера приложения...

Freebsd zfs mysql под нагрузкой.

Добавлено: 2016-01-21 21:15:19
bagas
snorlov писал(а):
bagas писал(а): Думаю скорость записи упадет.
она при любом зеркале упадет, а вообще то надо оценить и другие параметры, как то простой базы из-за поломки, бэкапы базы тоже будет делать, на это тоже надо время. Я к примеру на zfs торможу сервер приложений, делаю снапшот и после чего его запускаю, потом с этого снапшота делаю бэкапы. Как оказалось для клиентов кратковременная остановка лучше чем тормоза во время бэкапа сервера приложения...
Хмм. пока думаем.

Freebsd zfs mysql под нагрузкой.

Добавлено: 2016-01-22 22:21:26
Neus
Э.. у тебя диски овер 5килоиопсов на рандомной записи выдают.
Что у тебя за нагрузка, что этого мало?

Freebsd zfs mysql под нагрузкой.

Добавлено: 2016-01-23 8:33:17
bagas
Тяжелые запросы( сами запросы уже оптимизированы ) + много народу.
Запросы в основном будут только по чтению, запись редка.

Freebsd zfs mysql под нагрузкой.

Добавлено: 2016-01-23 23:35:16
Neus
Тады шило на мыло ты придумал менять.
Профилируй систему, может памяти под кэш субд не хватает.

Freebsd zfs mysql под нагрузкой.

Добавлено: 2016-01-24 9:20:35
bagas
Neus писал(а):Тады шило на мыло ты придумал менять.
Профилируй систему, может памяти под кэш субд не хватает.
Кэш запросов мускула обязательно выделю гига 4.
Вообщем решили пока отказаться от zfs.
Два ssd диска интеловские, на одном система, на другом база - временно этого хватит для базы. после подключу второй сервер репликации, под чтение. думаю этого с лихвой должно хватить.

Freebsd zfs mysql под нагрузкой.

Добавлено: 2016-01-24 10:13:53
snorlov
Я бы под систему отдал бы HDD, а вот под базу и логи SSD...

Freebsd zfs mysql под нагрузкой.

Добавлено: 2016-01-24 10:20:24
bagas
snorlov писал(а):Я бы под систему отдал бы HDD, а вот под базу и логи SSD...
А для чего логи писать на ссд? Толк какой?
Притом, я планирую только вести лог тяжелых запросов.

Freebsd zfs mysql под нагрузкой.

Добавлено: 2016-01-24 10:48:10
snorlov
Принцип простой, на ссд писать все, что пишется и читается после загрузки, а система, кроме своих логов практически ничего писать и читать не будет... Ну и зачем ее на ссд, чтобы грузилась 20 секунд вместо 25...