Страница 1 из 2
mysql и производительность жесткого диска
Добавлено: 2012-06-20 14:55:11
dmtr
есть сайт (на wordpress) на главной странице выполняется 300-400 запросов к базе mysql. в результате среднее время загрузки главной составляет порядка 4секунд. время выполнения запросов упирается в производительность диска (по словам програмера). каким образом обойти эту проблему?
мускулем запросы кэшируются, выделенной под кэш запросов памяти свободно половина.
кто что посоветует, пните в направлении
Re: mysql и производительность жесткого диска
Добавлено: 2012-06-20 16:00:58
FiL
A что там за база такая, что 300-400 запросов выполняется 4 секунды?
Хотя загрузка одной страницы приводящая к 400 запросам к базе - это пиздец.
Re: mysql и производительность жесткого диска
Добавлено: 2012-06-20 16:30:34
GhOsT_MZ
Что ж там за страница с 300-400 запросами? Сократить их количество не пробовали?
Re: mysql и производительность жесткого диска
Добавлено: 2012-06-20 16:38:48
dmtr
GhOsT_MZ писал(а):Что ж там за страница с 300-400 запросами? Сократить их количество не пробовали?
да программеры уже там поизголялись как могли, меньше не получается, изначально херово спроектирован был ресурс.
так вопрос все-таки куда копать? думал про вынесение БД на md диск, но што-то мне кажется при какой-нить внезапной перезагрузке можно огрести ((
Re: mysql и производительность жесткого диска
Добавлено: 2012-06-20 16:42:33
dmtr
FiL писал(а):Хотя загрузка одной страницы приводящая к 400 запросам к базе - это пиздец.
там вообщето уже используется вордпресовский плагин для кэширования запросов, так вот самтаймз я вижу там ~800 запросов при генерации главной
Re: mysql и производительность жесткого диска
Добавлено: 2012-06-26 14:55:08
Gloft
Можно попробовать:
- заменить HDD на SSD раздел где размещена БД
- настроить RAID0 для раздела где размещена БД
- изменить архитектуру ПО для уменьшения количества запросов к БД
- проверить насколько эффективно используются индексы
- оптимизировать запросы к БД
- настроить кеш для статики на веб-сервере
В целом это все костыли, надо менять архитектуру ПО или БД, а лучше и того и другого.
Re: mysql и производительность жесткого диска
Добавлено: 2012-06-26 15:57:36
dmtr
Gloft писал(а):
... надо менять архитектуру ПО или БД, а лучше и того и другого.
спасибо, как раз это щас и производится, проект перерабатывается ))
Re: mysql и производительность жесткого диска
Добавлено: 2012-07-09 16:31:39
BlitzKrieg
Странно, что упирается в производительность диска, особенно, что по словам программера. Мониторить сами лично не пробовали?
Смотрите запросы, которые наиболее долго выполняются, эксплейните их и смотрите в чем дело.
Re: mysql и производительность жесткого диска
Добавлено: 2012-07-09 16:43:49
GhOsT_MZ
А что странного? Размер кеша небольшой видимо, интенсивность запросов высока, вот и не успевает читать/писать с/на диск...
Re: mysql и производительность жесткого диска
Добавлено: 2012-07-09 16:56:33
BlitzKrieg
dmtr писал(а):
мускулем запросы кэшируются, выделенной под кэш запросов памяти свободно половина.
Re: mysql и производительность жесткого диска
Добавлено: 2012-07-09 18:00:51
Bayerische
Какая посещаемость?
Стоит ли WP Super Cache или MaxSite Cache?
Re: mysql и производительность жесткого диска
Добавлено: 2012-07-09 18:10:09
dmtr
Bayerische писал(а):Какая посещаемость?
Стоит ли WP Super Cache или MaxSite Cache?
щас вопрос собственно не актуален, проект был переделан (много чего было переписано и БД была перепроектирована в том числе), на серваке щас один винт из зеркала выведен, жду замену. так что щас реальное быстродействие оценить не могу.
но всем спасибо за отклики ))
Re: mysql и производительность жесткого диска
Добавлено: 2013-01-14 13:19:37
mixar
memcached попробуйте, мне на сайтах на Drupal7 здорово помогает!
Re: mysql и производительность жесткого диска
Добавлено: 2013-10-20 20:12:01
jettochkin
Может еще кому нибудь пригодится: w3 Total Cache (включить page, object кеши), xcache в php.. и уволить программера за такое кол-во запросов для генерации стартовой страницы)
Re: mysql и производительность жесткого диска
Добавлено: 2013-10-20 20:12:30
jettochkin
mixar писал(а):memcached попробуйте, мне на сайтах на Drupal7 здорово помогает!
не вариант никак, особенно для Wordpress
Re: mysql и производительность жесткого диска
Добавлено: 2013-10-25 19:30:37
jettochkin
А вообще берем диски SATA3 - Hitachi A2000 и получаем очень хорошую скорость в ~ 130Mb/s - хватает за глаза на рядовом сервере, стоимость для этих enterprise-дисков начального уровня практически такая же как для обычных десктопных...
Re: mysql и производительность жесткого диска
Добавлено: 2013-11-20 16:57:47
Alex Keda
jettochkin писал(а):А вообще берем диски SATA3 - Hitachi A2000 и получаем очень хорошую скорость в ~ 130Mb/s - хватает за глаза на рядовом сервере, стоимость для этих enterprise-дисков начального уровня практически такая же как для обычных десктопных...
и далеко не факт что поможет....
Re: mysql и производительность жесткого диска
Добавлено: 2013-11-20 17:05:19
jettochkin
Хотя бы жесткий диск не будет узким местом.. можно всю память для кеша не отдавать)
Re: mysql и производительность жесткого диска
Добавлено: 2013-11-21 22:35:09
firefly
Чаще всего, в такое случае помогает перемещение каталога временных таблиц в оперативную память.
Но программистам руки поотрывать все равно стоит.
Re: mysql и производительность жесткого диска
Добавлено: 2013-11-21 23:23:05
jettochkin
firefly писал(а):Чаще всего, в такое случае помогает перемещение каталога временных таблиц в оперативную память.
Но программистам руки поотрывать все равно стоит.
перемещение временных таблиц - привело к:
1) нагрузка на жесткий диск с 100мб/с до 10мб/сек (в среднем)
2) нагрузка на CPU с 60 до 90% (до 99% в моменты пиков посещения сайтов)
И это при кешировании на всех уровнях (fastcgi+xcache, nginx, mysql)...
Re: mysql и производительность жесткого диска
Добавлено: 2013-11-22 8:46:14
firefly
Проблему с диском решили
Сайт начал быстрее работать?
Кстати, на каком оборудовании работаете (сколько памяти, какой CPU).
На *nix системах не надо мерять нагрузку в процентах - главный параметр load average.
Запустите команду vmstat 3, по её выводу можно будет определить, чего именно не хватает вашему проекту для "счастья"
Re: mysql и производительность жесткого диска
Добавлено: 2013-11-22 9:46:59
jettochkin
firefly писал(а):Проблему с диском решили
Сайт начал быстрее работать?
Кстати, на каком оборудовании работаете (сколько памяти, какой CPU).
На *nix системах не надо мерять нагрузку в процентах - главный параметр load average.
Запустите команду vmstat 3, по её выводу можно будет определить, чего именно не хватает вашему проекту для "счастья"
16Gb DDR3-12800, CPU G2040, - LA~2.9, памяти Active 8Gb, Free 2Gb, NGINX Active Conn=1400, посещаемость на все сайты около 130000 в сутки
Жесткий диск почти не принимает участие в работе) теперь вся работа за CPU
после переноса всего в память (tmsfs) - MySQL стал кушать конкретно CPU..
Re: mysql и производительность жесткого диска
Добавлено: 2013-11-22 19:44:54
firefly
Не нашел точную модель вашего процессора, но уверен что в нем больше 4 ядер - значит, LA =3 нормальная нагрузка, и сервер справляется хорошо.
Раньше MySQL ждал диска, поэтому процессор простаивал, сейчас все запросы выполняются быстрее и поэтому кажется что процессор стал более нагружен.
P.S. Активируйте Mysql slow-log и оптимизируйте запросы которые в него попадают.
Re: mysql и производительность жесткого диска
Добавлено: 2013-11-22 21:03:45
Bayerische
после переноса всего в память (tmsfs)
А можно подробнее, что именно на tmsfs теперь?
Re: mysql и производительность жесткого диска
Добавлено: 2013-11-22 21:51:36
jettochkin
firefly писал(а):Не нашел точную модель вашего процессора, но уверен что в нем больше 4 ядер - значит, LA =3 нормальная нагрузка, и сервер справляется хорошо.
Раньше MySQL ждал диска, поэтому процессор простаивал, сейчас все запросы выполняются быстрее и поэтому кажется что процессор стал более нагружен.
P.S. Активируйте Mysql slow-log и оптимизируйте запросы которые в него попадают.
2 ядра и 3.0Ghz - по сути десктоп с большим количеством оперативки и быстрыми винтами; LA в пиках до 6
ловлю медленных запросов включил.. есть один запрос - который фик изменишь - лента активности BuddyPress.... грузит нереально...