Проблема производительности.

[freeman]

Код: Выделить всё

Server version: 5.0.51a-log FreeBSD port: mysql-server-5.0.51a

mysql> select BENCHMARK(1000000,ENCODE('hello','goodbye'));
+----------------------------------------------+
| BENCHMARK(1000000,ENCODE('hello','goodbye')) |
+----------------------------------------------+
|                                            0 |
+----------------------------------------------+
1 row in set (1.20 sec)

Код: Выделить всё

sysctl hw.model
hw.model: AMD Sempron(tm) Processor 3400+
uname -a
FreeBSD 6.3-RELEASE

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Brick85]

Похоже, что у меня такая-же проблема

Код: Выделить всё

Intel(R) Xeon(R) CPU X3210  @ 2.13GHz
FreeBSD 7.0-RELEASE
MySQL 5.1.29-rc

select BENCHMARK(1000000,ENCODE('hello','goodbye'));
+----------------------------------------------+
| BENCHMARK(1000000,ENCODE('hello','goodbye')) |
+----------------------------------------------+
|                                            0 |
+----------------------------------------------+
1 row in set (17.09 sec)

Я так понимаю, что должно быть быстрее...
Решения проблемы нет?

[Brick85]

Если кому интересно, то помогла смена mysql с 5.1 на 5.0:

Код: Выделить всё

MySQL 5.0.67

select benchmark(1000000,encode('hello','goodbye'));
+----------------------------------------------+
| benchmark(1000000,encode('hello','goodbye')) |
+----------------------------------------------+
|                                            0 |
+----------------------------------------------+
1 row in set (0.48 sec)

[zg]

я думаю тут всё дело в encode, скорее всего у муси переделали внутренний механизм работы со строками

[zar0ku1]

Если кому интересно, то помогла смена mysql с 5.1 на 5.0:

спасибо!
провел так сказать свое расследование на FreeBSD 7.0-RELEASE в итоге получил (диаграмму прикладываю)
над столбцами время в секундах на выполнение

Код: Выделить всё

select BENCHMARK(1000000,ENCODE('hello','goodbye'));

под столбцами версия mysql-server

я же использовал в работе связку 7.0+mysql 5.1 при смене на 7.0+mysql 5.0 скорость работы увеличилась в разы

вывод: не все новое лучше старого

[LMik]

На самом деле просто функция Encode скорее всего по разному реализована

[zar0ku1]

На самом деле просто функция Encode скорее всего по разному реализована

вывел лог всех запросов который делает mysql ни одного encode чего-то не нашел

предлагай как еще потестируем, может:
select BENCHMARK(1000000, 1+20*2/3*5);
лучше делать конечно тест на запросы select и insert

[manefesto]

а есть вообще какой нибудь другой стресс тест ???
Хорошо бы потестить...
Давайте предложения...соберем тест

[zg]

надо смотреть на выборки:
1. выборка без условия из большой таблицы
2. выборка по условию
3. выборка из множества таблиц
4. выборка с перекодировкой

всё остальное не очень критично

[LMik]

надо смотреть на выборки:
1. выборка без условия из большой таблицы
2. выборка по условию
3. выборка из множества таблиц
4. выборка с перекодировкой

всё остальное не очень критично

+выборка с вертикальными и горизонатльными джойнами
+с функциями шифрования типа md5

[zar0ku1]

надо смотреть на выборки:
1. выборка без условия из большой таблицы
2. выборка по условию
3. выборка из множества таблиц
4. выборка с перекодировкой

всё остальное не очень критично

пример большой таблицы покажи

[zg]

несколько миллионов записей

Код: Выделить всё

`id` числовой первичный ключ
`key` числовой обычный индекс
`value` строковое значение

можно заполнить следующими значениями

Код: Выделить всё

id - заполняется сам
key - случайное целое число от одного до ста
value - md5 хеш от суммы id и key

после этого сделать выборку по первичному ключу
по обыному ключу, использвую GROUP BY
по значению, используя сортировки и GROUP BY
делать выборку в другой кодировке, используя различные функции

дальше мучать многотаблицные запросы.

[manefesto]

блин....а может есть готовое решение ????
сравнили бы фрю с линуксом

[LMik]

блин....а может есть готовое решение ????
сравнили бы фрю с линуксом

sysbench

http://people.freebsd.org/~kris/scaling ... myisam.png

[zg]

sysbench

может и правда свой накатать тут всего пара строк завтра накатаю, если всё будет нормально -)))

[freeman]

Катай, примем участие в тестировании

[zar0ku1]

Катай, примем участие в тестировании

поддерживаю

[zg]

Исходник с красявостями http://anton-pribora.ru/scripts/mysql_benchmark.sh.php

Скрипт в нетронутом виде

mysql_benchmark.zip

(2.11 КБ) 26 скачиваний

Я запускал так

Код: Выделить всё

zg# ./mysql_benchmark.sh -h localhost -p "" -b test -u root -r 100000
-----------------------------
Тест номер 1
------------------------------
Создание таблицы: ок (MySQL: 4.1.22, DB: test)
Заполнение таблицы (100000 строк): 21.40
Обновление записей при помощи md5: 1.56
Обновление записей при помощи sha1: 2.73
Выборка с группировкой по ключу: 0.09
Выборка с группировкой по текстовому полю: 3.74
zg# ./mysql_benchmark.sh -h 192.168.53.4 -p "" -b test -u root -r 100000
-----------------------------
Тест номер 1
------------------------------
Создание таблицы: ок (MySQL: 4.1.16-max, DB: test)
Заполнение таблицы (100000 строк): 58.02
Обновление записей при помощи md5: 0.03
Обновление записей при помощи sha1: 0.06
Выборка с группировкой по ключу: 0.07
Выборка с группировкой по текстовому полю: 1.28
zg#

насколько скрипт отказустойчивый сказать трудно. Но проверки на правильность исполнения запросов пока нет (точнее только частично).

Дружно тестим

[zar0ku1]

Код: Выделить всё

FreeBSD 7.0-RELEASE 
E4400 + 512ram

Код: Выделить всё

-----------------------------
Тест номер 1
------------------------------
Создание таблицы: ок (MySQL: 5.0.67, DB: test)
Заполнение таблицы (100000 строк): 10.23
Обновление записей при помощи md5: 2.25
Обновление записей при помощи sha1: 3.75
Выборка с группировкой по ключу: 0.05
Выборка с группировкой по текстовому полю: 3.61

[freeman]

AMD Sempron(tm) Processor 3400+
FreeBSD 6.3-RELEASE

Код: Выделить всё

Тест номер 1
------------------------------
Создание таблицы: ок (MySQL: 5.0.51a-log, DB: test)
Заполнение таблицы (100000 строк): 15.57
Обновление записей при помощи md5: 2.05
Обновление записей при помощи sha1: 3.94
Выборка с группировкой по ключу: 0.10
Выборка с группировкой по текстовому полю: 1.30

Я так понимаю тут и винты и процы тестятся

[zg]

Я так понимаю тут и винты и процы тестятся

при обновлении - проц, при выборке с группировкой по текстовому полю - файловая система. По идее надо на одном железе тестит, но на разных версиях и сразным количеством строк. Тогда станет ясно, что и куда.

Если руки доберутся, то завтра проведу большой тест.

[zg]

Код: Выделить всё

+-------------------------------------------+---------------+----------------+
|                                           | 100000 строк  | 1000000 строк  |
|              MySQL: 4.1.22                +-------+-------+-------+--------+
|                                           | 7.0-R | 6.3-R | 7.0-R | 6.3-R  |
+-------------------------------------------+-------+-------+-------+--------+
| Заполнение таблицы                        | 8.19  | 9.26  | 87.87 | 98.86  |
| Обновление записей при помощи md5         | 1.76  | 1.73  | 18.71 | 18.46  |
| Обновление записей при помощи sha1        | 2.80  | 2.86  | 31.35 | 31.24  |
| Выборка с группировкой по ключу           | 0.05  | 0.09  | 0.48  | 0.85   |
| Выборка с группировкой по текстовому полю | 1.21  | 1.19  | ^C    | ^C     |
+-------------------------------------------+-------+-------+-------+--------+

+-------------------------------------------+---------------+----------------+
|                                           | 100000 строк  | 1000000 строк  |
|            MySQL: 5.1.22-rc               +-------+-------+-------+--------+
|                                           | 7.0-R | 6.3-R | 7.0-R | 6.3-R  |
+-------------------------------------------+-------+-------+-------+--------+
| Заполнение таблицы                        | 9.64  | 11.73 | 105.24| 127.05 |
| Обновление записей при помощи md5         | 1.83  | 1.76  | 19.36 | 18.49  |
| Обновление записей при помощи sha1        | 2.91  | 2.83  | 32.40 | 30.77  |
| Выборка с группировкой по ключу           | 0.05  | 0.09  | 0.53  | 0.90   |
| Выборка с группировкой по текстовому полю | 1.05  | 1.13  | ^C    | ^C     |
+-------------------------------------------+-------+-------+-------+--------+

в общем, тест убедительно показал, что особой разницы нет

[zar0ku1]

в общем, тест убедительно показал, что особой разницы нет

ничего себе нет 4.1 в твоем случае уверенно лидирует

[zg]

ничего себе нет 4.1 в твоем случае уверенно лидирует

ты про внесение строк на семёрке? на самом деле этот тест мало чего показывает, в основном производительность всего компа в целом. Хотя, конечно, четвёрка вносит данные чуточку быстрее, но повторюсь, что такие тесты нужно делать на отдельных файлах, а не через стандартный входной поток.

Зато выяснилась другая интересная особенность - на ста тысячах группировка по текстовому полю идёт просто с невероятной скоростью, а на миллионе её не дождаться... Видимо алгоритмы разные используются, скорее всего в первом случае используется память, во втором файловая система.

В общем-то я хотел увидеть ту самую огроменную разницу, которую мы наблюдали с ENCODE, но её нет. А тест показал, что на основных операциях разница в пределах погрешности и тюнинга самой базы.