[MySQL] странности с использованием памяти

MySQL/PostgreSQL/SQLite/Oracle/M$SQL/....

Модератор: terminus

Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: [MySQL] странности с использованием памяти

Непрочитанное сообщение Alex Keda » 2010-04-24 11:59:32

больше.
у меня фуллтекст стоит на таблице с сообщениями форума, тока он весит:

Код: Выделить всё

srv5# ll phpbb3_posts.*
-rw-rw----  1 mysql  mysql  -  189M 24 апр 12:49 phpbb3_posts.MYD
-rw-rw----  1 mysql  mysql  -  206M 24 апр 12:49 phpbb3_posts.MYI
-rw-rw----  1 mysql  mysql  -   14K  3 мар 20:11 phpbb3_posts.frm
srv5#     
Убей их всех! Бог потом рассортирует...

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: [MySQL] странности с использованием памяти

Непрочитанное сообщение LMik » 2010-04-24 12:20:42

lissyara писал(а):больше.
у меня фуллтекст стоит на таблице с сообщениями форума, тока он весит:

Код: Выделить всё

srv5# ll phpbb3_posts.*
-rw-rw----  1 mysql  mysql  -  189M 24 апр 12:49 phpbb3_posts.MYD
-rw-rw----  1 mysql  mysql  -  206M 24 апр 12:49 phpbb3_posts.MYI
-rw-rw----  1 mysql  mysql  -   14K  3 мар 20:11 phpbb3_posts.frm
srv5#     
206M это сумма всех индексов таблицы, если индекс ни разу не использовался он в key_buffer не попадет.

SHOW GLOBAL STATUS WHERE Variable_name LIKE 'key%' - выдаст текущие параметры буфера кэша.
SHOW GLOBAL STATUS WHERE Variable_name LIKE 'qcache%' - по квери кэшу стата.
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: [MySQL] странности с использованием памяти

Непрочитанное сообщение Alex Keda » 2010-04-24 17:04:10

Код: Выделить всё

mysql> SHOW GLOBAL STATUS WHERE Variable_name LIKE 'key%' ;
+------------------------+------------+
| Variable_name          | Value      |
+------------------------+------------+
| Key_blocks_not_flushed | 0          |
| Key_blocks_unused      | 416562     |
| Key_blocks_used        | 139381     |
| Key_read_requests      | 1542219346 |
| Key_reads              | 912622     |
| Key_write_requests     | 9228819    |
| Key_writes             | 3255488    |
+------------------------+------------+
7 rows in set (0.01 sec)

mysql> SHOW GLOBAL STATUS WHERE Variable_name LIKE 'qcache%';
+-------------------------+----------+
| Variable_name           | Value    |
+-------------------------+----------+
| Qcache_free_blocks      | 2717     |
| Qcache_free_memory      | 8409344  |
| Qcache_hits             | 15877802 |
| Qcache_inserts          | 7502662  |
| Qcache_lowmem_prunes    | 663236   |
| Qcache_not_cached       | 710288   |
| Qcache_queries_in_cache | 6578     |
| Qcache_total_blocks     | 17607    |
+-------------------------+----------+
8 rows in set (0.01 sec)

mysql>    
Убей их всех! Бог потом рассортирует...

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: [MySQL] странности с использованием памяти

Непрочитанное сообщение Alex Keda » 2010-04-26 10:17:59

повёлся на ваш бред, перевёл все таблицы на InnoDB
быстрей не стало =)
пропал fulltext, переиндексирую форум - на MyISAM было 15-20 сообщений в секунду, тут - 2-3 =((
Убей их всех! Бог потом рассортирует...

Аватара пользователя
thefree
лейтенант
Сообщения: 980
Зарегистрирован: 2008-12-29 9:23:19
Откуда: Весёлая Страна

Re: [MySQL] странности с использованием памяти

Непрочитанное сообщение thefree » 2010-04-26 10:56:53

lissyara писал(а):повёлся на ваш бред, перевёл все таблицы на InnoDB
быстрей не стало =)
пропал fulltext, переиндексирую форум - на MyISAM было 15-20 сообщений в секунду, тут - 2-3 =((
у тебя же проблема с памятью было? расширил бы до 128 buffer_key
Не судите меня строго, Я не волшебник, а только учусь!
http://planetbsd.ru - RSS-агрегатор *BSD по Рунету

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: [MySQL] странности с использованием памяти

Непрочитанное сообщение Alex Keda » 2010-04-26 12:39:36

Код: Выделить всё

key_buffer = 512M
вообще-то...
Убей их всех! Бог потом рассортирует...

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: [MySQL] странности с использованием памяти

Непрочитанное сообщение LMik » 2010-04-26 13:13:05

lissyara писал(а):повёлся на ваш бред, перевёл все таблицы на InnoDB
быстрей не стало =)
пропал fulltext, переиндексирую форум - на MyISAM было 15-20 сообщений в секунду, тут - 2-3 =((
Таблицы с фултекстом оставить нужно было как есть. Innodb пул какого размера сейчас?
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

Аватара пользователя
hizel
дядя поня
Сообщения: 9032
Зарегистрирован: 2007-06-29 10:05:02
Откуда: Выборг

Re: [MySQL] странности с использованием памяти

Непрочитанное сообщение hizel » 2010-04-26 13:13:58

вот щит, а посмотреть как phpbb дружит с innodb перед операцией не судьба? :evil:
В дурацкие игры он не играет. Он просто жуткий, чу-чу, паровозик, и зовут его Блейн. Блейн --- это Боль.

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: [MySQL] странности с использованием памяти

Непрочитанное сообщение Alex Keda » 2010-04-26 13:17:57

индексы все я перед этим дропнул руками.
иначе на полночи бы затянулось
=========
ккой пул?
Убей их всех! Бог потом рассортирует...

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: [MySQL] странности с использованием памяти

Непрочитанное сообщение LMik » 2010-04-26 14:01:10

lissyara писал(а):индексы все я перед этим дропнул руками.
иначе на полночи бы затянулось
=========
ккой пул?
innodb

Ты для начала доку чтоль почитай какую-нить и пойми разницу.
Исам живет на диске и кэширует индексы в памяти, поэтому любой запрос неизбежно приводит к дисковому i/o. Разогретая база InnoDB держит в памяти весь пул данных и индексы, и постепенно флушит на диск что нужно, читается всё тоже соответственно из пула. Ещё куча разных вещей есть в иннодб, сразу не расказать.
Вот к примеру сервер

Код: Выделить всё

  PID USERNAME  THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
55960 mysql      88  44    0 28307M 25612M ucond   1   4:30 354.79% mysqld
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: [MySQL] странности с использованием памяти

Непрочитанное сообщение Alex Keda » 2010-04-28 16:30:02

в общем, оказалось что это

Код: Выделить всё

YandexBlogs/0.99.101 (compatible; Mozilla/5.0; robot)
умом повредился и стал обдалбливать rss чуть не каждую минуту...
пока выдачу ему прикрыл, посомтрим, чё с нагрузкой будет
Убей их всех! Бог потом рассортирует...

Аватара пользователя
ADRE
майор
Сообщения: 2645
Зарегистрирован: 2007-07-26 8:53:49
Контактная информация:

Re: [MySQL] странности с использованием памяти

Непрочитанное сообщение ADRE » 2010-04-28 19:22:07

lissyara писал(а):в общем, оказалось что это

Код: Выделить всё

YandexBlogs/0.99.101 (compatible; Mozilla/5.0; robot)
умом повредился и стал обдалбливать rss чуть не каждую минуту...
пока выдачу ему прикрыл, посомтрим, чё с нагрузкой будет
у него есть такая мания величия, особенно нравиться кушать шлак )) когда генеришь через 20-40 минут рандомный текст, считает это особой вкусняжкой, интересно о чем разработчики думают....
LMik писал(а):

Код: Выделить всё

  PID USERNAME  THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
55960 mysql      88  44    0 28307M 25612M ucond   1   4:30 354.79% mysqld
такое мозг накаляет, охото kill сделать...
--
не не не не... иннодб удобно если делать бд с внутренними связанными таблицами, а т.к. они в майисам не связаны внутренними индексами, какая разница форуму) но, майсам и быстрее....
//del

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: [MySQL] странности с использованием памяти

Непрочитанное сообщение LMik » 2010-04-28 20:31:41

Ещё один... Ну с %#@ ему быть быстрее? Он упирается в диск и всё, ничего ты с этим не сделаешь.
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: [MySQL] странности с использованием памяти

Непрочитанное сообщение Alex Keda » 2010-04-28 22:49:28

2 Lmik
если ты заметил - в форуме щас много собщений о том что поиск не работает
дык вот я два дня пытался проиндексировать форум встроенным движком.
получилось тока щас, после того как вернул таблицы с данными для поиска в MyISAM
при этом за двое суток "прогреться" там всё должно было офигительно, но просветления не принесло.
=========
да, ещё на работе ставил эксперимент с БД от форума

Код: Выделить всё

mysql bd < dump.sql
на двухядрёном оптероне с 4 гигами рамы - час времени...
sed -e /innodb/myisam/ - и та же операция 15 минут на третьем пне с 256 ОЗУ

так что - незачёт.
Убей их всех! Бог потом рассортирует...

Аватара пользователя
gloom
лейтенант
Сообщения: 738
Зарегистрирован: 2008-03-13 16:29:12
Откуда: UA

Re: [MySQL] странности с использованием памяти

Непрочитанное сообщение gloom » 2010-04-29 1:12:26

ADRE писал(а):
LMik писал(а):

Код: Выделить всё

  PID USERNAME  THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
55960 mysql      88  44    0 28307M 25612M ucond   1   4:30 354.79% mysqld
такое мозг накаляет, охото kill сделать...
точно :roll:
какой la?
и вообще какое железо?

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: [MySQL] странности с использованием памяти

Непрочитанное сообщение LMik » 2010-04-29 8:32:03

LMik писал(а):
lissyara писал(а):повёлся на ваш бред, перевёл все таблицы на InnoDB
быстрей не стало =)
пропал fulltext, переиндексирую форум - на MyISAM было 15-20 сообщений в секунду, тут - 2-3 =((
Таблицы с фултекстом оставить нужно было как есть. Innodb пул какого размера сейчас?
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: [MySQL] странности с использованием памяти

Непрочитанное сообщение LMik » 2010-04-29 8:35:35

gloom писал(а):
ADRE писал(а):
LMik писал(а):

Код: Выделить всё

  PID USERNAME  THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
55960 mysql      88  44    0 28307M 25612M ucond   1   4:30 354.79% mysqld
такое мозг накаляет, охото kill сделать...
точно :roll:
какой la?
и вообще какое железо?
Около 2.
2xXeonE5430/32GB/SAS
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: [MySQL] странности с использованием памяти

Непрочитанное сообщение Alex Keda » 2010-04-29 13:13:29

LMik писал(а):
gloom писал(а):
ADRE писал(а):
LMik писал(а):

Код: Выделить всё

  PID USERNAME  THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
55960 mysql      88  44    0 28307M 25612M ucond   1   4:30 354.79% mysqld
такое мозг накаляет, охото kill сделать...
точно :roll:
какой la?
и вообще какое железо?
Около 2.
2xXeonE5430/32GB/SAS
сдаётся мне, что вы гоните... при 354% должен быть не меньше 3
или вы поймали в top пик и его продемонстрировали, не сказав что обычно - меньше
Убей их всех! Бог потом рассортирует...

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: [MySQL] странности с использованием памяти

Непрочитанное сообщение Alex Keda » 2010-04-29 13:14:26

LMik писал(а):
LMik писал(а):
lissyara писал(а):повёлся на ваш бред, перевёл все таблицы на InnoDB
быстрей не стало =)
пропал fulltext, переиндексирую форум - на MyISAM было 15-20 сообщений в секунду, тут - 2-3 =((
Таблицы с фултекстом оставить нужно было как есть. Innodb пул какого размера сейчас?
неверная формулировка.
нужно было всё оставить как есть.
ибо лучше стало - но не сильно.
проиграл куда больше чем выиграл.
Убей их всех! Бог потом рассортирует...

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: [MySQL] странности с использованием памяти

Непрочитанное сообщение LMik » 2010-04-29 13:20:09

lissyara писал(а):
LMik писал(а):
LMik писал(а):
lissyara писал(а):повёлся на ваш бред, перевёл все таблицы на InnoDB
быстрей не стало =)
пропал fulltext, переиндексирую форум - на MyISAM было 15-20 сообщений в секунду, тут - 2-3 =((
Таблицы с фултекстом оставить нужно было как есть. Innodb пул какого размера сейчас?
неверная формулировка.
нужно было всё оставить как есть.
ибо лучше стало - но не сильно.
проиграл куда больше чем выиграл.
Чего проиграл? Лучше же стало....
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

Аватара пользователя
LMik
капитан
Сообщения: 1852
Зарегистрирован: 2007-07-17 9:14:39
Откуда: МО
Контактная информация:

Re: [MySQL] странности с использованием памяти

Непрочитанное сообщение LMik » 2010-04-29 13:21:10

lissyara писал(а):
LMik писал(а):
gloom писал(а):
ADRE писал(а):
LMik писал(а):

Код: Выделить всё

  PID USERNAME  THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
55960 mysql      88  44    0 28307M 25612M ucond   1   4:30 354.79% mysqld
такое мозг накаляет, охото kill сделать...
точно :roll:
какой la?
и вообще какое железо?
Около 2.
2xXeonE5430/32GB/SAS
сдаётся мне, что вы гоните... при 354% должен быть не меньше 3
или вы поймали в top пик и его продемонстрировали, не сказав что обычно - меньше
Ну да, колеблется 2-3 при такой нагрузке.
BSD... Join the dark side.
Виpус детям не игpушка, не товаpищ и не дpуг!

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: [MySQL] странности с использованием памяти

Непрочитанное сообщение Alex Keda » 2010-04-29 14:06:21

LMik писал(а):
lissyara писал(а):
LMik писал(а):
LMik писал(а):
lissyara писал(а):повёлся на ваш бред, перевёл все таблицы на InnoDB
быстрей не стало =)
пропал fulltext, переиндексирую форум - на MyISAM было 15-20 сообщений в секунду, тут - 2-3 =((
Таблицы с фултекстом оставить нужно было как есть. Innodb пул какого размера сейчас?
неверная формулировка.
нужно было всё оставить как есть.
ибо лучше стало - но не сильно.
проиграл куда больше чем выиграл.
Чего проиграл? Лучше же стало....
что лучше? что поиска ент и не будет на вашем ИнноДБ? двухголвого ксенона с 4G рамы ему мало оказалось чтоб базу проиндексить =)) смешно.
форум - да, как-то работает. с подтупливанием, заметим.
до того как у яндекса свернуло крышу и я перегнал базу в InnoDB - он летал.
щас яндекс в отключке. значит причина тупняка - движок базы.
Убей их всех! Бог потом рассортирует...

Аватара пользователя
gonzo111
лейтенант
Сообщения: 648
Зарегистрирован: 2007-11-15 16:32:33
Откуда: China
Контактная информация:

Re: [MySQL] странности с использованием памяти

Непрочитанное сообщение gonzo111 » 2010-04-29 14:11:11

можыт ты намудрил в login.conf webuser:? :roll:
Тяжело в учении легко в РАЮ!
беру зарплату гречкой и сахаром...
Наша комната - lissyara.su@conference.jabber.ru

Аватара пользователя
thefree
лейтенант
Сообщения: 980
Зарегистрирован: 2008-12-29 9:23:19
Откуда: Весёлая Страна

Re: [MySQL] странности с использованием памяти

Непрочитанное сообщение thefree » 2010-04-29 15:20:18

MySQL -> PostgreSQL, phpbb поддерживает
Не судите меня строго, Я не волшебник, а только учусь!
http://planetbsd.ru - RSS-агрегатор *BSD по Рунету

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: [MySQL] странности с использованием памяти

Непрочитанное сообщение Alex Keda » 2010-04-29 15:44:30

,мне делатьбольше нечего, тока лишнее приложение саппортить.
Убей их всех! Бог потом рассортирует...