MySQL: скорость выполнения запросов

[lodErunnEr]

Дык все понятно. Эти данные, которые там лежат - это далеко не весь лог - я его обрабатываю скриптом на перле и кладу только те данные, которые были полученны не из кеша сквида. в принципе не проблема изменить скрипт и класть туда уже сумму по юзерам, тем самым уменьшив базу, или еще как-нибудь исхитриться, короче сделать можно много чего .. а так же можно использовать sarg и обойтись вообще без базы
Просто я хотел посмотреть, как ведет себя большая таблица... ну погонять, заодно разобраться поглубже с mysql. т.е. главная цель была не сбор статистики как таковой, а большая жирная таблица.
Как я понял, мой запрос, индексируй не индексируй, проходится по ВСЕМ записям базы в любом случае, поэтому он медленный.
Но всеравно огромное спасибо за участие!

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[zg]

скрипт и класть туда уже сумму по юзерам, тем самым уменьшив базу

ага, а потом разные отчёты от туда выковыривай

Просто я хотел посмотреть, как ведет себя большая таблица... ну погонять, заодно разобраться поглубже с mysql. т.е. главная цель была не сбор статистики как таковой, а большая жирная таблица.

ну дело твоё ))) разобираться с mysql лучше на мелких таблицах с объёмом от 100 до 1000 записей. Тут самое главное правильно оценивать explain, объём мало имеет значение как таковой. У нас такая база, как у тебя, падала, когда размер таблицы превысил 2Гб и было принято решение переписать биллинг.

В мускуле самое главное - умение извлекать нужную информацию из структурированных данных. Я не стал изменять структуру твоей таблицы, поскольку она изначально сделана неверно, там абсолютно ненужный первичный ключ и некоторые поля нужно менять на int и timestamp. У больших таблиц размер ряда должен быть фиксированным, а у тебя это нереально сделать, поэтому я просто сделал новую табличку.

Если есть большое желание изучить быстродействие на MySQL, то могу немного почь

[lodErunnEr]

там абсолютно ненужный первичный ключ и некоторые поля нужно менять на int и timestamp.

Если не сложно, объясни почему

У больших таблиц размер ряда должен быть фиксированным, а у тебя это нереально сделать

Это тоже.. т.е. что значит "должен быть фиксированным"?

Если есть большое желание изучить быстродействие на MySQL, то могу немного почь

Было бы здорово.
Ща читаю руководство, которое ты кинул.. к понедельнику надеюсь управиться .... наверное много вопросов появится

[zg]

Было бы здорово.

гуд

и так тема твоей будущей статьи Использование индексов для оптимизиации работы с большими таблицами в MySQL 4.1 и выше

содержание:
1. Основные типы столбцов MySQL (int, bigint, smallint, char,varchar, text), описать сколько каждый занимает места в ряду и как его целесообразно применять.

2. Описание типов индексов: первичный индекс, простой индекс, текстовый индекс, полнотекстовый индекс, составной индекс. Тут так же необходимо выделить основные моменты каждого индекса, где и когда они прменяются и в чём их отличия.

3. Использование индексов: описать работу и использование индексов в запросах MySQL, отметить EXPLAIN, и разобрать пару многотабличных запросов

4. Оптимизация запросов для работы с большими таблицами при помощи индексов, временных таблиц и стурктуры таблиц.

Это довольно много, но если вытянешь, то будешь знать MySQL процентов на 10-15 ))) Для работы программером и админом этого за глаза хватит.

Берёшься?

[zg]

Если не сложно, объясни почему

потому что он там избыточен, ты им никогда не будешь пользоваться, это таблица-лог, её не нужно править

[lodErunnEr]

ыыы берусь

[lodErunnEr]

Если не сложно, объясни почему

потому что он там избыточен, ты им никогда не будешь пользоваться, это таблица-лог, её не нужно править

хм.. а primary key используется только в insert/update ?

[zg]

ыыы берусь

тогда внимательно прочитай раздел про создание таблиц и выдели типы данных. Опиши сколько каждый тип занимает и для чего используется, отдельно выдели тип int и timestamp. Пока хватит

Можешь у Лиса зарегится как автор и начинать писать статью

хм.. а primary key используется только в insert/update ?

в основном да, потому что однозначно идентифицирует одно строку, для отчётных данных он бесполезен.

[dikens3]

У меня вот такая книга есть, очень неплохая.
http://www.books.ru/shop/books/396916

[zg]

У меня вот такая книга есть, очень неплохая.
http://www.books.ru/shop/books/396916

тут и мануала вполне хватит хотя серия мне эта нравится, много чего интересного пишут, правда, никогда не беру "новичкам", много вопросов остаётся...

[zg]

lodErunnEr, прогресс есть?

[ProFTP]

может грузить из-за того, что перл скрипт не правильный!! (точно не помню как там, но нужно не просто взять и вставить...)

===================
а если распарсить лог файл (раз в пол сутки, например) и записать потом бд рекурсивно, будет выграш?

но елси не использовать лог файл вообще!! то пропадает нагрузка на винчестер или нет? то есть постоянно идет записть в лог файлы получаетья и этим грузит машину?