Backup 20 гиговых InnoDB ?

MySQL/PostgreSQL/SQLite/Oracle/M$SQL/....

Модератор: terminus

Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
fxp
мл. сержант
Сообщения: 79
Зарегистрирован: 2008-10-06 1:02:58

Backup 20 гиговых InnoDB ?

Непрочитанное сообщение fxp » 2008-12-06 19:28:39

В общем mysqldump отваливается стандартно "mysqldump: Error 2013: Lost connection to MySQL server during
query when dumping table `blahblah` at row: 2787"
Перепробована пачка вариантов с --single-transaction и прочими, непомогло.
Вариант с остановкой и копированием не подходит(долго), вариант со снапшотом тоже не подходит, система засрана так что не расчистиш и снапшот фигачится минут 10.

Короче полная жопа, если есть у кого опыт переезда с dbmail на dovecot - делитесь.
Последний раз редактировалось fxp 2008-12-17 17:44:47, всего редактировалось 1 раз.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

zg
полковник
Сообщения: 5845
Зарегистрирован: 2007-12-07 13:51:33
Откуда: Верх-Нейвинск

Re: Backup 20 гиговых InnoDB ?

Непрочитанное сообщение zg » 2008-12-06 20:03:06

я бы попробовал ручками или в скрипте дампить данные в csv-файлы, это самый быстрый варинт дампа. По одной табличке. А стркутуру перенёс отдельно.

Аватара пользователя
skeletor
майор
Сообщения: 2548
Зарегистрирован: 2007-11-16 18:22:04

Re: Backup 20 гиговых InnoDB ?

Непрочитанное сообщение skeletor » 2008-12-09 15:33:41

rsync?

zg
полковник
Сообщения: 5845
Зарегистрирован: 2007-12-07 13:51:33
Откуда: Верх-Нейвинск

Re: Backup 20 гиговых InnoDB ?

Непрочитанное сообщение zg » 2008-12-09 17:29:48

skeletor писал(а):rsync?
иннодб даже гораздо меньшего объёма нельзя скорпировать так, чтобы модификации файлов во время копирования не было, про 20 гиг и говорить не стоит, тут даже mysqlhotsopy не выход.

warzoni
сержант
Сообщения: 186
Зарегистрирован: 2008-07-04 17:17:59
Откуда: Ukraine,Kiev
Контактная информация:

Re: Backup 20 гиговых InnoDB ?

Непрочитанное сообщение warzoni » 2008-12-10 2:52:57

fxp писал(а):В общем mysqldump отваливается стандартно "mysqldump: Error 2013: Lost connection to MySQL server during
query when dumping table `blahblah` at row: 2173"
Перепробована пачка вариантов с --single-transaction и прочими, непомогло.
Вариант с остановкой и копированием не подходит(долго), вариант со снапшотом тоже не подходит, система засрана так что не расчистиш и снапшот фигачится минут 10.

Короче полная жопа, если есть у кого опыт переезда с dbmail на dovecot - делитесь.

/var/db/mysql )) капируй тупо и всё )) например эм fsbackup да потмо и востоновишь стемеже провами )) если слетит.да не парься.поставь рейд джемров и вздыхай спакойно ))

да зделай разок такое mysqlcheck --repair --analyze --optimize --all-databases --auto-repair

да 20 гиг немного понты )))))надоже а что за сервак железо ))большая база )

fxp
мл. сержант
Сообщения: 79
Зарегистрирован: 2008-10-06 1:02:58

Re: Backup 20 гиговых InnoDB ?

Непрочитанное сообщение fxp » 2008-12-10 6:49:25

:st:
rsync интересная идея, потестю как время будет.

zg, имеется ввиду с остановом базы.

zg
полковник
Сообщения: 5845
Зарегистрирован: 2007-12-07 13:51:33
Откуда: Верх-Нейвинск

Re: Backup 20 гиговых InnoDB ?

Непрочитанное сообщение zg » 2008-12-10 8:41:56

warzoni писал(а):да зделай разок такое mysqlcheck --repair --analyze --optimize --all-databases --auto-repair
не думаю, что к иннодб это относится. Это для исама пока придумано.
warzoni писал(а):да 20 гиг немного понты )))))надоже а что за сервак железо ))большая база )
у иннодб ограничение базы в несколько терабайт

fxp, глянь http://dev.mysql.com/doc/refman/5.1/en/ ... ackup.html

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35454
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Backup 20 гиговых InnoDB ?

Непрочитанное сообщение Alex Keda » 2008-12-10 9:20:59

ф топку.
у меня 25 или 30 гиг на MyISAM прекрасно жило.
Убей их всех! Бог потом рассортирует...

zg
полковник
Сообщения: 5845
Зарегистрирован: 2007-12-07 13:51:33
Откуда: Верх-Нейвинск

Re: Backup 20 гиговых InnoDB ?

Непрочитанное сообщение zg » 2008-12-10 9:26:39

lissyara писал(а):у меня 25 или 30 гиг на MyISAM прекрасно жило.
-))))
InnoDB provides MySQL with a transaction-safe (ACID compliant) storage engine that has commit, rollback, and crash recovery capabilities.
у исама этого нет. Это и есть основное отличие иннодб от исама.

warzoni
сержант
Сообщения: 186
Зарегистрирован: 2008-07-04 17:17:59
Откуда: Ukraine,Kiev
Контактная информация:

Re: Backup 20 гиговых InnoDB ?

Непрочитанное сообщение warzoni » 2008-12-10 9:33:20

да шошь такое сплю сори вечно не дочитую)) Sam должен работать. :smile:

Аватара пользователя
weec
лейтенант
Сообщения: 948
Зарегистрирован: 2007-07-24 11:17:35
Откуда: Afghanistan
Контактная информация:

Re: Backup 20 гиговых InnoDB ?

Непрочитанное сообщение weec » 2008-12-15 19:24:51

fxp писал(а):В общем mysqldump отваливается стандартно "mysqldump: Error 2013: Lost connection to MySQL server during
query when dumping table `blahblah` at row: 2173"
Перепробована пачка вариантов с --single-transaction и прочими, непомогло.
долго мучался?
побольше манов читай, документации, гугли, это довольно простая проблема

100Гб innodb таблицы дампятся без проблем

может посмотрим, что у тебя в my.cnf сервера?

P.S.: глянь тут http://www.netup.ru/phpbb/viewtopic.php?t=4052
но это лишь временное решение, тебе нужно настроить сервер

fxp
мл. сержант
Сообщения: 79
Зарегистрирован: 2008-10-06 1:02:58

Re: Backup 20 гиговых InnoDB ?

Непрочитанное сообщение fxp » 2008-12-17 17:35:14

Ну вот например:
mysqldump -p --skip-add-locks --single-transaction --opt dbmail > dbmail.sql
mysqldump: Error 2013: Lost connection to MySQL server during query when dumping table `dbmail_messageblks` at row: 2787

Код: Выделить всё

[client]
port            = 3306
socket          = /tmp/mysql.sock

[mysqld]
port            = 3306
socket          = /tmp/mysql.sock

max_connections=200
read_buffer_size=1M
sort_buffer_size=1M
key_buffer_size=16M
innodb_buffer_pool_size=768M
innodb_thread_sleep_delay=0
innodb_additional_mem_pool_size=20M
innodb_log_buffer_size=8M
innodb_flush_log_at_trx_commit=1
innodb_lock_wait_timeout=50

[mysqldump]
quick
max_allowed_packet = 1024M

[mysql]
no-auto-rehash
mysqlcheck заявляет что база в идеальном состоянии, памяти у системы всего 1гиг.

zg
полковник
Сообщения: 5845
Зарегистрирован: 2007-12-07 13:51:33
Откуда: Верх-Нейвинск

Re: Backup 20 гиговых InnoDB ?

Непрочитанное сообщение zg » 2008-12-17 19:02:18

fxp писал(а):max_allowed_packet = 1024M
нафига гиговые инсерты? лучше поставь метров 20-100, при импорте проблем меньше будет.

Аватара пользователя
Volodymyr
лейтенант
Сообщения: 614
Зарегистрирован: 2008-06-17 16:04:56
Откуда: Ukraine, Lviv
Контактная информация:

Re: Backup 20 гиговых InnoDB ?

Непрочитанное сообщение Volodymyr » 2008-12-17 20:10:00

zg писал(а):нафига гиговые инсерты? лучше поставь метров 20-100, при импорте проблем меньше будет.
Так это ж максимально допустимый размер. А генерировать такие инсерты умеет очень популярный http://sypex.net/products/dumper/

Аватара пользователя
hizel
дядя поня
Сообщения: 9032
Зарегистрирован: 2007-06-29 10:05:02
Откуда: Выборг

Re: Backup 20 гиговых InnoDB ?

Непрочитанное сообщение hizel » 2008-12-17 20:16:42

серьёзные дяди бэкапируют на slave сервере
в результате все довольны и улюбаются
В дурацкие игры он не играет. Он просто жуткий, чу-чу, паровозик, и зовут его Блейн. Блейн --- это Боль.

fxp
мл. сержант
Сообщения: 79
Зарегистрирован: 2008-10-06 1:02:58

Re: Backup 20 гиговых InnoDB ?

Непрочитанное сообщение fxp » 2008-12-18 9:51:33

Тебя обманули, серьезные дяди пользуют Оракл.
Задача - заставить дамп хотя бы задампить.

zg
полковник
Сообщения: 5845
Зарегистрирован: 2007-12-07 13:51:33
Откуда: Верх-Нейвинск

Re: Backup 20 гиговых InnoDB ?

Непрочитанное сообщение zg » 2008-12-18 12:27:49

fxp писал(а):Задача - заставить дамп хотя бы задампить.
дампить лучше средствами селекта

Код: Выделить всё

SELECT * FROM `table` INTO OUTFILE 'file_name'

Аватара пользователя
hizel
дядя поня
Сообщения: 9032
Зарегистрирован: 2007-06-29 10:05:02
Откуда: Выборг

Re: Backup 20 гиговых InnoDB ?

Непрочитанное сообщение hizel » 2008-12-18 13:20:06

fxp писал(а):Тебя обманули, серьезные дяди пользуют Оракл.
Задача - заставить дамп хотя бы задампить.
глупости, ещё гугловцев и медиавиковцев несерьёзными обзовите

кстати, а вы mail листам mysql на этот счёт не шерстили
скажем вот ветка занятная http://lists.mysql.com/mysql/208877
В дурацкие игры он не играет. Он просто жуткий, чу-чу, паровозик, и зовут его Блейн. Блейн --- это Боль.

Аватара пользователя
weec
лейтенант
Сообщения: 948
Зарегистрирован: 2007-07-24 11:17:35
Откуда: Afghanistan
Контактная информация:

Re: Backup 20 гиговых InnoDB ?

Непрочитанное сообщение weec » 2008-12-18 16:59:27

fxp, ты используешь ключи --skip-add-locks --single-transaction (mysqldump)
доступ к текущей базе критичный?

слей базу вот с такими ключами --opt --skip-extended-insert --skip-quick в файл
после, заливай дамп на новое хранилище
а будут ошибки, присылай последние 20 строк из файла .err

под какой системой используешь хранилище? сколько памяти на машине?

zg
полковник
Сообщения: 5845
Зарегистрирован: 2007-12-07 13:51:33
Откуда: Верх-Нейвинск

Re: Backup 20 гиговых InnoDB ?

Непрочитанное сообщение zg » 2008-12-18 17:38:21

weec писал(а): сколько памяти на машине?
у него гиг и самое смешное, что max_allowed_packet стоит также гиг, при дефолтном значении 16 метров

Код: Выделить всё

zg# mysql --help | grep max_all
  --max_allowed_packet=#
max_allowed_packet                16777216
zg#
а вылетает at row: 2173, то есть в среднем один ряд получается занимает 400 килобайт. Я бы рыл в эту сторону.

Аватара пользователя
weec
лейтенант
Сообщения: 948
Зарегистрирован: 2007-07-24 11:17:35
Откуда: Afghanistan
Контактная информация:

Re: Backup 20 гиговых InnoDB ?

Непрочитанное сообщение weec » 2008-12-18 18:33:29

про 1Гб упустил

fxp, похоже с памятью для системы проблемы, попробуй снять дам со следующими параметрами:
- параметр innodb_buffer_pool_size, в разделе mysqld, уменьши до 256M
- в раздел mysqld добавь параметр max_allowed_packet, его значение установи в 16M
- параметр max_allowed_packet, в разделе mysqldump, уменьши до 16M
- max_connections уменьши до 100

Аватара пользователя
weec
лейтенант
Сообщения: 948
Зарегистрирован: 2007-07-24 11:17:35
Откуда: Afghanistan
Контактная информация:

Re: Backup 20 гиговых InnoDB ?

Непрочитанное сообщение weec » 2008-12-29 23:26:49

мы дождемся каких либо результатов?

Аватара пользователя
iZEN
ст. лейтенант
Сообщения: 1095
Зарегистрирован: 2007-09-15 16:45:26
Контактная информация:

Re: Backup 20 гиговых InnoDB ?

Непрочитанное сообщение iZEN » 2008-12-30 15:32:02

fxp писал(а):В общем mysqldump отваливается стандартно "mysqldump: Error 2013: Lost connection to MySQL server during
query when dumping table `blahblah` at row: 2787"
Перепробована пачка вариантов с --single-transaction и прочими, непомогло.
Вариант с остановкой и копированием не подходит(долго), вариант со снапшотом тоже не подходит, система засрана так что не расчистиш и снапшот фигачится минут 10.

Короче полная жопа, если есть у кого опыт переезда с dbmail на dovecot - делитесь.
gmirror попробуйте. Да хоть по сети. Только сначала остановите сервер баз данных.
GNU/Linux — это не Unix и даже никогда им не был, и, что самое смешное, никогда им не станет — GNU's Not Unix

fxp
мл. сержант
Сообщения: 79
Зарегистрирован: 2008-10-06 1:02:58

Re: Backup 20 гиговых InnoDB ?

Непрочитанное сообщение fxp » 2009-01-08 0:11:47

"Непомогло".
Решил больше не тратить на этот бред время. И дамп будет часами идти и заливка черт знает сколько, единственный человеческий путь - через репликацию, но слишком некрасиво выбивается из общей схемы бекапа.
Самый правильный путь во всех отношениях - переезд на dovecot.

Аватара пользователя
weec
лейтенант
Сообщения: 948
Зарегистрирован: 2007-07-24 11:17:35
Откуда: Afghanistan
Контактная информация:

Re: Backup 20 гиговых InnoDB ?

Непрочитанное сообщение weec » 2009-01-26 18:03:00

http://dev.mysql.com/doc/refman/5.1/en/ ... -arch.html

на страничке приводиться несколько методов переноса баз, таблиц
попробоуй mysqldump с опцией --tab (сервер сам кидает дамп потаблично в файлы) и mysqlimport
данный метод отличается хорошей скоростью