Ошибка при импорте большой БД

MySQL/PostgreSQL/SQLite/Oracle/M$SQL/....

Модератор: terminus

Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Nick_mad
сержант
Сообщения: 280
Зарегистрирован: 2008-05-30 12:16:02
Откуда: Киев
Контактная информация:

Ошибка при импорте большой БД

Непрочитанное сообщение Nick_mad » 2017-12-04 15:32:03

Здравствуйте.

Есть дамп mysql размером 12 гиг.

На сервере стоял MySql 5.6 эта база прекрасно импортировалась mysql db < file.sql

Потом обновился до 5.7 и сейчас не могу импортировать ее.
Вываливается с ошибкой:

Код: Выделить всё

ERROR 1114 (HY000) at line 26020771: The table 'хххх' is full
И размер файла таблицы 4096М. То есть ровно 4 гига.

Рекомендации из нета.
перевести работу таблиц innodb c innodb_data_file_path на innodb_file_per_table - перевел.
увеличить значения tmp_table_size=256M max_heap_table_size=256M - увеличивал не помогло
место на диске есть
тут говорят что всему виной х86 разрядная архитектура и я бы поверил, но перед этим я ж ее импортировал.

В общем уже неделю ищу способы ее загнать, возможно глаз себе уже за мылил и нужен взгляд со стороны.

Подскажите, уважаемые, коллеги куда еще копнуть.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

snorlov
подполковник
Сообщения: 3927
Зарегистрирован: 2008-09-04 11:51:25
Откуда: Санкт-Петербург

Ошибка при импорте большой БД

Непрочитанное сообщение snorlov » 2017-12-04 17:54:47

Может софт надо перекомпилировать, жестко же указывает на 32-битный указатель, причем софт может быть даже вспомогательный...

FiL
ст. лейтенант
Сообщения: 1374
Зарегистрирован: 2010-02-05 0:21:40

Ошибка при импорте большой БД

Непрочитанное сообщение FiL » 2017-12-11 6:41:46

так таблица myisam или innodb?

Nick_mad
сержант
Сообщения: 280
Зарегистрирован: 2008-05-30 12:16:02
Откуда: Киев
Контактная информация:

Ошибка при импорте большой БД

Непрочитанное сообщение Nick_mad » 2017-12-11 9:20:12

innodb

FiL
ст. лейтенант
Сообщения: 1374
Зарегистрирован: 2010-02-05 0:21:40

Ошибка при импорте большой БД

Непрочитанное сообщение FiL » 2017-12-11 16:50:48

A куда показывает tmpdir? на /tmp? А там места хватает?

Nick_mad
сержант
Сообщения: 280
Зарегистрирован: 2008-05-30 12:16:02
Откуда: Киев
Контактная информация:

Ошибка при импорте большой БД

Непрочитанное сообщение Nick_mad » 2017-12-11 16:58:40

Код: Выделить всё

cat /usr/local/etc/mysql/my.cnf | grep tmp
tmpdir                          = /var/db/mysql_tmpdir
slave-load-tmpdir               = /var/db/mysql_tmpdir
 df -h
Filesystem            Size    Used   Avail Capacity  Mounted on
/dev/mirror/gm0s1a    1.9G    499M    1.3G    27%    /
devfs                 1.0K    1.0K      0B   100%    /dev
/dev/mirror/gm0s1d    107G     80G     18G    82%    /usr
/dev/mirror/gm0s1e    112G     63G     40G    61%    /var
/dev/mirror/gm0s1f    1.7G     11M    1.6G     1%    /tmp
та вроде на мелочи не должен был попасться :) хотя как всегда бывает наоборот

FiL
ст. лейтенант
Сообщения: 1374
Зарегистрирован: 2010-02-05 0:21:40

Ошибка при импорте большой БД

Непрочитанное сообщение FiL » 2017-12-11 17:18:17

а 4 гига - это .ibd файл, да?

Nick_mad
сержант
Сообщения: 280
Зарегистрирован: 2008-05-30 12:16:02
Откуда: Киев
Контактная информация:

Ошибка при импорте большой БД

Непрочитанное сообщение Nick_mad » 2017-12-11 17:27:06

да

Код: Выделить всё

# ls -sh 
10 xxxx.frm
4196368 xxxx.ibd

FiL
ст. лейтенант
Сообщения: 1374
Зарегистрирован: 2010-02-05 0:21:40

Ошибка при импорте большой БД

Непрочитанное сообщение FiL » 2017-12-11 17:45:20

что-то идеи заканчиваются.
А сколько он записей таки импортирует? может чего где в дампе не то и он весь дамп как один блоб пытается всосать?

Nick_mad
сержант
Сообщения: 280
Зарегистрирован: 2008-05-30 12:16:02
Откуда: Киев
Контактная информация:

Ошибка при импорте большой БД

Непрочитанное сообщение Nick_mad » 2017-12-11 17:54:48

Ну это вторая загадка которую мне предстоит разгадать.
Когда пытаешься проводить какие то манипуляции с этой таблицей (выборка из таблицы, удаление таблицы, очистка таблицы)

Код: Выделить всё

SELECT count(*) FROM хххх
то сервак отваливается

Код: Выделить всё

1 Lost connection to MySQL server during query 

FiL
ст. лейтенант
Сообщения: 1374
Зарегистрирован: 2010-02-05 0:21:40

Ошибка при импорте большой БД

Непрочитанное сообщение FiL » 2017-12-11 19:09:01

ой. ну тогда я-бы советовал начинать лечить именно с этого конца. если таблица даже не удаляется, то думать над тем почему в нее нельзя вставить несколько преждевременно.

Nick_mad
сержант
Сообщения: 280
Зарегистрирован: 2008-05-30 12:16:02
Откуда: Киев
Контактная информация:

Ошибка при импорте большой БД

Непрочитанное сообщение Nick_mad » 2017-12-11 19:55:06

Я даже не знаю есть ли смысл этим заниматься или просто откатиться до 5.6?

Nick_mad
сержант
Сообщения: 280
Зарегистрирован: 2008-05-30 12:16:02
Откуда: Киев
Контактная информация:

Ошибка при импорте большой БД

Непрочитанное сообщение Nick_mad » 2017-12-13 10:04:03

Откатился до 5.6 (тот еще головняк), все прекрасно импортируется. Надо бы по хорошему разобраться почему так получается.