ZFS, периодически затыкается
Модератор: terminus
Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
- kharkov_max
- капитан
- Сообщения: 1862
- Зарегистрирован: 2008-10-03 14:56:40
Re: ZFS, периодически затыкается
Дедубликация была, включена.
Сейчас на всех разделах выключил, но пока dedup 1.49
Сейчас на всех разделах выключил, но пока dedup 1.49
Услуги хостинговой компании Host-Food.ru
Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/
- kharkov_max
- капитан
- Сообщения: 1862
- Зарегистрирован: 2008-10-03 14:56:40
Re: ZFS, периодически затыкается
Похоже что виной тому что заполнялся swap был dedup.
Танцы с бубном, вроде выключения dedup на разделе, удаления в нем данных, ни как не помогали, система затыкалась при удалении большого кол-ва данных и т.д.
Вообщем на данный момент полностью удалил раздел, и создал его заново без dedup.
Вроде как затыки отпустило, но все равно мерилом будет ночной бекап.
Заметил еще одну странность.
По samba скопировал на новый раздел файл в 32 Гб, в swap ни чего не писало, потом начал копировать его назад и система опять начала использовать swap. В Swap попало около 6 Гб.
Вопрос почему?
zil вроде отключен ...
Танцы с бубном, вроде выключения dedup на разделе, удаления в нем данных, ни как не помогали, система затыкалась при удалении большого кол-ва данных и т.д.
Вообщем на данный момент полностью удалил раздел, и создал его заново без dedup.
Вроде как затыки отпустило, но все равно мерилом будет ночной бекап.
Заметил еще одну странность.
По samba скопировал на новый раздел файл в 32 Гб, в swap ни чего не писало, потом начал копировать его назад и система опять начала использовать swap. В Swap попало около 6 Гб.
Вопрос почему?
zil вроде отключен ...
- iZEN
- ст. лейтенант
- Сообщения: 1095
- Зарегистрирован: 2007-09-15 16:45:26
- Контактная информация:
Re: ZFS, периодически затыкается
Снапшоты есть?
GNU/Linux — это не Unix и даже никогда им не был, и, что самое смешное, никогда им не станет — GNU's Not Unix
- kharkov_max
- капитан
- Сообщения: 1862
- Зарегистрирован: 2008-10-03 14:56:40
Re: ZFS, периодически затыкается
Снепшотов нет.
- kharkov_max
- капитан
- Сообщения: 1862
- Зарегистрирован: 2008-10-03 14:56:40
Re: ZFS, периодически затыкается
Предварительные результаты.
Ночной бекап не отработал т.к. забыл дать права на nfs шару.
В виду утреннего пох..зма офиса, дал права и запустил бекап руками.
Результат пока радует, nfs шпарит более 100Mb/sec по гигабитному каналу, это так же подтверждает zpool iostat.
Собственно похоже что виной всему был dedup, при чем его тупое отключение на разделе эфекта не дает, и пришлось раздел заново пересоздать.
Тему пока закрывать не хочу т.к. нужно дождаться наполнения раздела N кол-вом копий бекапов.
Победа, можно будет окончательно сказать только через пару недель...
Ночной бекап не отработал т.к. забыл дать права на nfs шару.
В виду утреннего пох..зма офиса, дал права и запустил бекап руками.
Результат пока радует, nfs шпарит более 100Mb/sec по гигабитному каналу, это так же подтверждает zpool iostat.
Собственно похоже что виной всему был dedup, при чем его тупое отключение на разделе эфекта не дает, и пришлось раздел заново пересоздать.
Тему пока закрывать не хочу т.к. нужно дождаться наполнения раздела N кол-вом копий бекапов.
Победа, можно будет окончательно сказать только через пару недель...
- Alvares
- прапорщик
- Сообщения: 485
- Зарегистрирован: 2008-07-10 12:48:08
- Откуда: Воронеж
- Контактная информация:
Re: ZFS, периодически затыкается
Без пересоздания ФС от дедупликации, равно как и от сжатия/несжатия можно уйти, просто перекинув все файлы сами поверх себя. К файлам должны примениться установки ФС. Но это если есть много времени 
Бог создал людей сильными и слабыми. Сэмюэл Кольт сделал их равными...
- kharkov_max
- капитан
- Сообщения: 1862
- Зарегистрирован: 2008-10-03 14:56:40
Re: ZFS, периодически затыкается
Окончательные выводы.
В моей
В моей
- kharkov_max
- капитан
- Сообщения: 1862
- Зарегистрирован: 2008-10-03 14:56:40
Re: ZFS, периодически затыкается
Окончательные выводы.
В моей ситуации виновником всего был dedup.
Удалив dedup на разделе куда лилось по NFS, я положительного результата не достиг, т.к. на пуле был еще один раздел с dedup куда лилось по samba.
Пока этот раздел не пересоздал, zfs затыкалась и иногда падала.
Сейчас на пуле везде "кастрировал" dedup и все вроде как все нормально работает.
И по samba и по NFS.
Dedup удалял так
1. Создал новую FS
2. Слил на нее данные
3. Удалил FS с dedup
Тут важные момент, хотя система сказала что FS удалила, тупила еще очень долго, iostat показывал активные чтение/запись на диск. Я просто набрался терпения и дождался пока "отпустит".
4. Переименовал новую FS в старую.
5. Изменил точку монтирования как было у старой FS и перезапустил на всякий хост.
Возможно можно было и поверх перезаписать, но решил не экспериментировать и сделать наверняка.
Думаю что теперь тему можно закрыть ...
В моей ситуации виновником всего был dedup.
Удалив dedup на разделе куда лилось по NFS, я положительного результата не достиг, т.к. на пуле был еще один раздел с dedup куда лилось по samba.
Пока этот раздел не пересоздал, zfs затыкалась и иногда падала.
Сейчас на пуле везде "кастрировал" dedup и все вроде как все нормально работает.
И по samba и по NFS.
Dedup удалял так
1. Создал новую FS
2. Слил на нее данные
3. Удалил FS с dedup
Тут важные момент, хотя система сказала что FS удалила, тупила еще очень долго, iostat показывал активные чтение/запись на диск. Я просто набрался терпения и дождался пока "отпустит".
4. Переименовал новую FS в старую.
5. Изменил точку монтирования как было у старой FS и перезапустил на всякий хост.
Возможно можно было и поверх перезаписать, но решил не экспериментировать и сделать наверняка.
Думаю что теперь тему можно закрыть ...
- iZEN
- ст. лейтенант
- Сообщения: 1095
- Зарегистрирован: 2007-09-15 16:45:26
- Контактная информация:
Re: ZFS, периодически затыкается
В 9-STABLE куча MFC: http://svnweb.freebsd.org/base/stable/9 ... e&view=log
GNU/Linux — это не Unix и даже никогда им не был, и, что самое смешное, никогда им не станет — GNU's Not Unix
-
pacman
- проходил мимо
- Сообщения: 1
- Зарегистрирован: 2013-05-08 14:07:15
Re: ZFS, периодически затыкается
Если еще актуально
Я бы изменил разметку диска
34 3907029101 ada0 GPT (1.8T)
- free - (1М)
1 freebsd-swap (1G)
2 freebsd-zfs (1.8T)
Разделы создавать через gpart c обязательной простановкой метки разделу например - swap_01, swap_02 для своп партиций, disk_01, disk_02 .. для zfs разделов.
Далее собираем zfs пул через метки /dev/gpt/disk_01 /dev/gpt/disk_02 ..
В fstab прописываем swap
# Device Mountpoint FStype Options Dump Pass#
/dev/gpt/swap_00 none swap sw 0 0
/dev/gpt/swap_01 none swap sw 0 0
/dev/gpt/swap_02 none swap sw 0 0
/dev/gpt/swap_03 none swap sw 0 0
/dev/gpt/swap_04 none swap sw 0 0
/dev/gpt/swap_05 none swap sw 0 0
/dev/gpt/swap_06 none swap sw 0 0
Ну как то так.
Имхо - Делать своп поверх zfs как то неправильно. Вы получаеете замкнутый цикл - zfs нехватает памяти, нужно в swap, а swap на zfs, а zfs не хватает памяти.
Я бы изменил разметку диска
34 3907029101 ada0 GPT (1.8T)
- free - (1М)
1 freebsd-swap (1G)
2 freebsd-zfs (1.8T)
Разделы создавать через gpart c обязательной простановкой метки разделу например - swap_01, swap_02 для своп партиций, disk_01, disk_02 .. для zfs разделов.
Далее собираем zfs пул через метки /dev/gpt/disk_01 /dev/gpt/disk_02 ..
В fstab прописываем swap
# Device Mountpoint FStype Options Dump Pass#
/dev/gpt/swap_00 none swap sw 0 0
/dev/gpt/swap_01 none swap sw 0 0
/dev/gpt/swap_02 none swap sw 0 0
/dev/gpt/swap_03 none swap sw 0 0
/dev/gpt/swap_04 none swap sw 0 0
/dev/gpt/swap_05 none swap sw 0 0
/dev/gpt/swap_06 none swap sw 0 0
Ну как то так.
Имхо - Делать своп поверх zfs как то неправильно. Вы получаеете замкнутый цикл - zfs нехватает памяти, нужно в swap, а swap на zfs, а zfs не хватает памяти.
