ZFS, периодически затыкается

[kharkov_max]

День добрый.

Есть Freebsd9 Stable, поднято на raidz из 6 дисков.
С дисками вроде все в порядке, smartmon ни чего плохого не находит, сама система вроде тоже работает нормально.

НО !!!
В системе поднят NFS3 сервер
На хранилище ночью льются с ESXi5 бекапы по nfs, так вот с недавнего времени процесс бекапа перестал нормально заканчиваться.
На ESXi5 точно проблемы нет !!!
По логу Esxi5 видно что в различное время бекапа диск NFS не отвечал и бекап отвалился по тайм ауту.

Несколько раз при копировании большого кол-ва файлов по samba замечал что сервер на 2-3 мин становится недоступным (залипает, пинги работают, ssh - нет, web - нет, samba - нет), потом отлипает и работает как ни в чем не бывало.

Подскажите как побороть косяк ...
Перерыл всесь инет, подходящего ответа не нашел.
Уже остановил все, кроме критичных сервисов (нужных для работы) - не помогло ...
Смотрел в логах - вроде ошибок каких то страшных и не очень страшных нет.
К примеру istgt действительно в это время зафиксировал ошибки обращения к диску ... Но это не дает ни какого понимания почему это произошло.

Собственно как отловить этот косяк ?
Готов показать конфиги sysctl и т.д., говорите что показать ...

Спасибо ...

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[kharkov_max]

Вообщем сегодня система в очередной раз заткнулась, и подвисла.

Полез в консоль и у видел:

Код: Выделить всё

...
swap_pager: indefinite wait buffer:
...

Помогла только жесткая перезагрузка ...
После перезагрузки zpool status показывает что все нормально.
Проверил состояние smart тоже все нормально.

Ошибка вызвана:
http://www.freebsd.org/doc/ru/books/faq ... ait-buffer

Это значит, что процесс пытается сбросить страницу памяти на диск, и попытка сделать это оканчивается неудачно вот уже в течение более чем 20 секунд. Это может быть вызвано испорченными блоками на диске, кабелями, подключением или другим оборудованием ввода/вывода. Если диск сам по себе на самом деле испорчен, вы также увидите ошибки работы с диском в /var/log/messages и при работе команды dmesg. В противном случае проверьте кабели и подключения.

В /var/log/messages тишина.

Далее сделал

Код: Выделить всё

gpart show
=>        34  3907029101  ada0  GPT  (1.8T)
          34           6        - free -  (3.0k)
          40        1024     1  freebsd-boot  (512k)
        1064  3907028064     2  freebsd-zfs  (1.8T)
  3907029128           7        - free -  (3.5k)

=>        34  3907029101  ada1  GPT  (1.8T)
          34           6        - free -  (3.0k)
          40        1024     1  freebsd-boot  (512k)
        1064  3907028064     2  freebsd-zfs  (1.8T)
  3907029128           7        - free -  (3.5k)

=>        34  3907029101  ada2  GPT  (1.8T)
          34           6        - free -  (3.0k)
          40        1024     1  freebsd-boot  (512k)
        1064  3907028064     2  freebsd-zfs  (1.8T)
  3907029128           7        - free -  (3.5k)

=>        34  3907029101  ada3  GPT  (1.8T)
          34           6        - free -  (3.0k)
          40        1024     1  freebsd-boot  (512k)
        1064  3907028064     2  freebsd-zfs  (1.8T)
  3907029128           7        - free -  (3.5k)

=>        34  3907029101  ada4  GPT  (1.8T)
          34           6        - free -  (3.0k)
          40        1024     1  freebsd-boot  (512k)
        1064  3907028064     2  freebsd-zfs  (1.8T)
  3907029128           7        - free -  (3.5k)

=>        34  3907029101  ada5  GPT  (1.8T)
          34           6        - free -  (3.0k)
          40        1024     1  freebsd-boot  (512k)
        1064  3907028064     2  freebsd-zfs  (1.8T)
  3907029128           7        - free -  (3.5k)

Верно ли я понимаю что такое понятие как swap в данной системе отсутствует ?
Собственно тогда и ошибка поэтому, система пытается писать в swap а его нет ...
Ну и изначальные глюки то же ...

[pimlab]

у менай подвисало когда swap отваливался в месте с диском на котором он был создан отдельным разделом ( raidz на 4етырех диска и на каздом еше раздел со swap ) и еше zfs с tmpfs совсем не дружит, если swap создан средствами самой zfs ... лично у меня так было

[iZEN]

Несколько часов назад в 9-STABLE прилетели обновления ZFS и исправления NFS: http://svnweb.freebsd.org/base/stable/9/?sortby=date

[kharkov_max]

Пересобрал, завтра будет видно после бекапа ...

[kharkov_max]

Вообщем пересборка мира и ядра проблему не решила.

Немного изменив системные переменные получилось сделать так что бы сервер не падал.
Т.е. как минимум бекап завершается с ошибкой, но сервер отвечает по ssh и работает далее, по samba, ftp ...

Есть подозоение что при ночном бекапе по NFS, сервер съедает всю ОЗУ (т.к. льется много данных), пытается писать в swap и в этот момент ошибка.
Т.к. судя по

Код: Выделить всё

gpart show
=>        34  3907029101  ada0  GPT  (1.8T)
          34           6        - free -  (3.0k)
          40        1024     1  freebsd-boot  (512k)
        1064  3907028064     2  freebsd-zfs  (1.8T)
  3907029128           7        - free -  (3.5k)

=>        34  3907029101  ada1  GPT  (1.8T)
          34           6        - free -  (3.0k)
          40        1024     1  freebsd-boot  (512k)
        1064  3907028064     2  freebsd-zfs  (1.8T)
  3907029128           7        - free -  (3.5k)

=>        34  3907029101  ada2  GPT  (1.8T)
          34           6        - free -  (3.0k)
          40        1024     1  freebsd-boot  (512k)
        1064  3907028064     2  freebsd-zfs  (1.8T)
  3907029128           7        - free -  (3.5k)

=>        34  3907029101  ada3  GPT  (1.8T)
          34           6        - free -  (3.0k)
          40        1024     1  freebsd-boot  (512k)
        1064  3907028064     2  freebsd-zfs  (1.8T)
  3907029128           7        - free -  (3.5k)

=>        34  3907029101  ada4  GPT  (1.8T)
          34           6        - free -  (3.0k)
          40        1024     1  freebsd-boot  (512k)
        1064  3907028064     2  freebsd-zfs  (1.8T)
  3907029128           7        - free -  (3.5k)

=>        34  3907029101  ada5  GPT  (1.8T)
          34           6        - free -  (3.0k)
          40        1024     1  freebsd-boot  (512k)
        1064  3907028064     2  freebsd-zfs  (1.8T)
  3907029128           7        - free -  (3.5k)

swap отсутствует.

Соственно:
1. Как, возможно другим методом проверить наличие swap.
2. Как проверить, если он есть, нормальную функциональность swap.
3. Как безболезненно, не потеряв данные на raidz создать swap, к сожалению подключить еще один диск - не получится, т.е. нужно как то изголится на этой FS.

Спасибо ...

[kharkov_max]

Хотя

Код: Выделить всё

zfs list rpool/swap
NAME         USED  AVAIL  REFER  MOUNTPOINT
rpool/swap  16,5G  7,19T  15,4G  -

>>zfs get all rpool/swap
NAME        PROPERTY              VALUE                 SOURCE
rpool/swap  type                  volume                -
rpool/swap  creation              чт май 17 15:25 2012  -
rpool/swap  used                  16,5G                 -
rpool/swap  available             7,19T                 -
rpool/swap  referenced            15,4G                 -
rpool/swap  compressratio         1.00x                 -
rpool/swap  reservation           none                  default
rpool/swap  volsize               16G                   local
rpool/swap  volblocksize          8K                    -
rpool/swap  checksum              off                   local
rpool/swap  compression           off                   default
rpool/swap  readonly              off                   default
rpool/swap  copies                1                     default
rpool/swap  refreservation        16,5G                 local
rpool/swap  primarycache          all                   default
rpool/swap  secondarycache        all                   default
rpool/swap  usedbysnapshots       0                     -
rpool/swap  usedbydataset         15,4G                 -
rpool/swap  usedbychildren        0                     -
rpool/swap  usedbyrefreservation  1,06G                 -
rpool/swap  logbias               latency               default
rpool/swap  dedup                 off                   default
rpool/swap  mlslabel                                    -
rpool/swap  sync                  standard              default
rpool/swap  refcompressratio      1.00x                 -
rpool/swap  written               15,4G                 -
rpool/swap  org.freebsd:swap      on                    local

Вроде как swap есть.
Но ошибка вот такая

Код: Выделить всё

swap_pager: indefinite wait buffer: bufobj: 0, blkno: 22335, size: 4096
и т.д. 

[kharkov_max]

Судя по состоянию swap он полностью задействован.

Сделал ребут серверу, смотрю - опять сразу после ребута

Код: Выделить всё

rpool/swap  written               15,4G 

По идее ни одна программа не могла его так бысто заполинть ...

[kharkov_max]

Еще одна странность.
top показывает что swap FREE, собственно по нему на swap и ориентировался ...

Код: Выделить всё

last pid:  2652;  load averages:  0.04,  0.03,  0.00                                                                                 up 0+00:36:35  09:29:14
111 processes: 1 running, 110 sleeping
CPU:  1.4% user,  0.0% nice,  0.2% system,  0.1% interrupt, 98.3% idle
Mem: 158M Active, 104M Inact, 2876M Wired, 12G Free
ARC: 2517M Total, 940M MFU, 1558M MRU, 2320K Anon, 7194K Header, 10M Other
Swap: 16G Total, 16G Free

[kharkov_max]

Что если попробовать

Код: Выделить всё

zfs destroy rpool/swap

и потом

Код: Выделить всё

zfs create -V 16Gb rpool/swap
zfs set org.freebsd:swap=on rpool/swap

т.е. пересоздать swap раздел ...

[Alvares]

Судя по состоянию swap он полностью задействован.

Сделал ребут серверу, смотрю - опять сразу после ребута

Код: Выделить всё

rpool/swap  written               15,4G 

По идее ни одна программа не могла его так бысто заполинть ...

Это вам показывается, сколько бывало заполнено У меня тоже своп был занят на 0%, а zfs показывала, что выделено места и занято места 100% (128М)

[kharkov_max]

Хорошо если так ...
Что можно еще посмотреть/помониторить в системе, ведь то что сервер падает - факт.

Сервер с которого идет бекап подключен к хранилищу напрямую, без свичей, карты гигабитные ...

[iZEN]

Натравить MHDD на все диски. Досконально проверить на бэд-блоки.

Код: Выделить всё

zfs set checksum=on rpool/swap

Если SWAP быстро заполняется, то значит не хватает оперативной памяти. Нужно добавить оперативки.

Обновить систему до 9.1-STABLE из SVN. Про CVS забудьте.

[kharkov_max]

Натравить MHDD на все диски. Досконально проверить на бэд-блоки.

Код: Выделить всё

zfs set checksum=on rpool/swap

Если SWAP быстро заполняется, то значит не хватает оперативной памяти. Нужно добавить оперативки.

Обновить систему до 9.1-STABLE из SVN. Про CVS забудьте.

1. MHDD все проверно - проблем нет, это сделал в первую очередь
2. Система обновлялась из SVN до 9.1-STABLE и ни как по другому.
3. Сделал checksum=on, но что то кажется что не поможет.

Меня смущает что

Код: Выделить всё

rpool/swap  written               15,4G 

Как то мне кажется что не верно что сама zfs показывает не текущее состояние swap, а как писал Alvares максимальное которое было когда-то ...
Оперативы и так 16Гб, на серверах с меньшим кол-вом ОЗУ, правда под 8.2 работает при гораздо большей нагрузке без проблем ...
Swap делал 16Гб именно исходя из соображений кол-ва ОЗУ.

[iZEN]

Попробуйте пересоздать SWAP, сделать его размер не больше 4 гигабайта и включить на нём сжатие данных LZ4 (которое недавно появилось в ZFS, zfs пул нужно будет апгрейдить). После этого понаблюдайте за поведением.

[kharkov_max]

А почему не более 4Гб ?

[kharkov_max]

Собственно пересоздал swap, перегрузил сервер, завтра будет видно чем все закончилось.

[iZEN]

Собственно пересоздал swap, перегрузил сервер, завтра будет видно чем все закончилось.

Проверку контрольных сумм блоков включили? Включите!

[iZEN]

А почему не более 4Гб ?

Это для оперативного контроля.

[kharkov_max]

Собственно пересоздал swap, перегрузил сервер, завтра будет видно чем все закончилось.

Проверку контрольных сумм блоков включили? Включите!

Спс, включил.

[iZEN]

После всех манипуляций желательно перезагрузить.

[kharkov_max]

Да, конечно перегрузил.

Наступило утро, сервер не отвечает.
В консоли сообщение от sendmail о невозможности записать сообщение.

Ошибки

Код: Выделить всё

swap_pager: indefinite wait buffer: bufobj: 0,

нет.

Пошел ребутить кнопкой ....

Какие еще будут варианты ?

[iZEN]

Память проверить мемтестом.

[kharkov_max]

ОЗУ как вариант, но уверен что с ОЗУ все нормально.
Сервер падает только при NFS бакапах, когда на приличной скорости льются большие файлы 32-40 Гб

После ребута writen 14Gb, т.е. похоже что в swap написало 14 Гб.
Пока увеличил swap до 48Гб, понимаю что это не выход.

Вопрос в следующем, почему при записи на NFS система начинает активно использовать Swap?

[spf]

Дедупликация включена?

У меня при включенной дедупликации сервер вис.