Freebsd9, сервер рвет подключения. Прошу помощи.
Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
- kharkov_max
- капитан
- Сообщения: 1862
- Зарегистрирован: 2008-10-03 14:56:40
Freebsd9, сервер рвет подключения. Прошу помощи.
День добрый.
Ситуация следующая.
Есть сервер Freebsd9.0 Amd64. Как FS используется ZFS. Сервер собран под файлопомойку (samba) и бекапы.
6 дисков по 2Тб в raidz. ОЗУ 16 Гб, проц i5.
На сервере поднято samba34, NFSv3, iSCSI (istgt).
В разделах для NFS и samba на zfs включен dedup.
Все вроде хорошо и работает, но с недавнего времени начал замечать следующее.
Некоторые ночные бекапы некорректно завершаются.
В часности с Esxi5 на freebsd по NFS льются бекапы виртуалок и в конце скрипт высылает письмо.
Письма перестали приходить, полез в бекапы на freebsd, часть виртуалок(бекапов) есть, а части нет.
В логе ESXi5 видно что freebsd разорвал коннект, примонтированный NFS отвалился, а потом опять подсоеденился.
Но для скрипта это критично и он завершил работу (перестал бекапить оставшееся, не отмонтировал раздел и не выслал письмо).
Данных с Esxi5 бекапится около 400Гб по гигабитному каналу.
Почему грешу именно на Freebsd, потому что если сервер freebsd перегрузить, то какое-то время (5-6 дней) все работает нормально.
А потом опять такая же ситуация.
Если сервер freebsd не перегрузить то ситуация с бекапами повторяется все следующие дни.
Точно такая же картина и с samba, по samba льются ночные бекапы в виндовых ПК.
Для решения проблемы предполагаю что необходимо сделать тюнинг системных переменных, но пока даже не знаю куда можно копать и что смотреть.
В логах вроде ни чего критичного не нашел.
Поскажите куда можно копнуть и что посмотреть.
Спасибо ...
Ситуация следующая.
Есть сервер Freebsd9.0 Amd64. Как FS используется ZFS. Сервер собран под файлопомойку (samba) и бекапы.
6 дисков по 2Тб в raidz. ОЗУ 16 Гб, проц i5.
На сервере поднято samba34, NFSv3, iSCSI (istgt).
В разделах для NFS и samba на zfs включен dedup.
Все вроде хорошо и работает, но с недавнего времени начал замечать следующее.
Некоторые ночные бекапы некорректно завершаются.
В часности с Esxi5 на freebsd по NFS льются бекапы виртуалок и в конце скрипт высылает письмо.
Письма перестали приходить, полез в бекапы на freebsd, часть виртуалок(бекапов) есть, а части нет.
В логе ESXi5 видно что freebsd разорвал коннект, примонтированный NFS отвалился, а потом опять подсоеденился.
Но для скрипта это критично и он завершил работу (перестал бекапить оставшееся, не отмонтировал раздел и не выслал письмо).
Данных с Esxi5 бекапится около 400Гб по гигабитному каналу.
Почему грешу именно на Freebsd, потому что если сервер freebsd перегрузить, то какое-то время (5-6 дней) все работает нормально.
А потом опять такая же ситуация.
Если сервер freebsd не перегрузить то ситуация с бекапами повторяется все следующие дни.
Точно такая же картина и с samba, по samba льются ночные бекапы в виндовых ПК.
Для решения проблемы предполагаю что необходимо сделать тюнинг системных переменных, но пока даже не знаю куда можно копать и что смотреть.
В логах вроде ни чего критичного не нашел.
Поскажите куда можно копнуть и что посмотреть.
Спасибо ...
Последний раз редактировалось f_andrey 2012-09-19 15:33:57, всего редактировалось 1 раз.
Причина: Автору, выбирайте пожалуйста раздел соответствуюший тематике вашего сообщения. приводите полную диагностику, больше логов больше вероятности ответа, а не флуда
Причина: Автору, выбирайте пожалуйста раздел соответствуюший тематике вашего сообщения. приводите полную диагностику, больше логов больше вероятности ответа, а не флуда
Услуги хостинговой компании Host-Food.ru
Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/
- skeletor
- майор
- Сообщения: 2548
- Зарегистрирован: 2007-11-16 18:22:04
Re: Freebsd9, сервер рвет подключения. Прошу помощи.
Мне кажется тоже проблемы с сетью, если вы говорите, что начинают глючить все сетевые приложения. Первым делом советовал бы немного подтюнить через sysctl:
Далее, посмотрите в messages, dmesg, kernel.log, console.log если там какие-то ошибки, которые относятся к сети.
Ещё как вариант, провести такой тест: не перегружать сервер, а к примеру делать down, up сетевухе непосредственно перед бэкапом. У меня на плохих сетевухах часто валились сообщения "No buffer space available". Помогало down,up сетевой карте. Периодичность - раз в неделю. Причина - раз в 2 минуты скрипт пускал пару пингов.
Напишите какие сетевые стоят.
Может у вас проблемы не с сеткой, а с дисками? Может винты залипают на пару секунд?
Код: Выделить всё
kern.ipc.somaxconn=3276
net.inet.tcp.sendspace=64395
net.inet.tcp.recvspace=64395
net.inet.tcp.sendbuf_max=16777216
net.inet.tcp.recvbuf_max=16777216
Ещё как вариант, провести такой тест: не перегружать сервер, а к примеру делать down, up сетевухе непосредственно перед бэкапом. У меня на плохих сетевухах часто валились сообщения "No buffer space available". Помогало down,up сетевой карте. Периодичность - раз в неделю. Причина - раз в 2 минуты скрипт пускал пару пингов.
Напишите какие сетевые стоят.
Может у вас проблемы не с сеткой, а с дисками? Может винты залипают на пару секунд?
- kharkov_max
- капитан
- Сообщения: 1862
- Зарегистрирован: 2008-10-03 14:56:40
Re: Freebsd9, сервер рвет подключения. Прошу помощи.
Спасибо за ответ.
Переменные уже поправил, теперь нужно понаблюдать поможет или нет.
С дисками проблемы точно нет, т.к. "залипание" (паркование головок) отключил утилитой от WD (все диски WD Green 2Тб.).
Сетевуха стоит модная ... intel 2х портовая (модель сейчас не скажу).
Я вот правда на эти 2 порта агрегацию сделал. Но не думаю что это может мешать ...
Скорее всего переполняется какой то буфер и сетевая система падает ...
Переменные уже поправил, теперь нужно понаблюдать поможет или нет.
С дисками проблемы точно нет, т.к. "залипание" (паркование головок) отключил утилитой от WD (все диски WD Green 2Тб.).
Сетевуха стоит модная ... intel 2х портовая (модель сейчас не скажу).
Я вот правда на эти 2 порта агрегацию сделал. Но не думаю что это может мешать ...
Скорее всего переполняется какой то буфер и сетевая система падает ...
- kharkov_max
- капитан
- Сообщения: 1862
- Зарегистрирован: 2008-10-03 14:56:40
Re: Freebsd9, сервер рвет подключения. Прошу помощи.
Пока полет нормальный.
Вопрос на засыпку.
А как можно "online" посмотреть текущее значание системных переменных
Т.е. скажем я выставил kern.ipc.somaxconn=3276, вот теперь хочется узнать какое значение этой переменной на текущий момент.
Вопрос не конкретно по этой переменной а вообще ...
Вопрос на засыпку.
А как можно "online" посмотреть текущее значание системных переменных
Т.е. скажем я выставил kern.ipc.somaxconn=3276, вот теперь хочется узнать какое значение этой переменной на текущий момент.
Вопрос не конкретно по этой переменной а вообще ...
-
- лейтенант
- Сообщения: 661
- Зарегистрирован: 2008-12-18 16:29:43
- Откуда: Ukraine/Kiev
- Контактная информация:
Re: Freebsd9, сервер рвет подключения. Прошу помощи.
sysctl -a || sysctl <param>
ну а так же man sysctl
ну а так же man sysctl
Человеку свойственно ошибаться, но для нечеловеческих ляпов нужен компьютер.
- kharkov_max
- капитан
- Сообщения: 1862
- Зарегистрирован: 2008-10-03 14:56:40
Re: Freebsd9, сервер рвет подключения. Прошу помощи.
Возможно вы меня не правильно поняли или я не верно сформулировал вопрос.
К примеру переменная kern.maxfiles=65536 определяет максимальное число дескрипторов файлов.
Так вот как узнать какое кол-во дескрипторов файлов система использует на конкретный момент времени.
А sysctl -a отображает не текущее значение, а установленное значение (максимальное)...
К примеру переменная kern.maxfiles=65536 определяет максимальное число дескрипторов файлов.
Так вот как узнать какое кол-во дескрипторов файлов система использует на конкретный момент времени.
А sysctl -a отображает не текущее значение, а установленное значение (максимальное)...
- kharkov_max
- капитан
- Сообщения: 1862
- Зарегистрирован: 2008-10-03 14:56:40
Re: Freebsd9, сервер рвет подключения. Прошу помощи.
Продолжаем разговор.
Вообщем привел сисемные переменные к такому виду:
После этого проблем с бекапами по NFS вроде как нету, но есть проблема с бекапами по samba.
Конфиг samba касательно tcp:
Т.е. через несколько дней после перезапуска samba комп начинает лить бекапы на сервер, но потом подключение благополучно разрывается сервером.
Если Samba перегрузить, то потом несколько дней все нормально бекапится, если не перегружать то дальнейшие дни, бекапов не будет.
При чем если в течении дня заходить на сервер по samba - все работает в обе стороны ...
Что можно еще протюнить касательно Samba ?
Вообщем привел сисемные переменные к такому виду:
Код: Выделить всё
vfs.vmiodirenable=1
net.inet.tcp.delayed_ack=0
net.inet.tcp.sendspace=65536
net.inet.tcp.recvspace=65536
kern.maxfiles=65536
kern.maxfilesperproc=65536
kern.ipc.maxsockets=204800
net.inet.tcp.sendbuf_max=16777216
net.inet.tcp.recvbuf_max=16777216
kern.ipc.nmbclusters=65536
Конфиг samba касательно tcp:
Код: Выделить всё
max xmit = 65536
socket options = IPTOS_LOWDELAY TCP_NODELAY SO_SNDBUF=65536 SO_RCVBUF=65536 SO_KEEPALIVE
read raw = yes
write raw = yes
Если Samba перегрузить, то потом несколько дней все нормально бекапится, если не перегружать то дальнейшие дни, бекапов не будет.
При чем если в течении дня заходить на сервер по samba - все работает в обе стороны ...
Что можно еще протюнить касательно Samba ?
- skeletor
- майор
- Сообщения: 2548
- Зарегистрирован: 2007-11-16 18:22:04
Re: Freebsd9, сервер рвет подключения. Прошу помощи.
Попробуйте вообще отключить socket options, иногда лучше работает, чем с ней. Либо не все опции сразу, а к примеру только SO_SNDBUF=65536 SO_RCVBUF=65536 или попробовать другие скомбинировать.