Сетевая производительность Freebsd 7.2

Все вопросы по установке, обновлению и эксплуатации FreeBSD: конфигурация и сопровождение.

Модератор: terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
gilas
мл. сержант
Сообщения: 85
Зарегистрирован: 2009-02-16 18:48:58

Сетевая производительность Freebsd 7.2

Непрочитанное сообщение gilas » 2010-08-16 17:34:10

Приветствую!

Имеется большая локальная сеть и игровые сервера (контра, battlefield, aion и т.д.). Игровые сервера располагаются на 3-х серверах.

сервер1 - freebsd 7.2 выполняет роль НАТ-сервера. нат ядерный из bsd 7* (принимает входящие подключения и прозрачно пробрасывает их на след. два сервера) . Ядро custom, polling .Железо: rl0, fxp0, 1 GB DDR 1, Процессор 1x 3.20 mhz intel
сервер2 - freebsd 7.2 - игры. Железо: Процессор 2x 2.6 intel dual core, 4 GB DDR 2. Ядро custom
сервер2 - freebsd 7.2 - игры. Железо: Процессор 2x 2.6 intel dual core, 4 GB DDR 2. Ядро custom

С недавних пор производительности сервер1 стало не хватать. Как уже понятно, его задача - роутить трафик на 2 остальные сервера. Игроки стали жаловаться на пинг в активные часы игры (вечера, выходные). Погуглив, нашел эту http://forum.nag.ru/forum/lofiversion/i ... 28975.html и эту http://www.cyberciti.biz/faq/freebsd-de ... -tutorial/ тему. Из вышеперечисленного мало что понял (советы даются для 1 gb сетевых плат).

Кроме этого волнует параметр:

Код: Выделить всё

# sysctl -a | grep kern.polling.lost_polls
kern.polling.lost_polls: 579947
sysctl -a | grep kern.polling.lost_polls
kern.polling.lost_polls: 580077
число которого достаточно быстро растет. На многих форумах пишут о том, что это сигнал для начала тюнинга :smile: , чем и занялся.

sysctl сервера1 :

Код: Выделить всё

et.inet.ip.fw.one_pass=1

net.inet.tcp.delayed_ack=0

net.inet.icmp.maskrepl=0
net.inet.ip.random_id=1
net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1
net.inet.tcp.keepidle=14400
net.inet.tcp.keepintvl=150

net.inet.icmp.bmcastecho=0
net.inet.icmp.icmplim=50
kern.ipc.somaxconn=32768
net.link.ether.inet.max_age=1200
net.inet.icmp.maskrepl=0
net.inet.ip.sourceroute=0
net.inet.ip.accept_sourceroute=0
net.inet.icmp.bmcastecho=0
net.inet.tcp.msl=7500

security.bsd.see_other_uids=0
security.bsd.see_other_gids=0

net.local.stream.recvspace=65535
net.local.stream.sendspace=65535
net.inet.tcp.sendspace=131072
net.inet.tcp.recvspace=131072
net.inet.ip.fw.verbose_limit=10

net.inet.ip.fastforwarding=1

Конфиг ядра сервера1:

Код: Выделить всё

cpu             I686_CPU
ident           mykernel    

options         IPFIREWALL
options         IPFIREWALL_VERBOSE
options         IPFIREWALL_VERBOSE_LIMIT=100
options         IPFIREWALL_NAT
options         LIBALIAS
options         ROUTETABLES=2
options         HZ=1000
options         DEVICE_POLLING


device          pci
device          fdc
device          ata
device          sc
device          pmtimer
Пишу просьбу помочь в тюнинге сети сервера1. Производительность остальных двух серверов не ставится под сомнения, т.к. часть игроков заходят на них напрямую, из локальной сети и игровой процесс просто "летает". Внешний интернет тоже не при чем - проверенно разными способами. Т.е. дело непосредственно в сервере1, с ним и прошу помощи чтобы разобраться. Может есть какие-нибудь sysctl параметры, которые можно было бы покрутить на сервере, где простые 100 мегабитные сетевые карты?

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
server801
ст. лейтенант
Сообщения: 1421
Зарегистрирован: 2008-09-27 21:15:16
Откуда: Саратов
Контактная информация:

Re: Сетевая производительность Freebsd 7.2

Непрочитанное сообщение server801 » 2010-08-16 18:56:33

А можете статейку накатать по настройке такой связки? Мне скоро придется что то подобное поднимать.... :smile:

Аватара пользователя
hizel
дядя поня
Сообщения: 9032
Зарегистрирован: 2007-06-29 10:05:02
Откуда: Выборг

Re: Сетевая производительность Freebsd 7.2

Непрочитанное сообщение hizel » 2010-08-16 19:14:49

поставить нормальные\нормальную сетевую карту

кстати о какой производительности в килопакетах идет речь?
В дурацкие игры он не играет. Он просто жуткий, чу-чу, паровозик, и зовут его Блейн. Блейн --- это Боль.

gilas
мл. сержант
Сообщения: 85
Зарегистрирован: 2009-02-16 18:48:58

Re: Сетевая производительность Freebsd 7.2

Непрочитанное сообщение gilas » 2010-08-16 22:12:28

server801 писал(а):А можете статейку накатать по настройке такой связки? Мне скоро придется что то подобное поднимать.... :smile:
Рад буду поделиться опытом, прошу указать о чем конкретно должна быть статья. Если речь идет о ядерном НАТ-е и прозрачном пробросе портов, то одна из версий статьи уже есть на данном сайте.

hizel писал(а):поставить нормальные\нормальную сетевую карту

кстати о какой производительности в килопакетах идет речь?
К сожалению проект был разработан на бесплатной основе и является хобби, поэтому средств на хорошее железо нет. Работаем на том, что бог подаст :"": .

ps. Мой вопрос о производительности (приемущественно udp трафика) достаточно редкий и статей на эту тему я не видел. Может все-таки кто-то помочь в производительности, уверен, тут спецов много :oops:

Аватара пользователя
hizel
дядя поня
Сообщения: 9032
Зарегистрирован: 2007-06-29 10:05:02
Откуда: Выборг

Re: Сетевая производительность Freebsd 7.2

Непрочитанное сообщение hizel » 2010-08-16 22:13:52

о какой производительности в килопактеах идет речь?
В дурацкие игры он не играет. Он просто жуткий, чу-чу, паровозик, и зовут его Блейн. Блейн --- это Боль.

gilas
мл. сержант
Сообщения: 85
Зарегистрирован: 2009-02-16 18:48:58

Re: Сетевая производительность Freebsd 7.2

Непрочитанное сообщение gilas » 2010-08-16 22:20:39

hizel писал(а):о какой производительности в килопактеах идет речь?
Не могу оперировать цифрами, т.е. сообщить текущую загрузку (считалок трафика нет, т.к. экономлю и без того небольшие ресурсы) канала. Знаю точно речь не идет о 100%, в лучшем случае мой "роутер" прокачивает 30-40 мегабит.

Аватара пользователя
hizel
дядя поня
Сообщения: 9032
Зарегистрирован: 2007-06-29 10:05:02
Откуда: Выборг

Re: Сетевая производительность Freebsd 7.2

Непрочитанное сообщение hizel » 2010-08-16 22:32:44

Код: Выделить всё

man netstat

Код: Выделить всё

netstat -w 1
а как вы без цифирь собираетесь что-то оптимизировать :-\
В дурацкие игры он не играет. Он просто жуткий, чу-чу, паровозик, и зовут его Блейн. Блейн --- это Боль.

gilas
мл. сержант
Сообщения: 85
Зарегистрирован: 2009-02-16 18:48:58

Re: Сетевая производительность Freebsd 7.2

Непрочитанное сообщение gilas » 2010-08-16 22:37:20

hizel писал(а):

Код: Выделить всё

man netstat

Код: Выделить всё

netstat -w 1
а как вы без цифирь собираетесь что-то оптимизировать :-\
Цифры вроде как есть (lost polls в первом сообщении), к тому же я имел ввиду что не могу сказать сколько трафика прокачивается сейчас через мой сервер, но могу сказать что это не больше 50 mb.

Код: Выделить всё

# netstat -w 1
            input        (Total)           output
   packets  errs      bytes    packets  errs      bytes colls
       559     0      55115        552     0      84573     0
       482     0      45560        490     0      44342     0
       553     0      51069        545     0      49781     0
       501     0      53937        460     0      53105     0
       506     0      51093        492     0      50390     0
       516     0      51904        550     0      50781     0
       514     0      54879        556     0      54192     0
       647     0     100039        663     0      96906     0
       541     0      51105        504     0      47541     0

Аватара пользователя
hizel
дядя поня
Сообщения: 9032
Зарегистрирован: 2007-06-29 10:05:02
Откуда: Выборг

Re: Сетевая производительность Freebsd 7.2

Непрочитанное сообщение hizel » 2010-08-16 22:48:28

я бы на вашем месте поллинг выключил, он вам не нужен

что есть 50mb ?
В дурацкие игры он не играет. Он просто жуткий, чу-чу, паровозик, и зовут его Блейн. Блейн --- это Боль.

gilas
мл. сержант
Сообщения: 85
Зарегистрирован: 2009-02-16 18:48:58

Re: Сетевая производительность Freebsd 7.2

Непрочитанное сообщение gilas » 2010-08-16 22:53:47

hizel писал(а):я бы на вашем месте поллинг выключил, он вам не нужен

что есть 50mb ?
50 мегабит*, так звучит точнее. Могу поинтересоваться почему Вы дали такую рекоммендацию? Всегда считал что не на SMP ядрах поллинг это единственный и самый легкий тюнинг сетевой подсистемы.

Аватара пользователя
hizel
дядя поня
Сообщения: 9032
Зарегистрирован: 2007-06-29 10:05:02
Откуда: Выборг

Re: Сетевая производительность Freebsd 7.2

Непрочитанное сообщение hizel » 2010-08-16 22:57:28

я не вижу SMP в сервере1

50 мбит не показательны, показательны пакеты\с , сетевая карточка и ядро обрабатывает пакеты, только для tcp сделано много оптимизаций, udp и icmp обрабатываются как есть
В дурацкие игры он не играет. Он просто жуткий, чу-чу, паровозик, и зовут его Блейн. Блейн --- это Боль.

gilas
мл. сержант
Сообщения: 85
Зарегистрирован: 2009-02-16 18:48:58

Re: Сетевая производительность Freebsd 7.2

Непрочитанное сообщение gilas » 2010-08-16 23:30:56

hizel писал(а):я не вижу SMP в сервере1

50 мбит не показательны, показательны пакеты\с , сетевая карточка и ядро обрабатывает пакеты, только для tcp сделано много оптимизаций, udp и icmp обрабатываются как есть
Верно, процессор на сервере одноядерный и ядро собрано без SMP. Обратился за помощью как раз таки за оптимизацией udp :smile:

Аватара пользователя
server801
ст. лейтенант
Сообщения: 1421
Зарегистрирован: 2008-09-27 21:15:16
Откуда: Саратов
Контактная информация:

Re: Сетевая производительность Freebsd 7.2

Непрочитанное сообщение server801 » 2010-08-16 23:38:00

gilas писал(а):
server801 писал(а):А можете статейку накатать по настройке такой связки? Мне скоро придется что то подобное поднимать.... :smile:
Рад буду поделиться опытом, прошу указать о чем конкретно должна быть статья. Если речь идет о ядерном НАТ-е и прозрачном пробросе портов, то одна из версий статьи уже есть на данном сайте.

hizel писал(а):поставить нормальные\нормальную сетевую карту

кстати о какой производительности в килопакетах идет речь?
К сожалению проект был разработан на бесплатной основе и является хобби, поэтому средств на хорошее железо нет. Работаем на том, что бог подаст :"": .

ps. Мой вопрос о производительности (приемущественно udp трафика) достаточно редкий и статей на эту тему я не видел. Может все-таки кто-то помочь в производительности, уверен, тут спецов много :oops:
Всю схему с конфигами в подробностях если можно. :smile: