Влияние входящего трафика на исходящий во FreeBSD 7.2

Простые/общие вопросы по UNIX системам. Спросите здесь, если вы новичок

Модераторы: vadim64, terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
kamik
проходил мимо
Сообщения: 7
Зарегистрирован: 2011-10-28 19:35:24

Влияние входящего трафика на исходящий во FreeBSD 7.2

Непрочитанное сообщение kamik » 2011-10-28 19:45:01

Приветствую всех поклонников FreeBSD.

Недавно столкнулся с проблемой маршрутизации трафика во FreeBSD, вот в каком ключе. Есть сервер с ОС FreeBSD. Из сервера торчат три патчкорда, по 100 мбит/сек каждый. Каждый патчкорд подключен к своей сетевой плате. Один из трёх сетевых интерфейсов ( на прикрепленном скриншоте имя интерфейса bge1 ) принимает время от времени данные, при этом входящая скорость на нем достигает 7 мбайт/сек ( см. скриншот ). В момент приема данных скорость отдачи данных на двух других интерфейсах резко падает практически до нуля ( отмечено красными прямоугольниками на скриншоте ). Т.е. наблюдается чёткая зависимость Исходящего трафика на одних интерфейсах ( vr0 и bge0, см. скриншот ) от Входящего трафика на другом интерфейсе ( bge1 ). Кто-нибудь может подсказать с чем это связано и как этого избежать?
Вложения
cache_in_out_stream_small.jpg
Последний раз редактировалось f_andrey 2011-10-28 21:56:25, всего редактировалось 1 раз.
Причина: Автору, выбирайте пожалуйста раздел соответствуюший тематике вашего сообщения. приводите полную диагностику, больше логов больше вероятности ответа, а не флуда

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35456
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Влияние входящего трафика на исходящий во FreeBSD 7.2

Непрочитанное сообщение Alex Keda » 2011-10-28 22:36:52

vr на нормальное чё-то замените, для начала
Убей их всех! Бог потом рассортирует...

Аватара пользователя
NoResponse
мл. сержант
Сообщения: 76
Зарегистрирован: 2007-07-30 1:39:02
Контактная информация:

Re: Влияние входящего трафика на исходящий во FreeBSD 7.2

Непрочитанное сообщение NoResponse » 2011-10-28 22:39:48

мы должны догадаться что и как у вас настроено ?.. конфиги в студию
Я сам по себе скопище энтропии. А по законам термодинамики, если не принимать никаких действий энтропия стремится к бесконечности. Похоже, так оно и есть.

kamik
проходил мимо
Сообщения: 7
Зарегистрирован: 2011-10-28 19:35:24

Re: Влияние входящего трафика на исходящий во FreeBSD 7.2

Непрочитанное сообщение kamik » 2011-10-29 11:31:51

Alex Keda писал(а):vr на нормальное чё-то замените, для начала
Поясните свою мысль. Чем vr плох, по сравнению с bge?
NoResponse писал(а):мы должны догадаться что и как у вас настроено ?.. конфиги в студию
Какие именно конфиги необходимы? Вероятно вы ifconfig имеете ввиду. Что-нибудь ещё?

Код: Выделить всё

# ifconfig -a
vr0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=2808<VLAN_MTU,WOL_UCAST,WOL_MAGIC>
        ether 00:21:91:8a:5b:6d
        inet 192.168.1.3 netmask 0xffffff00 broadcast 192.168.1.255
        media: Ethernet autoselect (100baseTX <full-duplex>)
        status: active
bge0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=9b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM>
        ether 00:30:48:d2:6b:a6
        inet 89.108.122.114 netmask 0xfffffc00 broadcast 89.108.123.255
        media: Ethernet autoselect (100baseTX <full-duplex>)
        status: active
bge1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=9b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM>
        ether 00:30:48:d2:6b:a7
        inet 89.108.123.126 netmask 0xfffffc00 broadcast 89.108.123.255
        media: Ethernet autoselect (100baseTX <full-duplex>)
        status: active
pflog0: flags=141<UP,RUNNING,PROMISC> metric 0 mtu 33160
lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> metric 0 mtu 16384
        inet6 fe80::1%lo0 prefixlen 64 scopeid 0x5
        inet6 ::1 prefixlen 128
        inet 127.0.0.1 netmask 0xff000000
pfsync0: flags=0<> metric 0 mtu 1460
        syncpeer: 224.0.0.240 maxupd: 128

Аватара пользователя
vadim64
майор
Сообщения: 2101
Зарегистрирован: 2009-09-17 15:15:26
Откуда: Засратовец

Re: Влияние входящего трафика на исходящий во FreeBSD 7.2

Непрочитанное сообщение vadim64 » 2011-10-30 21:38:59

а кто такой красивый стат рисует?
Люди не делятся на национальности, партии, фракции и религии. Люди делятся на умных и дураков, а вот дураки делятся на национальности, партии, фракции и религии.

kamik
проходил мимо
Сообщения: 7
Зарегистрирован: 2011-10-28 19:35:24

Re: Влияние входящего трафика на исходящий во FreeBSD 7.2

Непрочитанное сообщение kamik » 2011-10-30 23:10:55

Утилита FreeBSD, ifstat называется. Отображает сетевую активность по каждому интерфейсу.

Аватара пользователя
AGN
ефрейтор
Сообщения: 63
Зарегистрирован: 2009-10-05 2:54:49
Откуда: MSK
Контактная информация:

Re: Влияние входящего трафика на исходящий во FreeBSD 7.2

Непрочитанное сообщение AGN » 2011-10-31 5:47:55

bge оба в одну подсеть смотрят... а что там с маршрутами?

kamik
проходил мимо
Сообщения: 7
Зарегистрирован: 2011-10-28 19:35:24

Re: Влияние входящего трафика на исходящий во FreeBSD 7.2

Непрочитанное сообщение kamik » 2011-10-31 9:07:06

Что касается маршрутов:

Код: Выделить всё

# netstat -r
Routing tables

Internet:
Destination        Gateway            Flags    Refs      Use  Netif Expire
default            gw5-gldn.agava.net UGS         0 778004672   bge0
89.108.120.0/22    link#2             UC          0        0   bge0
gw5-gldn.agava.net 00:04:9b:2b:a0:00  UHLW        2        0   bge0   1199
unknown-4579.agava 00:a0:d1:e8:42:ba  UHLW        1   803965   bge0   1199
dc-5.renter.ru     00:14:85:23:18:6a  UHLW        1        0   bge0   1115
localhost          localhost          UH          0       22    lo0
192.168.1.0        link#1             UC          0        0    vr0
storage            00:1e:0b:c1:d1:55  UHLW        1    13973    vr0   1119
cache01            00:21:91:8a:5b:6d  UHLW        1       36    lo0
db                 00:30:48:d2:6b:3d  UHLW        1     1952    vr0   1116

Internet6:
Destination        Gateway            Flags      Netif Expire
localhost          localhost          UHL         lo0
fe80::%lo0         fe80::1%lo0        U           lo0
fe80::1%lo0        link#5             UHL         lo0
ff01:5::           fe80::1%lo0        UC          lo0
ff02::%lo0         fe80::1%lo0        UC          lo0
Часть конфига etc/rc.conf, которая относится к сети:

Код: Выделить всё

ifconfig_vr0="inet 192.168.1.3 netmask 255.255.255.0"
ifconfig_bge0="inet 89.108.122.114 netmask 255.255.252.0"
ifconfig_bge1="inet 89.108.123.126 netmask 255.255.252.0"
defaultrouter="89.108.120.1"
keymap="ru.koi8-r"
nfs_client_enable="YES"

gateway_enable="YES"

pf_enable="YES"                 # Enable PF (load module if required)
pf_rules="/etc/pf.conf"         # rules definition file for pf
pf_flags=""                     # additional flags for pfctl startup
pflog_enable="YES"              # start pflogd(8)
pflog_logfile="/var/log/pflog"  # where pflogd should store the logfile
pflog_flags=""                  # additional flags for pflogd startup
Содержание файла etc/pf.conf:

Код: Выделить всё

ext_if1 = "bge1"
ext_if2 = "bge0"
gw1 = "89.108.120.1"
gw2 = "89.108.120.1"
ext_ip1 = "89.108.123.126"
ext_ip2 = "89.108.122.114"

pass in on $ext_if2 reply-to ($ext_if2 $gw2) from any to $ext_ip2 keep state
pass in on $ext_if1 reply-to ($ext_if1 $gw1) from any to $ext_ip1 keep state

Аватара пользователя
AGN
ефрейтор
Сообщения: 63
Зарегистрирован: 2009-10-05 2:54:49
Откуда: MSK
Контактная информация:

Re: Влияние входящего трафика на исходящий во FreeBSD 7.2

Непрочитанное сообщение AGN » 2011-10-31 13:10:01

Что-то я bge1 не вижу в таблице...
Вообще, я не направлял два интерфейса в одну сеть, но насколько я помню там какие-то грабли...
Народ, кто балансировку делал, подскажите как правильно объеденить два интерфейса в одну подсеть.

kamik
проходил мимо
Сообщения: 7
Зарегистрирован: 2011-10-28 19:35:24

Re: Влияние входящего трафика на исходящий во FreeBSD 7.2

Непрочитанное сообщение kamik » 2011-10-31 15:28:49

Скриншот с красными прямоугольниками устарел немного. Провода vr0 и bge1 поменяли местами, ничего не изменилось. Вот результат работы утилиты ifstat:

Код: Выделить всё

# ifstat -t -b -n
  Time           vr0                 bge0                bge1
HH:MM:SS   Kbps in  Kbps out   Kbps in  Kbps out   Kbps in  Kbps out
09:27:04   2676.20     56.08    445.81  15350.32    810.61  29997.36
09:27:05  17688.21    310.97    102.94   1196.64    158.47   1927.89
09:27:06  14485.10    254.04     62.22     34.28     68.21     48.39
09:27:07  17477.67    307.90     60.07     54.63     75.33      1.36
09:27:08  48546.16    861.54     62.36    300.60     73.20    536.89
09:27:09  60044.54   1061.73     56.02     25.54     57.28     98.18
09:27:10  13317.75    234.14     93.82    326.89     93.16    174.42
09:27:11  19050.13    341.75     60.20     82.21     54.02    766.96
09:27:12   8816.57    154.53    538.55  24449.21    682.96  31137.42
09:27:13      0.00      0.00   1016.78  42480.78   1432.04  66258.11
09:27:14      0.00      0.00    882.88  38468.15   1236.89  59914.95
09:27:15      0.00      0.00    550.88  22131.28    824.75  31448.54
09:27:16      0.00      0.00    692.08  29754.46    971.30  40753.13
09:27:17      0.00      0.00    913.58  41183.85   1362.73  60030.82
09:27:18      0.00      0.00    764.21  33855.65   1377.05  57059.10
09:27:19      0.00      0.00    682.84  28706.79   1214.88  50744.32
09:27:20      0.00      0.00    676.71  30429.34   1438.02  59751.06
09:27:21  40961.42    728.07    356.47  10942.66    473.29  13098.46
09:27:22  15647.82    273.94    225.59   7902.98    307.14  15269.47
09:27:23      0.00      0.00    972.20  41205.46   1207.49  56895.35
09:27:24      0.00      0.00   1041.05  44027.21   1172.16  49132.40
09:27:25      0.00      0.00   1019.60  44111.82    958.60  38732.15
09:27:26  22641.36    404.95    688.06  24849.70    600.63  21476.68
09:27:27  42882.94    756.20    112.47   1149.58     94.71    848.41
09:27:28  26110.97    464.76     67.88   1084.87     54.44     16.23
09:27:29  18112.24    318.43     56.38    184.38     79.60     51.92
09:27:30   5816.82    101.85     62.88    341.05     59.15    414.46
09:27:31      0.00      0.00    713.15  33472.66    897.79  40931.94
09:27:32      0.00      0.00    862.30  35458.17   1032.14  44304.45
09:27:33      0.00      0.00    825.31  35372.70   1010.34  40882.83
09:27:34      0.00      0.00    756.87  30215.21    696.31  28851.90
09:27:35  35168.39    626.23    395.37  13338.76    438.71  14544.64
09:27:36   3895.90     67.90    422.16  20351.23    362.00  18424.44
09:27:37      0.00      0.00    973.62  39803.24    893.16  36531.06
09:27:38      0.00      0.00    904.76  42408.59    910.35  43921.11
09:27:39      0.00      0.00    873.20  34087.84    815.74  30089.01
09:27:40  30876.22    551.24    358.34   8764.38    346.30  10033.54
09:27:41      0.00      0.00    853.07  37905.69    709.91  32062.93
09:27:42      0.00      0.00   1094.75  45102.55    905.80  38641.50
09:27:43   7992.56    148.58    591.33  18811.56    534.16  18335.45
09:27:44  66729.15   1174.20     85.69    552.02     79.18    576.68
09:27:45  51908.48    918.90     76.09    656.74     65.50    388.40

Аватара пользователя
AGN
ефрейтор
Сообщения: 63
Зарегистрирован: 2009-10-05 2:54:49
Откуда: MSK
Контактная информация:

Re: Влияние входящего трафика на исходящий во FreeBSD 7.2

Непрочитанное сообщение AGN » 2011-10-31 15:34:17

А там не суть куда провод сунуть... я про то, что два разных физических интерфейса смотрят в одну подсеть... это не есть правильно.
Может я и не прав и балансировка сделана уже так (я так не делал со времен 4 фри), но ради эксперимента один из интерфейсов смотрящих на 89.108.120.1 нада бы погасить.

kamik
проходил мимо
Сообщения: 7
Зарегистрирован: 2011-10-28 19:35:24

Re: Влияние входящего трафика на исходящий во FreeBSD 7.2

Непрочитанное сообщение kamik » 2011-10-31 16:40:16

AGN писал(а):А там не суть куда провод сунуть... я про то, что два разных физических интерфейса смотрят в одну подсеть... это не есть правильно.
Может я и не прав и балансировка сделана уже так (я так не делал со времен 4 фри), но ради эксперимента один из интерфейсов смотрящих на 89.108.120.1 нада бы погасить.
спасибо, попробую так сделать

kamik
проходил мимо
Сообщения: 7
Зарегистрирован: 2011-10-28 19:35:24

Re: Влияние входящего трафика на исходящий во FreeBSD 7.2

Непрочитанное сообщение kamik » 2011-10-31 22:19:09

спасибо всем за обсуждение, развязка тут http://www.cyberforum.ru/freebsd/thread ... page3.html