Проблема FreeBSD+MPD5: ограничение в 5Мбит/с

[KES]

Столкнулся с проблемой, что клиент Win не может прокачать через PPTP тунель (FreeBSD+mpd5) трафик более 5Мбит/с.

Кто нибудь сталкивался с таким?

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[LimpTeaM]

может в процессор упирается?

[KES]

Нее, никак не в частоте:
Client: Core2Dure E8400@3000
Server: CPU: 6.4% user, 0.0% nice, 1.9% system, 0.4% interrupt, 91.4% idle

[vadim64]

Конфиги, логи

[KES]

Код: Выделить всё

EK> Hi

EK> #top -SI
EK> last pid: 67653;  load averages:  1.23,  1.12,  1.24              up 1+09:46:14  20:22:34
EK> 94 processes:  3 running, 76 sleeping, 15 waiting
EK> CPU:  0.0% user,  0.0% nice, 33.3% system, 66.7% interrupt,  0.0% idle
EK> Mem: 54M Active, 226M Inact, 103M Wired, 59M Buf, 103M Free
EK> Swap: 2048M Total, 2048M Free

EK>   PID USERNAME    THR PRI NICE   SIZE    RES STATE    TIME   WCPU COMMAND
EK>    13 root          1 106    -     0K     8K RUN    251:36 49.02% ng_queue
EK>    11 root          1 171 ki31     0K     8K RUN     21.5H 35.60% idle
EK>    12 root         15 -44    -     0K   120K WAIT    31:04 12.06% intr
EK>     0 root          9 -68    0     0K    64K -       18:13  0.49% kernel
EK> 67618 root          1  44    0 10020K  2312K ttyin    0:00  0.34% systat
EK> 18710 root          2  44    0 84660K 62868K select  16:11  0.29% mpd5
EK> 67653 root          1  44    0  9944K  2020K RUN      0:00  0.15% top

EK> there are no queues nor pipes in ipfw.


EK> #systat -v
EK>       users    Load

EK> Mem:KB    REAL            VIRTUAL                       VN PAGER  SWAP PAGER
EK>         Tot   Share      Tot    Share    Free           in   out  in   out
EK> Act                                            count
EK> All                                            pages
EK> Proc:                                                            Interrupts
EK>   r   p   d   s   w   Csw  Trp  Sys  Int  Sof  Flt        cow     total
EK>                                                           zfod
EK>                                                           ozfod
EK>   . %Sys    . %Intr   . %User   . %Nice   . %Idle        %ozfod
EK> |    |    |    |    |    |    |    |    |    |    |       daefr
EK>                                                           prcfr
EK>                                            dtbuf          totfr
EK> Namei     Name-cache   Dir-cache           desvn          react
EK>    Calls    hits   %    hits   %           numvn          pdwak
EK>                                            frevn          pdpgs
EK>                                                           intrn
EK> Disks   ad0                                               wire
EK> KB/t                                                      act
EK> tps                                                       inact
EK> MB/s                                                      cache
EK> %busy                                                     free


EK> # vmstat -i
EK> interrupt                          total       rate
EK> irq1: atkbd0                        1203          0
EK> irq14: ata0                       139502          1
EK> irq15: ata1                           35          0
EK> irq19: sis0                            0          0
EK> cpu0:timer                     258485585       2124
EK> Total                          783059828       6436

EK> # ifconfig sis0
EK> sis0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
EK>         options=82048<VLAN_MTU,POLLING,WOL_MAGIC,LINKSTATE>
EK>         ether 00:0b:6a:a6:0c:f0
EK>         inet 10.11.8.18 netmask 0xffffff00 broadcast 10.11.8.255
EK>         inet6 fe80::20b:6aff:fea6:cf0%sis0 prefixlen 64 scopeid 0x1
EK>         inet R.E.A.L netmask 0xfffffffc broadcast X.X.X.X
EK>         nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
EK>         media: Ethernet autoselect (100baseTX <full-duplex>)
EK>         status: active

EK> #netstat -s
EK> tcp:
EK>         205416 packets sent
EK>                 124715 data packets (8022081 bytes)
EK>                 1425 data packets (99472 bytes) retransmitted
EK>                 38 data packets unnecessarily retransmitted
EK>                 0 resends initiated by MTU discovery
EK>                 75509 ack-only packets (64514 delayed)
EK>                 0 URG only packets
EK>                 0 window probe packets
EK>                 0 window update packets
EK>                 3824 control packets
EK>         1653273 packets received
EK>                 115656 acks (for 8017539 bytes)
EK>                 1967 duplicate acks
EK>                 0 acks for unsent data
EK>                 104386 packets (4886466 bytes) received in-sequence
EK>                 62 completely duplicate packets (1512 bytes)
EK>                 0 old duplicate packets
EK>                 0 packets with some dup. data (0 bytes duped)
EK>                 4 out-of-order packets (112 bytes)
EK>                 0 packets (0 bytes) of data after window
EK>                 0 window probes
EK>                 3 window update packets
EK>                 1 packet received after close
EK>                 4 discarded for bad checksums
EK>                 0 discarded for bad header offset fields
EK>                 0 discarded because packet too short
EK>                 0 discarded due to memory problems
EK>         1441 connection requests
EK>         1091 connection accepts
EK>         0 bad connection attempts
EK>         6726 listen queue overflows
EK>         25 ignored RSTs in the windows
EK>         2530 connections established (including accepts)
EK>         111289 connections closed (including 214 drops)
EK>                 2185 connections updated cached RTT on close
EK>                 2267 connections updated cached RTT variance on close
EK>                 1516 connections updated cached ssthresh on close
EK>         2 embryonic connections dropped
EK>         107299 segments updated rtt (of 107034 attempts)
EK>         1434 retransmit timeouts
EK>                 68 connections dropped by rexmit timeout
EK>         0 persist timeouts
EK>                 0 connections dropped by persist timeout
EK>         0 Connections (fin_wait_2) dropped because of timeout
EK>         0 keepalive timeouts
EK>                 0 keepalive probes sent
EK>                 0 connections dropped by keepalive
EK>         554 correct ACK header predictions
EK>         19107 correct data packet header predictions
EK>         6278 syncache entries added
EK>                 4 retransmitted
EK>                 0 dupsyn
EK>                 5 dropped
EK>                 1091 completed
EK>                 0 bucket overflow
EK>                 0 cache overflow
EK>                 1 reset
EK>                 0 stale
EK>                 6726 aborted
EK>                 0 badack
EK>                 0 unreach
EK>                 0 zone failures
EK>         6283 cookies sent
EK>         1540 cookies received
EK>         19 SACK recovery episodes
EK>         40 segment rexmits in SACK recovery episodes
EK>         18640 byte rexmits in SACK recovery episodes
EK>         298 SACK options (SACK blocks) received
EK>         2 SACK options (SACK blocks) sent
EK>         0 SACK scoreboard overflow
EK>         0 packets with ECN CE bit set
EK>         0 packets with ECN ECT(0) bit set
EK>         0 packets with ECN ECT(1) bit set
EK>         0 successful ECN handshakes
EK>         0 times ECN reduced the congestion window
EK> udp:
EK>         2633751 datagrams received
EK>         0 with incomplete header
EK>         1 with bad data length field
EK>         79 with bad checksum
EK>         31975 with no checksum
EK>         2172028 dropped due to no socket
EK>         158299 broadcast/multicast datagrams undelivered
EK>         0 dropped due to full socket buffers
EK>         0 not for hashed pcb
EK>         303344 delivered
EK>         316572 datagrams output
EK>         0 times multicast source filter matched
EK> sctp:
EK> .......
EK> ip:
EK>         617221119 total packets received
EK>         99 bad header checksums
EK>         0 with size smaller than minimum
EK>         0 with data size < data length
EK>         0 with ip length > max ip packet size
EK>         0 with header length < data size
EK>         0 with data length < header length
EK>         0 with bad options
EK>         0 with incorrect version number
EK>         66 fragments received
EK>         0 fragments dropped (dup or out of space)
EK>         0 fragments dropped after timeout
EK>         33 packets reassembled ok
EK>         188676089 packets for this host
EK>         46175 packets for unknown/unsupported protocol
EK>         428113078 packets forwarded (0 packets fast forwarded)
EK>         366167 packets not forwardable
EK>         0 packets received for unknown multicast group
EK>         0 redirects sent
EK>         356645899 packets sent from this host
EK>         10295 packets sent with fabricated ip header
EK>         514772 output packets dropped due to no bufs, etc.
EK>         0 output packets discarded due to no route
EK>         88839756 output datagrams fragmented
EK>         177696236 fragments created
EK>         304600 datagrams that can't be fragmented
EK>         0 tunneling packets that can't find gif
EK>         0 datagrams with bad address in header
EK> icmp:
EK>         2347631 calls to icmp_error
EK>         31 errors not generated in response to an icmp message
EK>         Output histogram:
EK>                 echo reply: 2129
EK>                 destination unreachable: 2346451
EK>                 time exceeded: 49
EK>         0 messages with bad code fields
EK>         0 messages less than the minimum length
EK>         0 messages with bad checksum
EK>         0 messages with bad length
EK>         0 multicast echo requests ignored
EK>         0 multicast timestamp requests ignored
EK>         Input histogram:
EK>                 echo reply: 8242
EK>                 destination unreachable: 4417
EK>                 routing redirect: 37388
EK>                 echo: 2129
EK>                 time exceeded: 7414
EK>         2129 message responses generated
EK>         0 invalid return addresses
EK>         0 no return routes
EK>         ICMP address mask responses are disabled
EK> igmp:
EK> .....
EK> arp:
EK>         825 ARP requests sent
EK>         26292 ARP replies sent
EK>         246041 ARP requests received
EK>         761 ARP replies received
EK>         246802 ARP packets received
EK>         29 total packets dropped due to no ARP entry
EK>         373 ARP entrys timed out
EK>         0 Duplicate IPs seen
EK> *6:
EK>  .... all values are zero (no ipv6)

EK> pings from client machine to inet (tunnel over pptp):
EK> Ответ от 93.158.134.3: число байт=32 время=64мс TTL=55
EK> Ответ от 93.158.134.3: число байт=32 время=64мс TTL=55
EK> Ответ от 93.158.134.3: число байт=32 время=90мс TTL=55
EK> Ответ от 93.158.134.3: число байт=32 время=60мс TTL=55
EK> Ответ от 93.158.134.3: число байт=32 время=55мс TTL=55
EK> Ответ от 93.158.134.3: число байт=32 время=56мс TTL=55
EK> Ответ от 93.158.134.3: число байт=32 время=64мс TTL=55
EK> Ответ от 93.158.134.3: число байт=32 время=98мс TTL=55
EK> Ответ от 93.158.134.3: число байт=32 время=187мс TTL=55
EK> Ответ от 93.158.134.3: число байт=32 время=137мс TTL=55
EK> Ответ от 93.158.134.3: число байт=32 время=249мс TTL=55
EK> Ответ от 93.158.134.3: число байт=32 время=73мс TTL=55
EK> Ответ от 93.158.134.3: число байт=32 время=159мс TTL=55
EK> Ответ от 93.158.134.3: число байт=32 время=106мс TTL=55
EK> Ответ от 93.158.134.3: число байт=32 время=75мс TTL=55
EK> Ответ от 93.158.134.3: число байт=32 время=58мс TTL=55

EK> # netstat -w 1 -h -d -I sis0
EK>        9.8K     0     0       7.7M        12K     0       7.9M    0     0
EK>       9.3K     0     0       7.4M        12K     0       7.6M     0     0
EK>       7.2K     0     0       5.5M       9.1K     0       5.7M     0     0
EK>       7.5K     0     0       5.7M       8.9K     0       5.8M     0     0
EK>       8.4K     0     0       6.6M        11K     0       6.8M     0     0
EK>       8.9K     0     0       7.1M        11K     0       7.3M     0     0
EK>       8.4K     0     0       6.8M        11K     0       7.0M     0     0
EK>             input         (sis0)           output
EK>    packets  errs idrops      bytes    packets  errs      bytes colls drops
EK>       8.5K     0     0       6.8M        11K     0       7.0M     0     0
EK>       9.3K     0     0       7.4M        12K     0       7.6M     0     0
EK>       8.0K     0     0       6.4M        10K     0       6.5M     0     0
EK>       7.2K     0     0       5.6M       9.3K     0       5.8M     0   187
EK>       8.4K     0     0       6.8M        11K     0       6.9M     0     0
EK>       7.9K     0     0       6.0M       9.6K     0       6.1M     0     0
EK>       8.2K     0     0       6.4M       9.9K     0       6.5M     0     0
EK>       8.5K     0     0       6.7M        10K     0       6.8M     0     0
EK>       8.0K     0     0       6.5M       9.9K     0       6.7M     0     0

EK> as you notice there are somitimes drops

EK> Uplink is 75Mbit/s wide.


EK> Where can be a trouble?


last pid: 67962;  load averages:  1.01,  0.97,  0.98                 up 1+11:47:53  22:24:13
93 processes:  3 running, 75 sleeping, 15 waiting
CPU:  0.8% user,  0.0% nice, 28.6% system, 37.6% interrupt, 32.9% idle
Mem: 56M Active, 227M Inact, 103M Wired, 59M Buf, 100M Free
Swap: 2048M Total, 2048M Free

  PID USERNAME    THR PRI NICE   SIZE    RES STATE    TIME   WCPU COMMAND
   11 root          1 171 ki31     0K     8K RUN     21.9H 64.11% idle
   13 root          1  60    -     0K     8K RUN    285:50 27.10% ng_queue
   12 root         15 -44    -     0K   120K WAIT    89:06  3.56% intr
67901 root          1  44    0  9944K  2020K RUN      0:01  0.10% top
18710 root          2  44    0 84660K 62876K select  17:03  0.05% mpd5

strange, but 'intr' is always 'WAIT'.
and what is ng_queue?

[vadim64]

ничё не понял. это переписка чтоли? пользуйтесь тэгами

Код: Выделить всё

[KES]

каюсь.

Код: Выделить всё

/etc/sysctl.conf
hw.pci.enable_msix=1
hw.pci.enable_msi=1
kern.ipc.nmbclusters=262144
kern.ipc.shmall=65536
kern.ipc.shmmax=268435456
kern.ipc.somaxconn=4096
kern.ipc.semmap=512
kern.maxfiles=204800
kern.maxfilesperproc=200000
kern.ipc.maxsockets=262144
kern.coredump=1
net.graph.maxdgram=128000
net.graph.recvspace=128000
ddb.panic=5

/boot/loader.conf
kern.ipc.nmbclusters=262144
kern.ipc.maxsockets=262144
net.graph.maxalloc=2048
kern.maxusers=1024
kern.ipc.maxpipekva=268435456
kern.maxfiles=204800
net.graph.maxdata=2048
kern.maxfilesperproc=200000
kern.ipc.maxsockbuf=524288

По прошлому посту: это вывод системных команд, когда сетевая подсистема ведёт себя дивным образом:
1. Потеря пакетов через PPTP
2. ООООЧЕНЬ низкая скорость: менее мегабита
Начинает она себя вести так, когда юзеров около 100 онлайн. Когда онлайн падает до 10чел, система продолжает тормозить

[server801]

уберите пока параметры из sysctrl. оставьте пока это

Код: Выделить всё

kern.maxfilesperproc=200000
kern.ipc.maxsockbuf=524288
kern.maxfiles=204800
kern.maxfilesperproc=200000
kern.ipc.maxsockets=262144

что будет , поглядите
З.Ы
а версия мпд какая ?

[KES]

# mpd5 -v
Version 5.5 (root@vpn.in 17:25 9-Oct-2010)

[KES]

Код: Выделить всё

#top -SIHP
last pid: 96166;  load averages:  2.35,  1.96,  1.46    up 6+08:29:10  19:05:30
88 processes:  3 running, 70 sleeping, 15 waiting
CPU:  1.2% user,  0.0% nice, 35.3% system, 47.1% interrupt, 16.5% idle
Mem: 65M Active, 261M Inact, 106M Wired, 59M Buf, 54M Free
Swap: 2048M Total, 2048M Free

  PID USERNAME   PRI NICE   SIZE    RES STATE    TIME   WCPU COMMAND
   13 root        76    -     0K     8K RUN     21.0H 47.51% ng_queue
   11 root       171 ki31     0K     8K RUN     78.7H 37.70% idle
   12 root       -44    -     0K   120K WAIT    39.5H 12.50% {swi1: netisr 0}
   12 root       -32    -     0K   120K WAIT   144:17  0.44% {swi4: clock}
    0 root       -68    0     0K    64K -       83:15  0.24% {dummynet}
63297 bind        44    0 76952K 63400K ucond   19:39  0.15% {named}
96166 root        44    0  9944K  2020K RUN      0:00  0.10% top

[KES]

Код: Выделить всё

last pid: 35405;  load averages:  0.00,  0.00,  0.00   up 10+18:30:46  19:12:21
91 processes:  2 running, 73 sleeping, 16 waiting
CPU:  0.0% user,  0.0% nice,  3.7% system,  2.6% interrupt, 93.6% idle
Mem: 361M Active, 739M Inact, 323M Wired, 27M Cache, 213M Buf, 525M Free
Swap: 4063M Total, 4063M Free

  PID USERNAME   PRI NICE   SIZE    RES STATE    TIME   WCPU COMMAND
   11 root       171 ki31     0K    16K RUN    178.3H 100.00% idle: cpu0

Пинг через VPN
Ответ от 87.250.250.3: число байт=32 время=50мс TTL=53
Ответ от 87.250.250.3: число байт=32 время=47мс TTL=53
Ответ от 87.250.250.3: число байт=32 время=68мс TTL=53
Ответ от 87.250.250.3: число байт=32 время=46мс TTL=53
Ответ от 87.250.250.3: число байт=32 время=49мс TTL=53
Ответ от 87.250.250.3: число байт=32 время=101мс TTL=53
Ответ от 87.250.250.3: число байт=32 время=140мс TTL=53
Ответ от 87.250.250.3: число байт=32 время=80мс TTL=53
Ответ от 87.250.250.3: число байт=32 время=199мс TTL=53
Ответ от 87.250.250.3: число байт=32 время=55мс TTL=53
Ответ от 87.250.250.3: число байт=32 время=48мс TTL=53
Ответ от 87.250.250.3: число байт=32 время=160мс TTL=53
Ответ от 87.250.250.3: число байт=32 время=68мс TTL=53
Ответ от 87.250.250.3: число байт=32 время=74мс TTL=53
Ответ от 87.250.250.3: число байт=32 время=47мс TTL=53
Ответ от 87.250.250.3: число байт=32 время=49мс TTL=53
Ответ от 87.250.250.3: число байт=32 время=56мс TTL=53

online 120 человек, такая нагрузка в природе быть не может. 8-10% должно быть нагружено, как обычно.

[KES]

Проверял на вот этих трёх машинах, ситуация одинаковая
hw.machine: i386
hw.model: Intel(R) Atom(TM) CPU 330 @ 1.60GHz
hw.ncpu: 4
hw.physmem: 2124136448
machdep.tsc_freq: 1618353372

hw.machine: amd64
hw.model: AMD Athlon(tm) 64 Processor 3000+
hw.ncpu: 1
hw.physmem: 2134315008
machdep.tsc_freq: 1809280953

hw.machine: i386
hw.model: AMD Sempron(tm) 2200+
hw.ncpu: 1
hw.usermem: 427724800
machdep.tsc_freq: 1505233327

[0utl4w]

Здравствуйте, у меня подобная проблема в офисе. Стоит сервер на Фряхе 7.2, на нём mpd5 поднимает pppoe соединение в инет, а затем vpn соединение до сервера на Винде 2003 в другом городе. Клиенты у меня в офисе через Remote Desktop заходят на виндовый сервер и там работают. Проблема состоит в следующем: работа с программами изрядно притормаживает! (( Причём, если клиенты на своих виндовых машинах создают vpn соединение стандартными виндовыми средствами и цепляются к тому же самому 2003 серваку, то проги практически летают (такой вариант не используется по понятной причине - весь трафик заворачивается в это соединение и прогоняется через удалённый сервак, а с маршрутизацией на каждой тачке запариваться нет желания). В чём может быть причина тормозов?
Изначально использовался natd, чтобы заворачивать инет трафик, и его копия (natd2), чтобы заворачивать трафик RDP до удалённого сервака. Думал из-за таких извращений тормоза. Решил убрать копию ната и поставить утилитку bounce, чтобы пробрасывать порты, теперь юзеры цепляются как бы к местному серваку, а проброс идёт до удалённого. Скорость чуток увеличилась, но незначительно! Лично я грешу, что созданное mpd-хой VPN соединение не обеспечивает необходимую пропускную способность, но куда копать - ума не приложу. Вертел опцию set link bandwidth - никакого эффекта. Может кто знает какие хитрости или сталкивался с подобным? Буду очень признателен!

[KES]

поставил 9-ку. быстрее стало, только она сырая и раз в 3 дня сервер зависает.
можно изменить опцию kern.hz, чтобы она соответствовала option HZ=xxxx
можно попробовать откомпилировать с большим HZ и смотреть как работает. Если компьютер начнёт затыкатся по прерываниям, то HZ уменьшить назад.

[Alex Keda]

а у меня по нескольку недель аптайм...

[KES]

на однопроцессорном уже месяц, а вот на SMP падает (( net_swi

[lolwut]

клиент Win не может прокачать через PPTP тунель (FreeBSD+mpd5) трафик более 5Мбит/с.

больше ~ 4 Мбит не выходит? IMHO это глюк виндового РРРоЕ клиента, поставьте raspppoe и попробуйте - увидите больше

P.S. сорри что некропостингом занимаюсь, но вдруг кто-то поском наткнется, как я например

P.P.S.

hw.model: Intel(R) Atom(TM) CPU 330 @ 1.60GHz

как себя ведут атомы в качестве мпд серванта?

[hizel]

лучше младцший целик купить, те же деньги - производительность в два раза более, да простит меня Лис :-)

[KES]

Уже забыл эту тему... спустя некоторое время решил вопрос, к сожалению не помню как.
PPPoE не использую.

>hw.model: Intel(R) Atom(TM) CPU 330 @ 1.60GHz
на 7-ке работал нормально, на 9-ке Corei3 падал 2010-11, пришлось отключить процы, на одноядерке работает, 400клиентов тянет без напряга.
Сейчас атом на 9-ке 2011-02 собираю буду смотреть как в многопроцессорном себя ведёт, мож что с того времени пофиксили уже.

[vadim64]

а почему карент? почему не стэйбл?

[KES]

Мне больше карент нравиться.
ЗЫ. А есть 9 стейбл?

[vadim64]

8 ветка)))

[lolwut]

лучше младцший целик купить, те же деньги - производительность в два раза более

так то оно так, но это размером практически со свич, т.е. при нужде даже в ящик влезет, не говоря уже про энергопотребление (читай: UPS-а на дОльше хватит)

PPPoE не использую.

в контексте mpd практически монопенисуально РРРоЕ там или РРТР

>hw.model: Intel(R) Atom(TM) CPU 330 @ 1.60GHz
на 7-ке работал нормально
...
400клиентов тянет без напряга

вот спасибо! а трафика (mbps/pps) сколько? а то ведь 400 клиентов с 128Кбит это не 400 с 1Мбит

[KES]

ппс 20к 120М