Подробное руководство по ipfw nat

[terminus]

Время от времени возникает такая проблема - закачки "затыкаются" на одном и том же месте. Тоже самое с видео с ютуба. Причем слабо зависит от загруженности канала. Что это может быть?

конфигурацию опишите свою подробно (2 провайдера и жесткое разделение?) и правила ipfw покажите.

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Snake]

Провайдер один, подключение pppoe, поднимается с помощью mpd4. Два канала. Ситуация наблюдается на обоих. правила ipfw:

Код: Выделить всё

#Pipes
$fw pipe 100 config bw $downi queue 65 #Internet 1 down
$fw pipe 200 config bw $upi   queue 65 #Internet 1 up
$fw pipe 300 config bw $downi queue 65 #Internet 2 down
$fw pipe 400 config bw $up2   queue 65 #Internet 2 up

#-----------------------------------
#Queues
#inet --> LAN
$fw queue 101 config weight $tcp2w queue 65 pipe 100 gred 0.002/10/30/0.1 mask dst-ip 0xffffffff
$fw queue 102 config weight $ip1w  queue 65 pipe 100 gred 0.002/10/30/0.1 mask dst-ip 0xffffffff
$fw queue 103 config weight $tcp1w queue 65 pipe 100 gred 0.002/10/30/0.1 mask dst-ip 0xffffffff

#LAN --> inet
$fw queue 201 config weight $tcp2w queue 65 pipe 200 gred 0.002/10/30/0.1 mask src-ip 0xffffffff
$fw queue 202 config weight $ip1w  queue 65 pipe 200 gred 0.002/10/30/0.1 mask src-ip 0xffffffff
$fw queue 203 config weight $tcp1w queue 65 pipe 200 gred 0.002/10/30/0.1 mask src-ip 0xffffffff

#inet --> LAN
$fw queue 301 config weight $tcp1w queue 65 pipe 300 gred 0.002/10/30/0.1 mask dst-ip 0xffffffff
$fw queue 302 config weight $ip1w  queue 65 pipe 300 gred 0.002/10/30/0.1 mask dst-ip 0xffffffff
#LAN --> inet
$fw queue 401 config weight $tcp1w queue 65 pipe 400 gred 0.002/10/30/0.1 mask src-ip 0xffffffff
$fw queue 402 config weight $ip1w  queue 65 pipe 400 gred 0.002/10/30/0.1 mask src-ip 0xffffffff

#-----------------------------------
#Kernel NAT Settings
$fw nat 100 config log if $inet reset same_ports deny_in redirect_port tcp $ipinet:12553 12553 redirect_port udp $ipinet:12553 12553 redirect_port tcp $ipinet:12554 12554 redirect_port udp $ipinet:12554 12554
$fw nat 200 config log if $inet2 reset same_ports deny_in

#-----------------------------------
##loopback
$fwa 01100 allow ip from any to any via lo0
$fwa 01200 deny ip from any to 127.0.0.0/8
$fwa 01300 deny ip from 127.0.0.0/8 to any
#-----------------------------------
$fwa 01400 setfib 0 ip from $users to any in recv $lan
$fwa 01450 setfib 0 ip from $users to any in recv $vlan
$fwa 01500 setfib 1 ip from $users2 to any in recv $lan
$fwa 01550 setfib 1 ip from $users2 to any in recv $vlan

##Deny networks
$fwa 2000 deny log ip from 10.0.0.0/8 to me in via $inet
$fwa 2050 deny log ip from any to 10.0.0.0/8 out via $inet
$fwa 2100 deny log ip from 172.16.0.0/12 to any in via $inet
$fwa 2150 deny log ip from any to 172.16.0.0/12 out via $inet
$fwa 2200 deny log ip from 192.168.0.0/16 to any in via $inet
$fwa 2250 deny log ip from any to 192.168.0.0/16 out via $inet
$fwa 2300 deny log ip from 10.0.0.0/8 to any in via $inet2
$fwa 2350 deny log ip from any to 10.0.0.0/8 out via $inet2
$fwa 2400 deny log ip from 172.16.0.0/12 to any in via $inet2
$fwa 2450 deny log ip from any to 172.16.0.0/12 out via $inet2
$fwa 2500 deny log ip from 192.168.0.0/16 to any in via $inet2
$fwa 2550 deny log ip from any to 192.168.0.0/16 out via $inet2

#-----------------------------------
##Administrating
$fwa 03000 allow tcp from $admins to me $adm_port in via $lan
$fwa 03050 allow tcp from me $adm_port to $admins out via $lan
$fwa 03100 allow tcp from $work to me $adm_port in via $inet
$fwa 03130 allow tcp from $work to me $usr_ports in via $inet
$fwa 03150 allow tcp from me $adm_port to $work out via $inet
$fwa 03170 allow tcp from me $usr_ports to $work out via $inet
$fwa 03199 deny log tcp from any to me $adm_port
#-----------------------------------
##Intranet connections
$fwa 03200 allow ip from $hostel to $iplan $usr_ports in via $lan
$fwa 03300 allow ip from me to $hostel out via $lan
$fwa 03350 allow ip from me to $hostel out via $vlan

$fwa 03400 allow ip from $users to not me in via $lan
$fwa 03450 allow ip from $users to not me in via $vlan
$fwa 03500 allow ip from not me to $users out via $lan
$fwa 03550 allow ip from not me to $users out via $vlan

$fwa 03800 allow ip from $users2 to not me in via $lan
$fwa 03850 allow ip from $users2 to not me in via $vlan
$fwa 03900 allow ip from not me to $users2 out via $lan
$fwa 03950 allow ip from not me to $users2 out via $vlan

#-----------------------------------
##DNS
$fwa 04200 allow ip from me to $vtk_dns out
$fwa 04250 allow ip from $vtk_dns to me in
$fwa 04400 allow udp from $hostel to $iplan 53 in via $lan
$fwa 04450 allow udp from $iplan 53 to $hostel out via $lan
#-----------------------------------
##Outcoming queues
$fwa 05000 queue 201 tcp from me to any out via $inet
$fwa 05100 queue 203 tcp from $users to not me out via $inet
$fwa 05200 queue 202 udp from me to any out via $inet
$fwa 05300 queue 202 udp from $users to not me out via $inet
$fwa 05400 queue 401 tcp from $users2 to not me out via $inet2
$fwa 05500 queue 402 udp from $users2 to not me out via $inet2
#-----------------------------------
##NAT
$fwa 07200 nat 100 ip from any to any via $inet
$fwa 07300 nat 200 ip from any to any via $inet2
#----------------------------------
##Incoming queues
$fwa 08000 queue 101 tcp from any to me in via $inet
$fwa 08100 queue 103 tcp from any to not me in via $inet
$fwa 08200 queue 102 udp from any to me in via $inet
$fwa 08300 queue 102 udp from any to not me in via $inet
$fwa 08400 queue 301 tcp from any to not me in via $inet2
$fwa 08500 queue 302 udp from any to not me in via $inet2
#-----------------------------------
##Outcoming allowers
$fwa 09153 allow ip from me 12553 to any out via $inet
$fwa 09154 allow ip from me 12554 to any out via $inet
$fwa 09200 allow ip from me to any out via $inet
$fwa 09300 allow ip from $users to any out via $inet
$fwa 09350 allow ip from $users2 to any out via $inet2
#----------------------------------
##Incoming allowers
$fwa 09450 allow ip from any to $users in via $inet
$fwa 09500 allow ip from any to $users2 in via $inet2
$fwa 09553 allow ip from any to me 12553 in via $inet
$fwa 09554 allow ip from any to me 12554 in via $inet
$fwa 09600 allow ip from any to me in via $inet
#----------------------------------
##ICMP
$fwa 50200 allow icmp from me to any
$fwa 50250 allow icmp from any to me
##Allow all outcoming
$fwa 60000 allow ip from me to any

[terminus]

проьбежал быстро по настройкам, и ниче подозрительного не увидил.

попробуйте убрать директивы reset в настройках ната. может мпд время от времени дергает свои интерфейсы и из-за этого наты сбрасывают свои таблицы...

[Snake]

Кстати еще один затык... периодически падает скорость у некоторых юзеров практически до нуля. Помогает передергивание правил фаервола и ната. Это нормальное его функционирование, и нужно его периодически перезапускать, или я что-то не так делаю?

[terminus]

Нет конечно. К меня нигде pppoe соединений нет - везде все в ethernet воткнуто и проблем таких нет...
Как бы нам отдебажить вашу беду то?

[terminus]

упростим настройки dummynet - может проблема в динамических пайпах разного веса...
попробуйте этот конфиг. проверьте правильно ли указана/передаются параметры $downi, $upi, $down2, $up2.

Код: Выделить всё

#Pipes
$fw pipe 100 config bw $downi queue 60 gred 0.002/10/30/0.1 #Internet 1 down
$fw pipe 200 config bw $upi  queue 60 gred 0.002/10/30/0.1 #Internet 1 up

$fw pipe 300 config bw $down2 queue 60 gred 0.002/10/30/0.1 #Internet 2 down
$fw pipe 400 config bw $up2 queue 60 gred 0.002/10/30/0.1 #Internet 2 up

#-----------------------------------
#Queues

#LAN1 --> inet
$fw queue 101 config pipe 100 queue 60 gred 0.002/10/30/0.1 mask src-ip 0xffffffff

#inet --> LAN1
$fw queue 201 config pipe 200 queue 60 gred 0.002/10/30/0.1 mask dst-ip 0xffffffff

#LAN2 --> inet
$fw queue 301 config pipe 300 queue 60 gred 0.002/10/30/0.1 mask src-ip 0xffffffff

#inet --> LAN2
$fw queue 401 config pipe 400 queue 60 gred 0.002/10/30/0.1 mask dst-ip 0xffffffff


#-----------------------------------
#Kernel NAT Settings
$fw nat 100 config log if $inet same_ports deny_in redirect_port tcp $ipinet:12553 12553 redirect_port udp $ipinet:12553 12553 redirect_port tcp $ipinet:12554 12554 redirect_port udp $ipinet:12554 12554
$fw nat 200 config log if $inet2 same_ports deny_in

#-----------------------------------
##loopback
$fwa 01100 allow ip from any to any via lo0
$fwa 01200 deny ip from any to 127.0.0.0/8
$fwa 01300 deny ip from 127.0.0.0/8 to any
#-----------------------------------
$fwa 01400 setfib 0 ip from $users to any in recv $lan
$fwa 01450 setfib 0 ip from $users to any in recv $vlan
$fwa 01500 setfib 1 ip from $users2 to any in recv $lan
$fwa 01550 setfib 1 ip from $users2 to any in recv $vlan

##Deny networks
$fwa 2000 deny log ip from 10.0.0.0/8 to me in via $inet
$fwa 2050 deny log ip from any to 10.0.0.0/8 out via $inet
$fwa 2100 deny log ip from 172.16.0.0/12 to any in via $inet
$fwa 2150 deny log ip from any to 172.16.0.0/12 out via $inet
$fwa 2200 deny log ip from 192.168.0.0/16 to any in via $inet
$fwa 2250 deny log ip from any to 192.168.0.0/16 out via $inet
$fwa 2300 deny log ip from 10.0.0.0/8 to any in via $inet2
$fwa 2350 deny log ip from any to 10.0.0.0/8 out via $inet2
$fwa 2400 deny log ip from 172.16.0.0/12 to any in via $inet2
$fwa 2450 deny log ip from any to 172.16.0.0/12 out via $inet2
$fwa 2500 deny log ip from 192.168.0.0/16 to any in via $inet2
$fwa 2550 deny log ip from any to 192.168.0.0/16 out via $inet2

#-----------------------------------
##Administrating
$fwa 03000 allow tcp from $admins to me $adm_port in via $lan
$fwa 03050 allow tcp from me $adm_port to $admins out via $lan
$fwa 03100 allow tcp from $work to me $adm_port in via $inet
$fwa 03130 allow tcp from $work to me $usr_ports in via $inet
$fwa 03150 allow tcp from me $adm_port to $work out via $inet
$fwa 03170 allow tcp from me $usr_ports to $work out via $inet
$fwa 03199 deny log tcp from any to me $adm_port
#-----------------------------------
##Intranet connections
$fwa 03200 allow ip from $hostel to $iplan $usr_ports in via $lan
$fwa 03300 allow ip from me to $hostel out via $lan
$fwa 03350 allow ip from me to $hostel out via $vlan

$fwa 03400 allow ip from $users to not me in via $lan
$fwa 03450 allow ip from $users to not me in via $vlan
$fwa 03500 allow ip from not me to $users out via $lan
$fwa 03550 allow ip from not me to $users out via $vlan

$fwa 03800 allow ip from $users2 to not me in via $lan
$fwa 03850 allow ip from $users2 to not me in via $vlan
$fwa 03900 allow ip from not me to $users2 out via $lan
$fwa 03950 allow ip from not me to $users2 out via $vlan

#-----------------------------------
##DNS
$fwa 04200 allow ip from me to $vtk_dns out
$fwa 04250 allow ip from $vtk_dns to me in
$fwa 04400 allow udp from $hostel to $iplan 53 in via $lan
$fwa 04450 allow udp from $iplan 53 to $hostel out via $lan
#-----------------------------------
##Outcoming queues
$fwa 05000 queue 101 ip from any to any out via $inet
$fwa 05500 queue 301 ip from any to any out via $inet2
#-----------------------------------
##NAT
$fwa 07200 nat 100 ip from any to any via $inet
$fwa 07300 nat 200 ip from any to any via $inet2
#----------------------------------
##Incoming queues
$fwa 08000 queue 201 ip from any to any in via $inet
$fwa 08500 queue 401 ip from any to any in via $inet2
#-----------------------------------
##Outcoming allowers
$fwa 09153 allow ip from me 12553 to any out via $inet
$fwa 09154 allow ip from me 12554 to any out via $inet
$fwa 09200 allow ip from me to any out via $inet

$fwa 09300 allow ip from any to any out via $inet
#----------------------------------
##Incoming allowers
$fwa 09450 allow ip from any to $users in via $inet
$fwa 09500 allow ip from any to $users2 in via $inet2
$fwa 09553 allow ip from any to me 12553 in via $inet
$fwa 09554 allow ip from any to me 12554 in via $inet
$fwa 09600 allow ip from any to me in via $inet
#----------------------------------
##ICMP
$fwa 50200 allow icmp from me to any
$fwa 50250 allow icmp from any to me
##Allow all outcoming
$fwa 60000 allow ip from me to any

[Snake]

Попробовал, но пока разницы особой не вижу... Просто у некоротых юзеров начинает очень хреново работать http - как выясняется опытным путем . Торрент при этом спокойно выжирает свою полосу (кто бы сомневался). А вот закачки просто-напросто умирают, причем не сразу, а через некоторое время/трафик. А gred нужно вешать и на пайп и на очередь, или только на очередь? А то у вас в примере он на пайпе тоже висит

[terminus]

gred - это механизм управления очередью (а по-русски, заначит, буфером - чтобы не путать с queue). Буфер усть как у pipe так и у queue.

в упрощенном примере все юзеры загоняются в динамические queue (каждому своя) которые разпределяют пропускную способность pipe между собой - может так будет постабильнее...

[Snake]

Попробую и так и так, позже отпишусь. Проблема в том, что падение скорости очень плохо отслеживается - например у кого-то вообще не реагирует на изменения на роутере (как не качалось так и не качается), кто-то вообще этих изменений не заметил (как все работало так и работает). Бывает что скорость начинает пропадать со временем. При этом на втором канале того же роутера вообще ничего подобного не наблюдается - интренет работает вполне нормально.

[warzoni]

Попробую и так и так, позже отпишусь. Проблема в том, что падение скорости очень плохо отслеживается - например у кого-то вообще не реагирует на изменения на роутере (как не качалось так и не качается), кто-то вообще этих изменений не заметил (как все работало так и работает). Бывает что скорость начинает пропадать со временем. При этом на втором канале того же роутера вообще ничего подобного не наблюдается - интренет работает вполне нормально.

ты каналы правельно распредилил ? дело втом что если у тебя 8 мегабити а ты даёш 30 мегабит то такое в полне возможно...также поставь slurm или nload тыможешь проследить нагрузку канала реалтайм, и потом времини типа например 10 юзеров подключенно а у тебя 8 мегабит уже сожранно значит кто то не подетский занимает полосу...твая картина похоже на то что у кавото неразмеренные трубы и много кушаетца

[terminus]

а какой объем трафика, скорость и количество юзеров? какие скоростные параметры у обоих pppoe подключений?
если что-то очень большое то может пробовать dummynet тюнить?

[Snake]

каналы смешные - по 2мбита, дсл. Семь пользователей на канал.
Смотрел nload - входящий загружен на 100%, что вполне ожидаемо - торренты и все прочее. пайпа - канал-10%=1800кбит/с. Причем если выделить юзеру фиксированную полосу - картина не меняется, закачки все равно дохнут.

[terminus]

можно еще злобный эксперимент провести - не использовать dummynet - тогда удастся локализовать пробоему. Типа или nat+mpd херней страдают или это dymmynet скособочило

[Snake]

Типа если все останется по прежнему - dummynet ни при чем?

[terminus]

Наверное так.

А вообще стоит ворос о методике диагностики - ведь если без дамминета один торрентовод запустит у себя качалку, то у всех остальных все станет плохо, но если после этого качалку выключить и у всех все станет обратно хорошо, то значит проблема была в дамминете.

Если же все точно так же станет раком как и до этого (что помогает только рестарт) то проблема в другом.

---

кстати - в mpd никаких своих шейперов не активировано?

[warzoni]

каналы смешные - по 2мбита, дсл. Семь пользователей на канал.
Смотрел nload - входящий загружен на 100%, что вполне ожидаемо - торренты и все прочее. пайпа - канал-10%=1800кбит/с. Причем если выделить юзеру фиксированную полосу - картина не меняется, закачки все равно дохнут.

входящий загружен на 100%, что вполне ожидаемо

у меня больше 20-ю,канал 5 мегабит и все довольны канал загружен 90% 10 запас.так надо делать..попробуйте всё очистить и пересматреть правела...уберите грады зделайте токо пайпы режти по айпи адерсам каналы и пероверте как всё будет.

у вас адселы много ? вы robin делали на pf ?

[Snake]

Как выясняется, от загрузки канала не зависит никак. Т.е. закачки все равно дохнут, даже если торренты ни у кого не запущены, и канал загружен хорошо если наполовину. Gred убрал, не помогло никак.

у вас адселы много ? вы robin делали на pf ?

С pf вообще не связывался, дслок две штуки

[terminus]

ну а выключать дамминте вообще пробовали?

[Snake]

Пробовал, оставлял на канале только себя и пытался качать - фиг там, проблема та же самая. Сейчас компостирую мозг провайдеру, но всякое может быть...
UPD: Насколько я заметил, глюк с закачками проявляется в следующем: не качается определенный сегмент. Если тот же downloadmaster качает в несколько потоков, и поэтому затыкается всегда на 99%, то опера или другие браузеры доходят до этого плохого сегмента, и на этом умирают. В общем то не сильно похоже на глюк провайдера

[Snake]

Посоветовали покрутить таймауты ната... а где можно найти эти параметры?

[Гость]

Доброго времеи суток.
Класная статья автору респект, но возникла проблема как сделать чтоб натилось сеть на сеть.
Если это вообще ipfw nat может.
Пример сеть на ip работает, что то не хочется каждый ip по отдельности натить
$fwcmd nat 123 config ip 1.2.3.4 log
$fwcmd add nat 123 ip from 192.168.1.1/24 to any out
$fwcmd add nat 121 ip from any to 1.2.3.4 in

[Gamerman]

$fwcmd nat 123 config ip 1.2.3.4 log
$fwcmd add nat 123 ip from 192.168.1.1/24 to any out
$fwcmd add nat 121 ip from any to 1.2.3.4 in

$fwcmd add nat 121 ip from any to 1.2.3.4 in

[terminus]

Посоветовали покрутить таймауты ната... а где можно найти эти параметры?

Вот это вопрос... По-идее нат держит записи в таблице пока трафик ходит, а вот через какое время он их убивает т как его регулировать - я не знаю. Попробую поискать информацию.

[terminus]

Доброго времеи суток.
Класная статья автору респект, но возникла проблема как сделать чтоб натилось сеть на сеть.
Если это вообще ipfw nat может.
Пример сеть на ip работает, что то не хочется каждый ip по отдельности натить
$fwcmd nat 123 config ip 1.2.3.4 log
$fwcmd add nat 123 ip from 192.168.1.1/24 to any out
$fwcmd add nat 121 ip from any to 1.2.3.4 in

ipfw nat, к сожалению, не умеет натить в пул или атоматически создавать 1:1 мапинг.
остается только руками прописать redirect_addr (или свой экземпляр ната со своим внешним IP?) для каждого "внутреннего" адреса:

Код: Выделить всё

redirect_addr 192.168.1.1 12.23.45.1
redirect_addr 192.168.1.2 12.23.45.2
redirect_addr 192.168.1.3 12.23.45.3
redirect_addr 192.168.1.4 12.23.45.4
...

[Гость]

ipfw nat, к сожалению, не умеет натить в пул или атоматически создавать 1:1 мапинг.
остается только руками прописать redirect_addr (или свой экземпляр ната со своим внешним IP?) для каждого "внутреннего" адреса:

Вот те на!! Но спасибо за ответ