ipfw2 + pfnat

[Inzevision]

Хочу для NAT использовать pfnat а для фильтрации ipfw2.
почему ipfw2 -- биллинг работает с ipfw2 и переписывать кучу скриптов не в кайф
Вопрос такой - в какой последовательности обрабатываются данные в системе FreeBSD6.2R при включенном pfnat и ipfw2 ?

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[paradox]

а причем тут nat к правилам фаера

[Inzevision]

ну как причём. есть NAT и есть фаер.
сначала фаер должен отфильтровать трафик а потом запустить аго в NAT
так вот вопрос -- ipfw2 сначала отфильтрует трафик а потом передаст его pfnat или как?
какая последовательность обработки трафика?

[paradox]

смотря как построите
это как

казнить нельзя помиловать

[Inzevision]

обе примочки сконфигурированы в ядре. В ipfw2 я говорю чего фильтровать а потом в pf.conf говорю -- NAT на тебя.
пробовал так сделать - в нат пускает а обратные пакеты не приходят.
затеял я это всё по одной причине - у меня сейчас стоит ipnat - тоже хорошая штука. но последенее время начались чудеса в сети.

Код: Выделить всё

rising# tcpdump -i fxp0 -n | grep host | grep unreachable
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on fxp0, link-type EN10MB (Ethernet), capture size 96 bytes
00:44:07.272449 IP 192.168.0.1 > 192.168.0.223: ICMP host 100.0.0.1 unreachable, length 36
00:44:07.281941 IP 192.168.0.1 > 192.168.0.223: ICMP host 100.0.0.1 unreachable, length 36
00:44:07.506658 IP 10.8.2.1 > 10.8.2.162: ICMP host 88.212.196.77 unreachable, length 36
00:44:08.424503 IP 10.8.2.1 > 10.8.2.162: ICMP host 87.242.74.137 unreachable, length 36
00:44:08.444328 IP 212.1.224.77 > 10.7.5.60: ICMP host 79.111.47.190 unreachable, length 139
00:44:08.696157 IP 10.8.2.1 > 10.8.2.162: ICMP host 213.186.217.210 unreachable, length 36
00:44:09.013240 IP 10.6.4.1 > 10.6.4.49: ICMP host 213.186.217.210 unreachable, length 36
00:44:09.064389 IP 202.53.9.98 > 10.7.5.60: ICMP host 123.176.44.70 unreachable, length 139
00:44:09.883008 IP 10.7.4.1 > 10.7.4.169: ICMP host 87.242.74.137 unreachable, length 36
00:44:10.432261 IP 192.168.0.1 > 192.168.0.223: ICMP host 100.0.0.1 unreachable, length 36
00:44:10.471009 IP 192.168.0.1 > 192.168.0.223: ICMP host 100.0.0.1 unreachable, length 36
00:44:11.321753 IP 10.8.2.1 > 10.8.2.162: ICMP host 87.242.74.137 unreachable, length 36
00:44:11.649255 IP 10.8.2.1 > 10.8.2.162: ICMP host 213.186.217.210 unreachable, length 36
00:44:11.934277 IP 192.168.0.1 > 192.168.0.223: ICMP host 100.0.0.1 unreachable, length 36
00:44:11.974955 IP 192.168.0.1 > 192.168.0.223: ICMP host 100.0.0.1 unreachable, length 36

ну тут бред иногда проскакивает, но всё же тема не очень хорошая -- при этом у пользвателей не открываются страницы -- когда понажимаешь Ф5 -- страница откроется, но может коряво, а может и нормально.
Вот думаю на другой NAT перейти, хотя может это проблему не решит

[paradox]

незная топологии и всего что накручено на сервере сложно что то сказать
но как бы у вас там не досс был от какого то клиента

[Inzevision]

Код: Выделить всё

rising# cat /etc/rc.firewall
#!/bin/sh

ipfw="ipfw -q"

${ipfw} -f flush

ifout='fxp1'
ifuser='fxp0'
ournet='192.168.0.0/16,10.5.0.0/16,10.6.0.0/16,10.7.0.0/16,10.8.0.0/16'


#Pipes for paket
#ua-ix
${ipfw} pipe 101 config bw 34Mbit/s
${ipfw} pipe 1011 config bw 34Mbit/s

#all world chanal
${ipfw} pipe 107 config bw 5Mbit/s
${ipfw} pipe 1071 config bw 5Mbit/s


# pipe1 - world IN
# pipe2 - ua-ix IN
# pipe3 - world OUT
# pipe4 - ua-ix OUT

#1--Student 50>
${ipfw} queue 1 config pipe 107 weight 50 queue 50 mask dst-ip 0xffffffff
${ipfw} queue 2 config pipe 101 weight 50 queue 50 mask dst-ip 0xffffffff
${ipfw} queue 3 config pipe 1071 weight 50 queue 50 mask src-ip 0xffffffff
${ipfw} queue 4 config pipe 1011 weight 50 queue 50 mask src-ip 0xffffffff
#--------<

#2--seven>
${ipfw} pipe 5 config bw 512Kbit/s mask dst-ip 0xffffffff
${ipfw} queue 6 config pipe 101 weight 50 queue 50 mask dst-ip 0xffffffff
${ipfw} pipe 7 config bw 512Kbit/s mask src-ip 0xffffffff
${ipfw} queue 8 config pipe 1011 weight 50 queue 50 mask src-ip 0xffffffff
#--------<

#3--Unlim>
${ipfw} pipe 9 config bw 256Kbit/s mask dst-ip 0xffffffff
${ipfw} queue 10 config pipe 101 weight 50 queue 50 mask dst-ip 0xffffffff
${ipfw} pipe 11 config bw 256Kbit/s mask src-ip 0xffffffff
${ipfw} queue 12 config pipe 1011 weight 50 queue 50 mask src-ip 0xffffffff
#--------<

#4--50G>
${ipfw} queue 13 config pipe 107 weight 50 queue 50 mask dst-ip 0xffffffff
${ipfw} queue 14 config pipe 101 weight 50 queue 50 mask dst-ip 0xffffffff
${ipfw} queue 15 config pipe 1071 weight 50 queue 50 mask src-ip 0xffffffff
${ipfw} queue 16 config pipe 1011 weight 50 queue 50 mask src-ip 0xffffffff
#--------<

#5--Student 70>
${ipfw} queue 17 config pipe 107 weight 50 queue 50 mask dst-ip 0xffffffff
${ipfw} pipe 18 config bw 600Kbit/s mask dst-ip 0xffffffff
${ipfw} pipe 20 config bw 600Kbit/s mask src-ip 0xffffffff
${ipfw} queue 19 config pipe 1071 weight 50 queue 50 mask src-ip 0xffffffff
#--------<

#6--VIP>
${ipfw} pipe 21 config bw 128Kbit/s mask dst-ip 0xffffffff
${ipfw} pipe 22 config bw 512Kbit/s mask dst-ip 0xffffffff
${ipfw} pipe 23 config bw 128Kbit/s mask src-ip 0xffffffff
${ipfw} pipe 24 config bw 512Kbit/s mask src-ip 0xffffffff
#--------<

#7--2.5G>
${ipfw} queue 25 config pipe 107 weight 50 queue 50 mask dst-ip 0xffffffff
${ipfw} queue 26 config pipe 101 weight 50 queue 50 mask dst-ip 0xffffffff
${ipfw} queue 27 config pipe 1071 weight 50 queue 50 mask src-ip 0xffffffff
${ipfw} queue 28 config pipe 1011 weight 50 queue 50 mask src-ip 0xffffffff
#--------<

#9--Servers>
${ipfw} queue 33 config pipe 107 weight 50 queue 50 mask dst-ip 0xffffffff
${ipfw} queue 34 config pipe 101 weight 50 queue 50 mask dst-ip 0xffffffff
${ipfw} queue 35 config pipe 1071 weight 50 queue 50 mask src-ip 0xffffffff limit src-ip 50
${ipfw} queue 36 config pipe 1011 weight 50 queue 50 mask src-ip 0xffffffff limit src-ip 50
#--------<

#10--time limit>
${ipfw} queue 37 config pipe 107 weight 50 queue 50 mask dst-ip 0xffffffff
${ipfw} queue 38 config pipe 101 weight 50 queue 50 mask dst-ip 0xffffffff
${ipfw} queue 39 config pipe 1071 weight 50 queue 50 mask src-ip 0xffffffff
${ipfw} queue 40 config pipe 1011 weight 50 queue 50 mask src-ip 0xffffffff
#--------<

${ipfw} add 50 allow all from 77.121.0.0/16 to me
${ipfw} add 50 allow all from 82.193.120.178 to me 80

${ipfw} add 35 pass all from any to me 411 in
${ipfw} add 35 pass all from me 411 to any out
# правилом 100 будут  разрешены все обратные пакеты, которые были разрешены правилом 200
${ipfw} add 100 check-state

${ipfw} add 150 allow ip from any to any via lo0
# разрешаем трафик от сервера (не клиентский трафик)
${ipfw} add 200 allow ip from me to any keep-state

# Правило безопасности - отшиваем любые пакеты внутри локальной сети,
# которые имет ip не нашего диапазона ($ournet)
${ipfw} add 210 deny ip from not ${ournet} to any via ${ifuser} in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan52 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan53 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan54 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan55 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan56 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan57 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan58 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan59 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan510 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan511 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan512 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan62 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan63 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan64 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan65 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan66 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan67 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan68 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan69 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan610 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan611 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan612 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan52 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan73 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan74 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan75 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan76 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan77 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan78 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan79 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan710 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan711 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan712 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan82 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan83 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan84 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan85 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan86 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan87 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan88 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan89 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan810 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan811 in
${ipfw} add 220 deny ip from not ${ournet} to any via vlan812 in

${ipfw} add 221 pass ip from table\(2\) to me 80,443 via ${ifout}

# Правило безопасности на случай если у вышестоящего провайдера ошибки в настройке
# Суть заключается в том, что со стороны интернета не может быть пакетов кроме как
# направленных на наш внешний ip
${ipfw} add 240 deny ip from any to not me via ${ifout} in
# NAT
#${ipfw} add 250 divert 8778 ip from any to any via ${ifout}
${ipfw} add 260 allow ip from any to any via ${ifout} out
# В данной точке на внешнем интерфейсе только входящие пакеты (исходящие уже все разрешили)
# Если пакет не направлен к ip сервера значит это ответ на пакет нашего внутреннего клиента -
# поскольку он прошел обратное преобразование в natd и последний подменил ip назначения
# Если после natd пакет все равно указывает на ip сервера - это коннект внешней станции к
# нашему серверу. Для безопасности разрешим коннекты только по ssh
${ipfw} add 299 pass tcp from 192.168.0.0/24,10.0.0.0/8 to me 2212
${ipfw} add 300 allow tcp from table\(2\) to me 2212
${ipfw} add 301 allow tcp from 92.112.0.0/16,94.178.0.0/16 to me dst-port 80,443,2212,22
# Клиенты должны иметь возможность просматривать статистику
${ipfw} add 309 allow tcp from 192.168.0.0/16 to me 80,443
${ipfw} add 310 allow tcp from 10.0.0.0/8 to me 80,443
# если установлен почтовый сервер на этом же сервере - пускаем
# без авторизации (либо добавить via ${ifout})
#${ipfw} add 320 allow tcp from any to me 25,110
# разрешим прохождение icmp-пакетов
${ipfw} add 330 allow icmp from any to me limit src-addr 10 >/dev/null
# разрешим ДНС запросы
${ipfw} add 340 allow udp from any to any 53 limit src-addr 15 >/dev/null


# разрешим клиентам ЛС авторизоваться по UDP-протоколу
${ipfw} add 350 allow udp from any to me 7723  limit src-addr 10 >/dev/null


# все что не разрешили в направлении к серверу - запрещаем
${ipfw} add 400 deny ip from any to me

# разрешаем все входящие (in не ставим т.к все исходящие разрешили) через внешний интерфейс
# поскольку в данной точке точно известно, что эти пакеты направлены к нашим
# клиентам, поскольку прошли обратное преобразование в natd
${ipfw} add 450 allow ip from any to any via ${ifout}

${ipfw} add 65534 deny ip from any to any

ну ipnat там просто

Код: Выделить всё

map fxp1 192.168.0.0/24 -> 0.0.0.0/32
map fxp1 10.0.0.0/8 -> 0.0.0.0/32

и правила для ipf

Код: Выделить всё

%
pass in all
pass out all

а как вычислить любителя DoS ?

[paradox]

кстати у ipnat есть очень большая проболема
уже не помню как она проявляеться
но нужно его перезагружать ipnat -f итд
когда будут проблемы попробуй дернуть
если пропадут
переходи на другой нат
Pf тоже вариант
там вроде не замечено таких проблема
именно с натом

[Inzevision]

ну вот я и про Pf. Но будет-ли он работать с ipfw2 ?
просто скрипт биллинга генерит разрешающие правила для клиента в зависимости от принятых данных (IP, тарифный план и ещё куча всего). Скрипт написан на perl.
Там строка следующего типа

Код: Выделить всё

 {

# UA-IX -> Users
 system("$ipfw add $num queue $pipe2 ip from \"table(2)\" to $ip >/dev/null");
# Users -> UA-IX
 system("$ipfw add $num queue $pipe4 ip from $ip to \"table(2)\" >/dev/null");

 unless ($gorod)
   {# ............. . ...... "....... ...."
    # Inet -> Users
    system("$ipfw add $num pipe $pipe1 ip from any to $ip >/dev/null");
    # Users -> Inet
    system("$ipfw add $num pipe $pipe3 ip from $ip to any >/dev/null");
   }
 }

ipfw2 настроен на один проход.
Такую ситуацию можно реальзовать на Pf и как эти строки будут вылядеть в нём?

[paradox]

чет я непонимаю
если нехочешь ipfw2 менять не меняй
посто ipnat смени на pf
и все
а ipfw2 рули дальше как и рулил

[Inzevision]

тоесть мне в rc.conf нужно написать

Код: Выделить всё

pf_enable="YES"

а в pf.conf

Код: Выделить всё

ext_if="fxp1"
int_if="fxp0" 
nat on $ext_if from $int_if to any -> $ext_if

[paradox]

интерфейс на котором на можно
а остальное лучше айпи или сети

[Inzevision]

в ipfw пакеты от клиентов входят а с инета к клиентам не идут.
pfnat включен. в нём пробовал и включать и выключать правила

Код: Выделить всё

pass in all
pass out all

ничё не помогает

[paradox]

чет не пойму
от клиента к источнику идет пакет или нет?
назад возращаеться на внешний интерфейс?
tcpdump смотри
смотри pfctl что там с натов есть сработаные правила или нет
еще есть pflog
если конечно умеешь всем этим пользоваться

[Inzevision]

хм... если прописать в ipfw

Код: Выделить всё

pass all from any to $ip
pass all from $ip to any

то всё работает, но вот у меня пользователи выпускались в инет по pipe или queue
теперь-то что делать?

[paradox]

если я правильно помню
то ipfw стоит ниже в сетевом стеке чем pf
поэтому дальше оно должно по ipfw отрабатывать


хотя можно вообще все на pf+altq перевести

[Inzevision]

тоесть Pf будет отвечать за NAT и нарезку скорости а ipfw за выпускание пользователей в инет?

[paradox]

несовсем так

pf как nat + пропускает пакеты к ipfw
а ipfw уже пускает и выпускает + твои очереди

либо вообще все переведи на pf+altq
и за ipfw забудь
но тогда и скрипт нужно будет переписать как то

[Inzevision]

тако вот проблема в том, что ipfw не впускает обратно трафик, я думаю, что это связано с правилами keep-state.

смотри, если попробовать сделать правила таким макаром, будут они шейпится или нет?
Было:

Код: Выделить всё

40092      0        0 queue 10 ip from table(2) to 10.7.6.91
40092     15      720 queue 12 ip from 10.7.6.91 to table(2)
40092      0        0 pipe 9 ip from any to 10.7.6.91
40092    338    19615 pipe 11 ip from 10.7.6.91 to any

стало:

Код: Выделить всё

40092      0        0 queue 10 ip from table(2) to 10.7.6.91
40092                   allow ip from table(2) to 10.7.6.91
40092     15      720 queue 12 ip from 10.7.6.91 to table(2)
40092                   allow ip from 10.7.6.91 to table(2)
40092      0        0 pipe 9 ip from any to 10.7.6.91
40092                   allow ip from any to 10.7.6.91
40092    338    19615 pipe 11 ip from 10.7.6.91 to any
40092                   allow ip from 10.7.6.91 to any

[paradox]

в 3 25 ночи
я щас точно ничего внятного не скажу)

[Inzevision]

такая конструкция не работает... продолжаем поиски

[Inzevision]

Блин, ну не получается у меня поднять взаимно pfnat и ipfw2. Пакеты в ipfw попадают только входящие от клиентов, с инета ничего нет счетчики по нулям.
Может есть у кого готовый конфиг подобной связки?

[paradox]

попробуй еще посмотретьпокрутить

Код: Выделить всё

sysctl -a | grep pf

или что то типа того

[schizoid]

а зачем вообще такой изврат с двумя натами?
какая ОС? если 7-ка, то не хочешь ядерный НАТ использовать?

[schizoid]

а, блин, увидел, фря 6.2...
а сколько пользователей? почему тогда не natd ?

эх ща заплюют...