ipfw, "2 провайдера" и входящие соединения

[hizel]

для подключения сранного офиса регистрировать AS, где микроскоп э?

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[terminus]

Пусть топикстартер озвучит возможный бюджет
Если "как можно бесплатнее", то BGP уже не катит...

[skeletor]

для подключения сранного офиса регистрировать AS, где микроскоп э?

Ну почему он сраный? это для меня и для вас он такой, а у автора свои идеи насчёт него. Может с планом развития

[dsa]

http://nuclight.livejournal.com/124348.html

Там ближе к концу вот такое место есть:

Приведенный в посте пример того, как на динамических правилах сделать аналог reply-to в pf, на самом деле, не работает. В исходниках был обнаружен запрет специально именно этого случая в мохнатом 2000 году из-за какой-то паники ядра на тех версиях. Что давно уже не актуально, но это, конечно же поправить забыли. Патчится одной строчкой - открываете /sys/netinet/ip_fw2.c, находите слова case O_FORWARD_IP: (конкретный патч не приведу, зависит от версии системы). И вот там чуть ниже в строчке кусок

if (!q || dyn_dir == MATCH_FORWARD)

надо заменить на

if (sa->sin_port && (!q || dyn_dir == MATCH_FORWARD))

Еще, кстати, не стоит забывать, что все имеющиеся на пакетах теги, будь то метаинформация самой системы (от того же IPSEC и много чего еще) или явно навешенные теги ipfw/pf - существуют только внутри ядра. То есть, если вывести пакет из ядра через divert, они потеряются.

Интересно, за год это исправили?

А еще там в камментах автор и другие нелицеприятно отзываются об этом сайте.

[dsa]

Пусть топикстартер озвучит возможный бюджет
Если "как можно бесплатнее", то BGP уже не катит...

Возможный бюджет уже превышен давно.

Это мой домашний серверок для скачки торрентов, лазанья по интернету с двух стационарных компов и нескольких вайфай устройств, хостинга нескольких сайтов личного и бесплатно-общественного содержания.

Подключений правда уже скопилось 4 штуки (3 провайдера, у одного 2 учетки), на трех реальный адрес возникает по PPPoE, на одном по DHCP.

Почитал про BGP - не догоняю, каким боком он здесь. Там же все между роутерами, а уменя то один...

[dsa]

Интересно, за год это исправили?

Не-а, не исправили в 7.1-RELEASE-p6 осталась ситуация.

[terminus]

Интересно, за год это исправили?

там про

Динамические правила и ipfw fwd; теги.

а если использовать setfib то может и заработает...
Есть желание проверить и рассказать народу о результатах?

---

В 7.1 setfib уже появился.

[freeman]

BGP, какие то маршруты понаписывали всего лишь для того, чтобы "апач отвечал с обоих адресов" (то что нужно автору топика)
reply-to в pf и получаем что на какой интерфейс (по какому маршруту) пришёл пакет, с такого он и выйдет, независимо от таблицы маршрутов, динамических IP, падений каналов и пр. и пр.
У самого такое работает, просто до безобразия, но оттого и надёжно.
Вот и ищите может ли корректно и во всех ситуациях ipfw, если нет то зачем изобретать велосипед

[hizel]

батькович, отправку пакета на тот интерфейс откуда он пришел реализвется в ipfw еще с 4-ки, тут нет проблем, зачем pf вбрасывать в трэд?

[freeman]

батькович, отправку пакета на тот интерфейс откуда он пришел реализвется в ipfw еще с 4-ки, тут нет проблем, зачем pf вбрасывать в трэд?

Затем что его сразу упомянули уже, а потом съехали на BGP, маршруты ... что то ещё...

Пытался делать по местным статьям, но упорно одно подключение работает, а ответ на подключение на второй адрес уходит в шлюз по умолчанию.

Если шлюз по умолчанию поставить ко второму провайдеру - то наоборот - сервисы на втором айпи работают, а ответы от первого теперь уходят в шлюз по умолчанию.

Подскажите, как там правильно?

Ну так подскажи что там в 4ке работало вроде, при каких то условиях, а потом поломали вообще

Там ближе к концу вот такое место есть:

Приведенный в посте пример того, как на динамических правилах сделать аналог reply-to в pf, на самом деле, не работает. В исходниках был обнаружен запрет специально именно этого случая в мохнатом 2000 году из-за какой-то паники ядра

В PF оно не только "есть", но и работает "всегда и везде"
P.S. Всё ИМХО и основано на личном опыте

[sch]

тут про FIB все говорят, а примеров никто не дает

Для apache22 на FreeBSD-7.2 можно сделать следующее для организации работы по двум адресам независимо:

[/etc/rc.conf]

Код: Выделить всё

apache22_enable=YES
apache22_profiles="A B"
apache22_A_fib=1
apache22_A_configfile="/usr/local/etc/apache22/httpd-a.conf"
apache22_B_fib=2
apache22_B_configfile="/usr/local/etc/apache22/httpd-b.conf"

в файле httpd-a.conf указываем директиву Listen A.A.A.A:80
в файле httpd-b.conf указываем директиву Listen B.B.B.B:80

в каталоге rc.d создаем скрипт с содержанием:

Код: Выделить всё

#!/bin/sh

# PROVIDE: fib
# REQUIRE: sshd

/usr/sbin/setfib 1 /sbin/route delete default
/usr/sbin/setfib 1 /sbin/route add default A.A.A.x
/usr/sbin/setfib 2 /sbin/route delete default
/usr/sbin/setfib 2 /sbin/route add default B.B.B.x

запускаем

Код: Выделить всё

/usr/local/etc/rc.d/apache22 start

ЗЫ: ядро надо пересобрать с опцией ROUTETABLES

[terminus]

тут про FIB все говорят, а примеров никто не дает

а что в фибе не понятно? пример от nuclight есть - заменить там только fwd на setfib

[dsa]

тут про FIB все говорят, а примеров никто не дает

Для apache22 на FreeBSD-7.2 можно сделать следующее для организации работы по двум адресам независимо:...

Насколько я понимаю, тогда так для всех сервисов придется делать.

[Ck-NoSFeRaTU]

У мну тоже когда-то такая проблема стояла, проблема в том, что исходящий пакет уходит не через тот интерфейс, через который вошел входящий, я на линухах решал через iproute и таблицы:

Код: Выделить всё

ip route add default via 192.16.0.1 dev dsl1 table a
ip route add default via 10.1.100.1 dev dsl0 table b
ip route add 10.1.1.0/24 dev eth1 table a
ip route add 10.1.1.0/24 dev eth1 table b
ip rule add from 192.168.0.2 table a
ip rule add from 10.1.100.100 table b

В freebsd 6.x+ipfw решал так:

Код: Выделить всё

fwd 192.168.0.1 ip from 192.168.0.2 to any out not xmit ng0
fwd 10.1.100.1 ip from 10.1.100.100 to any out not xmit ng1

Но тут есть проблема: если всё хорошо с tcp, то с udp задница. Нормально разруливает только named, который биндится не на 0.0.0.0, а на каждый имеющийся ипшник. А игровые сервера получая например пакет на ипшник 1.1.1.1, генерят ответ с исходящим адресом 2.2.2.2, который соответствует дефолтовому интерфейсу и всё понятно не работает. Я в своё время решил эту проблему только биндя udp-сервисы на определенный ип и используя udp-редиректоры типа sudppipe/delegate на других интерфейсах.

[kpp]

Подобная ситуация, как и у автора.
Пока не удается решить проблему.
Эксперементирую с setfib (freebsd 7.2)

[kpp]

В приниципе есть рабочий вариант
fwd 192.168.1.1 ip from 192.168.1.33 to not me
Но, тесты показали,что на этом правиле пакеты уходят из фаера, т.е. получается все разрешено.

[kpp]

тут про FIB все говорят, а примеров никто не дает

а что в фибе не понятно? пример от nuclight есть - заменить там только fwd на setfib

Подскажи, если не тяжело, как заменить fwd на setfib, мне не удалось

[wel]

Подскажи, если не тяжело, как заменить fwd на setfib, мне не удалось

Мне тоже...хотя может проблема еще в том что у Меня quagga для ospf+bgp?...

[terminus]

one_pass=1

Код: Выделить всё

ipfw nat 1 config log if $ext_if1 same_ports reset deny_in redirect_port tcp $ext_ip1:80 80
ipfw nat 2 config log if $ext_if2 same_ports reset deny_in redirect_port tcp $ext_ip2:25 25

ipfw add 100 skipto 300 tag 1 in recv $ext_if1 keep-state
ipfw add 200 skipto 400 tag 2 in recv $ext_if2 keep-state
ipfw add 300 setfib 0 tagged 1
ipfw add 400 setfib 1 tagged 2
ipfw add 500 allow all from any to any via $int_if
ipfw add 600 nat 1 ip from any to any via $ext_if1
ipfw add 700 nat 2 ip from any to any via $ext_if2

Надо тестировать - вроде должно работать...
Такая конструкция будет запоминать из какого канала на рутер приходило соенинение, и ответ отсылать через тот же канал. Все клиенты будут ходить в интернет только через однин канал (тот на котором живет на маршрут по-умолчанию: setfib 0).

Этот скрипт надо сохранить в /usr/local/etc/rc.d/setfib1
тогда можно будет из rc.conf выставлять defaultroute во второй таблице маршрутизации

Код: Выделить всё

#!/bin/sh
# PROVIDE: SETFIB1
# REQUIRE: NETWORKING
# BEFORE: DAEMON
# 
# Add the following lines to /etc/rc.conf to enable setfib -1 at startup
# setfib1 (bool): Set to "NO" by default.
#                Set it to "YES" to enable setfib1
# setfib1_defaultroute (str): Set to "" by default
#       Set it to ip address of default gateway for use in fib 1

. /etc/rc.subr

name="setfib1"
rcvar=`set_rcvar`

load_rc_config $name

[ -z "$setfib1_enable" ] && setfib1_enable="NO"
[ -z "$setfib1_defaultroute" ] && setfib1_defaultroute=""

start_cmd="${name}_start"
stop_cmd="${name}_stop"

setfib1_start()
{
if [ ${setfib1_defaultroute} ]
then
setfib 1 route add -net default ${setfib1_defaultroute}
else
echo "Can't set defaultroute for fib 1 (setfib1_defaultroute is not set)"
fi
}

setfib1_stop()
{
setfib 1 route del -net default
}
run_rc_command "$1"

[kpp]

А как же на счет этого:

http://nuclight.livejournal.com/124348.html

Там ближе к концу вот такое место есть:

Приведенный в посте пример того, как на динамических правилах сделать аналог reply-to в pf, на самом деле, не работает. В исходниках был обнаружен запрет специально именно этого случая в мохнатом 2000 году из-за какой-то паники ядра на тех версиях. Что давно уже не актуально, но это, конечно же поправить забыли. Патчится одной строчкой - открываете /sys/netinet/ip_fw2.c, находите слова case O_FORWARD_IP: (конкретный патч не приведу, зависит от версии системы). И вот там чуть ниже в строчке кусок

if (!q || dyn_dir == MATCH_FORWARD)

надо заменить на

if (sa->sin_port && (!q || dyn_dir == MATCH_FORWARD))

Еще, кстати, не стоит забывать, что все имеющиеся на пакетах теги, будь то метаинформация самой системы (от того же IPSEC и много чего еще) или явно навешенные теги ipfw/pf - существуют только внутри ядра. То есть, если вывести пакет из ядра через divert, они потеряются.

Интересно, за год это исправили?

А еще там в камментах автор и другие нелицеприятно отзываются об этом сайте.

Я попробую этот варинт, конечно сегодня вечером... или сейчас... правда велика вероятность что все отпадет и до вечера туда уже зайти не смогу

[terminus]

это было про связку keep-state + fwd, а у нас будет keep-state + setfib так что может все нормально заработает...

[wel]

это было про связку keep-state + fwd, а у нас будет keep-state + setfib так что может все нормально заработает...

вопрос - pipe у Вас есть? Если да то как с ними выглядят правила?И надо ли в sysctl что-то выставлять, например:net.inet.ip.fw.one_pass ?
У Меня в pipe будут и те кто должны через 1-н канал ходить и те кто через 2-ой канал, конечно можно забить и заюзать ng_car на интерфейсах ngXX, но у него были какие-то проблемы, насколько Я помню... сейчас:

Код: Выделить всё

 >uname -r -m
7.2-RELEASE-p4 amd64

Например сейчас некрасиво вот так вот:

Код: Выделить всё

 >ipfw show
00002   193626496  179007879625 nat 123 ip from any to 91.ххх.ххх.ххх in via vlan20
00004           0             0 allow log logamount 100000 ip from 10.0.0.0/8 to any dst-port 25
00004           0             0 allow log logamount 100000 ip from 192.168.0.0/16 to any dst-port 25
00005           0             0 deny ip from table(4) to any dst-port 25
00007     1831870     157850715 deny ip from any to any dst-port 137-141
00012      229949      54361502 pipe 12 ip from not 10.0.0.0/8 to table(12) in
00012      350271     343971838 pipe 12 ip from table(12) to not 10.0.0.0/8 out
00016   115461809  112973828231 pipe 16 ip from not 10.0.0.0/8 to table(16) in
00016    91250226   36884600408 pipe 16 ip from table(16) to not 10.0.0.0/8 out
64000   159648667   70756560685 nat 123 ip from table(1) to any out via vlan20
65535 10812643684 7729870376139 allow ip from any to any

[terminus]

one_pass=0

Код: Выделить всё

ipfw nat 1 config log if $ext_if1 same_ports reset deny_in redirect_port tcp $ext_ip1:80 80
ipfw nat 2 config log if $ext_if2 same_ports reset deny_in redirect_port tcp $ext_ip2:25 25
ipfw pipe 1 config bw 10Mbit/s queue 60 gred 0.002/10/30/0.1
ipfw pipe 2 config bw 10Mbit/s queue 60 gred 0.002/10/30/0.1
ipfw pipe 3 config bw 10Mbit/s queue 60 gred 0.002/10/30/0.1
ipfw pipe 4 config bw 10Mbit/s queue 60 gred 0.002/10/30/0.1

ipfw add 100 skipto 300 tag 1 in recv $ext_if1 keep-state
ipfw add 200 skipto 400 tag 2 in recv $ext_if2 keep-state
ipfw add 300 setfib 0 tagged 1
ipfw add 400 setfib 1 tagged 2
ipfw add 500 allow all from any to any via $int_if

ipfw add 550 pipe 1 ip from any to any out xmit $ext_if1
ipfw add 600 nat 1 ip from any to any via $ext_if1
ipfw add 650 pipe 2 ip from any to any out recv $ext_if1

ipfw add 550 pipe 3 ip from any to any out xmit $ext_if2
ipfw add 700 nat 2 ip from any to any via $ext_if2
ipfw add 750 pipe 4 ip from any to any out recv $ext_if2

ipfw add 900 allow all from any to any

[kpp]

Если делаю так :

Код: Выделить всё

${fw} add 100 skipto 300 tag 1 in recv ${if_net1} keep-state
${fw} add 200 skipto 400 tag 2 in recv ${if_net2} keep-state
${fw} add 300 setfib 0 tagged 1
${fw} add 400 setfib 2 tagged 2

входящие через 2-й интерфейс не работают.

если вместо этого ставлю:

Код: Выделить всё

${fw} add 500 fwd 192.168.1.1 ip from 192.168.1.33 20,21 to not me

Нормально работает, но хочется через setfib

Где

Код: Выделить всё

# setfib -2 netstat -rn
Routing tables

Internet:
Destination        Gateway            Flags    Refs      Use  Netif Expire
default            192.168.1.1        UGS         0        0    rl0

[terminus]

полностью вывод покажите когда тестируете с fib

Код: Выделить всё

ipfw show

Код: Выделить всё

setfib 0 netstat -rn

Код: Выделить всё

setfib 2 netstat -rn