Распределение Трафика

[Nick_mad]

Здравствуйте.

Подвели оптоволоконный кабель на офис, скорость 100Mbit/s Украина и 5 Mbit/s мир. Нужно скорость поделить между 4 группами средствами сквида и шеф хочет себе не через сквид а напрямую.
Ну я то ограничил 4 группы по 1 Mbit/s но режится весь трафик в том числе и украинский. Как мне украинский не резать а только тот что мир??

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[Larin]

подключение какое?

[Nick_mad]

оптоволокно - ethernet
или что Вы имели ввиду?

[Larin]

напрямую штоле? никаких pppoe или pptp?

[Nick_mad]

да напрямую

[Gamerman]

А по каким признакам видно где Украина, а где мир?

[terminus]

Списки с IP префиксами используемыми в Украинском сегменте (UA-IX ?)у вас где-нить можно достать?
У нас например тут http://www.nic.lv/local.net заботливо ведется список со всеми префиксами получаемыми на LIX...

Имея такой список и не имея своего БГП можно заруливать трафик в отдельные пайпы для зарубежного и местного.

[terminus]

Ха! Добрые люди что-то такое уже сделали:
http://www.colocall.net/ua/
http://www.colocall.net/ua/prefixes.txt

Дальше дело техники

[Nick_mad]

Опишите плз технику..
Кстати что такое БГП?

[terminus]

BGP это такой протокол динамической машрутизации используемый для обмена информацией о IP сетях между автономными системами (сетями провайдеров) в интернете. Просто в случае провайдера или организации имеющей свою AS и свои BGP рутеры можно на основании анонсов получаемых от BGP других сетей оперативно выцепить списки с номерами автономных систем и префиксов IP адресов подключенных непосредственно к "местному интернету" и на основании этой информации проводить разделение какой трафик от куда и куда идет.

Вон по моей ссылке выше - колокал такое разделение сделал и готовый список вывесил (пишут что раз в 10 минут обновляют).

---

а что в технике не понятно - готовый список с IP есть - придумайте как вы его в таблицы ipfw станите засовывать и потом настраевайте пайпы/очереди отдельно для местного и для заграничного трафика.

[Nick_mad]

ну малого того что я с трубами не очень (буду разбираться), так что мне потом с тем трафом делать, я же сквид юзаю. Что мне теперь отказаться от него???

[terminus]

а - у вас же сквид... что-то я на ipfw подумал...
ну тогда разбирайтесь как в сквиде на основании IP назначения скорость резать - я по сквиду слабо шарю...

[Nick_mad]

та мне и то и то пригодится потому что у меня есть несколько пользователей что напрямую ходят.

Ок, буду ковырять сквид, может кто такое делал то отпишитесь

[Gamerman]

Так можно самому сквиду скорость порезать черз ipfw (Клиентам то вроде пропорционально режется?)

[Larin]

а так ли нужен сквид при современных интернетах?

[Nick_mad]

Так можно самому сквиду скорость порезать черз ipfw (Клиентам то вроде пропорционально режется?)

не совсем понятно а как разные группы порезанные ipfw будут передаваться сквиду??

а так ли нужен сквид при современных интернетах?

ну так все равно оптимизация, можно зарезать музыку и т.д.

[Gamerman]

Я так понял что начальнику и админам, а также Вип-ам резать ничего не надо?
Тогда можно урезать канал на сам сквид, а юзеры через сквид уже сами будут себе делить, сколько возьмет из оставшегося.

Хотя, если 4 группы равноценны, и каждая должна иметь 1/4 трафика со сквида, то делить нужно через сквид (но как там понять где мир, а где Украина я не знаю).

[Nick_mad]

2Gamerman
будем пытаться что то сделать

2terminus
Если Вы используете такой способ нарезки трафика то не показали бы часть настройки фаервола что бы я не изобретал велосипед а по примеру побывал делать. В частности как Вы загоняете в таблицу IP и примеры труб.

[terminus]

этот скрипт надо сохранить где-нить, а потом прописать его в крон на выполнение каждые 5-ть минут, а так же на @reboot чтобы при старте тоже отрабатывало

/root/getipaddresses.sh

Код: Выделить всё

#!/bin/sh

cd /tmp
fetch -q http://www.colocall.net/ua/prefixes.txt

for NET in `cat /tmp/prefixes.txt`
do
ipfw table 5 add $NET
done

/etc/rc.conf

Код: Выделить всё

firewall_enable="YES"
firewall_type="/etc/firewall"

/etc/sysctl.conf

Код: Выделить всё

net.inet.ip.fw.one_pass=0
net.inet.ip.dummynet.io_fast=1

правила ipfw /etc/firewall

Код: Выделить всё

# задаем таблицы с адресами для 4-х групп которым будем резать скорости
ipfw table 1 add 192.168.1.0/24
ipfw table 2 add 192.168.2.0/24
ipfw table 3 add 192.168.3.0/24
ipfw table 4 add 192.168.4.0/24

# задаем правила нарезки исходящего/входящего трафика для 4х групп
# первая
pipe 1 config bw 1Mbit/s queue 60 gred 0.002/10/30/0.1
queue 1 config pipe 1 mask src-ip 0xffffffff queue 60 gred 0.002/10/30/0.1
pipe 2 config bw 1Mbit/s queue 60 gred 0.002/10/30/0.1
queue 2 config pipe 2 mask dst-ip 0xffffffff queue 60 gred 0.002/10/30/0.1

# вторая
pipe 3 config bw 1Mbit/s queue 60 gred 0.002/10/30/0.1
queue 3 config pipe 3 mask src-ip 0xffffffff queue 60 gred 0.002/10/30/0.1
pipe 4 config bw 1Mbit/s queue 60 gred 0.002/10/30/0.1
queue 4 config pipe 4 mask dst-ip 0xffffffff queue 60 gred 0.002/10/30/0.1

# третья
pipe 5 config bw 1Mbit/s queue 60 gred 0.002/10/30/0.1
queue 5 config pipe 5 mask src-ip 0xffffffff queue 60 gred 0.002/10/30/0.1
pipe 6 config bw 1Mbit/s queue 60 gred 0.002/10/30/0.1
queue 6 config pipe 6 mask dst-ip 0xffffffff queue 60 gred 0.002/10/30/0.1

# четвертая
pipe 7 config bw 1Mbit/s queue 60 gred 0.002/10/30/0.1
queue 7 config pipe 7 mask src-ip 0xffffffff queue 60 gred 0.002/10/30/0.1
pipe 8 config bw 1Mbit/s queue 60 gred 0.002/10/30/0.1
queue 8 config pipe 8 mask dst-ip 0xffffffff queue 60 gred 0.002/10/30/0.1

# украинский трафик без зарезки но через шейпер чтобы красивее шел
pipe 9 config bw 99Mbit/s queue 120 gred 0.002/20/60/0.1
queue 9 config pipe 9 mask src-ip 0xffffffff queue 120 gred 0.002/20/60/0.1
pipe 10 config bw 99Mbit/s queue 120 gred 0.002/20/60/0.1
queue 10 config pipe 10 mask dst-ip 0xffffffff queue 120 gred 0.002/20/60/0.1

# настройка ната на внешнем интерфейсе em0
nat 1 config log if em0 same_ports reset deny_in

# правила фаервола:

# режем странный трафик приходящий из интернета
add deny ip from any to 192.168.0.0/16 in recv em0
add deny ip from 192.168.0.0/16 to any in recv em0
add deny ip from any to 172.16.0.0/12 in recv em0
add deny ip from 172.16.0.0/12 to any in recv em0
add deny ip from any to 10.0.0.0/8 in recv em0
add deny ip from 10.0.0.0/8 to any in recv em0
add deny ip from any to 169.254.0.0/16 in recv em0
add deny ip from 169.254.0.0/16 to any in recv em0

# ограничения по скорости на исходящий
add queue 1 ip from table(1) to table(5) in recv fxp0
add queue 9 ip from table(1) to not table(5) in recv fxp0

add queue 3 ip from table(2) to table(5) in recv fxp0
add queue 9 ip from table(2) to not table(5) in recv fxp0

add queue 5 ip from table(3) to table(5) in recv fxp0
add queue 9 ip from table(3) to not table(5) in recv fxp0

add queue 7 ip from table(4) to table(5) in recv fxp0
add queue 9 ip from table(4) to not table(5) in recv fxp0

# ограничения по скорости на входящий
add queue 2 ip from table(5) to table(1) out xmit fxp0
add queue 10 ip from not table(5) to table(1) out xmit fxp0

add queue 4 ip from table(5) to table(2) out xmit fxp0
add queue 10 ip from not table(5) to table(2) out xmit fxp0

add queue 6 ip from table(5) to table(3) out xmit fxp0
add queue 10 ip from not table(5) to table(3) out xmit fxp0

add queue 8 ip from table(5) to table(4) out xmit fxp0
add queue 10 ip from not table(5) to table(4) out xmit fxp0

# разрешаем все через интерфейс смотрящий в локальную сеть
add allow ip from any to any via fxp0

add fwd 127.0.0.1,3128 tcp from { table(1) or table(2) or table(3) or table(4) } to any 80 out xmit em0

add nat 1 all from any to any via em0

add allow all from any to any

---

тут выйдет, что те, кто не внесен в таблицы 1,2,3,4 - те будут ходить в интернет без шейпера и без зарезок на любой вид трафика. Таким образом, если шеф запустит торент то он сможет один отъесть все 5мб забугорного канала и клиенты из групп будут соревноваться с его трафиком на шейпере у провайдера... Честно говоря тут есть поле для раздумий как бы эту схему улучшить...

[Nick_mad]

у меня тут от неграмотности вопрос возник, трафик в 1 мегабит будет делится между пользователями что занесены в одну таблицу??
тоесть если в 1 таблице 2 пользователя то будет делиться на них мегабит, а во второй если 30 человек то отже на них будет делится мегабит, правильно???
И при такой схеме можна зарезать музыку фильмы и т.д.

[terminus]

да - будет делиться между теми кто в одной таблице.

Музыку/фильмы надо будет резать на сквиде. Как вы его сейчас вызываете (как он работает - как прозрачный прокси или просто отдельный прокси который прописан на компах у юзеров)? Вызов сквида можно вставить в ipfw.

[Nick_mad]

сейчас как обычный, но теперь мне кажется, что при такой схеме нужно делать прозрачный

еще вопрос, после прохождения труб можна же еще его фильтровать по портам и т.д.

[terminus]

да, так как выставлен параметр net.inet.ip.fw.one_pass=0 (значит после прохождения ната или труб возвращать трафик в фаервол на обработку) то до правила 60000 можно писать что угодно и после правила 1000 тоже что угодно.

---

я вот только не помню как там сквид из ipfw вызывался - divert или fwd?

Если диверт то наверно его удобней вставлять перед 1000 на внутреннем сетевом интерфейсе, на правиле вида

Код: Выделить всё

ip from any to any via fxp0

а если fwd то тогда сразу перед 60000. Или тоже тогда перед 1000 как бы уже на внутренней стороне на аналогичном правиле

Код: Выделить всё

ip from any to any via fxp0

[Nick_mad]

Вот строка из примера

Код: Выделить всё

# отправляем всех на squid (в данном случае - прокси прозрачный)
${FwCMD} add fwd 127.0.0.1,3128 tcp from ${NetIn}/${NetMask} to any 80 via ${LanOut}

оно вставлено до ната

[terminus]

Ага - понятно. На внутреннем интерфейсе его надо запускать до 1000

---

хотя стоп. что же тогда будет - сквид перехватывает сессию, обрабатывает и пересылает в интернет от своего имени. А он сохранит оригинальный IP отправителя или заменит его на свой? Если он заменит IP на адрес машины на которой он работает то тогда все правила ограничения трафика не сработают...