Страница 1 из 1

Замена серверу доступа

Добавлено: 2009-10-24 1:57:54
wel
Привет Всем
В виду лишнего звена в организации доступа к Инету пользователей и вытекающим из этого проблем ищу другие варианты - как давать доступ в интернет. Сейчас очень прикольно получается:

Пользователи платят предоплату, причем за месяц. Вот заплатили они за 1-н месяц, пришли вечером домой, а там -бабах один сервер лег, вернее на нем radius, mpd - всех выкидывает и сервер становится самым не нагруженым, в итоге у всех ошибка 691 - PPPoE :( - на серваке были "железные проблемы"...
А все что нужно - нарезать на пользователя скорость и настроить сеть - все...

1.Контроль доступа?
2.Нарезка скорости?
3.Балансировка нагрузки?
4.Доступность сервиса?

Давать На каждого влан+/30 маску? Тогда будут очень "жирно" расходоваться реальники...зато можно будет резать скорость на vlan'ах ng_car'ом(или нет???) и могут быть проблемы с количеством вланов...

Переложить контроль доступа на управляемый порт? Не все свичи умеют бороться с arp,ip,mac-spoofing and etc...

В общем интересует кто что посоветует? И чем резать скорость?

Re: Замена серверу доступа

Добавлено: 2009-10-24 2:00:33
paradox
на радиус ватч дог поставь и путсть охраняет

Re: Замена серверу доступа

Добавлено: 2009-10-24 14:59:52
wel
paradox писал(а):на радиус ватч дог поставь и путсть охраняет
Дык проблема не только в этом...Тоесть - если и радиус ( демон) работает, то могут скрипты заглючить, коннект от базы отвалится, кольцо, флуд или ребут свича - люди не могут переподключится пока их не выкинет из онлайна - 10-минут таймаут, многие сдаются и потом говорят о низком сервисе и т.д.
В общем в сети 5к+ чел больше чем несколько раз в месяц пользователи ловят разные ошибки...не все конечно, но бывает разное...
В общем "пионернет" :(
Вот и хочется как-то тем кто заплатил за безлим - просто дать инет и всё....

Re: Замена серверу доступа

Добавлено: 2009-10-24 15:14:40
paradox
люди не могут переподключится пока их не выкинет из онлайна - 10-минут таймаут
нифига не понял
может тогда правильно LCP настроить на mpd
что бы были адекватные подключения

Re: Замена серверу доступа

Добавлено: 2009-10-24 15:15:47
paradox
не я могу конечно посоветовать циско нас
но чем это будет отличаться?
тот же самый циско нас может точно так же глючить
случайное вырубание питание
проливание пива на корпус
попадание молниии
итд))

Re: Замена серверу доступа

Добавлено: 2009-10-24 15:23:10
Gamerman
Клиенты должны иметь реальные IP?

Re: Замена серверу доступа

Добавлено: 2009-10-24 21:37:32
wel
paradox писал(а):
люди не могут переподключится пока их не выкинет из онлайна - 10-минут таймаут
нифига не понял
может тогда правильно LCP настроить на mpd
что бы были адекватные подключения
Есть биллинг(abills) в нем раз в 10 минут запускается скрипт, который и решает - в онлайне пользователь или нет(если было нештатное отключение)...
paradox писал(а):не я могу конечно посоветовать циско нас
но чем это будет отличаться?
Я и не ищу замену radius+pptp/pppoe-server...
Просто знаю что некоторые провайдеры дают сейчас интернет напрямую - настроил ip/mask/getaway/ns1...
Вот собственно хочу к этой схеме прийти...
Gamerman писал(а):Клиенты должны иметь реальные IP?
не все :)

Re: Замена серверу доступа

Добавлено: 2009-10-24 21:54:17
paradox
Есть биллинг(abills) в нем раз в 10 минут запускается скрипт, который и решает - в онлайне пользователь или нет(если было нештатное отключение)...
ну кривой абиллз
кто ж спорит
Я и не ищу замену radius+pptp/pppoe-server...
Просто знаю что некоторые провайдеры дают сейчас интернет напрямую - настроил ip/mask/getaway/ns1...
Вот собственно хочу к этой схеме прийти...
ну так дайте
токо будет тяжелее биллинг им делать
не все
ну и как вы им без айпи кроме как через ppp-pppoe дадите доступ в интернет?
никак

Re: Замена серверу доступа

Добавлено: 2009-10-25 0:02:50
wel
paradox писал(а):
не все
ну и как вы им без айпи кроме как через ppp-pppoe дадите доступ в интернет?
никак
Вообще-то Я хотел узнать, а не хвалится и навязывать "что-то"...

Мои сведения почерпнутые из разных источников... о том как это можно сделать :)
Сеть делим на 2-е части:
Анлим и prepaid - каждая в своем vlan'е

Для prepaid все по старому...

Для анлима:
1.Доступ - L2/L2+ "умный порт" на пользователя.
Ip-Mac-Port binding, dhcp-snooping....
Можн обыло бы: IP Unnumbered

2.от l2/l2+/l3 свичей все сходится в -> l3 на районе

3.От L3 на районах в ядро
4.От ядра в сервера...
5.Сервера:
vrrp, carp...etc - для балансировки и отказоустойчивости...
nat - он и в Африке нат
rate-limit,shape

6.Итог:
Траффик идет от клиента к серверу или же через L2->L3->ядро->L3->L2 другие юзеры...
Нет лишних демонов, костылей, скриптов и т.д. - пользователю нарезали скорость на целый месяц и все...

Re: Замена серверу доступа

Добавлено: 2009-10-25 0:17:34
paradox
я сильно сомневаюсь что unumbered будет работать на обычных свитчах и на много_клиентов->на_один_порт

а если каждому пользователю выделять по порту
а у вас пользователей 4k
то тогда вы ну очень богатыйййййййййййййййййййййй)) миллионер?

Re: Замена серверу доступа

Добавлено: 2009-10-25 0:29:21
wel
paradox писал(а):я сильно сомневаюсь что unumbered будет работать на обычных свитчах и на много_клиентов->на_один_порт

а если каждому пользователю выделять по порту
а у вас пользователей 4k
то тогда вы ну очень богатыйййййййййййййййййййййй)) миллионер?
Уже сейчас больше половины сети 1юзер в 1 упр порт...
Да остались еще свичи в порты которого воткнуты тупые восьмерки :(

Так вот так как уже больше половины людей 1юзер в 1 упр порт и возникает вопрос - почему бы не выкинуть PPPoE/ppptp? Хотя бы для безлимитчиков?

Re: Замена серверу доступа

Добавлено: 2009-10-25 0:34:29
paradox
Уже сейчас больше половины сети 1юзер в 1 упр порт...
ааа
ну тогда да
токо я не представляю как вы будете в случае чего управлять всем этим)
например смена групы для пользователей
Так вот так как уже больше половины людей 1юзер в 1 упр порт и возникает вопрос - почему бы не выкинуть PPPoE/ppptp? Хотя бы для безлимитчиков?
однозначно таким pppoe/pptp ненужен

DHCP+nat ядреный и забыть о таких
токо абонплату считать по биллингу)) что бы вовремя платили

Re: Замена серверу доступа

Добавлено: 2009-10-25 13:31:44
Bormental
я опенвпн(логин пароль)+сквид(транспарент)+ipfw(нарезка скорости и подсчет) юзаю, и для 10й подсетки (которую обычно для впна юзают) маска 30 нормально, более 4 миллионов клиентов можно подключить.

Re: Замена серверу доступа

Добавлено: 2009-10-25 19:25:16
wel
paradox писал(а):
Уже сейчас больше половины сети 1юзер в 1 упр порт...
ааа
ну тогда да
токо я не представляю как вы будете в случае чего управлять всем этим)
например смена групы для пользователей
Уже сейчас есть скрипт, который снимает по snmp fdb-table, дальше - Мы знаем кто и где сидит - PPPoE авторизация по маку же :)
То есть с биллингом Мы интегрировали(Свич: порт, статус порта(Up/Down), mac на порту(или логин или Ип), и цветом - отрицательный ли баланс):
Изображение

paradox писал(а):
Так вот так как уже больше половины людей 1юзер в 1 упр порт и возникает вопрос - почему бы не выкинуть PPPoE/ppptp? Хотя бы для безлимитчиков?
однозначно таким pppoe/pptp ненужен

DHCP+nat ядреный и забыть о таких
токо абонплату считать по биллингу)) что бы вовремя платили
Во-во, наконец на одном языке говорим :)

Сейчас 4-е одинаковых сервака, которые отданы под PPPoE...

Код: Выделить всё

Timecounter "i8254" frequency 1193182 Hz quality 0
CPU: Dual Core AMD Opteron(tm) Processor 275 (2193.18-MHz K8-class CPU)
  Origin = "AuthenticAMD"  Id = 0x20f12  Stepping = 2
  Features=0x178bfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,MMX,FXSR,SSE,SSE2,HTT>
  Features2=0x1<SSE3>
  AMD Features=0xe2500800<SYSCALL,NX,MMX+,FFXSR,LM,3DNow!+,3DNow!>
  AMD Features2=0x3<LAHF,CMP>
  Cores per package: 2
usable memory = 2137575424 (2038 MB)
avail memory  = 1763106816 (1681 MB)
ACPI APIC Table: <IBM    SERBLADE>
FreeBSD/SMP: Multiprocessor System Detected: 4 CPUs
 cpu0 (BSP): APIC ID:  0
 cpu1 (AP): APIC ID:  1
 cpu2 (AP): APIC ID:  2
 cpu3 (AP): APIC ID:  3

Код: Выделить всё

# netstat -w1 -I bge1
            input         (bge1)           output
   packets  errs      bytes    packets  errs      bytes colls
     19255     0   19782473      23521     0   15138338     0
     20088     0   21692605      22861     0   13205228     0
     18691     0   19557810      21637     0   13220895     0
^C
# netstat -w1
            input        (Total)           output
   packets  errs      bytes    packets  errs      bytes colls
     73624     0   51579140      69305     0   55276252     0
     71994     0   50370743      67990     0   54089200     0
     74441     0   51817672      71028     0   56696483     0
^C

Код: Выделить всё

# ifconfig|grep ng|wc -l
     461 
squid на них - пока как временная мера, так как очень долго страницы открываются, а Я еще не вникал как пофиксить...
Иногда наступает напряжный момент :(

Код: Выделить всё

# top -S
last pid: 32819;  load averages:  3.74,  3.44,  3.47                                                                                 up 1+09:12:58  18:11:25
183 processes: 18 running, 152 sleeping, 13 waiting
CPU: 29.6% user,  0.0% nice, 56.5% system, 13.8% interrupt,  0.0% idle
Mem: 728M Active, 468M Inact, 704M Wired, 55M Cache, 214M Buf, 22M Free
Swap: 8192M Total, 24M Used, 8168M Free

  PID USERNAME    THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
   15 root          1 -44    -     0K    16K CPU2   2 934:12 67.19% swi1: net
   43 root          1 171 ki31     0K    16K RUN    0  29.6H 65.38% idlepoll
   14 root          1 171 ki31     0K    16K RUN    0 889:24 26.03% idle: cpu0
   12 root          1 171 ki31     0K    16K RUN    2 641:14 15.09% idle: cpu2
 2943 squid        17  44    0   831M   668M ucond  0   0:47 15.09% squid
   13 root          1 171 ki31     0K    16K RUN    1 666:29 13.13% idle: cpu1
   16 root          1 -32    -     0K    16K WAIT   1  56:19  5.86% swi4: clock sio
32800 freeradius    1  -8    0 26036K  8916K piperd 1   0:01  5.03% perl5.8.9
32802 freeradius    1  97    0 62676K  7860K RUN    3   0:01  4.54% radiusd
32804 freeradius    1  96    0 21032K  6952K RUN    1   0:01  3.27% perl5.8.9
 1083 root         10  45    0 37268K 10936K select 1   0:00  1.90% mpd5
   11 root          1 171 ki31     0K    16K RUN    3 390:51  1.32% idle: cpu3
 1237 root          1   4    0 27312K  5124K select 1  10:13  0.05% snmpd
   39 root          1 -68    -     0K    16K -      1   9:44  0.00% dummynet
   18 root          1  44    -     0K    16K -      0   3:56  0.00% yarrow
   45 root          1  20    -     0K    16K syncer 0   3:04  0.00% syncer
Скорость режется ng_car'ом...

Код: Выделить всё

# ipfw show
00100    1042582     221765538 allow ip from any to any via lo0
00110 1840118986 1858664188784 netgraph 61 ip from any to ххх.ххх.ххх.ххх in via bge1
00131        146          7008 allow tcp from any to ххх.ххх.ххх.ххх dst-port 137-139,135,445
00132          0             0 allow tcp from ххх.ххх.ххх.ххх to any dst-port 137-139,135,445
00150    9646519     467966474 deny tcp from any to any dst-port 137-139,135,445
01000  259161524   20017709987 fwd 127.0.0.1,8080 tcp from 172.16.0.0/16 to any dst-port 80 in recv ng*
01001   53571751    4757809429 fwd 127.0.0.1,8080 tcp from 172.17.0.0/16 to any dst-port 80 in recv ng*
60011 1324865346  840198613209 netgraph 60 ip from table(127) to any
65535 5647808903 4377747689270 allow ip from any to any
Вопрос в следующем - Сколько же может через себя пропустить один такой сервак на роутинге+нат?...И чем резать скорость в ядре?
Сейчас скорость высчитывается и динамически rate-limit'иться...
И был ли у кого-то опыт с carp'ом не на резервирование, а на баласировку?