Calamaris + Squid

Проблемы установки, настройки и работы Правильной Операционной Системы

Модератор: terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
HRonik
мл. сержант
Сообщения: 130
Зарегистрирован: 2007-11-07 15:33:29

Re: Calamaris + Squid

Непрочитанное сообщение HRonik » 2007-12-26 15:30:32

princeps уговорил уговорил :)
Поставлю и каламарис и сарж .Ибо для каламариса осталось только скриптик для записи отфильтрованной инфы в файлик накатать, Но мне уже интересно что там за "простота" такая в сарже:) Погоняю их посмотрю где отчеты интереснее, да и просто сравню :)
Если до НГ успею то сюда положу результат:)
manefesto писал(а): Прикольно.....я бы без зп остался бы тогда...шутка
Мы же Одмины, обойти проксю для нас святое :)))

Доброго всем вечера :)

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2460 рублей (8 CPU, 8Gb RAM, 2x500Gb HDD, RAID 3ware 9750):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
f0s
ст. лейтенант
Сообщения: 1082
Зарегистрирован: 2007-03-13 18:43:31
Откуда: Санкт-Петербург
Контактная информация:

Re: Calamaris + Squid

Непрочитанное сообщение f0s » 2007-12-26 15:33:19

а покаи кусок конфига где ты через ldap группы сомтришь.. я пробовал через external по nt_group, но что-то не особо пашет. хоят просто отдельно еслди давать команду на скрипт - все ок
named, named, what is my TTL value?..

[FidoNet 2:550/2 && 2:5030/4441]

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Calamaris + Squid

Непрочитанное сообщение princeps » 2007-12-26 15:52:02

HRonik писал(а):princeps уговорил уговорил :)
Да я не уговаривал, просто я под юникс ни с каким анализатором кроме саржа не работал, вот и не могу судить о других. Ты меня, кстати, тоже заинтересовал своим каламарисом, кинь ссылку, где о нем почитать можно.
manefesto писал(а): Мы же Одмины, обойти проксю для нас святое :)))
Зачем обойти... Финансовый директор-то от меня отчеты получает, а что я там подрихтую - это уж мое дело :). Овцы целы, волки сыты и я пивом от благодарных любителей порнушки обеспечен :)
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

HRonik
мл. сержант
Сообщения: 130
Зарегистрирован: 2007-11-07 15:33:29

Re: Calamaris + Squid

Непрочитанное сообщение HRonik » 2007-12-27 7:01:46

f0s писал(а):а покаи кусок конфига где ты через ldap группы сомтришь.. я пробовал через external по nt_group, но что-то не особо пашет. хоят просто отдельно еслди давать команду на скрипт - все ок
в Squid.conf

Код: Выделить всё

auth_param basic program /usr/lib/squid3/squid_ldap_auth -P -b dc=hronik,dc=ru -f "uid=%s" -H "ldap://127.0.0.1" -v 3
external_acl_type ldap_group %LOGIN /usr/lib/squid3/squid_ldap_group -P -b dc=hronik,dc=ru -f (uid=%v)(cn=%a) -H "ldap://127.0.0.1" -v 3
auth_param ntlm program /usr/lib/squid3/squid_ldap_auth -P -b dc=hronik,dc=ru -f "uid=%s" -H "ldap://127.0.0.1" -v 3
что опции и аргументы обозначают сматри так

Код: Выделить всё

/usr/lib/squid3/squid_ldap_group -h
Примерно так же но с аргументами проверишь видит ли команда твоих пользователей.
Я тут тему создал , где заметил что если в lib-nnsldap.conf прописано так

Код: Выделить всё

nss_base_passwd ou=users,dc=hronik,dc=ru?one
nss_base_passwd ou=computers,dc=hronik,dc=ru?one
то squid_ldap_auth будет видеть только машины, если на оборот то -только юзверей....

далее в конфиг Ослика:

Код: Выделить всё

acl users external ldap_group users
http_access allow users
К сожалению у меня нет squid.schema (писать не когда), то есть нет squid групп. и в базе Лдапа у юзверей не хранится название группы, а только gidNumber( но это не сложно исправить).
В общем в строке

Код: Выделить всё

external_acl_type ldap_group %LOGIN /usr/lib/squid3/squid_ldap_group -P -b dc=hronik,dc=ru -f (uid=%v)(cn=%a) -H "ldap://127.0.0.1" -v 3
за место cn пишешь Squidgroup или gidName (там где у тебя название группы) и в конце строки

Код: Выделить всё

acl users external ldap_group 
ставишь не users как у меня а название группы , которую и будет пропускать Ослик :)
Вроде все так...вредно мне рано утром чтото делать :)

HRonik
мл. сержант
Сообщения: 130
Зарегистрирован: 2007-11-07 15:33:29

Re: Calamaris + Squid

Непрочитанное сообщение HRonik » 2007-12-27 8:01:47

princeps писал(а): Да я не уговаривал, просто я под юникс ни с каким анализатором кроме саржа не работал, вот и не могу судить о других. Ты меня, кстати, тоже заинтересовал своим каламарисом, кинь ссылку, где о нем почитать можно.
http://pm4u.narod.ru/squid_logs.htm вот тут нашол сразу 3 анализатора)))
Но там нет сравнения, нада пробывать...

HRonik
мл. сержант
Сообщения: 130
Зарегистрирован: 2007-11-07 15:33:29

Re: Calamaris + Squid

Непрочитанное сообщение HRonik » 2007-12-28 13:14:58

На мой взгляд у Сарж перед Каламарисом такие минусы:
1. Закрытый код программы(!)
2. Очень слабые графики.(почти и нету)
3. Многа лишнего флуда в конфиге.
4. Отсутствие общей статистики по серверу.
5. Корявый(на мой взгляд) Кэш, очень тяжело использывать в скриптах.
Плюсы:
1. Простота.
2. Возможность авторизовывать вебморду(каждый смотрит только свою статистику). только для этого я и оставлю сарж у себя, пока ресурсы позволяют))
3. Топ сайтов и файлов по дефолту, без скриптов.
4. В каламарисе почти все со скриптами сделал...
Вывод Каламарис понравился больше,его и оставлю как основной...Дописываю скрипт для автоматического контроля трафиком без вмешательств :)Допишу погоняю..если надо будет кому..выложу:)

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35071
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Calamaris + Squid

Непрочитанное сообщение Alex Keda » 2007-12-28 13:20:19

HRonik писал(а):На мой взгляд у Сарж перед Каламарисом такие минусы:
1. Закрытый код программы(!)
поделись травой?
HRonik писал(а):2. Очень слабые графики.(почти и нету)
что ты на них разглядывать хочешь?
HRonik писал(а): 3. Многа лишнего флуда в конфиге.
например?
HRonik писал(а): 4. Отсутствие общей статистики по серверу.
внизу индексной страницы не смотрел?
HRonik писал(а): 5. Корявый(на мой взгляд) Кэш, очень тяжело использывать в скриптах.
вообще не понял фразу...
HRonik писал(а): Плюсы:
1. Простота.
невяжется с предыдущими минусами...
HRonik писал(а): 2. Возможность авторизовывать вебморду(каждый смотрит только свою статистику). только для этого я и оставлю сарж у себя, пока ресурсы позволяют))
а про это не знал - делись как сделал?
HRonik писал(а): 3. Топ сайтов и файлов по дефолту, без скриптов.
4. В каламарисе почти все со скриптами сделал...
Вывод Каламарис понравился больше,его и оставлю как основной...Дописываю скрипт для автоматического контроля трафиком без вмешательств :)Допишу погоняю..если надо будет кому..выложу:)
Убей их всех! Бог потом рассортирует...

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Calamaris + Squid

Непрочитанное сообщение princeps » 2007-12-28 13:54:26

lissyara писал(а): HRonik писал(а):На мой взгляд у Сарж перед Каламарисом такие минусы:
1. Закрытый код программы(!)


поделись травой?
:) :) :) Жжоте, пацаны. Как же он у меня с закрытым кодом из исходников скомпилировался?
lissyara писал(а): HRonik писал(а):2. Очень слабые графики.(почти и нету)


что ты на них разглядывать хочешь?
Согласен с HRonik'ом. И с Лисом тоже согласен. Был у меня в одной конторе, не к ночи будь помянут, MS ISA сервер, такие красивые графики рисовал, только толку от них - ноль.
lissyara писал(а):5. Корявый(на мой взгляд) Кэш, очень тяжело использывать в скриптах.
Я тоже не понял. Что имеешь ввиду?
lissyara писал(а):2. Возможность авторизовывать вебморду(каждый смотрит только свою статистику). только для этого я и оставлю сарж у себя, пока ресурсы позволяют))
Лично для меня - самый главный плюс, который перевешивает много минуса. К вышепомянутой всуе исе пришлось на php писать длиннющий скрипт, чтоб он из ldap каталога выбирал юзеров и натравливал их на папки с их отчетами.
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35071
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Calamaris + Squid

Непрочитанное сообщение Alex Keda » 2007-12-28 13:56:23

ну так скажите как сделали?
чё-то я такой возможности не видел в нём
Убей их всех! Бог потом рассортирует...

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Calamaris + Squid

Непрочитанное сообщение princeps » 2007-12-28 13:58:52

#авторизация в отчеты юзеров можна зайти только каждый в свой отчет
#и нужно создать в файле squid.users юзера admin он
#может заходить в любые отчеты
AuthName "Internet"
AuthType Basic
AuthUserFile /usr/local/etc/squid/squid.users
require user %u

Это из той статьи, которую я HRonik'у выше предложил: http://www.opennet.ru/base/net/squid_sarg_traf.txt.html
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35071
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: Calamaris + Squid

Непрочитанное сообщение Alex Keda » 2007-12-28 14:08:20

ну а какой понт - надо описывать всех узеров в файле...
Убей их всех! Бог потом рассортирует...

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Calamaris + Squid

Непрочитанное сообщение princeps » 2007-12-28 14:38:47

Лис, я как-то делал что он у меня хавал аутентификацию NTLM и пользователей из лдапа выбирал. Да не помню как - а посмотреть не могу, т.к. на прошлой неделе грохнул этот сервак :(
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

HRonik
мл. сержант
Сообщения: 130
Зарегистрирован: 2007-11-07 15:33:29

Re: Calamaris + Squid

Непрочитанное сообщение HRonik » 2007-12-28 14:41:11

Траву не дам, она моя :)
Я имел ввиду то , что у Каламариса после компиляции можно прогу редактировать :)
Толк от графиков?..А хз , я бы их совсем отключил, но начальство любит их... хлебам не корми.(оно делает вид что будет эти графики смотреть )
про вывод Кэш файлов...Дак я же говорю что привел свое мнение:) В статье http://www.opennet.ru/base/net/squid_sarg_traf.txt.html руками меняют каждый месяц название файла откуда трафик считать...А я трафик в день считаю, мне чт его каждое утро удалено сменять?) Зато в каламарисе все получилось автоматизировать :)
про флуд в конфиге...в начале настроек страницы море, а после разбирательств в каламарисе савсем что-то не хотелось в это все вникать...
И вапще я спать хочу=\

HRonik
мл. сержант
Сообщения: 130
Зарегистрирован: 2007-11-07 15:33:29

Re: Calamaris + Squid

Непрочитанное сообщение HRonik » 2007-12-28 14:55:03

В упор общую статистику сервера не вижу в Сарже .Ткните ктонибудь)

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Calamaris + Squid

Непрочитанное сообщение princeps » 2007-12-28 16:56:49

HRonik писал(а):В упор общую статистику сервера не вижу в Сарже .Ткните ктонибудь)
Я так понимаю, ты его не из коллекции портов FreeBSD ставил? У меня по дефолту была. Вот я скопипастил кусок отчета:

Код: Выделить всё

No		Пользователь	Подключений	Байт	%Байт	IN-CACHE-OUT	Общее время	Миллисек.	%Время

208	[Graphic Отчет]   [Дата/Время Отчет] 	62.118.x.x	8	11.56K	0.00%	100.00%	0.00%	00:00:00	246	0.00%
209	[Graphic Отчет]   [Дата/Время Отчет] 	213.234.x.x	32	9.96K	0.00%	0.00%	100.00%	00:00:10	10.66K	0.00%
		Всего	2.28M	23.19G		9.26%	9.26%	2569:54:42	9.25G
		Средняя	8.01K	81.38M				09:01:02	32.46M
Вот внизу "Всего", "Средняя" и т.д. Если мы, конечно, об одном говорим.
HRonik писал(а):про флуд в конфиге...в начале настроек страницы море, а после разбирательств в каламарисе савсем что-то не хотелось в это все вникать...
Там большая часть настроек - это цвет, шрифт и т.п. ересь. Лично я их вообще не трогал. И не знаю ни одного человека, который трогал :).
HRonik писал(а):И вапще я спать хочу=\
Видимо, у жены день рождения жены часто бывает;)
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Calamaris + Squid

Непрочитанное сообщение princeps » 2007-12-28 17:03:04

HRonik писал(а):Вывод Каламарис понравился больше,его и оставлю как основной...
Видимо первый анализатор логов - как первый секс, запоминается навсегда :)
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Calamaris + Squid

Непрочитанное сообщение princeps » 2007-12-28 17:20:03

Никак не мог понять вот эту фразу:
princeps писал(а):В статье http://www.opennet.ru/base/net/squid_sarg_traf.txt.html руками меняют каждый месяц название файла откуда трафик считать...А я трафик в день считаю, мне чт его каждое утро удалено сменять?) Зато в каламарисе все получилось автоматизировать
Теперь, кажется, понял. Вот в этой статье: http://ksimute.trancom.ru/squid-sarg.shtml есть скрипт, где оно автоматически делается. Вообще ты прав - менять в скрипте руками месяц, от которого логи считаются - это извращение, конечно :)
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

HRonik
мл. сержант
Сообщения: 130
Зарегистрирован: 2007-11-07 15:33:29

Re: Calamaris + Squid

Непрочитанное сообщение HRonik » 2007-12-29 7:42:43

princeps писал(а):
HRonik писал(а):В упор общую статистику сервера не вижу в Сарже .Ткните ктонибудь)
Я так понимаю, ты его не из коллекции портов FreeBSD ставил? У меня по дефолту была. Вот я скопипастил кусок отчета:

Код: Выделить всё

No		Пользователь	Подключений	Байт	%Байт	IN-CACHE-OUT	Общее время	Миллисек.	%Время

208	[Graphic Отчет]   [Дата/Время Отчет] 	62.118.x.x	8	11.56K	0.00%	100.00%	0.00%	00:00:00	246	0.00%
209	[Graphic Отчет]   [Дата/Время Отчет] 	213.234.x.x	32	9.96K	0.00%	0.00%	100.00%	00:00:10	10.66K	0.00%
		Всего	2.28M	23.19G		9.26%	9.26%	2569:54:42	9.25G
		Средняя	8.01K	81.38M				09:01:02	32.46M
Вот внизу "Всего", "Средняя" и т.д. Если мы, конечно, об одном говорим.
И это все ?(
В каламаресе можно посмотреть время наиболее сильной нагрузки на сервер, количество "плохих" запросов, % использования кэша Ослика и тд и тп...
princeps писал(а):
HRonik писал(а):И вапще я спать хочу=\
Видимо, у жены день рождения жены часто бывает;)
Причем тут ДР жены ?? У нас предновогодняя неделя :)ДА я ваще не пью..просто не высыпаюсь...

HRonik
мл. сержант
Сообщения: 130
Зарегистрирован: 2007-11-07 15:33:29

Re: Calamaris + Squid

Непрочитанное сообщение HRonik » 2007-12-29 7:44:24

Кстате всех поздравляю всех с новым годом, ибо седня последний мой день в инете, в этом году :)

HRonik
мл. сержант
Сообщения: 130
Зарегистрирован: 2007-11-07 15:33:29

Re: Calamaris + Squid

Непрочитанное сообщение HRonik » 2007-12-29 7:53:26

princeps писал(а):Никак не мог понять вот эту фразу:
princeps писал(а):В статье http://www.opennet.ru/base/net/squid_sarg_traf.txt.html руками меняют каждый месяц название файла откуда трафик считать...А я трафик в день считаю, мне чт его каждое утро удалено сменять?) Зато в каламарисе все получилось автоматизировать
Теперь, кажется, понял. Вот в этой статье: http://ksimute.trancom.ru/squid-sarg.shtml есть скрипт, где оно автоматически делается. Вообще ты прав - менять в скрипте руками месяц, от которого логи считаются - это извращение, конечно :)
Заменить в скрипте дату командой

Код: Выделить всё

date +%d/%b/%Y
я и так догадался))
Просто там вывод даты идет на английском, а у меня....

Код: Выделить всё

 date +%d/%b/%Y
29/Дек/2007
Это фигня конечно, но разбираться в этом мне что-то совсем не хочется :)))

HRonik
мл. сержант
Сообщения: 130
Зарегистрирован: 2007-11-07 15:33:29

Re: Calamaris + Squid

Непрочитанное сообщение HRonik » 2007-12-29 8:32:24

Понимаю что не в тему, но создавать новую жалко для такова вопроса.
Скажите пожалуйста как перл скриптом смотреть базу Лдапа ?
Мне это очень помогло бы)
Заранее спасибо

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Calamaris + Squid

Непрочитанное сообщение princeps » 2007-12-29 9:39:13

HRonik писал(а):И это все ?(
В каламаресе можно посмотреть время наиболее сильной нагрузки на сервер, количество "плохих" запросов, % использования кэша Ослика и тд и тп...
Ну.... Я этим не пользуюсь.
HRonik писал(а):date +%d/%b/%Y
29/Дек/2007
хехе, чувак, не морочь себе голову, переходи на фрю. У нас вообще все проще :)
HRonik писал(а):Понимаю что не в тему, но создавать новую жалко для такова вопроса.
Лучше создай. А то тут итак все обо всем.
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

HRonik
мл. сержант
Сообщения: 130
Зарегистрирован: 2007-11-07 15:33:29

Re: Calamaris + Squid

Непрочитанное сообщение HRonik » 2007-12-29 10:05:04

princeps писал(а):.
HRonik писал(а):date +%d/%b/%Y
29/Дек/2007
хехе, чувак, не морочь себе голову, переходи на фрю. У нас вообще все проще :)
Проще, всегда значит лучше ?)
ОС ОС-ом, я вот помучаешься так...и знать мб хоть что-то будешь :)))
я щас прикручиваю к автоматическому подсчету лиц превысивших лимит трафика Лдап...
Через скрипт вроде все получаеться и отдельный файл не нужен будет ,
но судя по звону посуды из соседнего офиса сегодня я этого не доделаю=\

princeps
майор
Сообщения: 2684
Зарегистрирован: 2007-09-25 10:20:59
Откуда: Сочи, Москва
Контактная информация:

Re: Calamaris + Squid

Непрочитанное сообщение princeps » 2007-12-29 10:40:32

HRonik писал(а):Проще, всегда значит лучше ?)
Не всегда, конечно. Но на мой взгляд - проще, значит надежней.
HRonik писал(а):я щас прикручиваю к автоматическому подсчету лиц превысивших лимит трафика Лдап...
Т.е. ты хочешь лимит трафика в ldap хранить? А что, очень мудро, можно для каждого юзера отдельно выставить. Напиши потом, я тоже возьму на вооружение.
Deus quos vult perdere dementat prius
http://www.itforum-sochi.ru

HRonik
мл. сержант
Сообщения: 130
Зарегистрирован: 2007-11-07 15:33:29

Re: Calamaris + Squid

Непрочитанное сообщение HRonik » 2008-01-14 9:17:03

lissyara писал(а):ну а какой понт - надо описывать всех узеров в файле...
Лис , вот скриптик , и не нада никаво в файле описывать...

Код: Выделить всё

[code]#!/usr/bin/perl -w                                                                                                      
use strict;                                                                                                            
use Net::LDAP;                                                                                                          
use Text::Iconv;                                                                                                        
use MIME::Base64;                     
use Net::LDAP::Search;                                                                                 
                    
my $DN='cn=root,dc=hronik,dc=ru'; 
my $pass='secret';                                                                                                   
my $satrr=$ARGV[0];                                                                                                    
my $converter = Text::Iconv->new('KOI8-R', 'UTF-8');                                                                                                                                          
my $entry;my $mesg;                                                                                                    
my $ctr = Text::Iconv->new('UTF-8','KOI8-R');                                                                          
my $ldap = Net::LDAP->new( '127.0.0.1' );                                                                              
my $attrs = [ 'cn','userPassword' ];                                                                                            
$mesg = $ldap->bind($DN,password =>$pass);                                                        

$mesg = $ldap->search(base => 'dc=hronik,dc=ru',                                         
			filter => '&(|(gidNumber=10002)(gidNumber=10001))(objectClass=account)', 
			attrs => $attrs );                                          

    my $href = $mesg->as_struct; my @arrayOfDNs  = keys %$href;                                                            
    foreach ( @arrayOfDNs ) {                                                                                          
        my $attrName; my $valref = $$href{$_}; my @arrayOfAttrs = sort keys %$valref;                                      
    foreach $attrName (@arrayOfAttrs) {                                                                                
    	next if ( $attrName =~ /;binary$/ );                                                                            
	my $attrVal = @$valref{$attrName}; my $list=join(" ",@$attrVal);                                                
	print $ctr->convert($list)," ";} print "\n";}                                                                  
$mesg = $ldap->unbind;
[/code]