Обсуждение SAMS (Squid Account Manager System)

[JaNet]

cat /usr/ports/www/sams/work/sams-1.0.4/mysql/create_squid_db
cat /usr/ports/www/sams/work/sams-1.0.4/mysql/create_sams_db

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[ymsssg]

Доброго времени суток!
Сталкивался ли кто-нибудь с тем что у пользователя выходящего в internet через nat сайты прогружаются заметно шустрее чем у того кто ходит в internet через обсуждаемую связку
[/code]

ИМХО, это логично. Ибо обращение идет в первую очередь, к кеш, а потом уже - к инету.
В Вашем же случае, ничего не кешируется, все идет напрямую.

Вариант - поиграться параметрами

Код: Выделить всё

TAG: cache_dir
#       Usage:
#
#       cache_dir Type Directory-Name Fs-specific-data [options]

и перевести часть кеш в ОЗУ памяти. Где-то были примеры, погуглите.

Есть один момент - человек ходит в нет по https

[hozman]

cat /usr/ports/www/sams/work/sams-1.0.4/mysql/create_squid_db
cat /usr/ports/www/sams/work/sams-1.0.4/mysql/create_sams_db

Вот:

Код: Выделить всё

hozhost# cat /usr/ports/www/sams/work/sams-1.0.4/mysql/create_squid_db
#!/bin/sh

USER=`cat /etc/sams.conf | grep MYSQLUSER | tr "MYSQLUSER=" "\0"`
echo "Create SQUID MySQL database"
mysql -u $USER -p < squid_db.sql
hozhost# cat /usr/ports/www/sams/work/sams-1.0.4/mysql/create_sams_db
#!/bin/sh

USER=`cat /etc/sams.conf | grep MYSQLUSER | tr "MYSQLUSER=" "\0"`
echo "Create MySQL database sams_db"
mysql -u $USER -p  < sams_db.sql
hozhost#

[hozman]

Изменил в /usr/ports/www/sams/work/sams-1.0.4/mysql/create_sams_db путь на такой:

Код: Выделить всё

USER=`cat /usr/local/etc/sams.conf | grep MYSQLUSER | tr "MYSQLUSER=" "\0"`

Всё-равно

Код: Выделить всё

hozhost# /usr/ports/www/sams/work/sams-1.0.4/mysql/create_sams_sb
/usr/ports/www/sams/work/sams-1.0.4/mysql/create_sams_sb: Command not found.

Что-то не находит команду, не понимаю как так.

[JaNet]

Есть один момент - человек ходит в нет по https

и что с того? кальмар умеет обрабатывать https запросы. а дальше - уже работа с дисковым массивом. из памяти считается быстрее чем с винта.

[JaNet]

Найдем 10 отличий
/usr/ports/www/sams/work/sams-1.0.4/mysql/create_sams_sb
и
/usr/ports/www/sams/work/sams-1.0.4/mysql/create_sams_db

[hozman]

Ну это было я описался. Путь изменил в create_sams_db* к конфигу самса, и уже не ругается.
Запускаю, дальше пишит якобы нету файла sams_db.sql

Код: Выделить всё

hozhost# /usr/ports/www/sams/work/sams-1.0.4/mysql/create_sams_db*
Create MySQL database sams_db
/usr/ports/www/sams/work/sams-1.0.4/mysql/create_sams_db: cannot open sams_db.sql: No such file or directory

Хотя он лежит в папке этой же. И с /create_squid_db тоже самое происходит, кстати.

[ymsssg]

Есть один момент - человек ходит в нет по https

и что с того? кальмар умеет обрабатывать https запросы. а дальше - уже работа с дисковым массивом. из памяти считается быстрее чем с винта.

Это все понятно, но https как известно не кэшируется - соотвественно о каком поиске данных в кэше и соответственно замедлении прогрузки странички может идти речь. Да и не может поиск по кэшу замедлять прогрузку страницы в 10 раз.

[JaNet]

Ну это было я описался. Путь изменил в create_sams_db* к конфигу самса, и уже не ругается.
Запускаю, дальше пишит якобы нету файла sams_db.sql

Код: Выделить всё

hozhost# /usr/ports/www/sams/work/sams-1.0.4/mysql/create_sams_db*
Create MySQL database sams_db
/usr/ports/www/sams/work/sams-1.0.4/mysql/create_sams_db: cannot open sams_db.sql: No such file or directory

Хотя он лежит в папке этой же. И с /create_squid_db тоже самое происходит, кстати.

ну так пропиши полный путь

[JaNet]

Это все понятно, но https как известно не кэшируется - соотвественно о каком поиске данных в кэше и соответственно замедлении прогрузки странички может идти речь. Да и не может поиск по кэшу замедлять прогрузку страницы в 10 раз.

дай пример сайта, которые у тебя прогружаются долго.
может там идет проброс какой хитрый.. помнитцца, у меня отказывался грузится нормально relcom.net из-за перенаправления на виртуальный хост 8808. решилось вбиванием в список не-кешируемых сайтов.

[ymsssg]

Это все понятно, но https как известно не кэшируется - соотвественно о каком поиске данных в кэше и соответственно замедлении прогрузки странички может идти речь. Да и не может поиск по кэшу замедлять прогрузку страницы в 10 раз.

дай пример сайта, которые у тебя прогружаются долго.
может там идет проброс какой хитрый.. помнитцца, у меня отказывался грузится нормально relcom.net из-за перенаправления на виртуальный хост 8808. решилось вбиванием в список не-кешируемых сайтов.

К сожалению адрес сайта дать не могу бо корпоративный он и в dns не прописан. Кстати, в моем случае переход на него тоже осуществляется на нестандартный порт. примерно так: https://site.ru:8010/login

[JaNet]

тогда вбей его в acl QUERY, может прокатит

[ymsssg]

тогда вбей его в acl QUERY, может прокатит

Насчет acl QUERY вот что у меня в конфиге сквида, глянь plz

Код: Выделить всё

auth_param basic program /usr/local/libexec/squid/ncsa_auth /usr/local/etc/squid/ncsa.sams
auth_param basic children 5
auth_param basic realm Squid proxy-caching web server
auth_param basic credentialsttl 2 hours
auth_param basic casesensitive off
acl _sams_4691b72b3fa86 proxy_auth "/usr/local/etc/squid/4691b72b3fa86.sams"
acl _sams_4691b72b3fa86_time time MTWHFAS 00:00-23:59
acl _sams_468b2623a8cbe proxy_auth "/usr/local/etc/squid/468b2623a8cbe.sams"
acl _sams_468b2623a8cbe_time time MTWHFAS 00:00-23:59
acl _sams_468b263adef61 proxy_auth "/usr/local/etc/squid/468b263adef61.sams"
acl _sams_468b263adef61_time time MTWHFAS 00:00-23:59
acl _sams_49d1b2c462583 proxy_auth "/usr/local/etc/squid/49d1b2c462583.sams"
acl _sams_49d1b2c462583_time time MTWHFAS 00:00-23:59
acl _sams_4864789f83de3 urlpath_regex -i "/usr/local/etc/squid/4864789f83de3.sams"
acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/32
acl to_localhost dst 127.0.0.0/8
acl SSL_ports port 443
acl Safe_ports port 80          # http
acl Safe_ports port 21          # ftp
acl Safe_ports port 443         # https
acl Safe_ports port 70          # gopher
acl Safe_ports port 210         # wais
acl Safe_ports port 1025-65535  # unregistered ports
acl Safe_ports port 280         # http-mgmt
acl Safe_ports port 488         # gss-http
acl Safe_ports port 591         # filemaker
acl Safe_ports port 777         # multiling http
acl CONNECT method CONNECT
acl QUERY urlpath_regex cgi-bin \?
acl FTP proto FTP
acl no_avir urlpath_regex -i \.avi$ \.jpg$ \.gif$ \.mp3$
http_access allow _sams_4691b72b3fa86  !_sams_4864789f83de3 _sams_4691b72b3fa86_time
http_access allow _sams_468b2623a8cbe  _sams_468b2623a8cbe_time
http_access allow _sams_468b263adef61  !_sams_4864789f83de3 _sams_468b263adef61_time
http_access allow _sams_49d1b2c462583  !_sams_4864789f83de3 _sams_49d1b2c462583_time
http_access allow manager localhost
http_access deny manager
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_reply_access allow all
icp_access allow all
http_port 3128
cache_peer 127.0.0.1            parent    3127  0     default no-query
hierarchy_stoplist cgi-bin ?
access_log /usr/local/squid/logs/access.log squid
cache_log /usr/local/squid/logs/cache.log
cache_store_log /usr/local/squid/logs/store.log
redirect_program /usr/local/bin/redir
url_rewrite_children 15
cache deny QUERY
refresh_pattern ^ftp:           1440    20%     10080
refresh_pattern ^gopher:        1440    0%      1440
refresh_pattern -i (/cgi-bin/|\?) 0     0%      0
refresh_pattern .               0       20%     4320
acl shoutcast rep_header X-HTTP09-First-Line ^ICY\s[0-9]
upgrade_http0.9 deny shoutcast
acl apache rep_header Server ^Apache
broken_vary_encoding allow apache
 cache_mgr admin@enisey-servis.ru
visible_hostname KREVEDKO
delay_pools 4
delay_class 1 2
delay_class 2 2
delay_class 3 2
delay_class 4 2
delay_access 1 allow _sams_468b2623a8cbe
delay_access 1 deny all
delay_parameters 1 64000/64000 64000/64000
delay_access 2 allow _sams_468b263adef61
delay_access 2 deny all
delay_parameters 2 64000/64000 64000/64000
delay_access 3 allow _sams_4691b72b3fa86
delay_access 3 deny all
delay_parameters 3 524288/524288 524288/524288
delay_access 4 allow _sams_49d1b2c462583
delay_access 4 deny all
delay_parameters 4 924288/924288 924288/924288
error_directory /usr/local/etc/squid/errors/Russian-1251
always_direct allow FTP
always_direct allow SSL_Ports
always_direct allow no_avir
never_direct allow all
forwarded_for off
coredump_dir /usr/local/squid/cache

Этот шаблон (Allowed) не использует никто

Код: Выделить всё

delay_class 3

А этот шаблон использует человек у которого скорость к сайту маленькая

Код: Выделить всё

delay_class 4

Все остальные используют:

Код: Выделить всё

delay_class 1
delay_class 2

[JaNet]

погодь, зачем мне делей-пулы? хочешь проверить их работу - отключи их вообще. на время. и проверь

я имел ввиду что ты вместо

Код: Выделить всё

acl QUERY urlpath_regex cgi-bin \?

пишешь

Код: Выделить всё

acl QUERY urlpath_regex site.ru cgi-bin \?

[hozman]

Я тут долго мудохался, вот что у меня вышло:

Код: Выделить всё

hozhost# sams -d
Connected database: squidctrl:127.0.0.1 user=sams
Connected database: squidlog:127.0.0.1 user=sams
Starting process: pid = 1486
Cache 0
Reading file: start=0 length=0
disable user script = (null)
ISP Mb size=1048576, kb size=1024
Found 0 SAMS users
Found 0 localhosts
2. SELECT count(*) FROM squidctrl.urlreplace
end=0 newend=0 clear=0 loadfile=0
No new values...
 

Я так понимаю, клин наблюдается в конекте к базам. Их попросту ненаходит. Хотя они существуют.

Код: Выделить всё

mysql> SHOW DATABASES;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| squidctrl          |
| squidlog           |
| test               |
+--------------------+
5 rows in set (0.05 sec)

Как такое может быть?

[JaNet]

а в базах точно что-то есть?
поставь phpmyadmin реально помогает увидеть что есть и как есть

[akela]

Подскажите пожалуйста с чем связанно. После настройки SAMS полтора месяца нормально отработал. Не каких изменений не было кроме переноса базы на другой слайс. Переносил её с помощью лёгкой ссылки и поэтому считаю что для SAMS`a это было прозрачно. Вот не давно начел выдавать такую ошибку и не хочет делать реконфигурацию SQUID . Кричит что sams демон не запущен . пробывал перезапускать вот что пишет.

proxy# /usr/local/etc/rc.d/sams restart
Stopping sams.
Starting sams.
proxy# ERROR: program with PID /var/run/sams.pid is running: pid = 1256

[Cancer]

Подскажите пожалуйста с чем связанно. После настройки SAMS полтора месяца нормально отработал. Не каких изменений не было кроме переноса базы на другой слайс. Переносил её с помощью лёгкой ссылки и поэтому считаю что для SAMS`a это было прозрачно. Вот не давно начел выдавать такую ошибку и не хочет делать реконфигурацию SQUID . Кричит что sams демон не запущен . пробывал перезапускать вот что пишет.

proxy# /usr/local/etc/rc.d/sams restart
Stopping sams.
Starting sams.
proxy# ERROR: program with PID /var/run/sams.pid is running: pid = 1256

протестируй БД из Админки!

[akela]

Как видишь все нормально.

Код: Выделить всё

heck table globalsettings: 	 OK 	 -
check table groups: 	OK 	-
check table ipreplace: 	OK 	-
check table log: 	OK 	-
check table passwd: 	OK 	-
check table proxyes: 	OK 	-
check table reconfig: 	OK 	-
check table redirect: 	OK 	-
check table sams: 	OK 	-
check table sconfig: 	OK 	-
check table sguard: 	OK 	-
check table shablons: 	OK 	-
check table squidusers: 	OK 	-
check table tree: 	OK 	-
check table urlreplace: 	OK 	-
check table urls: 	OK 	-

check table cache: 	OK 	-
check table cachesum: 	OK 	-
check table files: 	OK 	-

В базе squidctrl обнаружено поврежденных таблиц: 0
В базе squidctrl обнаружено поврежденных таблиц: 0 

[Cancer]

смотри

Код: Выделить всё

ps axw | grep samsd

если есть процесс то мочи его, далее показывай вывод

Код: Выделить всё

samsdaemon -d

[Cancer]

В Sams был найден баг...

После обновления с 1.0.1 до 1.0.4 падал демон

Код: Выделить всё

сегментации(core dumped)

Решение такое:
Смотреть если есть пустые группы без пользователей то удалять их.
И еще если пользователь остался без Профиля (обязательно назначьте ему профиль)...

[akela]

Пустых груп нет. Не присвоенных шаблонов тоже. Sams нвстривался с разу последний верси.
proxy# ps axw | grep samsd
3483 p0 S 0:04.36 /usr/local/bin/samsdaemon
4387 p1 D+ 0:00.00 grep samsd
proxy# samsdaemon -d
Starting process: pid = 4391
ERROR: program with PID /var/run/samsdaemon.pid is running: pid = 3483

[akela]

Сори вот вывод

Код: Выделить всё

proxy# samsdaemon -d
Starting process: pid = 4423
Read SAMS configuration... Ok
Connected database: squidctrl:localhost user=sams
Connected database: squidlog:localhost user=sams
Read SAMS properties...
    Cache... 0
    User autentification... NTLM
    Windows domain used
    Sleep time of samsdaemon...  1 second
    Redirector... REJIK
    SQUID log parser... diskret
    User traffic cleaner... YES
    Squidlog cache save... 1 month
    User name recode... NO
    Delay pools... ON
    Domain separators... '0+'
    Log level... '0'
    Create PDF file... NO
Ok
SQUID log parser time=1 min
countdown: 35
countdown: 34
countdown: 33
countdown: 32
countdown: 31
countdown: 30
countdown: 29
countdown: 28
countdown: 27
countdown: 26
countdown: 25
countdown: 24
countdown: 23
countdown: 22
countdown: 21
countdown: 20
countdown: 19
countdown: 18
countdown: 17
countdown: 16
countdown: 15
countdown: 14
countdown: 13
countdown: 12
countdown: 11
countdown: 10
countdown: 9
countdown: 8
countdown: 7
countdown: 6
countdown: 5
countdown: 4
countdown: 3
countdown: 2
countdown: 1
countdown: 0
countdown: -1
starting log parser/ parser time=1 60
start time: 2009-4-8 17:40:1
starting sams /usr/local/bin/sams
countdown: 59
countdown: 58
countdown: 57

и так его колбасит не подтески

[Cancer]

Это все нормально он работает

[Akela]

Тогда вообще не красиво получается. Если он все нормально отрабатывает то почему не хочет далеть squid реконфигурацию.