SQUID оптимизация

Простые/общие вопросы по UNIX системам. Спросите здесь, если вы новичок

Модераторы: vadim64, terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Demontager
ефрейтор
Сообщения: 68
Зарегистрирован: 2011-06-27 23:11:48
Откуда: Украина
Контактная информация:

SQUID оптимизация

Непрочитанное сообщение Demontager » 2011-06-27 23:25:07

У меня стоит squid+sams, проблема в настройках конфига для squid. У меня всё работает, кешируется, даже черезчур хорошо, поэтому есть такая раздражающая мелочь со squid - он не обновляет корректно страницы сайтов, как это проявляется? Вот, допустим, я хочу залогится на каком-то форуме со своим ником, ввожу логин/пароль, нажимаю ввойти, но вместо успешного логина показывается опять окно логина. И второй казус - как обычно, форумы очень часто обновляются, я имею ввиду появляются новые посты там, но когда я использую squid, я эти посты не вижу, тоесть он показывает те посты, которые у него сохранились при первом посещении ветки форума. Вот сам конфиг, составлял из нескольких, по примерам в Инете:

Код: Выделить всё


dem@gateway ~ $ egrep -v "^(#)" /etc/squid/squid.conf | egrep -v "^[ \t]*$"
acl Sams2Time1 time MTWHFAS 00:00-23:59
acl Sams2Template1 src 192.168.1.110
acl Sams2Template2 src 10.0.0.2
acl Sams2Template2 src 172.16.1.101
acl Sams2Template2 src 172.16.1.104
acl Sams2Template2 src 172.16.1.107
acl Sams2Template2 src 172.16.1.108
acl Sams2Template2 src 172.16.1.110
acl manager proto cache_object
acl localhost src 127.0.0.1/32 ::1
http_access allow Sams2Template1 Sams2Time1
http_access allow Sams2Template2 Sams2Time1
http_access allow manager localhost
http_access deny manager
http_access allow localhost
http_access deny all
http_port 3128 transparent
http_port 3127
hierarchy_stoplist cgi-bin ?
cache_mem 1024 MB
maximum_object_size_in_memory 10240 KB
cache_dir ufs /var/spool/squid 10024 16 256
minimum_object_size 0 KB
maximum_object_size 10240 KB
cache_swap_low 90
cache_swap_high 98
cache_store_log /var/log/squid/store.log
coredump_dir /var/spool/squid
acl Sams2Proxy dst 172.16.1.110
url_rewrite_access deny Sams2Proxy
refresh_pattern -i \.bz2$          43200   100%    43200 override-lastmod override-expire ignore-reload ignore-no-cache  ignore-private ignore-auth reload-into-ims
refresh_pattern -i \.exe$          43200   100%    43200 override-lastmod override-expire ignore-reload ignore-no-cache  ignore-private ignore-auth reload-into-ims
refresh_pattern -i \.gif$          43200   100%    43200 override-lastmod override-expire ignore-reload ignore-no-cache  ignore-private ignore-auth reload-into-ims
refresh_pattern -i \.gz$           43200   100%    43200 override-lastmod override-expire ignore-reload ignore-no-cache  ignore-private ignore-auth reload-into-ims
refresh_pattern -i \.ico$          43200   100%    43200 override-lastmod override-expire ignore-reload ignore-no-cache  ignore-private ignore-auth reload-into-ims
refresh_pattern -i \.jpg$          43200   100%    43200 override-lastmod override-expire ignore-reload ignore-no-cache  ignore-private ignore-auth reload-into-ims
refresh_pattern -i \.mid$          43200   100%    43200 override-lastmod override-expire ignore-reload ignore-no-cache  ignore-private ignore-auth reload-into-ims
refresh_pattern -i \.mp3$          43200   100%    43200 override-lastmod override-expire ignore-reload ignore-no-cache  ignore-private ignore-auth reload-into-ims
refresh_pattern -i \.pdf$          43200   100%    43200 override-lastmod override-expire ignore-reload ignore-no-cache  ignore-private ignore-auth reload-into-ims
refresh_pattern -i \.swf$          43200   100%    43200 override-lastmod override-expire ignore-reload ignore-no-cache  ignore-private ignore-auth reload-into-ims
refresh_pattern -i \.tar$          43200   100%    43200 override-lastmod override-expire ignore-reload ignore-no-cache  ignore-private ignore-auth reload-into-ims
refresh_pattern -i \.tgz$          43200   100%    43200 override-lastmod override-expire ignore-reload ignore-no-cache  ignore-private ignore-auth reload-into-ims
refresh_pattern -i \.zip$          43200   100%    43200 override-lastmod override-expire ignore-reload ignore-no-cache  ignore-private ignore-auth reload-into-ims
refresh_pattern -i http://ad\.                        43200   100%    43200 override-lastmod override-expire ignore-reload ignore-no-cache  ignore-private ignore-auth reload-into-ims
refresh_pattern -i  http://ads\.                       43200   100%    43200 override-lastmod override-expire ignore-reload ignore-no-cache  ignore-private ignore-auth reload-into-ims
refresh_pattern -i http://adv\.                       43200   100%    43200 override-lastmod override-expire ignore-reload ignore-no-cache  ignore-private ignore-auth reload-into-ims
refresh_pattern -i http://click\.                     43200   100%    43200 override-lastmod override-expire ignore-reload ignore-no-cache  ignore-private ignore-auth reload-into-ims
refresh_pattern -i http://count\.                     43200   100%    43200 override-lastmod override-expire ignore-reload ignore-no-cache  ignore-private ignore-auth reload-into-ims
refresh_pattern -i http://counter\.                   43200   100%    43200 override-lastmod override-expire ignore-reload ignore-no-cache  ignore-private ignore-auth reload-into-ims
refresh_pattern -i http://engine\.                    43200   100%    43200 override-lastmod override-expire ignore-reload ignore-no-cache  ignore-private ignore-auth reload-into-ims
refresh_pattern -i http://img\.readme\.ru             43200   100%    43200 override-lastmod override-expire ignore-reload ignore-no-cache  ignore-private ignore-auth reload-into-ims
refresh_pattern -i http://userpic\.livejournal\.com   43200   100%    43200 override-lastmod override-expire ignore-reload ignore-no-cache  ignore-private ignore-auth reload-into-ims
refresh_pattern -i \.ru/bf-analyze                    43200   100%    43200 override-lastmod override-expire ignore-reload ignore-no-cache  ignore-private ignore-auth reload-into-ims
refresh_pattern -i \.ru/bf-si                         43200   100%    43200 override-lastmod override-expire ignore-reload ignore-no-cache  ignore-private ignore-auth reload-into-ims
refresh_pattern -i   /advs/                             43200   100%    43200 override-lastmod override-expire ignore-reload ignore-no-cache  ignore-private ignore-auth reload-into-ims
refresh_pattern -i  /banners/                          43200   100%    43200 override-lastmod override-expire ignore-reload ignore-no-cache  ignore-private ignore-auth reload-into-ims
refresh_pattern -i  /cgi-bin/iframe/                   43200   100%    43200 override-lastmod override-expire ignore-reload ignore-no-cache  ignore-private ignore-auth reload-into-ims
refresh_pattern -i \.htm$   43200 100% 43200 override-expire override-lastmod ignore-reload ignore-no-cache ignore-private ignore-auth
refresh_pattern -i \.html$  43200 100% 43200 override-expire override-lastmod ignore-reload ignore-no-cache ignore-private ignore-auth
refresh_pattern -i \.xml$   43200 100% 43200 override-expire override-lastmod ignore-reload ignore-no-cache ignore-private ignore-auth
refresh_pattern -i \.asp$   43200 100% 43200 override-expire override-lastmod ignore-reload ignore-no-cache ignore-private ignore-auth
refresh_pattern -i \.css$   43200 100% 43200 override-expire override-lastmod ignore-reload ignore-no-cache ignore-private ignore-auth
refresh_pattern -i \.css\?[a-Z0-9]+$  43200 100% 43200 override-expire override-lastmod ignore-reload ignore-no-cache ignore-private ignore-auth
refresh_pattern -i /css/develop/*\.php\?  43200 100% 43200 override-expire override-lastmod ignore-reload ignore-no-cache ignore-private ignore-auth
refresh_pattern -i \.js$    43200 100% 43200 override-expire override-lastmod ignore-reload ignore-no-cache ignore-private ignore-auth
refresh_pattern -i \.txt$   43200 100% 43200 override-expire override-lastmod ignore-reload ignore-no-cache ignore-private ignore-auth
refresh_pattern -i \.swf$   43200 100% 43200 override-expire override-lastmod ignore-reload ignore-no-cache ignore-private ignore-auth
refresh_pattern -i \.lib$   43200 100% 43200 override-expire override-lastmod ignore-reload ignore-no-cache ignore-private ignore-auth
refresh_pattern -i \.ico$   43200 100% 43200 override-expire override-lastmod ignore-reload ignore-no-cache ignore-private ignore-auth
refresh_pattern -i \.gif$   43200 100% 43200 override-expire override-lastmod ignore-reload ignore-no-cache ignore-private ignore-auth
refresh_pattern -i \.jpg$   43200 100% 43200 override-expire override-lastmod ignore-reload ignore-no-cache ignore-private ignore-auth
refresh_pattern -i \.jpeg$  43200 100% 43200 override-expire override-lastmod ignore-reload ignore-no-cache ignore-private ignore-auth
refresh_pattern -i \.png$   43200 100% 43200 override-expire override-lastmod ignore-reload ignore-no-cache ignore-private ignore-auth
refresh_pattern -i \.svg$   43200 100% 43200 override-expire override-lastmod ignore-reload ignore-no-cache ignore-private ignore-auth
refresh_pattern -i \.flv$   43200 100% 43200 override-expire override-lastmod ignore-reload ignore-no-cache ignore-private ignore-auth
refresh_pattern -i \.asm$   43200 100% 43200 override-expire override-lastmod ignore-reload ignore-no-cache ignore-private ignore-auth
refresh_pattern -i \.c$     43200 100% 43200 override-expire override-lastmod ignore-reload ignore-no-cache ignore-private ignore-auth
refresh_pattern -i \.cpp$   43200 100% 43200 override-expire override-lastmod ignore-reload ignore-no-cache ignore-private ignore-auth
refresh_pattern -i \.cxx$   43200 100% 43200 override-expire override-lastmod ignore-reload ignore-no-cache ignore-private ignore-auth
refresh_pattern -i \.py$    43200 100% 43200 override-expire override-lastmod ignore-reload ignore-no-cache ignore-private ignore-auth
refresh_pattern -i \.pl$    43200 100% 43200 override-expire override-lastmod ignore-reload ignore-no-cache ignore-private ignore-auth
refresh_pattern -i \.sh$    43200 100% 43200 override-expire override-lastmod ignore-reload ignore-no-cache ignore-private ignore-auth
refresh_pattern -i \.hex$   43200 100% 43200 override-expire override-lastmod ignore-reload ignore-no-cache ignore-private ignore-auth
refresh_pattern . 4320   90% 43200 override-expire override-lastmod ignore-no-cache ignore-private ignore-auth
cache_mgr aberdeen@tidewater.com 
reload_into_ims on
Хотелось бы оптимизировать так, чтобы squid "понимал" что какой-то контент обновился и его надо снова подгрузить, а то что старое, он брал из кеша.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
Electronik
капитан
Сообщения: 1593
Зарегистрирован: 2008-11-15 17:32:56
Откуда: Минск
Контактная информация:

Re: SQUID оптимизация

Непрочитанное сообщение Electronik » 2011-06-27 23:48:57

уберите из кэша всё что связано с htm*, css, etc, и какой браузер используете, потому что это больше похоже на кэш браузера чем на глюки сквида, кстати какая версия (сквида)?
если сайт на джумле, то возможны такие глюки.
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог

Demontager
ефрейтор
Сообщения: 68
Зарегистрирован: 2011-06-27 23:11:48
Откуда: Украина
Контактная информация:

Re: SQUID оптимизация

Непрочитанное сообщение Demontager » 2011-06-28 0:08:58

Squid 3.1.8
Дело не в браузере, в любом такое происходит, то что я описал выше, уже проверенно. И не имеет значение на какой CMS сайт, это на всех сайтах такое.
Ладно, попробую убрать что вы посоветовали.

Аватара пользователя
Electronik
капитан
Сообщения: 1593
Зарегистрирован: 2008-11-15 17:32:56
Откуда: Минск
Контактная информация:

Re: SQUID оптимизация

Непрочитанное сообщение Electronik » 2011-06-28 0:44:03

у меня всё нормально пашет, что я делаю не так?
Предскажем будущее hw по логам и дампу, снимем сглаз и порчу с рута, поможем придумать пароль(С)
Блог

Demontager
ефрейтор
Сообщения: 68
Зарегистрирован: 2011-06-27 23:11:48
Откуда: Украина
Контактная информация:

Re: SQUID оптимизация

Непрочитанное сообщение Demontager » 2011-06-28 0:46:33

Всмысле, с моим конфигом ?
Если можете, попробуйте побраузить с моим конфигом, вставьте всё что ниже refresh_pattern -i \.bz2$

Аватара пользователя
ivan_k
мл. сержант
Сообщения: 103
Зарегистрирован: 2010-01-27 16:00:37
Откуда: Иваново

Re: SQUID оптимизация

Непрочитанное сообщение ivan_k » 2011-06-28 14:04:41

Код: Выделить всё

ignore-reload  -  заставляет игнорировать запрос reload от клиента и выдавать версию объекта из кэша.
ignore-no-cache  -  заставляет игнорировать заголовок no-cache с сервера и принудительно кэшировать объект

Demontager
ефрейтор
Сообщения: 68
Зарегистрирован: 2011-06-27 23:11:48
Откуда: Украина
Контактная информация:

Re: SQUID оптимизация

Непрочитанное сообщение Demontager » 2011-06-28 15:16:29

Да, спасибо, но сегодня сам додумался до этого, после прочтения мануала по поводу кеша в squid.
Теперь нормально всё, я поубирал везде
ignore-reload
ignore-no-cache
Но тоже вроде норма кеширование идёт, но уже не так интенсивно, раньше только HIT почти постоянно:

Код: Выделить всё

1309262780.384      0 192.168.1.110 TCP_MEM_HIT/200 7869 GET http://forum.lissyara.su/ - NONE/- text/html
1309262780.431      0 192.168.1.110 TCP_MEM_HIT/200 598 GET http://bar-navig.yandex.ru/u? - NONE/- text/xml
1309262788.434      0 192.168.1.110 TCP_MEM_HIT/200 10252 GET http://forum.lissyara.su/viewforum.php? - NONE/- text/html
1309262790.353   1875 192.168.1.110 TCP_MISS/200 666 GET http://bar-navig.yandex.ru/u? - DIRECT/77.88.21.75 text/xml
1309262790.427   1850 192.168.1.110 TCP_MISS/200 432 POST http://toolbarqueries.clients.google.com/tbproxy/af/query - DIRECT/209.85.143.101 text/xml
1309262842.431   2977 192.168.1.110 TCP_MISS/200 9046 GET http://forum.lissyara.su/index.php - DIRECT/91.227.16.27 text/html
1309262844.240   2780 192.168.1.110 TCP_MISS/200 14630 GET http://forum.lissyara.su/style.php? - DIRECT/91.227.16.27 text/css
1309262844.442     26 192.168.1.110 TCP_HIT/200 5213 GET http://pagead2.googlesyndication.com/pagead/osd.js - NONE/- text/javascript
1309262846.311   1913 192.168.1.110 TCP_MISS/200 2571 GET http://googleads.g.doubleclick.net/pagead/ads? - DIRECT/209.85.143.155 text/html
1309262846.320   1981 192.168.1.110 TCP_MISS/200 731 GET http://counter.yadro.ru/hit? - DIRECT/88.212.196.77 image/gif
1309262846.440     57 192.168.1.110 TCP_HIT/200 938 GET http://pagead2.googlesyndication.com/pagead/images/i.png - NONE/- image/png
1309262846.440     57 192.168.1.110 TCP_HIT/200 1594 GET http://pagead2.googlesyndication.com/pagead/abglogo/abg-ru-100c-ffffff.png - NONE/- image/png
1309262846.473     32 192.168.1.110 TCP_HIT/200 2880 GET http://pagead2.googlesyndication.com/pagead/js/graphics.js - NONE/- text/javascript
1309262846.473     32 192.168.1.110 TCP_HIT/200 964 GET http://pagead2.googlesyndication.com/pagead/js/abg.js - NONE/- text/javascript
1309262846.473    142 192.168.1.110 TCP_HIT/200 19252 GET http://googleads.g.doubleclick.net/simgad/15229332592543744776 - NONE/- image/jpeg
1309262849.698   3098 192.168.1.110 TCP_MISS/200 385 GET http://toolbarqueries.google.com/search? - DIRECT/195.8.11.28 text/html
1309262850.251   3651 192.168.1.110 TCP_MISS/200 1975 GET http://xml.alexa.com/data? - DIRECT/75.101.155.168 text/xml
C авторизацией теперь тоже нет проблем.