squid не дает грузить некоторые страницы

Проблемы установки, настройки и работы Правильной Операционной Системы

Модератор: terminus

Правила форума
Убедительная просьба юзать теги [cоde] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
SmOKeR
проходил мимо
Сообщения: 3
Зарегистрирован: 2009-04-08 18:48:08

squid не дает грузить некоторые страницы

Непрочитанное сообщение SmOKeR » 2009-04-08 19:28:07

Здравствуйте товарищи Админы. Нужна помощь профессионалов!
Проблема заключается в том, что недельки 2 назад притащили в мою сеть kido.ih, а поскольку начальство не удосужилось прикупить касперского стоял NOD, который нихрена не ловит, вообщем kido задосил все станции после чего юзвери обломились с инетом, те кто ходил в обход squid и по сей день нормально ходят, а вот кто через проксю те не могут попасть на mail.ru yandex.ru ну и ещё несколько ресурсов. Страницы этих ресурсов грузяцца но очень медленно, например mail.ru около 10 минут грузицца на виндовых тачках, через бразюк firefox, с маздайным эксплорером ещё хуже. С моего рабочего кампа все идеально работает но тама Linux Debian и я его ради теста на проксю завернул.
Фря на шлюзе 7.0 amd64, squid-2.7, был 2.6. Обновился до 2.7 ничего не изменилось. Сквида в режиме transparent с дэфолтными настройками, кроме сборки с поддержкой kqueue.
sysctl

Код: Выделить всё

#kern.polling.enable=1
net.inet.ip.fw.one_pass=0
kern.ipc.somaxconn=4096
kern.maxfiles=65535
kern.maxfilesperproc=32768
kern.ipc.nmbclusters=32768
#
net.inet.icmp.drop_redirect=1
net.inet.icmp.log_redirect=1
net.inet.ip.redirect=0
net.inet.tcp.msl=7500
net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1
net.inet.icmp.icmplim=50
net.inet.tcp.recvspace=32768
net.inet.tcp.nolocaltimewait=1
kern

Код: Выделить всё

options         SCHED_ULE
.
.
.
options         NETGRAPH
options         NETGRAPH_ETHER
options         NETGRAPH_SOCKET
options         NETGRAPH_TEE
options         NETGRAPH_PPTPGRE
options         NETGRAPH_PPP
options         NETGRAPH_MPPC_ENCRYPTION
#options         NETGRAPH_MPPC_COMPRESSION
options         NETGRAPH_RFC1490
options         NETGRAPH_ECHO
options         NETGRAPH_ONE2MANY
options         NETGRAPH_IP_INPUT
options         NETGRAPH_GIF
options         NETGRAPH_IFACE
options         NETGRAPH_BPF
options         NETGRAPH_TTY
options         NETGRAPH_UI

# add support vlan
device          vlan

# IPFirewall
options         IPFIREWALL
options         IPFIREWALL_VERBOSE
options         IPFIREWALL_VERBOSE_LIMIT=30
options         IPFIREWALL_FORWARD
options         IPDIVERT
options         DUMMYNET
#options        DEVICE_POLLING
options         HZ=1000
Листинг сквидовой конфиги думаю приводить бессмысленно.
Вот cache.log

Код: Выделить всё

2009/04/08 20:12:50| Starting Squid Cache version 2.7.STABLE6 for amd64-portbld-freebsd7.0...
2009/04/08 20:12:50| Process ID 5634
2009/04/08 20:12:50| With 32768 file descriptors available
2009/04/08 20:12:50| Using kqueue for the IO loop
2009/04/08 20:12:50| DNS Socket created at 0.0.0.0, port 49449, FD 6
2009/04/08 20:12:50| Adding nameserver 194.85.128.10 from /etc/resolv.conf
2009/04/08 20:12:50| Adding nameserver 212.44.130.6 from /etc/resolv.conf
2009/04/08 20:12:50| helperOpenServers: Starting 15 'redirector' processes
2009/04/08 20:12:50| Referer logging is disabled.
2009/04/08 20:12:50| logfileOpen: opening log /usr/local/squid/logs/access.log
2009/04/08 20:12:50| Unlinkd pipe opened on FD 26
2009/04/08 20:12:50| Swap maxSize 2097152 + 524288 KB, estimated 201649 objects
2009/04/08 20:12:50| Target number of buckets: 10082
2009/04/08 20:12:50| Using 16384 Store buckets
2009/04/08 20:12:50| Max Mem  size: 524288 KB
2009/04/08 20:12:50| Max Swap size: 2097152 KB
2009/04/08 20:12:50| logfileOpen: opening log /usr/local/squid/logs/store.log
2009/04/08 20:12:50| Rebuilding storage in /var/squid/cache (CLEAN)
2009/04/08 20:12:50| Using Least Load store dir selection
2009/04/08 20:12:50| Set Current Directory to /usr/local/squid/cache
2009/04/08 20:12:50| Loaded Icons.
2009/04/08 20:12:50| Accepting transparently proxied HTTP connections at 127.0.0.1, port 3129, FD 28.
2009/04/08 20:12:50| Accepting proxy HTTP connections at 0.0.0.0, port 3128, FD 29.
2009/04/08 20:12:50| WCCP Disabled.
2009/04/08 20:12:50| Ready to serve requests.
2009/04/08 20:12:50| Done reading /var/squid/cache swaplog (639 entries)
2009/04/08 20:12:50| Finished rebuilding storage from disk.
2009/04/08 20:12:50|       639 Entries scanned
2009/04/08 20:12:50|         0 Invalid entries.
2009/04/08 20:12:50|         0 With invalid flags.
2009/04/08 20:12:50|       639 Objects loaded.
2009/04/08 20:12:50|         0 Objects expired.
2009/04/08 20:12:50|         0 Objects cancelled.
2009/04/08 20:12:50|         0 Duplicate URLs purged.
2009/04/08 20:12:50|         0 Swapfile clashes avoided.
2009/04/08 20:12:50|   Took 0.3 seconds (2411.7 objects/sec).
2009/04/08 20:12:50| Beginning Validation Procedure
2009/04/08 20:12:50|   Completed Validation Procedure
2009/04/08 20:12:50|   Validated 639 Entries
2009/04/08 20:12:50|   store_swap_size = 7642k
2009/04/08 20:12:51| storeLateRelease: released 0 objects
access.log при запросе rabota.mail.ru

Код: Выделить всё

1239207322.687     61 192.168.100.243 TCP_MISS/200 3245 GET http://rs.mail.ru/b7174192.jpg - DIRECT/9                       4.100.179.183 image/jpeg
1239207322.711     87 192.168.100.243 TCP_MISS/200 2394 GET http://rs.mail.ru/b7174193.jpg - DIRECT/9                       4.100.179.183 image/jpeg
1239207322.782   3504 192.168.100.12 TCP_MEM_HIT/200 35842 GET http://www.equestrian.ru/var/bansrc/20                       09/82c930.swf - NONE/- application/x-shockwave-flash
1239207325.766     74 192.168.100.243 TCP_MISS/302 750 GET http://r.mail.ru/cln3222/rabota.mail.ru -                        DIRECT/194.67.23.107 text/html
1239207327.281      0 192.168.100.243 TCP_IMS_HIT/304 261 GET http://rabota.mail.ru/index.css - NONE/                       - text/css
1239207327.511      0 192.168.100.243 TCP_IMS_HIT/304 277 GET http://rabota.mail.ru/js/context_help.j                       s - NONE/- application/x-javascript
1239207328.157     51 192.168.100.243 TCP_MISS/304 249 GET http://rabota.mail.ru/js/aj_kernel.js - DI                       RECT/94.100.181.68 -
1239207332.146      0 192.168.100.243 TCP_IMS_HIT/304 277 GET http://rabota.mail.ru/js/geo_form_ajax_                       kernel.js - NONE/- application/x-javascript
1239207332.823      0 192.168.100.243 TCP_MISS/200 483 GET http://www.tns-counter.ru/V13a****mail_ru/                       ru/CP1251/tmsec=mail_rabota/ - DIRECT/127.0.0.1 image/gif
1239207335.683  26696 192.168.100.12 TCP_MISS/200 47107 GET http://www.equestrian.ru/photos/photorepo                       rt2009/03_sfo/00melyakkina_maria_migdolas_sm.jpg - DIRECT/194.135.105.124 image/jpeg
1239207336.037     55 192.168.100.243 TCP_MISS/200 1209 GET http://rabota.mail.ru/ext/aj/geo_top_div_                       write// - DIRECT/94.100.181.68 text/html
1239207336.082      0 192.168.100.243 TCP_HIT/200 3787 GET http://rs.mail.ru/b7140511.gif - NONE/- im                       age/gif
1239207336.085      0 192.168.100.243 TCP_HIT/200 2292 GET http://rs.mail.ru/b7149797.jpg - NONE/- im                       age/jpeg
1239207336.188     50 192.168.100.243 TCP_MISS/304 249 GET http://rabota.mail.ru/img/bg_money.png - D                       IRECT/94.100.181.68 -
1239207336.215      0 192.168.100.243 TCP_IMS_HIT/304 262 GET http://rabota.mail.ru/img/sms_vac.gif -                        NONE/- image/gif
1239207336.234     27 192.168.100.243 TCP_MISS/304 249 GET http://rabota.mail.ru/img/sms_vac_bg.gif -                        DIRECT/94.100.181.68 -
1239207336.376    921 192.168.100.12 TCP_MISS/200 16702 GET http://www.equestrian.ru/my/16201 - DIREC                       T/194.135.105.124 text/html
В логах ничего криминального...
С серваков Win 2008 тоже самое, хотя они от червя меньше всего пострадали. Чистил кэш сквиды, удалял, ставил разные версси, все одно. Только вот заметил особенность - когда пересоздавал заново кэш то после запуска сквиды несколько секунд страницы открывались нормально с виндовых тачек, а потом опять тормоза.
Пробовал отрубать юзверский комп от сети и перезаливать маздай, но когда подрубал к сетке и лез в инет то результат был один и тот же.
По моим предположениям с какой то станции валицца какая то срань в кэш сквиды и из-за этого тормоза с некоторыми страницами, но почему тогда из под линуха те же ресурсы в том же firefox грузяцца на ура.... Я в недоумении...
Кстати червя не до конца искоренил, касперский не очень то с ним справляецца.
Помогите Плиз!
Последний раз редактировалось SmOKeR 2009-04-09 7:48:26, всего редактировалось 3 раза.

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35266
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: squid не грузит некоторые страницы

Непрочитанное сообщение Alex Keda » 2009-04-08 20:09:50

ссобщение нормально оформите
Убей их всех! Бог потом рассортирует...

Аватара пользователя
FoxDW
мл. сержант
Сообщения: 106
Зарегистрирован: 2008-08-04 4:42:43
Откуда: Красноярск
Контактная информация:

Re: squid не дает грузить некоторые страницы

Непрочитанное сообщение FoxDW » 2009-04-09 10:22:11

Что то мне кажется что сквид тут вообще не причем ищите проблему на клиентах и изгоняйте этот вирус, есть утилита KidoKiller_v3.1

этот вирус вроде что то в библиотеке отвечающей за днс изменяет на клиентских машинах

Как избавлялся я от него

отключаем сеть

1. На каждой машине проверяем локальные пароли администраторов, на придмет пустых, или простых, или паролей соответствующих имени пользователя, и меняем на сложный
2. По возможности там где можно отключаем службу сервера, пропадет доступ к принтеру и расшаренным ресурсом
3. Ставим заплатки от MS
4. Проверяем утилитой KidoKiller
5. Перезагружаемся вкл сеть
И так с каждым
Вот как то так

SmOKeR
проходил мимо
Сообщения: 3
Зарегистрирован: 2009-04-08 18:48:08

Re: squid не дает грузить некоторые страницы

Непрочитанное сообщение SmOKeR » 2009-04-09 11:11:43

хех... у меня 80 тачек в сети на каждой такое не проделаешь!
Я kidokiller через Kaspersky Administration KIT распихивал на тачки и запускал, но результат не очень то... Kido.ih не выкорчевывается полностью и является даунлоадером он тащит за собой много всякой гадости. Что касаемо днс то он тута не причем. Я пробовал и по ip к этим ресурсам обращаться и днс сервер провайдерский пробовал вписывать на станциях. Если бы днс косячил то на всех бы тачках траблы с инетом были, а так только на тех кто через squid ходит. Я эти тачки пробовал в обход прокси пускать и все сразу летать начало. Станции, которые хотят в инет в обход прокси, там все зачетно.
Тех кто ходит через squid я напрямую пустить не могу им инет rejik-ом правицца, что бы не лазали куда попало.
Rejik отключать пробовал, безрезультатно, дело в самом squid.
Можно как то оптимизировать squid, что бы он отбрасывал кривые запросы или какой то фильтр замутить, потому как все дело в кэше?
Ресурсы которые уже посещались, из кэша как раз так долго грузяцца.
Сначало я подумал что squid просто задосили, коскольку kido.ih с некоторым интервалом времени отсылает инфу на 250 серверов в инете, соответсвенно делает это через http, но помониторив коннешины утилкой trafshow, убедился что это не так, поскольку свыше 200 коннектов по http не было. Не думаю что squid завалицца от такого маленького траффика.
Есть ли средства сквиды или какой то сторонний софт что бы отследить какие именно тачки гадят в кэш прокси?