Squid катастрофические тормоза

[Гость]

и да
поизучайте лучше ps ax top vmstat когда нагрузка возростает
расскажите про аномалии

в zfs вы можете нагрузку и не увидеть
она будет просто порционно медленно брать отдавать
и когда на одних тестах она может бегать быстро
на других тестах она может прогнутся

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[skaaraje]

винты слил через gstripe

я предположил что это какгбе само говорит что теперь UFS

а вывод ipfw для примера количества сетей. нк или может у меня глаз замылился и чего не вижу.
WCCP не используется никаким местом т.к. сквид вобще без него собирался.

[skaaraje]

вот состоянии системы с утра, нагрузка не пиковая, все работает замечательно

top

Код: Выделить всё

last pid: 85362;  load averages:  0.08,  0.10,  0.05                                                  up 5+16:27:12  09:18:14
1195 processes:4 running, 1191 sleeping
CPU:  6.2% user,  0.0% nice,  1.6% system,  1.4% interrupt, 90.9% idle
Mem: 4047M Active, 2416M Inact, 1238M Wired, 23M Cache, 828M Buf, 203M Free
Swap: 2048M Total, 2048M Free

  PID USERNAME       THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
51227 squid            1  49    0   996M   594M CPU2    2 182:26  7.86% squid
51057 squid           17  44    0  1773M  1590M ucond   1 156:43  6.45% squid
51723 squid            1  46    0   739M   562M kqread  1   8:56  2.44% squid
51529 squid            1  45    0   476M   296M kqread  2  52:30  1.66% squid
 1859 root             1  45    0 24784K  2480K select  0  61:43  0.83% snmpd
51125 squid            1  44    0   859M   574M kqread  1 156:20  0.29% squid
85362 root             1  44    0 12400K  4524K CPU3    1   0:00  0.15% top
51356 squid            1  44    0   857M   448M kqread  0 235:22  0.00% squid
  870 pdns_recursor   11  44    0 30088K  9056K kqread  2   2:11  0.00% pdns_recursor
51060 squid            1  44    0  8124K  1360K kqread  2   1:50  0.00% dnsserver
  758 root             1  44    0  5992K   592K select  3   1:12  0.00% syslogd
42234 paul             1  44    0 37040K  3644K select  3   0:43  0.00% sshd
42243 root             1  44    0 37192K  6076K select  2   0:21  0.00% mc
51061 squid            1  44    0  8124K  1360K sbwait  1   0:18  0.00% dnsserver
51860 squid            1  44    0   183M  5220K kqread  0   0:14  0.00% squid
  885 www              1  44    0 35812K  2140K kqread  0   0:08  0.00% lighttpd
51063 squid            1  44    0  8124K  1360K sbwait  3   0:07  0.00% dnsserver

fstat | wc -l
12825

ps afxwu | wc -l
1191

gstat

Код: Выделить всё

dT: 1.002s  w: 1.000s
 L(q)  ops/s    r/s   kBps   ms/r    w/s   kBps   ms/w   %busy Name
    0      0      0      0    0.0      0      0    0.0    0.0| ad8
    0      0      0      0    0.0      0      0    0.0    0.0| ad8s1
    0      0      0      0    0.0      0      0    0.0    0.0| ad8s1a
    0     82     25     96    8.0     57    228    1.1   16.0| ad10
    0      0      0      0    0.0      0      0    0.0    0.0| md0
    0     83     27     96    7.2     56    224    1.1   16.9| ad12
    0     84     29    112    7.2     55    220    1.2   16.1| ad14
    0     78     26     98    6.2     52    208    0.9   14.4| ad16
    0     62     48    515    9.0     14   1118    2.1   29.5| stripe/st0
    0     84     29    114    8.1     55    220    1.1   17.5| ad18
    0     62     48    515    9.1     14   1118    2.1   29.6| stripe/st0a

systat -ip

Код: Выделить всё

                    /0   /1   /2   /3   /4   /5   /6   /7   /8   /9   /10
     Load Average   |||

          IP Input                           IP Output
547089238 total packets received   560115212 total packets sent
        1 - with bad checksums     388112439 - generated locally
        0 - too short for header           0 - output drops
        0 - too short for data             7 output fragments generated
        0 - with invalid hlen              0 - fragmentation failed
        0 - with invalid length            0 destinations unreachable
        0 - with invalid version          24 packets output via raw IP
        0 - jumbograms
       44 total fragments received           UDP Statistics
       24 - fragments dropped       14491416 total input packets
       10 - fragments timed out            0 - too short for header
        3 - packets reassembled ok        87 - invalid checksum
172002773 packets forwarded           276960 - no checksum
     1567 - unreachable dests             19 - invalid length
        0 - redirects generated     13623530 - no socket for dest port
        0 option errors                38192 - no socket for broadcast
        0 unwanted multicasts              0 - socket buffer full
375077649 delivered to upper layer    867891 total output packets

systat -tcp

Код: Выделить всё

                    /0   /1   /2   /3   /4   /5   /6   /7   /8   /9   /10
     Load Average   ||

             TCP Connections                       TCP Packets
     8699946 connections initiated       383405843 total packets sent
    10258417 connections accepted        189683046 - data
    18811015 connections established      20219421 - data (retransmit by dupack)
     1326987 connections dropped           8016502 - data (retransmit by sack)
       11216 - in embryonic state        130039923 - ack-only
      740886 - on retransmit timeout         79050 - window probes
        6724 - by keepalive               17290388 - window updates
           0 - from listen queue                 0 - urgent data only
                                          26231105 - control
                                                42 - resends by PMTU discovery
             TCP Timers                  360655502 total packets received
    86959197 potential rtt updates       157773670 - in sequence
    79061622 - successful                  3013001 - completely duplicate
    13319806 delayed acks sent                4444 - with some duplicate data
    21953886 retransmit timeouts           7820223 - out-of-order
      112695 persist timeouts             38500881 - duplicate acks
       46464 keepalive probes            129967674 - acks
       53188 - timeouts                      45847 - window probes
                                           3437383 - window updates
                                              5436 - bad checksum

netstat -m

Код: Выделить всё

5332/2723/8055 mbufs in use (current/cache/total)
2452/1390/3842/262144 mbuf clusters in use (current/cache/total/max)
2452/876 mbuf+clusters out of packet secondary zone in use (current/cache)
2574/762/3336/12800 4k (page size) jumbo clusters in use (current/cache/total/max)
0/0/0/6400 9k jumbo clusters in use (current/cache/total/max)
0/0/0/3200 16k jumbo clusters in use (current/cache/total/max)
16533K/6508K/23041K bytes allocated to network (current/cache/total)
0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
0/0/0 requests for jumbo clusters denied (4k/9k/16k)
0/0/0 sfbufs in use (current/peak/max)
0 requests for sfbufs denied
0 requests for sfbufs delayed
26 requests for I/O initiated by sendfile
0 calls to protocol drain routines

насколько я могу видеть, все просто замечательно, хотя я может чего и не замечаю
хранилище squid-a на разделе UFS из 5 дисков в RAID0

от клиента на speedtest.net выдает 57 мс пинг, 6 мбит к клиенту и 0.25 от него

текущая загрузка всего внешнего канала 140 входящего траф и 60 исходящего.
при этом squidstat на родительском процессе сообщает о хитрейте 17/30 байт/запросов
при этом хранилище заполнено на 100 гиг - 50%
шас к обеду загрузка должна возрасти и станет возможно видно что или как тормозит

[skaaraje]

что то в системе ничего не меняется, но когда включаю 4 сетки через дочерний прокс, резко падает скорость на клиентах, на паренте выростает загрузка проца по top до 13-15% а на том, куда отправил 4 сетки до 3-5% , в обычном состоянии на сквиде паренте загрузка 05-15 % при 4 сетках отправленынх на него (примерно 1000 клиентов),

заворачиваю все 8 сетей на один сквид, на котором файлохранилище 200 гиг - работает почти так же как и с 4 сетки. где то криво чтоль в стыке child -> parent штоле?

[ADRE]

хз возможно что-то другое, у меня сейчас скивд на п3 отдает кешь быстрее чем п4 у обоих одинаковый кеш в 30Гб пользователей на п3 25 человек на п4 15 ))) и squid - k reconfig вгоняет п4 в суровый 5 минутный шок.... чего нет на п3... сквид 2.6.... не понятно где глюк, ща попробую карты сетевые поменять, сквид прозрачный в обоих случаях. настройки иденьтчные.

[skaaraje]

нууу... похоже дело было в канале связи, как именно не успел подробно выяснить, но после переключения сервера со сквидом на другой 200 мбит канал все стало невероятно! по 100 мбит на входе и на выходе ( разницу конечно видно , например если по входу 120 мбит бывают броски то на отдачу юзерам не больше 110 но при этом загрузка на отдачу равноменая более чем на входе) хитрейт в среднем 38% битрейт 18% service time примерно 100 мск +- 50 от загрузки канала, винты достаточно нагружены - периодически 100% кратковременно или от 30 до 60% постоянно, при этом пока хранилище на UFS через gstripe в 5 винтах на 10 крпм.