Код: Выделить всё
$skipurl = "zdd.com|192\.168\.1\.|10\.";Допилил lightparser.pl чтобы 100% исключить любой городской трафик по списку сетей.
Для работы требуется установить:
Код: Выделить всё
/usr/ports/net/p5-Net-Patricia
/usr/ports/net/p5-Socket6
и положить в папку с lightsquid'ом файл "local_servers" со списком сетей такого формата
Код: Выделить всё
10.0.0.0/8
62.76.32.0/22
77.40.124.106/31
78.85.3.132/30
79.132.96.0/19
79.133.83.0/24
80.95.32.114/31
80.250.180.0/24
82.208.87.226/31
82.208.87.228/30
82.208.87.232/29
82.208.87.240/30
83.217.0.0/20
83.217.24.0/21
83.234.124.0/22
85.95.164.36/31
87.226.234.0/24
88.147.128.20/30
88.200.171.178/31
88.200.171.180/31
89.109.7.82/31
89.109.7.84/31
89.109.33.178/31
89.151.191.122/31
89.239.128.0/18
92.252.128.0/17
94.127.200.0/22
95.68.128.0/17
95.182.96.0/20
172.16.0.0/12
192.168.0.0/16
193.124.97.0/25
193.124.116.0/24
193.124.127.0/24
193.125.182.0/23
194.135.14.128/25
194.190.8.32/27
194.220.18.0/23
194.220.208.0/22
212.176.111.0/24
213.59.176.0/22
213.135.97.162/31
213.177.98.180/32
217.9.151.18/31
217.73.201.237/32
217.107.8.0/22
основное время уходило на DNS-резолвинг, поэтому сделал накопления файла/кеша с уже проверенными нелокальными сайтами.
сейчас результат такой:
access.log - 27Mb
не модифицированный парсер - 5.14сек
модифицированный с пустым кешем - 6мин 2.59сек
модифицированный с заполненым - 8.92сек
зы: плохо разбираюсь в перле если есть предложения по улучшению пишите.
