Пустой REFERRER

[kozak]

Иногда в логах появляются referrer-записи такого содержания:
Скрипт - php.

Код: Выделить всё

http://www.yandex.ru/yandsearch?text=
http://meta.ua/search.asp?q=
http://go.mail.ru/search?mailru=1&q=

Нигде на главной Яндекса или Mail.ru баннеры не вешал вроде.
Как это можно объяснить?

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[zg]

забань их подсети, чтоб не сыпалось

[kozak]

Как это сделать?

[zg]

Как это сделать?

-))) ты правда не хочешь, чтобы к тебе заходили люди через поисковики?

[kozak]

zg

Почему пустые "text" и "q" ???

[ProFTP]

это сам бот приходит по-моему

[zg]

Почему пустые "text" и "q" ???

ну... либо не там смотришь, либо не то показывают у меня непустые

Код: Выделить всё

%grep yandex access_log | tail
95.25.78.200 - - [07/Nov/2009:17:52:42 +0300] "GET /forum/styles/prosilver/theme/images/arrow_left.gif HTTP/1.1" 200 111 "http://www.yandex.ru/yandsearch?text=risen+%ea%e0%ea+%e8%f1%ef%ee%eb%fc%e7%ee%e0%f2%fc+%e1%ee%eb%e8%e3%ee%eb%ee%e2+%e4%f0%f3%e8%e4%ee%e2&stype=www" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; ru) Opera 8.50"
95.79.25.16 - - [07/Nov/2009:18:00:07 +0300] "GET /articles/os/freebsd/rotrrent-web-panel-freebsd/1-rtorrent.PNG HTTP/1.1" 200 51939 "http://images.yandex.ru/yandsearch?p=1&ed=1&text=rtorrent%20%2B%20FreeBSD&spsite=anton-pribora.ru&img_url=anton-pribora.ru%2Farticles%2Fos%2Ffreebsd%2Frotrrent-web-panel-freebsd%2F1-rtorrent.PNG&rpt=simage" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.0.1) Gecko/2008070208 Firefox/3.0.1"
81.88.222.51 - - [07/Nov/2009:18:36:22 +0300] "GET /articles/mysql/mysql-charsets HTTP/1.1" 200 73691 "http://yandex.ru/yandsearch?text=mysql+%D0%9A%D0%BE%D0%B4%D0%B8%D1%80%D0%BE%D0%B2%D0%BA%D0%B8+%D0%B8+%D1%81%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D1%8F&clid=14586&lr=1&stpar2=%2Fh0%2Ftm85%2Fs1&stpar4=%2Fs1" "Opera/9.80 (Windows NT 5.1; U; MRA 5.3 (build 02564); ru) Presto/2.2.15 Version/10.00"
92.39.238.232 - - [07/Nov/2009:19:09:49 +0300] "GET /articles/php/php-net-mask HTTP/1.1" 200 10267 "http://yandex.ru/yandsearch?text=%D0%BF%D0%BE%D0%B4%D1%81%D0%B5%D1%82%D0%B8+php&lr=2&stpar2=%2Fh1%2Ftm5%2Fs1&stpar4=%2Fs1&stpar1=%2Fu0" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; MAXTHON 2.0)"
80.237.81.233 - - [07/Nov/2009:19:22:11 +0300] "GET /articles/os/freebsd/phpmyadmin HTTP/1.1" 200 10840 "http://yandex.ru/yandsearch?text=mysql+freebsd+7.2+%D1%83%D1%81%D1%82%D0%B0%D0%BD%D0%BE%D0%B2%D0%BA%D0%B0&clid=41129&lr=225&stpar2=%2Fh0%2Ftm14075%2Fs2&stpar4=%2Fs2" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; MRSPUTNIK 2, 0, 1, 31 HW; MRA 5.2 (build 02405); Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30)"
87.251.141.5 - - [07/Nov/2009:19:22:58 +0300] "GET /articles/php/locales HTTP/1.1" 200 50786 "http://yandex.ru/yandsearch?p=2&text=php%20%D0%BF%D1%80%D0%B0%D0%B2%D0%B8%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F%20%D0%BA%D0%BE%D0%B4%D0%B8%D1%80%D0%BE%D0%B2%D0%BA%D0%B0&lr=1" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; Tablet PC 2.0; Zune 4.0; .NET4.0C; .NET4.0E; OfficeLiveConnector.1.4; OfficeLivePatch.1.3)"
85.234.37.96 - - [07/Nov/2009:19:25:02 +0300] "GET /articles/os/freebsd/console HTTP/1.1" 200 19022 "http://yandex.ru/yandsearch?text=freebsd%20%D1%86%D0%B2%D0%B5%D1%82%D0%B0%20%D0%B2%20%D0%BA%D0%BE%D0%BD%D1%81%D0%BE%D0%BB%D0%B8&lr=225" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.1.5) Gecko/20091102 Firefox/3.5.5 (.NET CLR 3.5.30729)"
95.79.25.16 - - [07/Nov/2009:19:32:45 +0300] "GET /articles/os/freebsd/rotrrent-web-panel-freebsd/1-rtorrent.PNG HTTP/1.1" 200 51939 "http://images.yandex.ru/yandsearch?p=1&ed=1&text=rtorrent%20%2B%20FreeBSD&spsite=anton-pribora.ru&img_url=anton-pribora.ru%2Farticles%2Fos%2Ffreebsd%2Frotrrent-web-panel-freebsd%2F1-rtorrent.PNG&rpt=simage" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.0.1) Gecko/2008070208 Firefox/3.0.1"
94.78.231.154 - - [07/Nov/2009:19:52:20 +0300] "GET /articles/php/locales HTTP/1.0" 200 50773 "http://yandex.ru/yandsearch?text=%D0%BA%D0%BE%D0%B4%D0%B8%D1%80%D0%BE%D0%B2%D0%BA%D0%B0+%D1%81%D1%82%D1%80%D0%B0%D0%BD%D0%B8%D1%86%D1%8B+Content-type&clid=9582&lr=11309&stpar2=%2Fh0%2Ftm30%2Fs2&stpar4=%2Fs2" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.2.15 Version/10.00"
92.47.179.246 - - [07/Nov/2009:20:14:00 +0300] "GET /articles/os/freebsd/console HTTP/1.1" 200 19022 "http://yandex.kz/yandsearch?text=%D0%B2%D1%8B%D0%BF%D0%BE%D0%BB%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5%20php%20%D1%81%20%D0%BA%D0%BE%D0%BD%D1%81%D0%BE%D0%BB%D0%B8%20freebsd&clid=14585&lr=159&ncrnd=3750" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.2.15 Version/10.01"
%

это сам бот приходит по-моему

ну да, с go.mail.ru особенно

[kozak]

zg, в апачевском логе у меня тоже не пустые...

Это мой собственный счетчик, который использует обычную referrer-функцию php для записи лога в мускуль.

[kozak]

P.S. Пустые значения приблизительно в 0.01% от их общего количества.

[kozak]

Кстати, в логах apache-сервер то-же самое...