Доступ к ресурсу запрещён (403) индексация яндексом

[Samin]

Добрый день!

Есть проблема. Месяц назад переехали на новый VDS c freebsd и стали выпадать страницы из яндекса одна за одной, таких уже более 2 тыс только на одном сайте.

Лезу в http://webmaster.yandex.ru, смотрю на исключенные страницы, они прекрасно открываются в браузере и

Код: Выделить всё

wget -S  http://site.ru/category_100.html
--2010-10-12 13:46:06--  http://site.ru/category_100.html
Resolving site.ru... 62.109.8.00
Connecting to site.ru|62.109.8.00|:80... connected.
HTTP request sent, awaiting response...
  HTTP/1.1 200 OK
  Date: Tue, 12 Oct 2010 09:40:20 GMT
  Server: Apache/2.2.16 (FreeBSD) mod_ssl/2.2.16 OpenSSL/0.9.8n DAV/2 PHP/5.2.14 with Suhosin-Patch
  X-Powered-By: PHP/5.2.14
  Last-Modified: Tue, 12 Oct 2010 09:40:20 GMT
  Set-Cookie: PHPSESSID=dt9u1mqlq7ti5gkim9mktdbtc0; path=/
  Expires: Thu, 19 Nov 1981 08:52:00 GMT
  Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
  Pragma: no-cache
  Connection: close
  Content-Type: text/html; charset=windows-1251
Length: unspecified [text/html]
Saving to: `category_100.html'

    [ <=>                                                              ] 87,963      --.-K/s   in 0.1s

2010-10-12 13:46:07 (600 KB/s) - `category_100.html' saved [87963]

Лезу в логи апача и вижу

87.250.252.240 - IP бота яндекса

Код: Выделить всё

[Tue Oct 12 08:09:59 2010] [crit] [client 87.250.252.240] (13)Permission denied: /home/site/.htaccess pcfg_openfile: unable to check htaccess file, ensure it is readable

Не понятно почему ссылается на .htaccess там его никогда не было.

В итоге отдает сервер отдает боту яндекса 403 ошибку и страницы потихоньку выпадают, на VDS находятся еще сайты у всех такая же проблема.

Код: Выделить всё

87.250.252.240 - - [12/Oct/2010:08:09:59 +0400] "GET  category_100.html HTTP/1.1" 403 233 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"

[Хостинг HostFood.ru]

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

[hizel]

верно что-то подобное в конфиге

Код: Выделить всё

<Files ~ "^\.ht">
    Order allow,deny
    Deny from all
    Satisfy All
</Files>

не обязательна ссылка для доступа

[Samin]

Совершенно верно было такое, удалил. Апач перезагрузил.
Дай бог, что бы проблема исчезла. Буду следить за логами.

[Samin]

Только вот странно, на домашнем веб сервере, в настройках апача то же есть

Код: Выделить всё

<FilesMatch "^\.ht">
    Order allow,deny
    Deny from all
    Satisfy All
</FilesMatch>

Но яндекс без проблем индексирует сайты и намека нет на 403 ошибку.

[hizel]

в может robots.txt забанить не нужное?

[Samin]

А смысл? robots.txt и так есть, там все по умолчанию.

Есть сайт на этом VDS с одной страницей index.html, так и его загнали под 403 ошибку И все сайта больше в яндексе нет.