У меня что то не так с Robots.txt

Автор Awilum, 04 сентября 2009, 21:32:37

« назад - далее »

0 Пользователи и 1 гость просматривают эту тему.

Awilum

Думаю у меня что то не так с Robots.txt.
Вот этот сайт http://web.archive.org/
пишет ошибку

Robots.txt Query Exclusion.
We're sorry, access to http://pascalgames.net/ has been blocked by the site owner via robots.txt.



Yworld_garry

С роботс в основной части всё нормально. Просто их бот у вас закрыт тем списком что вы скопировали из моей темы про боты и софт.
http://www.simplemachines.ru/index.php/topic,7884.0.html

Прочитайте вот это  http://www.simplemachines.ru/index.php/topic,7884.msg52016.html#msg52016





Awilum

Как я узнаю какой у них Бот, что бы разрешить ему?
Удалить мне что ли тот список ботов  :(

Yworld_garry

Ещё раз.
Смотрим логи и закрываем только тем кто слишком активен. Остальных не трогаем.
Имя бота заьиваем в гугл и читаем инфу по каждому.