Как запретить индексацию через robots.txt

Автор Mакс-23, 24 июля 2015, 09:16:31

« назад - далее »

0 Пользователи и 1 гость просматривают эту тему.

Mакс-23

Яндексу и Гуглу нужно запретить индексацию, всего форума, через robots.txt (на время). На форуме есть темы и сообщения.
Подскажите как правильно прописать?

Yworld_garry

Как он у вас, в корне или в директории и с порталом или без..., вот пару вариантов для всех, если надо конкретно для двух систем, то два блока с

User-agent: Googlebot и User-agent: Yandex
ниже для всех

User-agent: *
Disallow: /forum/

Или

User-agent: *
Disallow: /

Mакс-23

Цитата: Yworld_garry от 24 июля 2015, 10:34:27Как он у вас, в корне или в директории и с порталом или без...,

В корне. Без портала.

Yworld_garry

Для всех

User-agent: *
Disallow: /

Только для двух ботов

User-agent: Googlebot
Disallow: /


User-agent: Yandex
Disallow: /


Mакс-23

Можно ли в robots.txt разрешить чтоб Гугл и Яндекс индексировали только карту? Если да, то как прописать?
А то я прописал так:
User-agent: Googlebot
Allow: /*sitemap
Disallow: /
Sitemap:  http://***.com/index.php?action=sitemap


User-agent: Yandex
Allow: /*sitemap
Disallow: /
Sitemap:  http://***.com/index.php?action=sitemap

Яндекс выдаёт ошибку: Неизвестный тег. Строка 2: html

А Гугл вот что пишет:


Yworld_garry

или возможно у вас стоит мод карты один из, так у него ссылка на карту вот такая

http://www.ваш сайт.ru/index.php?action=sitemap;xml

Mакс-23

Цитата: digger® от 24 июля 2015, 23:36:19В браузере попробуйте свой сайтмап открыть. Он у вас есть вообще?
Да есть, открывает.

Mакс-23

#8
Цитата: Yworld_garry от 24 июля 2015, 23:54:11или возможно у вас стоит мод карты один из, так у него ссылка на карту вот такая

http://www.ваш сайт.ru/index.php?action=sitemap;xml
Да, именно мод, и по этой ссылке.оказалось без ;xml выдаёт ошибки... Сейчас всё ошибки нет.
Но, меня больше интересует robots.txt - правильно ли я там прописал?

Yworld_garry

Цитата: Mакс-23 от 25 июля 2015, 00:32:03Но, меня больше интересует robots.txt - правильно ли я там прописал?

В панелях вебмастера яндекса и гугла есть проверка роботс файла, вводите туда проверяемый урл, и покажет закрыт или открыт...