Запрет в роботс.тхт

[Dimon S.]

Всем привет. Подскажите пожалуйста. Столкнулся с ранее непонятной штукой.
Написал уникальную статью. Выложил на форум и по привычке решил скормить её яндексу. Ввёл ссылку. А мне выдал "Указанный URL запрещен к индексации в файле robots.txt на сайте.
Раньше проблем не возникало... Что это может значить и что делать?

[kak2z]

Всем привет. Подскажите пожалуйста. Столкнулся с ранее непонятной штукой.
Написал уникальную статью. Выложил на форум и по привычке решил скормить её яндексу. Ввёл ссылку. А мне выдал "Указанный URL запрещен к индексации в файле robots.txt на сайте.
Раньше проблем не возникало... Что это может значить и что делать?

Вы указали ссылку на сообщение.. а нужно указывать ссылку на топик)

[Dimon S.]

Вы указали ссылку на сообщение.. а нужно указывать ссылку на топик)

я взял её из браузера

[digger®]

я взял её из браузера

Неважно откуда взяли, в правильном robots.txt запрещены ссылки на отдельные сообщения и разрешены только на страницы тем.

[Dimon S.]

Неважно откуда взяли, в правильном robots.txt запрещены ссылки на отдельные сообщения и разрешены только на страницы тем.

То есть, как раньше я делал, брал из браузера ссылку на открытой теме, я делать не могу?
Нужно сслыку на список тем в разделе?

[digger®]

То есть, как раньше я делал, брал из браузера ссылку на открытой теме, я делать не могу?
Нужно сслыку на список тем в разделе?

На название темы кликните и берите ссылку

[Dimon S.]

На название темы кликните и берите ссылку

Так я так и сделал. Кликнул на название темы. Перешел в тему. Взял ссылку. А мне такое

[digger®]

Так я так и сделал. Кликнул на название темы. Перешел в тему. Взял ссылку. А мне такое

Вы на название сообщения кликнули, а не темы, судя по ссылке.

[Dimon S.]

Ага. Видимо я туплю. Получилось. Всем спасибо!

[Yarik]

Гугл начинает ругаться на запреты такого вида
Disallow: /Smileys/
Disallow: /*action
и Аватары с формулировкой Поскольку в файле ...../robots.txt часть ресурсов заблокирована, эта страница может быть обработана некорректно.
Чтобы разблокировать ресурс, измените файл robots.txt....Из-за этого из поиска выкинул 909 страниц.Что делать,удалять эти запреты?

[Yworld_garry]

Что делать,удалять эти запреты?

Примеры заблокированных ссылок скиньте сюда.
Смайлы не надо скидывать, тут на ваше усмотрение, можете открыть, не лучше, не хуже не будет, точнее это не даст никаких бонусов форуму.

[Yarik]

Заблокированные ресурсы

Код Выделить Развернуть

Поскольку в файле https://yarik-sat.ru/robots.txt часть ресурсов заблокирована, эта страница может быть обработана некорректно.
Чтобы разблокировать ресурс, измените файл robots.txt.
URL:
https://yarik-sat.ru/index.php?topic=57.0
Ресурс:
https://yarik-sat.ru/index.php?action=loadeditorlocale
Файл robots.txt:
https://yarik-sat.ru/robots.txt


URL:
https://yarik-sat.ru/index.php?topic=1347.0
Ресурс:
https://yarik-sat.ru/index.php?action=loadeditorlocale
Файл robots.txt:
https://yarik-sat.ru/robots.txtПри проверке роботом горело красным то ресурс недоступен,изменил роботс на то как предложил гугл.Теперь горит зелёным доступно,нужно ждать переиндексации этих страниц.

[Yworld_garry]

А зачем вам в индексе вот это https://yarik-sat.ru/index.php?action=loadeditorlocale ?

[Yarik]

Так вот на основании того что этого нет в индексе оно мне и перебанило почти 500 страниц.
С аватарами - получается робот заходит на страницу но не может считать аватар постившего - страница улетает в бан из-за запрета в роботсе.У меня почти 1000 таких страниц с руганью на то что в роботсе запрещены аватары,смайлы.

[Yworld_garry]

У меня почти 1000 таких страниц с руганью

Это мусор который в индексе не нужен и это не ругань а просто констатация о закрытых страницах от индексации.
На больших проектах по 1000000 страниц закрытых, если открыть будет уже не то с позициями, ключами, плюс куча мусора которая уводит целевой запрос бог знает куда.
Такие страница открывают для рекламных систем гугла и яндекса, что бы реклама откручивалась везде на проекте и те кто торгуют ссылками.

[Yarik]

Понял,короче просто забить на это и всё.Спасибо,нужно было так и сразу написать

[Yarik]

Протупил,дошло