Первая версия robots.txt , для более полной индексации.

[Yarik]

Имеет ли смысл msg ограничивать? Если да, то зачем?

Имеет.Чтобы не было дублей страниц.

[Индиго Бой]

Товарищи, так какой делать, просто выложите правильный, а листать 28 страниц, замечу киллометровых страниц это безумие и тогда уж лучше без него будет

[BoPoH]

в первом посте берите

[Ulibka]

Yworld_garry, 
Спасибо Вам за многолетний труд!
Скажите пожалуйста - как запретить всем ботам кроме яндекса и google ходить по форуму ?

[Yarik]

Скажите пожалуйста - как запретить всем ботам кроме яндекса и google ходить по форуму ?

Увы никак. Можно запретить поименно большинство ботов. Но есть боты которые не послушаются этого запрета.

[gorbi]

А зачем запрещать?

[Yarik]

А зачем запрещать?

Ну например Бауду или AhrefsBot. Да и других хватает. Это не поисковики а парсеры которые скачивают весь сайт целиком в несколько потоков и ложили они с прибором на всякие запреты в robots. Только бан ихней подсети спасает от них на некоторое время. Через время они с новой подсети лезут.
Я одно время даже специальный файрвол под них писал. Который их отлавливал и банил. Потом забил на них.

[Ulibka]

А зачем запрещать?

Зачем мне лишняя паразитная нагрузка на сервер?

Может быть есть какая то другая штука по запрету?
Может быть есть мод который может отличить бота от гостя?
Например гость может иметь только один активный поток в единицу времени и может слать не более 1 запроса к серверу в 1 секунду.
В список исключений добавить только google+яндекс

Посмотрел лог админка/поисковые системы логи пауков - а он у меня пустой.

Как сделать так чтобы там что то показывалось ?

[gorbi]

Зачем мне лишняя паразитная нагрузка на сервер?

Эти ребята, насколько я знаю, мониторят в пользу больших брендов, отслеживая негатив и прочие упоминания. То есть теоретически могут даже дать некоторый полезный трафик.

[Yarik]

То есть теоретически могут даже дать некоторый полезный трафик.

Вот результат такого полезного трафика
Вам недоступны вложения в этом разделе.

[gorbi]

AhrefsBot. ищет не лучше, а быстрее и зарабатывает на этом миллионы долларов. Так что Гугл нашёл бы НТВ, только не так быстро.

[digger®]

Посмотрел лог админка/поисковые системы логи пауков - а он у меня пустой.
Как сделать так чтобы там что то показывалось ?

В админке в основных настройках включить.

[gorbi]

Названия вроде где-то прописывал ибо сейчас не все пауки у меня идентифицируются. А в логах хостинга были видны все пауки вместе с трафиком.

[sasha.alfons1982]

Ребят, а можно сделать так, чтобы роботы Ahrefs, SemRush и все остальные когда приходили, чтобы им какая-то ошибка выходила. Чтобы они ни какой информации не получили вообщее

[gorbi]

Можно. Достаточно воспользоваться поиском на этом форуме

[ВладимирК]

Почему здесь нельзя удалить мне моё сообщение?

[ВладимирК]

Странно, почему нету файла robots.txt в архиве движка smf_2-1-7_install ?
Выходит что не нужен файл robots.txt ?
Робот Гугл не индексирует некоторые страницы объясняя что "Заблокировано в файле robots.txt" хотя это не правда и наглая ложь.

===
Робот Яндекса пишет что не знает такого адреса.
===
Тем более что в некоторых страницах .php уже есть указание в теге: <meta name="robots" content="noindex">
===
Вопрос: нужен ли вообще файл robots.txt
Вопрос: если нужен, дайте пожалуйста правильный файл robots.txt

[ВладимирК]

Яндекс отвечает что:
Файл robots.txt не является обязательным для сайта, но его использование рекомендуется, особенно если нужно контролировать, как поисковые системы сканируют и индексируют контент. Этот текстовый файл служит для предоставления рекомендаций поисковым роботам (краулерам) относительно того, какие разделы или страницы сайта им разрешено сканировать и индексировать, а какие — нет.

[digger®]

Вопрос: нужен ли вообще файл robots.txt
Вопрос: если нужен, дайте пожалуйста правильный файл robots.txt

Поставьте мод Optimus и все эти вопросы отпадут.

[ВладимирК]

Поставьте мод Optimus и все эти вопросы отпадут.

Поставьте мод Optimus и все эти вопросы отпадут.

Вы не понятно ответили.
Загадочно и интригующе так вы ответили.
Но вопрос остался не решённым:
Вопрос: нужен ли вообще файл robots.txt
Вопрос: если нужен, дайте пожалуйста правильный файл robots.txt

[digger®]

Вы не понятно ответили.
Загадочно и интригующе так вы ответили.
Но вопрос остался не решённым:
Вопрос: нужен ли вообще файл robots.txt
Вопрос: если нужен, дайте пожалуйста правильный файл robots.txt

Вообще, не нужен.
Если есть необходимость в нем, Optimus сгенерирует правильный.

[ВладимирК]

   Подскажите кто сталкивался?
Мастер Яндекс пишет: адрес Неизвестен роботу.
Как это понимать?
При этом индексатор закачивает страницы, но не индексирует их.

[digger®]

  Подскажите кто сталкивался?
Мастер Яндекс пишет: адрес Неизвестен роботу.
Как это понимать?

Был неизвестен, стал известен, так и понимать.