Первая версия robots.txt , для более полной индексации.

[Yarik]

Имеет ли смысл msg ограничивать? Если да, то зачем?

Имеет.Чтобы не было дублей страниц.

[Индиго Бой]

Товарищи, так какой делать, просто выложите правильный, а листать 28 страниц, замечу киллометровых страниц это безумие и тогда уж лучше без него будет

[BoPoH]

в первом посте берите

[Ulibka]

Yworld_garry, 
Спасибо Вам за многолетний труд!
Скажите пожалуйста - как запретить всем ботам кроме яндекса и google ходить по форуму ?

[Yarik]

Скажите пожалуйста - как запретить всем ботам кроме яндекса и google ходить по форуму ?

Увы никак. Можно запретить поименно большинство ботов. Но есть боты которые не послушаются этого запрета.

[gorbi]

А зачем запрещать?

[Yarik]

А зачем запрещать?

Ну например Бауду или AhrefsBot. Да и других хватает. Это не поисковики а парсеры которые скачивают весь сайт целиком в несколько потоков и ложили они с прибором на всякие запреты в robots. Только бан ихней подсети спасает от них на некоторое время. Через время они с новой подсети лезут.
Я одно время даже специальный файрвол под них писал. Который их отлавливал и банил. Потом забил на них.

[Ulibka]

А зачем запрещать?

Зачем мне лишняя паразитная нагрузка на сервер?

Может быть есть какая то другая штука по запрету?
Может быть есть мод который может отличить бота от гостя?
Например гость может иметь только один активный поток в единицу времени и может слать не более 1 запроса к серверу в 1 секунду.
В список исключений добавить только google+яндекс

Посмотрел лог админка/поисковые системы логи пауков - а он у меня пустой.

Как сделать так чтобы там что то показывалось ?

[gorbi]

Зачем мне лишняя паразитная нагрузка на сервер?

Эти ребята, насколько я знаю, мониторят в пользу больших брендов, отслеживая негатив и прочие упоминания. То есть теоретически могут даже дать некоторый полезный трафик.

[Yarik]

То есть теоретически могут даже дать некоторый полезный трафик.

Вот результат такого полезного трафика
Вам недоступны вложения в этом разделе.

[gorbi]

AhrefsBot. ищет не лучше, а быстрее и зарабатывает на этом миллионы долларов. Так что Гугл нашёл бы НТВ, только не так быстро.

[digger®]

Посмотрел лог админка/поисковые системы логи пауков - а он у меня пустой.
Как сделать так чтобы там что то показывалось ?

В админке в основных настройках включить.

[gorbi]

Названия вроде где-то прописывал ибо сейчас не все пауки у меня идентифицируются. А в логах хостинга были видны все пауки вместе с трафиком.

[sasha.alfons1982]

Ребят, а можно сделать так, чтобы роботы Ahrefs, SemRush и все остальные когда приходили, чтобы им какая-то ошибка выходила. Чтобы они ни какой информации не получили вообщее

[gorbi]

Можно. Достаточно воспользоваться поиском на этом форуме