Первая версия robots.txt , для более полной индексации.

Автор Yworld_garry, 04 Октябрь 2008, 23:59:13

« назад - далее »

0 Пользователей и 1 гость просматривают эту тему.

S.T.A.L.K.E.R.

Цитата: Juanito от 22 Сентябрь 2018, 13:26:52Имеет ли смысл msg ограничивать? Если да, то зачем?
Имеет.Чтобы не было дублей страниц.

Индиго Бой

Товарищи, так какой делать, просто выложите правильный, а листать 28 страниц, замечу киллометровых страниц это безумие и тогда уж лучше без него будет

BoPoH


Ulibka

Yworld_garry
Спасибо Вам за многолетний труд!
Скажите пожалуйста - как запретить всем ботам кроме яндекса и google ходить по форуму ?

S.T.A.L.K.E.R.

Цитата: Ulibka от 11 Июнь 2020, 19:28:20Скажите пожалуйста - как запретить всем ботам кроме яндекса и google ходить по форуму ?
Увы никак. Можно запретить поименно большинство ботов. Но есть боты которые не послушаются этого запрета.

gorbi


S.T.A.L.K.E.R.

Цитата: gorbi от 11 Июнь 2020, 20:54:24А зачем запрещать?
Ну например Бауду или AhrefsBot. Да и других хватает. Это не поисковики а парсеры которые скачивают весь сайт целиком в несколько потоков и ложили они с прибором на всякие запреты в robots. Только бан ихней подсети спасает от них на некоторое время. Через время они с новой подсети лезут.
Я одно время даже специальный файрвол под них писал. Который их отлавливал и банил. Потом забил на них.

Ulibka

Цитата: gorbi от 11 Июнь 2020, 20:54:24А зачем запрещать?

Зачем мне лишняя паразитная нагрузка на сервер?

Может быть есть какая то другая штука по запрету?
Может быть есть мод который может отличить бота от гостя?
Например гость может иметь только один активный поток в единицу времени и может слать не более 1 запроса к серверу в 1 секунду.
В список исключений добавить только google+яндекс

Посмотрел лог админка/поисковые системы логи пауков - а он у меня пустой.

Как сделать так чтобы там что то показывалось ?

gorbi

Цитата: Ulibka от 12 Июнь 2020, 08:03:00Зачем мне лишняя паразитная нагрузка на сервер?
Эти ребята, насколько я знаю, мониторят в пользу больших брендов, отслеживая негатив и прочие упоминания. То есть теоретически могут даже дать некоторый полезный трафик.

S.T.A.L.K.E.R.

Цитата: gorbi от 12 Июнь 2020, 11:48:29То есть теоретически могут даже дать некоторый полезный трафик.
Вот результат такого полезного трафика
Вам недоступны вложения в этом разделе.

gorbi

AhrefsBot. ищет не лучше, а быстрее и зарабатывает на этом миллионы долларов. Так что Гугл нашёл бы НТВ, только не так быстро.

digger®

Цитата: Ulibka от 12 Июнь 2020, 08:03:00Посмотрел лог админка/поисковые системы логи пауков - а он у меня пустой.
Как сделать так чтобы там что то показывалось ?
В админке в основных настройках включить.

gorbi

Названия вроде где-то прописывал ибо сейчас не все пауки у меня идентифицируются. А в логах хостинга были видны все пауки вместе с трафиком.