Проверка файла robots.txt

[Alex32]

В гугл панели в Инструменте проверки файла robots.txt 2 предупреждения (см скрин.) может быть вообще удалить эти строки Crawl-delay: 10 и Crawl-delay: 100 зачем они вообще?

[Yworld_garry]

Предупреждение говорит о том, что бот гугла не поддерживает эти директивы. да собственно они и не ему, а указанным ботам и ограничивают их во времени посещения, что бы не сканили с часто. Иначе могут просто дать ощутимую нагрузку на сервер и тд...

[Alex32]

Да я почитал про эту директиву, просто не знал, что она не для гугла и выдает предупреждения какие то

[artvolt]

Уважаемые мастера SMF, проверьте пожалуйста мой файл Robots - https://art-cafe.info/robots.txt . Нет ли каких-то критических ошибок, надо ли срочно что-то добавить или наоборот убрать.

Много пересмотрел тем о Роботсе для СМФ и на форуме и в интернете в целом - и тут такое же разнообразие мнений как и у Wordpress. Масса тем типа "Самый правильный роботс" - и везде свои нюансы, свои отличия. А какой же он должен быть этот самый-самый правильный Роботс, так и остаётся до конца не совсем понятным.

[gorbi]

Как там ваша Википедия?

[artvolt]

Как там ваша Википедия?

Всё нормально, слава Богу. Развивать полноценно Вики пока недосуг, с основным форумом пока ещё не все нюансы понятны и какие-то моменты продолжаю настраивать. А так Вики-движок сервер не грузит, место на диске особенно не занимает, так что пусть будет. Очень интересный эксперимент получился по адаптации Вики, и шаблон удалось настроить идентичный форумному дизайну.

А что по основному вопросу посоветуете Gorbi, надо ли что-то изменить в файле Роботс, вот выкладываю мой Роботс прямо в пост. Есть сомнения что я правильно всё настроил.

Код Выделить Развернуть

User-agent: *
Disallow: /msg/
Disallow: /profile/
Disallow: /help/
Disallow: /search/
Disallow: /mlist/
Disallow: /sort/
Disallow: /recent/
Disallow: /register/
Disallow: /groups/
Disallow: /stats/
Disallow: /unread/
Disallow: /topicseen/
Disallow: /showtopic/
Disallow: /prev_next/
Disallow: /imode/
Disallow: /wap/
Disallow: /wap2/
Disallow: /all/
Disallow: /*PHPSESSID
Allow: /$
Allow: /*.xml
Allow: /*.css$
Allow: /*.js$
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.gif$
Allow: /*sitemap

Sitemap: https://art-cafe.info/sitemap.xml

[gorbi]

Нормальный робота, что в нем напрягает?

[artvolt]

Нормальный робота, что в нем напрягает?

Позиции форума в поисковиках, особенно в Яндексе мне не нравятся. После недавней модернизации сайта, переноса на новый хостинг, исключения из адреса префикса "www", активирования ЧПУ-мода - позиции форума в поисковиках естесственно нарушились и стали похуже. Но прошло вот уже несколько месяцев, а ситуация не стабилизируется. В поисковой выдаче всё остаётся хаотичным, до сих пор остаётся куча старых страниц, которые были на статом форуме с префиксом "www" и т.д. Вот я и подумал, может в Роботсе я чего не правильно настроил.

[Yarik]

В поисковой выдаче всё остаётся хаотичным, до сих пор остаётся куча старых страниц, которые были на статом форуме с префиксом "www" и т.д. Вот я и подумал, может в Роботсе я чего не правильно настроил.

Код Выделить Развернуть

Sitemap:  https://art-cafe.info/sitemap.xml
Host: https://art-cafe.info

[digger®]

Host: https://art-cafe.info

Нет такой директивы Host в спецификации robots.txt. Это был костыль Яндекса от которого и он уже отказался.

[SMF-user]

Всем привет. Хочу задать вопрос по моему варианту robots.txt.
Сам я неграмотный по этой теме.
Скажите, будьте добры, кто что думает о нём.

PS: Тут такое дело, вышел на меня рекламодатель (очень громко сказано).
Попросил он разместить его статью со ссылками, которые должны индексироваться, а они не индексируются.
Программа минимум, нужно чтобы индексировалась только эта страница.
Но, мне кажется, что если начнётся оголтелая индексация, как это было несколько лет назад, мне придётся покупать более дорогой тарифный план на хостинге.
Индексацию я когда то заблокировал при помощи саппорта на хостинге, с тех пор нет полчищ пауков. А теперь требуется включить её опять.
Вот и думаю, стоит оно того чтобы связываться с этим рекламодателем, он хочет заплатить единоразово небольшую сумму, а нагрузка на форум будет вовеки веков.
Попахивает разводом, ибо если нагрузка будет постоянно и долговременно, то и оплата дожна быть постоянной, а не единоразовой мизерной.
По поводу расценок на размещение статей на таких условиях, кто что думает, какие они на сегодня?

[Yarik]

Недавно стучался рекламодатель. Казино,букмекерские ставки и прочее. С подобным предложением. Послал хистросделанного искать дальше.

[gorbi]

А чем их деньги плохи? Это же обычный seo

[SMF-user]

Деньги (1000 руб пожизненно) явно недостаточны для регулярно потребляющего топливо объекта.
При этом статья от страховой компании. Кто то пилит там бюджет.
Индексируемые ссылки ведь будут грузить процессор на хостинге.
Следовательно оплата должна быть весь срок нахождения этой статьи на ресурсе.
Такая моя логика. Не знаю какие на сегодня сложились условия и расценки, поэтому интересуюсь чужим мнением.

[gorbi]

Ну и кто из рекламодателей вам платит весь срок?

[domofor]

Деньги (1000 руб пожизненно) явно недостаточны для регулярно потребляющего топливо объекта.
При этом статья от страховой компании. Кто то пилит там бюджет.
Индексируемые ссылки ведь будут грузить процессор на хостинге.
Следовательно оплата должна быть весь срок нахождения этой статьи на ресурсе.
Такая моя логика. Не знаю какие на сегодня сложились условия и расценки, поэтому интересуюсь чужим мнением.

Вроде бы существует два вида размещения ссылок: вечные и временные (арендные). Если хотите брать плату за размещение временных ссылок, но не знаете расценки, то посмотрите в сети примеры по указанным ключевым словам.

[SMF-user]

Погуглил Яндекс по ключевым словам, не нашёл мой случай. Заказчику требуется чтобы две ссылки были индексируемыми, а сама статья ни о чём ваще, пустышка.
Вот и думаю, ст0ит ли засырать ресурс этой статьёй на таких условиях, склоняюсь к тому что не ст0ит.

[gorbi]

Когда рекламодатели выстраиваются в очередь, им можно и нужно отказывать.

[SMF-user]

Очереди к моему ресурсу нет и не предвидится, не скажу что это огорчает меня.
Короче, далёк я от темы рекламы на сайте.

[domofor]

Короче, далёк я от темы рекламы на сайте.

Тогда предложите рекламодателю свои собственные расценки с указанием что возможен торг)

[Yarik]

Когда рекламодатели выстраиваются в очередь, им можно и нужно отказывать.

Со ссылками,особенно прямыми и вечными, поаккуратнее надо быть. Ты сегодня ссылки размещаешь на книжный магазин. А лет этак через пять выясняется что ты ссылаешься на детскую порнографию. И такое бывает.

[gorbi]

Ссылочный SEO никто не отменял и чаще всего рекламодатель расстается с деньгами за размещение ссылок. Поэтому странным кажется морщить носик

[SMF-user]

Ссылочный SEO никто не отменял и чаще всего рекламодатель расстается с деньгами за размещение ссылок. Поэтому странным кажется морщить носик

Как принято оформлять такую сделку? Устно или письменно? "Морщу носик" по той причине что нужно предпринять чересчур много движений для того чтобы получить эту небольшую сумму.

А ещё требуется обеспечить индексирование ссылок, причём навечно. А ещё статья в которой ссылки, просто тупо забацана безумно, лишь бы ссылки пихануть в неё.
Проходишь по ссылкам, а там вообще ничего по теме статьи. Просто тупо сайт страховой компании. ИМХО размещать такое Г от своего имени у себя на ресурсе это деградация.
Статья уже перенесена в Корзину, появится заказчик, скажу ему что передумал размещать его статью, мол ресурсов недостаточно для индексации ссылок, тормозить начнёт.

[Yarik]

Ссылочный SEO никто не отменял и чаще всего рекламодатель расстается с деньгами за размещение ссылок. Поэтому странным кажется морщить носик

Контролировать потом все размещаемые ссылки надо. Я лично не торговал никогда вечными ссылками. Товарищ занимается. Составляет список где и чего наразмещал. И регулярно проверяет. Домен такая вещь что он может уйти в другие руки,а вот что там разместит новый хозяин это ещё тот вопрос. Он один раз попадал на детскую порнографию и два раза варез. То есть по началу там было пристойное содержание,файлообменники и медицинский портал. Потом домены были заброшены,ушли в другие руки. Файлообменники стали варезниками. Ну а медицинский портал стал очень плохим местом. А ссылочки вечные то по форумам остались. Мало кто отреагировал на смену контента и снял их.

[gorbi]

У рекламодателя свои риски. Их даже больше

[SMF-user]

Отказал я этому клиенту и удалил его статью.
Не ст0ит оно того чтобы связываться с этой темой.