Первая версия robots.txt , для более полной индексации.

[Сергей Акимов]

Дак ведь я карту сайта уже сегодня раз 30 заново добавил... Даты там сегодняшние....

[Yworld_garry]

Дак ведь я карту сайта уже сегодня раз 30 заново добавил...

Можно и сто раз, только обработает он ее когда обработает

Скопируйте сюда или посмотрите на даты закрытых в карте, когда проблемы обнаружилась.

[Сергей Акимов]

Вот кусок карты сайта.Вообще,количество заблокированных УРЛ совпадает с количеством тем на форуме(ну,плюс/минус)...

Код Выделить Развернуть

<url>
<loc>http://poigarmonika.ru/forum/index.php?topic=8.0</loc>
<lastmod>2012-06-24T17:32:07+04:00</lastmod>
<changefreq>monthly</changefreq>
<priority>0.2</priority>
</url>
<url>
<loc>http://poigarmonika.ru/forum/index.php?topic=7.0</loc>
<lastmod>2011-11-27T11:35:16+04:00</lastmod>
<changefreq>monthly</changefreq>
<priority>0.2</priority>
</url>
<url>
<loc>http://poigarmonika.ru/forum/index.php?topic=6.0</loc>
<lastmod>2017-02-25T20:01:22+03:00</lastmod>
<changefreq>daily</changefreq>
<priority>0.8</priority>
</url>
<url>
<loc>http://poigarmonika.ru/forum/index.php?topic=5.0</loc>
<lastmod>2011-04-09T16:38:16+04:00</lastmod>
<changefreq>yearly</changefreq>
<priority>0.2</priority>
</url>
<url>
<loc>http://poigarmonika.ru/forum/index.php?topic=4.0</loc>
<lastmod>2017-01-14T20:57:51+03:00</lastmod>
<changefreq>monthly</changefreq>
<priority>0.6</priority>
</url>
<url>
<loc>http://poigarmonika.ru/forum/index.php?board=3.0</loc>
<lastmod>2017-02-26T16:39:48+03:00</lastmod>
<changefreq>daily</changefreq>
<priority>0.8</priority>
</url>
<url>
<loc>http://poigarmonika.ru/forum/index.php?board=2.0</loc>
<lastmod>2017-02-26T06:37:26+03:00</lastmod>
<changefreq>daily</changefreq>
<priority>0.8</priority>
</url>
<url>
<loc>http://poigarmonika.ru/forum/index.php?board=7.0</loc>
<lastmod>2017-02-25T20:01:22+03:00</lastmod>
<changefreq>daily</changefreq>
<priority>0.8</priority>
</url>
<url>
<loc>http://poigarmonika.ru/forum/index.php?board=4.0</loc>
<lastmod>2017-02-24T17:58:16+03:00</lastmod>
<changefreq>daily</changefreq>
<priority>0.8</priority>
</url>
<url>
<loc>http://poigarmonika.ru/forum/index.php?board=6.0</loc>
<lastmod>2017-02-23T19:34:21+03:00</lastmod>
<changefreq>daily</changefreq>
<priority>0.8</priority>
</url>
<url>
<loc>http://poigarmonika.ru/forum/index.php?board=10.0</loc>
<lastmod>2017-02-17T20:54:24+03:00</lastmod>
<changefreq>daily</changefreq>
<priority>0.8</priority>
</url>
<url>
<loc>http://poigarmonika.ru/forum/index.php?board=5.0</loc>
<lastmod>2017-02-10T22:00:14+03:00</lastmod>
<changefreq>daily</changefreq>
<priority>0.8</priority>
</url>
<url>
<loc>http://poigarmonika.ru/forum/index.php?board=9.0</loc>
<lastmod>2017-02-03T18:05:06+03:00</lastmod>
<changefreq>daily</changefreq>
<priority>0.8</priority>
</url>
<url>
<loc>http://poigarmonika.ru/forum/index.php?board=1.0</loc>
<lastmod>2017-02-03T17:07:12+03:00</lastmod>
<changefreq>daily</changefreq>
<priority>0.8</priority>
</url>
</urlset>

[Yworld_garry]

Да карту форума я посмотрел у вас на форуме, тут вопрос в другом... мне не видно и нет роботса который у вас стоял прежде и не проверить, этот не блокимрует, что сейчас стоит

[Сергей Акимов]

То есть,стоит подождать,а потом уже делать выводы?

[Yworld_garry]

То есть,стоит подождать,а потом уже делать выводы?

Да

[Сергей Акимов]

Ну тогда всем спасибо за участие!

[Сергей Акимов]

Сегодня все предупреждения исчезли. Всё замечательно.

[vladimir]

Было поздно и забыл прибавить про карту сайта.

Ставим вот этот мод SMF Sitemap

Добавляем её в ПС из панелей. Обрабатывается без ошибок и в яндексе и в гугле.
И не забываем запретить индексацию к ней ботам в robots.txt
В таком виде

Код Выделить Развернуть

Disallow: /forum/index.php?action=sitemap
Не надо им там лазить и создавать лишнюю нагрузку.

Про удаление из индекса печатной версии тут писалось не раз но ещё раз напишу, дабы было по полнее. Собственно решение очевидное и написано про него много раз.

Sources/Printpage.php

Код Выделить Развернуть

fatal_lang_error(472, false);Подскажите пожалуйста как сделать Добавляем её в ПС из панелей. мод поставил, а что дальше делать пойму!
Вставляем ниже

Код Выделить Развернуть

$context['robot_no_index'] = true;
В Printpage.template.php ищем

Код Выделить Развернуть

<meta http-equiv="Content-Type" content="text/html; charset=', $context['character_set'], '" />
Вставляем ниже

Код Выделить Развернуть

', empty($context['robot_no_index']) ? '' : '<meta name="robots" content="noindex" />', '
Либо просто вставляем, если не правили контекстные.

Код Выделить Развернуть

<meta name="robots" content="noindex" />
Так же там можно поставить ссылку на форум, в стандарте она отсутсвует

Ищем в Printpage.template.php

Код Выделить Развернуть

<head>
И ниже добавляем всё, что душе угодно, например

Код Выделить Развернуть

<a href="http://www.мой сайт.ru/">На форум</a>

Помогите пожалуйста с пунктом Добавляем её в ПС из панелей. Мод поставил, а что дальше делать и где его искать не пойму.

[vladimir]

Подскажите что не так. Сделал все по инструкции как выше было написано. Поставил так же Sitemap по ссылке просил эмуляцию вроде бы поставился. Пробую посмотреть карту и вылетает ошибка (скрин-1). Добавил карту в Googlebot и он мне выдает ошибку (скрин-2). Не могу найти так же ам мод в админке SMF Sitemap.Умные лиди подскажите что блия я опять делаю не так?

[GeorG]

где его искать не пойму.

Админка-> Конфигурация-> Настройки модов -> Карта сайта

Точно ставите то что нужно? Там для версии форума 2.0.х надо выбрать версию для скачивания sitemap_2-2-1.zip

Добавил карту в Googlebot и он мне выдает ошибку (скрин-2).

Это не ошибка, там предупреждение, что поисковик Гугла не обрабатывает эту директиву (она для Яндекса).

[vladimir]

Ставлю от сюда sitemap_2-2-1.zip делаю Эмуляция версий 2,2,1 в Менеджер пакетов есть мод,а в админке -> Настройки модов нет этого мода. 
И еще про
Про удаление из индекса печатной версии тут писалось не раз но ещё раз напишу, дабы было по полнее. Собственно решение очевидное и написано про него много раз.

Sources/Printpage.php
Код
Кода нет

Код Выделить Развернуть

fatal_lang_error(472, false);

[vladimir]

Ставлю от сюда sitemap_2-2-1.zip делаю Эмуляция версий 2,2,1 в Менеджер пакетов есть мод,а в админке -> Настройки модов нет этого мода.  
И еще про
Про удаление из индекса печатной версии тут писалось не раз но ещё раз напишу, дабы было по полнее. Собственно решение очевидное и написано про него много раз.

Sources/Printpage.php
Код
Кода нет

Код Выделить Развернуть

fatal_lang_error(472, false);

Всем спасибо большое. Оказывается не правильно делал эмуляцию для мода. Сделал под SMF-2.0 и все заработала.
И еще про
Про удаление из индекса печатной версии тут писалось не раз но ещё раз напишу, дабы было по полнее. Собственно решение очевидное и написано про него много раз.

Sources/Printpage.php
Код
Этого кода у меня нет

Код Выделить Развернуть

fatal_lang_error(472, false);[/quote]
И подскажите пожалуйста. Надо ли скрывать карту сайта от всех на главной?

[motosimak]

Да не нужно ничего скрывать, сейчас роботы намного умнее чем раньше, я вообще на своем ресурсе разрешил все, кроме технических старниц с сессиями.

Код Выделить Развернуть

User-agent: *
Disallow: /*go.php


User-agent: Mediapartners-Google
Disallow:

User-agent: Yandex
Disallow: /*go.php
Disallow: *PHPSESSID=*
В шаблон SMF и так встроены конониклы и ноиндекс на дублях, поэтому чем больше открытости, тем лучше для поисковиков.

[GeorG]

И еще про
Про удаление из индекса печатной версии тут писалось не раз но ещё раз напишу, дабы было по полнее. Собственно решение очевидное и написано про него много раз.

Sources/Printpage.php
Код
Этого кода у меня нет

Код Выделить Развернуть

fatal_lang_error(472, false);

Это для версии форума 1.1.х, вам ничего не надо прописывать, у вас там уже есть:

Код Выделить Развернуть

// Redirect to the boardindex if no valid topic id is provided.
if (empty($topic))
redirectexit();

// Whatever happens don't index this.
$context['robot_no_index'] = true;

И подскажите пожалуйста. Надо ли скрывать карту сайта от всех на главной?

В принципе, путь к ней вы и так указываете в кабинете вебмастера для поисковиков, так что если мешает, то можно и скрыть.

Только в вемастере лучше указать xml версию /index.php?action=sitemap;xml

Да не нужно ничего скрывать, сейчас роботы намного умнее чем раньше, я вообще на своем ресурсе разрешил все, кроме технических старниц с сессиями.

Я бы не стал пренебрегать таким мощным средством, так беспечно (учитывая что для настройки не требующим больших трудозатрат).

[vladimir]

Всем большое спасибо. Подскажите пожалуйста тему где описано как и где прописывать description, keywords, title?

[domofor]

Да не нужно ничего скрывать, сейчас роботы намного умнее чем раньше, я вообще на своем ресурсе разрешил все, кроме технических старниц с сессиями.

В шаблон SMF и так встроены конониклы и ноиндекс на дублях, поэтому чем больше открытости, тем лучше для поисковиков.

Хотелось бы увидеть комментарии знатоков SEO по данному высказыванию.

[GeorG]

Подскажите пожалуйста тему где описано как и где прописывать description, keywords, title?

Я Оптимус Браве поставил, он сам это всё автоматически делает, а так, если имеется ввиду чтобы самому прописывать в каждой теме, такого нет.

Хотелось бы увидеть комментарии знатоков по данному высказыванию.

В роботсе можно ограничить места где будет лазить бот, тем самым меньше грузить сервер (там же можно настроить таймауты для поисковиков и много другое, вот к пример у товарища motosimak не указана директива хост, наверное тоже как нибудь через движок прописана).

[domofor]

В роботсе можно ограничить места где будет лазить бот, тем самым меньше грузить сервер (там же можно настроить таймауты для поисковиков и много другое, вот к пример у товарища motosimak не указана директива хост, наверное тоже как нибудь через движок прописана).

Лично меня больше интересуют комментарии вот к этой фразе:

В шаблон SMF и так встроены конониклы и ноиндекс на дублях, поэтому чем больше открытости, тем лучше для поисковиков.

[motosimak]

вот к пример у товарища motosimak не указана директива хост, наверное тоже как нибудь через движок прописана).

То что я ее не указал в сообщении , не означает, что ее нет.

Вот пример роботса на сео форуме на движке smf http://www.sbup.com/robots.txt

Роботы сейчас знают все технические страницы, для Гугла правила в роботсе вообще не указ, если он захочет проиндексировать, он проиндексирует.

[Василич]

Добрый день , уважаемые форумчане-спецы ! 


Сразу скажу я в форумах чайник и сегодня только зарегился сюда. Поэтому ногами не пинайте . История простая , разбираюсь со свалившимся на голову форумом по мере поступления проблем и вопросов .

Еще в декабре , я вообще не знал о ведении форумов НИЧЕГО, но потерял работу , появилось время , всплыла в мозгу любимая тема и ........ и типа теперь администратор на своем форуме . Поэтому не судите строго .

Пару вопросов , надеюсь кто-то сердобольный ответит . Пытался лазить по темам - голова закипела , старенький я уже. 

- первый вопрос

как вы поняли - есть форум 2.0.12 .

Можно коротко и совсем доходчиво - зачем нужен файлы robots.txt  и карта форума ?  У меня вообще нет и все работает . Поставил пару МОДов от спамеров и для видео. Но когда регистрировал форум в Яндексе и Гугле - они немного ругаются . ЗАЧЕМ они мне эти файлы ?

- второй вопрос ...

У меня несколько раз за три месяца менялся в творческих муках домен  , и на мой форум теперь ссылается их несколько штук . Как мне теперь прописать один главный домен ? 

- последний вопрос , сорри за наглость .

у меня домен прописан в формате https://имя.ru , все ссылки и т . п . Но в поисковиках не всегда , но часто вылезает в формате  https://имя.ru/index.php .

И когда я на форуме возвращаюсь к первой странице тоже вылезает путь с index.php . Можно как то сделать , чтобы index.php не высвечивалось ..... Ну там как-то приравнять эти https://имя.ru/index.php и https://имя.ru

Еще раз спасибо за терпение и ответы . 

[GeorG]

зачем нужен файлы robots.txt  и карта форума ?

Для лучшей индексации (ну это если так, глобально вопрос рассматривать, но там и вторичные плюсы, как например, уменьшение нагрузки).

Как мне теперь прописать один главный домен ? 

Э... В смысле, куда он ещё прописался? Если беспокоитесь за дубли, то директиву host для Яндекса пропишите в файле robots.txt (чтобы быстрее главное зеркало определил), хотя со временем и так всё определится (но файл robots.txt лучше создать и не пренебрегать им, он полезен).

Можно как то сделать , чтобы index.php не высвечивалось

В файле robots.txt задать правило, типа директивы Clean-param, ещё был мод убирающий это.

p.s. Кстати, вот это посмотрите, там всё написано и буквально все вопросы снимает - https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml?lang=ru

[Василич]

Спасибо большое , GeorG !  


- Я так и понял интуитивно - он мне не нужен , этот robots.txt .

- Индексация за 3 месяца у меня нормальная - на первом листе поиска сижу , что в Яндексе , что в Гугле по нужным мне запросам.

- Закрывать мне как-то нечего .   Оставил этот файл пустым вообщем .  

[Василич]

у меня домен прописан в формате https://имя.ru , все ссылки и т . п . Но в поисковиках не всегда , но часто вылезает в формате  https://имя.ru/index.php .

И когда я на форуме возвращаюсь к первой странице тоже вылезает путь с index.php . Можно как то сделать , чтобы index.php не высвечивалось ..... Ну там как-то приравнять эти https://имя.ru/index.php и https://имя.ru

Еще раз спасибо за терпение и ответы .

Еще раз подниму этот вопрос - как убрать index.php из адресной строки . Точнее меня переадресация волнует. Оптимус не помогает , пишу переадресацию - мне ошибку выдает , что форум не работает .

Неужели на форуме Кулибиных нет ? Не верю !     

[digger®]

Еще раз подниму этот вопрос - как убрать index.php из адресной строки . Точнее меня переадресация волнует. Оптимус не помогает , пишу переадресацию - мне ошибку выдает , что форум не работает .

Неужели на форуме Кулибиных нет ? Не верю !    

в .htaccess

Код Выделить Развернуть

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ http://имя.ru/ [R=301,L]

[gorbi]

А для чего это всё? Можно ликбезу накинуть?

[digger®]

А для чего это всё? Можно ликбезу накинуть?

Ни для чего. Свербящее seo почесать.

[gorbi]

Поиски чудо-кнопки?

[Василич]

в .htaccess
Код

Спасибо , попробую утром на свежую голову.

[Василич]

А для чего это всё? Можно ликбезу накинуть?

Если я правильно понял о чем речь , то ликбезу и индексации хватает выше крыши . Для меня во всяком случае - на первой странице сижу в поиске. Я зануда , меня бесит index.php .......

[Василич]

Поиски чудо-кнопки?

Нет , люблю , чтоб все красиво было.

[gorbi]

Нет , люблю , чтоб все красиво было.

Звучит немым укором разработчикам движка форума

[Yarik]

Звучит немым укором разработчикам движка форума

Главная страница будет без index.php и не более.На остальных страницах оно всё равно будет....

Еще раз подниму этот вопрос - как убрать index.php из адресной строки . Точнее меня переадресация волнует. Оптимус не помогает , пишу переадресацию - мне ошибку выдает , что форум не работает .

Неужели на форуме Кулибиных нет ? Не верю !     

В гугле бан ?

[Василич]

в .htaccess

Код Выделить Развернуть

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ http://имя.ru/ [R=301,L]

Спасибо огромное ! То что надо ! Ура заработало ! 

Маленький вопросик . У меня протокол https . Что нужно подправить ? Спасибо !

[GeorG]

RewriteRule ^index\.php$ https://имя.ru/ [R=301,L]

[Василич]

RewriteRule ^index\.php$ https://имя.ru/ [R=301,L]

1) Спасибо ! Я не плохой ваш ученик. По интуиции сделал уже это .  Все отлично работает.

2) Обнаглею , подскажите ....

Какую строку мне вставить в этот файл , чтобы старый адрес форума во всех вариантах (с www, без www, c http или https и т.п.) переадресовывался на новый адрес (осталось в поисковиках много старых ссылок) ? Эту строку надо вставить до или после строк с предыдущего обсуждения ? 

Заранее спасибо ! 

[Василич]

2) Обнаглею , подскажите ....

- Справился сам при помощи справки техподдержки ... Удобно кстати ... Предложено несколько вариантов, типа пробуйте , что заработает .... Приколько ....

- Господа , подскажите ..... Я пользуюсь парочкой браузеров.... В Яндекс браузере удобная штука .... Когда лазаешь по форуму , в адресной строке не "китайская грамота" , а адрес сайта+название форума+название раздела и темы..... Очень удобно...

Подскажите как сделать, чтобы также отображалось и в других браузерах , когда использую? Спасибо.

[GeorG]

Это уже в ТП браузеров надо обращаться.

[Василич]

Это уже в ТП браузеров надо обращаться.

Я где-то на этом форуме видел , как сделать "подмену" . Но не помню где.

[GeorG]

Э... Это вы так ЧПУ описываете оригинально?

[Yarik]

Чет я запутался,вначале речь шла про 301 редирект,потом резко на ЧПУ перепрыгнули.Чё надо в итоге то?

[Василич]

Э... Это вы так ЧПУ описываете оригинально?

Наверно  .... Я ж писал , я всего 3 месяца в теме  .... Чайник я  , поэтому и вопросы такие .... Но добросовестно пытаюсь вникнуть ....

Так как с этим , этой ..... ЧПУ разобраться ? Спасибо.

[Василич]

Чет я запутался,вначале речь шла про 301 редирект,потом резко на ЧПУ перепрыгнули.Чё надо в итоге то?

С редиректом 301 совместными усилиями разобрались - работает как часы . Всем спасибо , особенно digger-у .... С постом 1325 про index.php попал прямо в десятку !

Теперь бы ЧПУ 

P.S. Кстати , подскажите в роботе.тхт , когда host указываешь , все-таки лучше как прописывать ? Кто как пишет . С http:// типа нельзя , а https:// вроде как надо ..... Просветите народ меня убогого , плиз....Как лучше ? 

Спасибо!

[Yarik]

Теперь бы ЧПУ 

Лучше не надо

С http:// типа нельзя , а https:// вроде как надо

Правильно говорят.

[Василич]

Лучше не надо

Не конструктивно  ... Почему ?

[Василич]

С http:// типа нельзя , а https:// вроде как надо

Правильно говорят.

Ну я так и сделал .


Слушайте , я когда мод Оптимус поставил , там предлагается "правильный роботс" ..... Что по этому поводу опыт говорит ?  Спс  

[GeorG]

Теперь бы ЧПУ 

Установить мод типа Pretty URLs.
Изначально не понимает кириллицу, от того потребуется установить ещё платный русификатор, взять можно у Буго на сайте http://dragomano.ru/translations/pretty-urls

Но пользоваться ЧПУ не рекомендую, столкнетесь с багами в других модах (порой весьма неожиданными), да и вообще, лучше от этого не станет, а проблем огребёте много потом (или сразу), но будет уже поздно что либо менять без ощутимых последствий.

[Василич]

Но пользоваться ЧПУ не рекомендую, столкнетесь с багами в других модах (порой весьма неожиданными), да и вообще, лучше от этого не станет, а проблем огребёте много потом (или сразу), но будет уже поздно что либо менять без ощутимых последствий.

Но пользоваться ЧПУ не рекомендую, стол

Спасибо ! Понял . Лучшее враг хорошего ....


А что рекомендуете по "правильному роботс.тхт" от Оптимуса ?

[GeorG]

Слушайте , я когда мод Оптимус поставил , там предлагается "правильный роботс" ..... Что по этому поводу опыт говорит ?  Спс  

Да, там предлагается вполне работоспособный файл robots.txt, возможно придётся дописывать что-то, но это только зависит от ваших дополнительных модов. Я кстати им долгое время пользовался вообще ничего в него не добавляя, все что там изначально, хватало.

[Василич]

Да, там предлагается вполне работоспособный файл robots.txt, возможно придётся дописывать что-то, но это только зависит от ваших дополнительных модов. Я кстати им долгое время пользовался вообще ничего в него не добавляя, все что там изначально, хватало.

Т.е. тупо копируем - хуже не будет ?


Я только не понял . Путь к sitemap указан с https:// , а host без ...... Так как лучше? спс