Первая версия robots.txt , для более полной индексации.

[GeorG]

Т.е. тупо копируем - хуже не будет ?

Хуже уж точно не будет.

Я только не понял . Путь к sitemap указан с https:// , а host без ...... Так как лучше? спс

Если у вас доступ по протоколу https, то host и sitemap надо указывать с https.

[Василич]

Хуже уж точно не будет.

Спасибо , сделал ...

Если есть желание коротко об этих запретах в рототс.тхт Оптимуса , они там в начале стоят , остальное более менее понял:

 
User-agent: Googlebot-Image
Disallow: /

User-agent: YandexImages
Disallow: /

User-agent: msnbot-MM
Disallow: /

User-agent: Googlebot-Mobile
Allow: /*wap
Disallow: /

User-agent: YandexImageResizer
Allow: /*wap
Disallow: /

User-agent: MediaPartners-Google
Allow: /

User-agent: Baiduspider
Disallow: /


Спасибо !   

[Yworld_garry]

По моду Оптимуса и его настройкам создайте новую тему, не надо превращать в кашу и так не самую маленькую темку.

[GeorG]

Если есть желание коротко об этих запретах в рототс.тхт Оптимуса , они там в начале стоят , остальное более менее понял:

В основном, это запрет индексировать изображения и мобильную тему для этих поисковиков.

[Василич]

В основном, это запрет индексировать изображения и мобильную тему для этих поисковиков.

Мучил-мучил ..... В итоге редиректы оставил в .htaccess оставил ..... А Оптимус , robots, sitemap снес нафиг вообще вечером .... Тут же просмотры пошли вверх к утру ! Парадокс .....

[GeorG]

Просмотр чего, профилей гостями?
Откуда статистика?

з.ы. За один день, ничего не увеличится.

[Василич]

Просмотр чего, профилей гостями?
Откуда статистика?

з.ы. За один день, ничего не увеличится.

У нас много обсуждений . Яндекс показал что за 12 тое число цепанул 293 страницы 120 убрал .....

[gorbi]

По моду Оптимуса и его настройкам создайте новую тему, не надо превращать в кашу и так не самую маленькую темку.

Пора вынимать шашку. Чувак реально превратил тему в кашу

[Василич]

Пора вынимать шашку. Чувак реально превратил тему в кашу

Сорри , не виноватая я , он сам пришел.  Не со зла .... Мотивейшн зашкаливает ....

[Yarik]

В итоге редиректы оставил в .htaccess оставил .....

Вам на будущее - куча полезных инструментов - http://www.rapidtables.com/web/index.htm
Сам уже давно по мере надобности пользуюсь.

[Yarik]

Перенос на новый домен.Кто подскажет что должно остаться на старом домене?
Сейчас там .htaccess с 301 редиректом на новый домен и старый роботс...
Яндекс сейчас регулярно выдает склейку то с mail.yarik-sat.ru то теперь вообще показывает склейку с IP сервера?

[Yworld_garry]

Перенос на новый домен.Кто подскажет что должно остаться на старом домене?

Качественно и быстро и по правилам...
1. Роботс на старом домене и в нем достаточно нового главного зеркала, далее в панеле перезд и все.
2. Под гугл 301 редирект, но что бы не трогал роботс.

Вот так
<FilesMatch "robots.txt$">
RewriteEngine off
</FilesMatch>
Options +FollowSymLinks
RewriteEngine on
RewriteRule (.*) https://сайт.ru/$1 [R=301,L]

[Yarik]

1. Роботс на старом домене и в нем достаточно нового главного зеркала, далее в панеле перезд и все.

А не,ссорян.Роботс у меня такой(где нашел не помню)

Код Выделить Развернуть

User-agent: *
Host: https://yarik-sat.com

User-agent: Googlebot
Host: https://yarik-sat.com

User-agent: Yandex
Host: https://yarik-sat.com

2. Под гугл 301 редирект, но что бы не трогал роботс.

Весь файл .htaccess

Код Выделить Развернуть

RewriteEngine On
RewriteRule (.*) https://yarik-sat.com/$1 [R=301,L]Да и с гуглом как бы проблем нет,а вот Яндекс каждые два дня находит новые зеркала старого домена.
На старом домене в папке с форумом осталось 4 файла - robots,.htaccess и по файлу от яндекса и гоши для подтвержения прав на домен-форум.
Откуда Яша эти зеркала откапывает ума не приложу.

[Yworld_garry]

а вот Яндекс каждые два дня находит новые зеркала старого домена.

Дык я привел выше как оставить роботс открытым без редиректа и показать яндексу новое основное зеркало, что бы не клеил всякий мусор и быстро стало главным нужное.

[Yarik]

Дык я привел выше как оставить роботс открытым без редиректа и показать яндексу новое основное зеркало, что бы не клеил всякий мусор и быстро стало главным нужное.

То есть роботс оставить как есть а в .htaccess только это

Код Выделить Развернуть

<FilesMatch "robots.txt$">
RewriteEngine off
</FilesMatch>
Options +FollowSymLinks
RewriteEngine on
RewriteRule (.*) https://сайт.ru/$1 [R=301,L]
верно?

[Yworld_garry]

То есть роботс оставить как есть а в .htaccess только это

Если это Host: https://yarik-sat.com новое зеркало в роботс, то да.
.htaccess поправить домен и все, проверить конечно что роботс открыт, не затронут редиректом.

[Yarik]

Если это Host: https://yarik-sat.com новое зеркало в роботс, то да.

Это да.

.htaccess поправить домен и все,

Это уже сделанно

проверить конечно что роботс открыт, не затронут редиректом.

А вот с этим засада и была скорее всего,там же тупо 301 редирект на все стоял ,я упустил это из виду.
Сейчас

Код Выделить Развернуть

Ответ "https://yarik-sat.ru/robots.txt" → Основной робот Яндекса

Код статуса HTTP 200 OK
Время ответа сервера 3 мс
Я так понимаю теперь все ок?

[Yworld_garry]

Я так понимаю теперь все ок?

Похоже все ок по ответу.

[Yarik]

Похоже все ок по ответу.

Да,я с редиректом тупанул - поставил тупо на все.Спасибо,буду теперь наблюдать в следущий раз куда поклеит все.

[Yarik]

Спасибо,буду теперь наблюдать в следущий раз куда поклеит все.

Поклеил,все обратно к домену ru
Зато с поиска Яша выкинул почти все страницы ru,в поиске осталось 100 с гаком страниц...Но тупит с зеркалами.
Гоша вообще тупит по полной,и с переездом и с зеркалами.Страницы с нового домена набирать и менять ещё наверное с пол года будет судя по темпу.

[Yarik]

Поклеил,все обратно к домену ru

Аааалилуйя

Склейка домена - Яндекс считает домен (ТИЦ) склеенным с yarik-sat.com.

Я так понимаю ничего делать не нужно,он сам туда ТИЦ и все остальное поклеит?

[GeorG]

Да, при следующем апе ТИЦа.

[Yworld_garry]

Я бы сказал, при следующих апах и если не 10 тиц. При маленьких тицках может и обнулиться, так как на него или от кого он так же будет изменен тиц в любую из сторон при апе))

[Yarik]

Я бы сказал, при следующих апах и если не 10 тиц. При маленьких тицках может и обнулиться, так как на него или от кого он так же будет изменен тиц в любую из сторон при апе))

Тогда такой вопрос - а как долго сохранять 301 редирект на новый домен?Страницы все уже переклеил,вся ссылочная масса бесполезна и умерла со старым доменом.Глянул в Метрике - прямые заходы,переходы поисковиков.
Я так понимаю можно старый домен и форум грохать,а вместе с ним и старый форум в поисковиках?Переходов и каких либо других действий со старого домена я уже не вижу.

[Yworld_garry]

Тогда такой вопрос - а как долго сохранять 301 редирект на новый домен?

Гугл советует не торопится со снятием 301, даже после визуального определения склейки и тд. думаю главное тут именно визуального, держите пока есть возможность до конца проплаченного срока домена.

[Yarik]

Грохнул уже.Посмотрю что будет,если что верну обратно.Хотя думаю что не стоит.
Новый форум = новый домен.Посещаемость нормальная уже есть именно по новому домену,наберу обороты.

[GeorG]

Тогда такой вопрос - а как долго сохранять 301 редирект на новый домен?

Если для ссылок с других сайтов, то никогда не убирать. Т.е., получится так, есть например жирная ссылка с какого нибудь сайта, которая поднимает ТИЦ, если редирект для ней убрать, то получается что работать она может перестать, да и переходы по ней прекратятся.

[Yarik]

Все старое ссылочное померло вместе со старым форумом,они ведут в никуда,на не существующие ошибки.
Будем обрастать новыми ссылками,они уже есть.

[domofor]

Прошу гуру подсказать, каким должен быть на данный момент правильный robots.txt для СМФ
Я использую мод оптимус и согласно его рекомендациям сделал так:

Код Выделить Развернуть

User-Agent: YadirectBot
Allow: /

User-agent: MediaPartners-Google
Allow: /

User-agent: Baiduspider
Disallow: /

User-agent: *
Allow: /*.xml
Allow: /*sitemap
Allow: /*.css
Allow: /*.js
Allow: /*.png
Allow: /*.jpg
Allow: /*.gif
Disallow: /*action=go;
Disallow: /*action
Disallow: /*board=*wap
Disallow: /*board=*imode
Disallow: /*topic=*wap
Disallow: /*topic=*imode
Disallow: /*topic=*.msg
Disallow: /*topic=*.new
Disallow: /*;
Disallow: /*PHPSESSID
Allow: /*board
Allow: /*topic

User-agent: Yandex
Allow: /$
Allow: /*.xml
Allow: /*sitemap
Allow: /*.css
Allow: /*.js
Allow: /*.png
Allow: /*.jpg
Allow: /*.gif
Disallow: /*action=go;
Disallow: /*action
Disallow: /*board=*wap
Disallow: /*board=*imode
Disallow: /*topic=*wap
Disallow: /*topic=*imode
Disallow: /*topic=*.msg
Disallow: /*topic=*.new
Disallow: /*;
Disallow: /*PHPSESSID
Allow: /*board
Allow: /*topic
Clean-param: PHPSESSID
Host: сайт.ру

Sitemap: http://сайт.ру/sitemap.xml
Может неправильно сделал, но убрал рекомендуемую оптимусом строчку из User-agent: * и User-agent: Yandex

Код Выделить Развернуть

Disallow: /т.к. гугл периодически присылал предупреждения о запрете индексации страниц сайта в robots.txt

[Yworld_garry]

Прошу гуру подсказать, каким должен быть на данный момент правильный robots.txt для СМФ

Никак не изменилось за прошедшие года и в шапке все актуально, как в теме разъяснения.

[domofor]

и в шапке все актуально

Так все-таки имеет ли смысл заменять robots.txt, приведенный в моем посте и рекомендуемый модом оптимус, на ваш вариант?

[Yworld_garry]

Так все-таки имеет ли смысл заменять robots.txt, приведенный в моем посте и рекомендуемый модом оптимус, на ваш вариант?

Я не помню какие там рекомендации, нет время смотреть сейчас.
Но самый простой вариант зайти в панель веб мастера и проверить в пункте проверки роботс. закрыто все что не надо и открыто все что надо))

[domofor]

Я не помню какие там рекомендации, нет время смотреть сейчас.

Так я же вам привел пример чуть выше https://www.simplemachines.ru/index.php?topic=5089.msg173111#msg173111

[gorbi]

Интересно, чем закончится...

[Alex32]

При проверке оптимизации для мобильных - Не удалось загрузить все элементы страницы. Это может повлиять на то, как Google видит и обрабатывает вашу страницу. Устраните проблемы. Не удалось загрузить 35 ресурсов страницы. В основном окончание - .css, .js, gif   роботс текст выглядит так:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /xmlrpc.php
Disallow: /*?*
Disallow: /tag
Disallow: */page/

User-agent: Googlebot
Allow: /wp-content/themes/*.js
Allow: /wp-content/themes/*.css
Allow: /wp-content/plugins/*.js
Allow: /wp-content/plugins/*.css
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /xmlrpc.php
Disallow: /*?*
Disallow: /tag
Disallow: */page/

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /xmlrpc.php
Disallow: /*?*
Disallow: /tag
Disallow: */page/
Host: ...
Sitemap: ...
Sitemap: ...

Не менял давно, актуален данный файл сейчас под smf и wordpress?

[GeorG]

актуален данный файл сейчас под smf и wordpress?

Для SMF, в нём вроде как ничего нет.

[Alex32]

Для SMF, в нём вроде как ничего нет.

То есть он под вордпресс более подходит?

[GeorG]

То есть он под вордпресс более подходит?

Я не знаю на сколько он подходит под Вордпресс, т.к., никогда не интересовался тем, как там должен выглядеть этот файл, а вот то что там нет ничего для SMF, это я точно вижу.
В первом сообщении этой темы, есть пример правильного файла роботс для форума.

[Alex32]

В первом сообщении этой темы, есть пример правильного файла роботс для форума.

Понял.

[ВладимирК]

Всё таки, пожалуйста дайте код Актуалььного robots.txt
Проблема в том что Яндекс проиндексировал страницы типа
http://huadian.ru/index.php?board=52.0
и проиндексировали страницы типа
http://huadian.ru/index.php?topic=1162.0
а текст не выдаёт в результатах поиска, типа
Мошенники в сети интернет уже долгое время грабят людей зовущихся простаками.
Ужасает количество обманутых людей, простаков в интернете!
Не так давно, простаки пытались продать лично свой грёбаный интернет трафик за сумму 30 000 рублей за всего 60 секунд.

Да и ужас, Advego Plagiatus выдаёт уникальность 95% а он проверяет по yandex.ru   www.google.ru   www.bing.com
Почему нет текста в результатах поиск?
-----
Моды установлены только такие:
Sitemap   2.2.0
Sitemap RUS    0.5.1

[Yarik]

Всё таки, пожалуйста дайте код Актуального robots.txt
Проблема в том что Яндекс проиндексировал страницы типа
http://huadian.ru/index.php?board=52.0
и проиндексировали страницы типа
http://huadian.ru/index.php?topic=1162.0
а текст не выдаёт в результатах поиска, типа
Мошенники в сети интернет уже долгое время грабят людей зовущихся простаками.
Ужасает количество обманутых людей, простаков в интернете!
Не так давно, простаки пытались продать лично свой грёбаный интернет трафик за сумму 30 000 рублей за всего 60 секунд.

Да и ужас, Advego Plagiatus выдаёт уникальность 95% а он проверяет по yandex.ru   www.google.ru   www.bing.com
Почему нет текста в результатах поиск?

Он может то и выдает,на странице этак сотой..А что сразу должен быть на первой?
Контента нет...

[ВладимирК]

Да нет, не бывает чтобы Advego Plagiatus не видел хоть 100-ю, хоть миллионную страницу результатов поиска.
Может модов нет?
Моды установлены только такие:
Sitemap   2.2.0
Sitemap RUS    0.5.1
-----
Вот мой   http://huadian.ru/robots.txt
-----
И вот ведь, у этого есть в корне   http://5kop.org/sitemap.xml
А у меня дубль закачан, то есть копия этого http://huadian.ru/index.php?action=sitemap;xml
а в корне не создаётся никак?

[Yarik]

И вот ведь, у этого есть в корне   http://5kop.org/sitemap.xml
А у меня дубль закачан, то есть копия этого http://huadian.ru/index.php?action=sitemap;xml

А какая разница?Это все равно для ботов,а им пофиг где он лежит.Главное чтобы работал.
В роботсе все равно указали где он лежит.
Форуму нет даже месяца,Вы слишком многое хотите и со старту.
Мы терпеливо наполнял форум и ждал.Примерно с год ждали.Тогда уже результаты будут заметны хорошо.При условии что у меня на форуме новом была сразу хорошая активность,перешла со старого форума.
Перво наперво контент,что-то эксклюзивное и то что даст популярность.

[ВладимирК]

У меня там именно эксклюзивное и все тексты уникальность в 100% !
А что у меня нет текстов в поиске Яндекса. Отвечу моё беспокойство:
Я на другой сайт брал копии с чужих не проиндексированных сайтов  уникальностью в 100%.
Проверял Advego Plagiatus.
Показал Яндексу, он их проиндексировал.
А через примерно неделю, они вылезли на тех сайтах с уникальностью 0% при посещении 1 чел, то есть я.
А Яндекс у меня эти тексты убрал из поиска как типа дубли.
Вывод - робот сравнивает уникальность текста по дате.
У кого раньше, того и текст. Хоть через год робот увидит но сравнит и выявит вора.
А мои то тексты и через месяц 100% уникальные, значит не проиндексированы.
Не могу понять почему.

[Yarik]

Изучите хоть минимально основы и базу СЕО.
Это пригодится в будущем,если хотите сайт поднять.

[GeorG]

Чтобы увидеть в поисковике только страницы своего сайта (для проверки есть ли они там и их количество), видите site:ВашДомен.ру в вашем случае это будет так site:huadian.ru
Посмотрел в Яндексе, у вас там лидирует субдомен 1.huadian.ru (1000 страниц), хотя уже и страница форума встречается.

Моды установлены только такие:
Sitemap   2.2.0
Sitemap RUS    0.5.1

Установите мод Optimus (кстати, там есть опция генерации карты сайта, так что первый мод можете удалить, или использовать совместно, у меня лично они совместно работают), после этого активно наполняйте форум (хотя бы 1 или 3 статьи в день, в зависимости от настроения), результаты будут примерно месяца через 3-4 (ну уж никак не через один месяц).

Вот мой http://huadian.ru/robots.txt

Нормальный у вас роботс, рабочий.

[ВладимирК]

Спасибо. Не мешает ли субдомен 1.huadian.ru ?
Могу его вообще ликвидировать, от него толку 0 ?
Форум ведь на домене huadian.ru

[GeorG]

Спасибо. Не мешает ли субдомен 1.huadian.ru ?

Не мешает, поддомены поисковики воспринимают как отдельный домен (всё равно, что вам бы мешал форум официальный форум поддержки smf, который с вами никак не связан).

Могу его вообще ликвидировать, от него толку 0 ?

Вам решать.

[ВладимирК]

Спасибо. Установил optimus.
Настроил кое как, но работает.
Такой роботс жирненький получился   http://huadian.ru/robots.txt
Но вроде всё по делу.

[Juanito]

Имеет ли смысл msg ограничивать? Если да, то зачем?