Первая версия robots.txt , для более полной индексации.

Автор Yworld_garry, 04 октября 2008, 23:59:13

« назад - далее »

0 Пользователи и 3 гостей просматривают эту тему.

Фисташка


Istoric

Цитата: Фисташка от 18 декабря 2013, 02:11:27Disallow: /*actionDisallow: /index.php$
убрал, а что эти строчки значат? Раньше стояли вроде не мешали, вот последние два дня только сообщение о ошибках (

Фисташка

Цитата: Istoric от 18 декабря 2013, 09:21:42
убрал, а что эти строчки значат? Раньше стояли вроде не мешали, вот последние два дня только сообщение о ошибках (
Что значат не знаю, но когда у себя убрала сразу сайт влетел в топ.


Istoric


Istoric

Цитата: Фисташка от 18 декабря 2013, 02:11:27Disallow: /*actionDisallow: /index.php$
так на что они влияют? убирать или не убирать?

И в любом случае что делать то? Робот у меня  нормальный или нет?

GeorG

Цитата: Istoric от 19 декабря 2013, 13:20:46так на что они влияют?
Это чтобы не индексировать страницы action (такие как профиль, календарь, помощь и.т.д.) и чтобы выкинуть с поиска дубль страницы http://форум/index.php, оставив только - http://форум/
Верстка тем по шаблону, их доработка/переработка, переделка тем с версии smf 1.1 на smf 2.0. Примеры работ - insidestyle.ru
Установка модов (заточка под ваш форум); Моды под заказ; Обновление форума; Правильный перенос; Удаление/лечение вирусов; Устранения ошибок.
Обращаться в ЛС
Мой форум
Модуль анти-спама CleanTalk, сам пользуюсь
Сервера которыми сам пользуюсь - cadedic.ru

Istoric

ну это вроде не влияет .. но вот почему и откуда это взялось?????

"Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt. "  !!!!!

Что делать то? С гугла трафик поисковый очень просел...  кто поможет разобраться?  Помогите пожалуйста ..

Фисташка

С гугла трафик не от robots просел. И вообще вам сложно что-то рекомендовать без хрустального шара.

Istoric

Цитата: Фисташка от 19 декабря 2013, 22:50:26С гугла трафик не от robots просел. И вообще вам сложно что-то рекомендовать без хрустального шара
Согласен. Какие данные предоставить? )

Фисташка


Istoric


Фисташка

Отрывок url: ...-vzaimodejstvie-...
запрещен правилом /*imode*
Вместо:
Disallow: /*imode

так:
Disallow: /*?imode

Istoric

Цитата: Фисташка от 20 декабря 2013, 03:43:12Отрывок url: ...-vzaimodejstvie-...запрещен правилом /*imode*Вместо:Disallow: /*imodeтак:Disallow: /*?imode
Огромное спасибо  )))

С этим понятно.. теперь будем думать почему проседает гугл (

Istoric

Цитата: Фисташка от 20 декабря 2013, 03:43:12Вместо:Disallow: /*imodeтак:Disallow: /*?imode
Теперь ошибки выкидывает на целые разделы ((

Отправил примеры в личку

Фисташка

Цитата: Istoric от 22 декабря 2013, 01:48:17
Теперь ошибки выкидывает на целые разделы ((

Отправил примеры в личку
Да уберите вообще Disallow: /*imode, или Disallow: /*?imode и настройте ваше чпу.

Istoric


kak2z

Если нужно что то исправить, обновить, переставить, настроить, сделать форум заново - пишите в ЛС)

Istoric

Цитата: kak2z от 22 декабря 2013, 11:31:37удалите вообще Ваши чпу

Интересно как к этому ПС отнесутся? больше года чпу стояло потом исчезло...

kak2z

Цитата: Istoric от 22 декабря 2013, 11:53:30
Интересно как к этому ПС отнесутся? больше года чпу стояло потом исчезло...
переиндексируют.. за несколько АПов..
Если нужно что то исправить, обновить, переставить, настроить, сделать форум заново - пишите в ЛС)

Istoric

Цитата: Фисташка от 22 декабря 2013, 02:03:42Да уберите вообще Disallow: /*imode, или Disallow: /*?imode и настройте ваше чпу.
Убрал вообще, ошибки так и остались (((   Как настроить чпу так и не понял оно вроде настроено...

Фисташка

Цитата: Istoric от 23 декабря 2013, 17:13:46
Как настроить чпу так и не понял оно вроде настроено...
Так, что бы в адресе не было хлама (знаков типа: ![at]#$%^&?<<>>* и т.д.). Если есть метатег canonical, то, в роботс можно закрыть только папки.

Затем следите что у вас в поисковой выдаче и закрывайте не нужное (например страница профиля).

Стремитесь к тому, чтобы в выдаче была 1 страница темы - 1 адрес. 1 страница раздела - 1 адрес. Остальное выкинуть из выдачи (закрыть в robots). Как? - зависит от ваших юрл.

Istoric

Цитата: Фисташка от 23 декабря 2013, 20:06:31(знаков типа: ![at]#$%^&?<<>>* и т.д.)
Да нет у меня такого в адресах, а в роботе все равно говорит закрыто (

Фисташка

Цитата: Istoric от 23 декабря 2013, 20:23:41
Да нет у меня такого в адресах, а в роботе все равно говорит закрыто (
чем?

Istoric

#1024
Цитата: Фисташка от 23 декабря 2013, 21:42:09чем?

Чем не говорит, говорит просто закрыто и все.. я же приводил пример того что там написано..

"Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt. " 

А что закрывает это правило ? - Disallow: /*imode

Фисташка

1. https://www.google.com/webmasters/tools/
2. Ваш сайт
3. Сканирование
4. Заблокированные URL

Вводите свой url, и смотрите чем заблокировано. Там же увидите что закрывает правило - Disallow: /*imode

Istoric

Посмотрел ... ничего не понял (( Какие закрывает не показал.. что значит этот тег тоже не нашел.. короче тупой я.. .

Фисташка


Istoric


remingtone

может кто-то еще столкнется. посыпались 404 в логи. кто-то непрерывно искал смайлы по правильным адресам, но слово Themes в url использовал с маленькой буквы, что давало ошибки 404. оказалось, яндекс-бот. что за сбой у него - не понятно, но добавление в robots запрета для яндекса ходить на "themes" проблему решило

Yworld_garry

Цитата: okk от 28 декабря 2013, 21:00:41запрета для яндекса ходить на "themes" проблему решило
У ботов ПС частенько бывают всякие маразматические припадки, по этому лучше сразу позакрываать все не нужное, не им, ни людям.

hunter56.ru

Какой robots.txt мне лучше поставить?
User-agent: *
Allow: /forum/*sitemap
Allow: /forum/*rss
Allow: /forum/*type=rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /*PHPSESSID
Disallow: /forum/*go.php
Host: http://forum.hunter56.ru

User-agent: Slurp
Crawl-delay: 100


или

User-agent: *
Allow: /$
Allow: /*sitemap
Allow: /*action=.xml
Disallow: /*topic=*msg
Disallow: /*topic=*new
Disallow: /*prev_next
Disallow: /*ID
Allow: /*board
Allow: /*topic
Disallow: /
Sitemap: http://forum.hunter56.ru/sitemap.xml
Sitemap: http://forum.hunter56.ru/sitemap_mobile.xml
User-agent: Yandex
Allow: /$
Allow: /*sitemap
Allow: /*action=.xml
Disallow: /*topic=*msg
Disallow: /*topic=*new
Disallow: /*prev_next
Disallow: /*ID
Allow: /*board
Allow: /*topic
Disallow: /
Host: http://forum.hunter56.ru

remingtone


Sirius1

Здравствуйте я насчёт вашего роботса мне нужно узнать как мне правильно его прописать вот ссылки http://wiki-forum.ru/
и ситемап http://wiki-forum.ru/sitemap.xml


# Google, StackRambler, Yandex, Aport - Важные боты для нас.
# К сожалению их останавливает тег noindex.
# Если вы удалили noindex коснтрукцию то это должно пригодиться.
# Для всех ботов
User-agent: *
Allow: /forum/*sitemap
Allow: /forum/*arcade # если не стоит мод игр, удалить без пропуска строки
Allow: /forum/*rss
Allow: /forum/*type=rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /*PHPSESSID
Disallow: /forum/*go.php # либо тот редирект что стоит у вас
Host: www.мой сайт.ru # указать ваше главное зеркало
User-agent: Slurp
Crawl-delay: 100


я вот так сделал это правильно


User-agent: *
Allow: /forum/*sitemap
Allow: /forum/*rss
Allow: /forum/*type=rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /*PHPSESSID
Disallow: /forum/*go.php # либо тот редирект что стоит у вас
Host: http://wiki-forum.ru/
sitemap: http://wiki-forum.ru/sitemap.xml

User-agent: Slurp
Crawl-delay: 100

hunter56.ru

#1034
Сам я написать даже по рекомендациям не смогу.
Если добавить 24 строку будет хороший или нет?

User-agent: *
Allow: /forum/*sitemap
Allow: /forum/*rss
Allow: /forum/*type=rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /*PHPSESSID
Disallow: /forum/*go.php
Host: http://forum.hunter56.ru/
sitemap: http://forum.hunter56.ru/sitemap.xml
User-agent: Slurp
Crawl-delay: 100

hunter56.ru

#1035
Цитата: okk от 30 января 2014, 22:08:41ни один ни другой не подх
Подскажите плиз, где взять подходящий robots.txt или как поправить этот?
Если добавить 24 строку будет хороший или нет?

User-agent: *
Allow: /forum/*sitemap
Allow: /forum/*rss
Allow: /forum/*type=rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /*PHPSESSID
Disallow: /forum/*go.php
Host: http://forum.hunter56.ru/
sitemap: http://forum.hunter56.ru/sitemap.xml
User-agent: Slurp
Crawl-delay: 100


Проверял на яндексе пишет:

Строка      
1-24     User-agent: *
             Allow: /forum/*sitemap
              ...
             sitemap: http://forum.hunter56.ru/sitemap.xml

ХЗ, что это значит и с чем это едят uglystupid


remingtone

у вас обоих неправильные роботсы. везде убирайте /forum

Sirius1

А вот такое чудо будет работать что скажите


User-agent: *
User-agent:Yandex
Allow:/
User-agent:Google
Allow:/
User-agent:StackRambler
Allow:/
User-agent:Aport
Allow:/
User-agent:MediaPartners-Google
Allow:/
Allow: /*sitemap
Allow: /*rss
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Host: http://wiki-forum.ru/
sitemap: http://wiki-forum.ru/sitemap.xml

User-agent: Slurp
Crawl-delay: 100

remingtone

убери строки со второй по 10 включительно

Sirius1


hunter56.ru

Цитата: okk от 01 февраля 2014, 21:02:56
убери строки со второй по 10 включительно

А если форум на субдомене /forum/ должен быть или нет?

Mavn

если у вас форум открывается по адресу sub.domen.ru/forum - должен, sub.domen.ru - не должен
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

hunter56.ru

Спасибо.
С помощью какого-то плагина и какой-то матери сделал вот что:

User-agent: Yandex
Allow: /$
Allow: /*.xml
Allow: /*sitemap
Disallow: /*action
Disallow: /*board=*wap
Disallow: /*board=*imode
Disallow: /*topic=*wap
Disallow: /*topic=*imode
Disallow: /*;
Disallow: /*PHPSESSID
Allow: /*board*.html$
Allow: /*topic*.html$
Sitemap: http://forum.hunter56.ru/sitemap.xml
Crawl-delay: 5
Clean-param: PHPSESSID /index.php

User-agent: *
Allow: /$
Allow: /*.xml
Allow: /*sitemap
Disallow: /*action
Disallow: /*board=*wap
Disallow: /*board=*imode
Disallow: /*topic=*wap
Disallow: /*topic=*imode
Disallow: /*PHPSESSID
Allow: /*board*.html$
Allow: /*topic*.html$
Sitemap: http://forum.hunter56.ru/sitemap.xml
Crawl-delay: 5
Clean-param: PHPSESSID /index.php

Host: http://forum.hunter56.ru



Теперь вроде всем угодил.  Почему-то без первой части, яндекс не хотел видеть рОбота.

Подскажите, кто понимает в этом, будет ли работать ПРАВИЛЬНО сие творение?

Mavn

плин едрен батон...
из первого сообщения возьмите роботс и мозг не парьте!
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

Mакс-23

Ребята, всем доброго времени! не могу разобраться в этой теме, какой robots.txt лучше использовать?!? я в этом новенький, только познаю! Подскажите а... Нужно чтоб сайт индексировался в Яндексе, Гугл, (ну и некоторые другие ПС, которые используются в СНГ), все темы/разделы форума, НО! ссылки имеющиеся в ответах Не индексировал! Благодарю за внимание.

...ага, увидел пост Mavn.

dimalp777

Добрый день, столкнулся с такой проблемой, яндекс и гугл не индексируют топики, желательно чтоб индекс был всех новостей и топиков, не могу разобраться с роботом, кто может подсказать где беда?


User-agent: *
Allow: /$
Allow: /*action=.xml
Allow: /*sitemap
Disallow: /*action
Disallow: /*topic=*.msg
Disallow: /*topic=*.new
Disallow: /*;
Disallow: /*ID
Allow: /*board
Allow: /*topic
Disallow: /
Sitemap: http://www.forumwuna.ru/sitemap.xml
User-agent: Yandex
Allow: /$
Allow: /*action=.xml
Allow: /*sitemap
Disallow: /*action
Disallow: /*topic=*.msg
Disallow: /*topic=*.new
Disallow: /*;
Disallow: /*ID
Allow: /*board
Allow: /*topic
Disallow: /
Sitemap: http://www.forumwuna.ru/sitemap.xml
Host: www.forumwuna.ru

BoPoH

Цитата: dimalp777 от 10 марта 2014, 09:15:59Добрый день, столкнулся с такой проблемой, яндекс и гугл не индексируют топики, желательно чтоб индекс был всех новостей и топиков, не могу разобраться с роботом, кто может подсказать где беда?

Цитата: Mavn от 05 февраля 2014, 16:05:44плин едрен батон...
из первого сообщения возьмите роботс и мозг не парьте!
а так, у Вас 22 топика в яндексе  и 60 в гугле


Yworld_garry

dimalp777, у вас кривой роботс, он не работает, все дубли открыты, включены "понятные урлы")). Тему вы не читали и изобрели свой роботс, в панелях не проверили.
Возьмите из первого сообщения и подстройте под себя. Верните нормальные урлы.
А если пошли путем изобретений своего файла, то проверяйте в панелях гугла и яндекса на его работоспособность.

dimalp777

Изначально было так,


User-agent: Googlebot-Image
Disallow: /

User-agent: YandexImages
Disallow: /

User-agent: msnbot-MM
Disallow: /

User-agent: Googlebot-Mobile
Allow: /*wap
Disallow: /

User-agent: YandexImageResizer
Allow: /*wap
Disallow: /

User-agent: MediaPartners-Google
Allow: /

User-agent: Baiduspider
Disallow: /

User-agent: *
Allow: /$
Allow: /*.xml
Allow: /*sitemap
Disallow: /*action
Disallow: /*board=*wap
Disallow: /*board=*imode
Disallow: /*topic=*wap
Disallow: /*topic=*imode
Disallow: /*;
Disallow: /*PHPSESSID
Allow: /*board*.html$
Allow: /*topic*.html$
Disallow: /
Sitemap: http://www.forumwuna.ru/sitemap.xml
Crawl-delay: 5
Clean-param: PHPSESSID /index.php
Host: www.forumwuna.ru

tickedoff

Yworld_garry

Прекрасно что был такой, но такой вид например яху не поймет, майл запутается, гугл насканит все и потом!!! будет уже брать что то из соплей и вытягивать в общую.
Не стоит усложнять то что можно упростить и сделать понятным всем и управляемым, что то мне подсказывает что вы не сможете сами управлять индексацией при таком виде файла.
Что делать написал выше.