Первая версия robots.txt , для более полной индексации.

Alanamana · 19 апреля 2013, 18:41:36

Здравствуйте. Подскажите пожалуйста - я создал определенную группу пользователей, которым виден только им один раздел, всем другим, от гостей и выше, доступ запрещен, нужно ли добавлять этот раздел в robots.txt в Disallow: / , чтобы поисковики обходили стороной или это совсем не обязательно и если нужно, то как правильно добавить, если ссылка раздела такая:
http://сайт.ру/index.php?board=280.0 да и темы там тоже будут их тоже нужно будет запрещать для поисковиков?

Mavn · 19 апреля 2013, 22:27:21

если роботы у вас не выделены в отдельную группу то ничего делать не нужно
в стандарте роботы=гости=нет доступа к разделу=нет индексации

Alanamana · 19 апреля 2013, 22:37:03

Все. Спасибо! Понял!

ancifer2002 · 05 мая 2013, 16:42:42

Подскажите пожалуйста, у меня есть сайт на Вордпресс, буду восстанавливать из бекапа форум SMF. У Основного сайта уже есть свой роботс

ЦитироватьUser-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag
Disallow: /category
Disallow: /author
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=

Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Как мне прилепить сюда ещё и строки из рекомендуемого сайтмапа из 1 сообщения топика?

emel · 13 июня 2013, 09:09:47

Всем здрастье!
Подскажите почему мой форум совсем не видит googl, может где ошибка или добавить что то в роботс

GeorG · 14 июня 2013, 12:17:32

Ваш форум, есть в гугле.

Mavn · 20 июня 2013, 19:12:27

emel
вы не могли бы задавать одинаковые вопросы в одной теме а не плодить в разных
а то плюшки раздавать буду

boom7 · 08 августа 2013, 16:20:11

Спасибо

Depressive · 11 августа 2013, 14:24:07

Код Выделить

User-agent: *
Allow: /forum/*sitemap
Allow: /forum/*rss
Allow: /forum/*type=rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /*PHPSESSID
Disallow: /forum/*go.php
Host: ___mysite.ru
     
User-agent: Slurp
Crawl-delay: 100

Гоша видит нормально, несколько тысяч топиков в топе 10, но вот с яшей голяк... супр показывает что проиндексированные страницы есть, а на деле в выдаче пустота. В чем модет быть дело? подскажите плизд.

GeorG · 12 августа 2013, 15:07:43

Так адрес форума тоже нужно писать, как можно проверить роботс, не зная адреса форума?

Depressive · 12 августа 2013, 15:14:41

тупанул. адрес форума : darkabyss.org

GeorG · 12 августа 2013, 15:43:10

Убирите в пути /forum
Т.е., например вместо этого:

Код Выделить

Disallow: /forum/*wap
Должно быть это:

Код Выделить

Disallow: /*wap

И ждите апа...

Читайте первое сообщение в теме, там всё есть.

Depressive · 12 августа 2013, 15:47:54

Спасибо, надеюсь изменения не пагубно повлияют на индексацию гоши. Буду пробовать!

ВладимирК · 08 сентября 2013, 17:21:38

Яндекс страницу проиндексировал. Может чего-то не дописано в robots.txt У меня такой:

User-agent: *
Allow: /*sitemap
Allow: /*rss
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*go.php
Host: vizart.videokino.org

User-agent: Slurp
Crawl-delay: 100

Сергей Д. · 01 октября 2013, 23:36:17

Здравствуйте.
Посмотрите пожалуйста мой файл robots.txt, всё ли верно?

Код Выделить

User-agent: Googlebot-Mobile
Allow: /*wap
Allow: /*imode
Disallow: /

User-agent: YandexImageResizer
Allow: /*wap
Allow: /*imode
Disallow: /

User-agent: Mediapartners-Google
Allow: /*

User-Agent: YadirectBot
Allow: /*

User-agent: Twiceler
Disallow: /

User-agent: *
Allow: /$ 
Allow: /*board 
Allow: /*topic
Allow: /*rss
Disallow: /attachments*/
Disallow: /avatars/
Disallow: /avatars_users/
Disallow: /cache/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*action 
Disallow: /*topic=*.msg 
Disallow: /*topic=*.new
Disallow: /*;  
Disallow: /*ID 
Disallow: / 
User-agent: Slurp
Crawl-delay: 100
Clean-param: PHPSESSID /index.php
Host: za40.org

Сергей Д. · 02 октября 2013, 12:46:08

Ответьте пожалуйста. Яндекс не проиндексировал ни одной страницы, а Гугл проиндексировал только заголовки разделов.

Вот у меня и возникли сомнения по поводу robots.txt

Сергей Д. · 02 октября 2013, 15:00:08

Переделал Robots.txt, сейчас это выглядит так

Код Выделить

User-agent: Mediapartners-Google
Allow: /*
 
User-Agent: YadirectBot
Allow: /*

User-agent: *
Allow: /$
Allow: /*.xml
Disallow: /attachments*/
Disallow: /avatars/
Disallow: /avatars_users/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*action
Disallow: /*board=*wap
Disallow: /*board=*imode
Disallow: /*topic=*wap
Disallow: /*topic=*imode
Disallow: /*topic=*.msg
Disallow: /*topic=*.new
Disallow: /*;
Disallow: /*PHPSESSID
Allow: /*board
Allow: /*topic
Disallow: /
Crawl-delay: 100
Clean-param: PHPSESSID /index.php
Host: za40.org

Помогите пожалуйста!
Всё ли правильно?

Bugo · 02 октября 2013, 15:31:52

Используйте инструменты Google и Яндекса для тестирования.

Сергей Д. · 02 октября 2013, 15:48:40

Протестировал Яндексом - всё ОК.

RSS новости принято открывать для индексирования?
А также интересует wap версия сайта... её открывать?

Сергей Д. · 04 октября 2013, 10:49:22

Получил сегодня письмо с HotLinks.ru, следующего содержания:
Ваша ссылка "Общение для сорокалетних." не принята в каталог HotLinks.ru!

В http://za40.org/robots.txt есть правило запрещающее индексировать сайт.

Интересно, что им может не нравится? Гугл сайт индексирует, Яндекс пока ни в какую...

GeorG · 08 октября 2013, 08:27:51

Цитата: ВладимирК от 08 сентября 2013, 17:21:38Яндекс страницу проиндексировал. Может чего-то не дописано в robots.txt

Ну так проиндексировал же...
Доступность ссылок можно смотреть тут - http://webmaster.yandex.ru/robots.xml (у вас все правильно работает).

Цитата: Sergey_D от 04 октября 2013, 10:49:22Ваша ссылка "Общение для сорокалетних." не принята в каталог HotLinks.ru!

Что за ссылка?

Сергей Д. · 08 октября 2013, 12:04:53

Цитата: GeorG от 08 октября 2013, 08:27:51Ваша ссылка "Общение для сорокалетних." не принята в каталог HotLinks.ru!

Что за ссылка?

Собирался установить их счетчик, по итогу отклонили заявку по вышеуказанной причине - не понравился robots.txt

Я опять изменил файл, убрал закрывающий Disallow: / (насколько разобрался, эта строчка запрещала "всё остальное"), теперь, по идее, всё идеально.

Код Выделить

User-agent: Mediapartners-Google
Allow: /*
 
User-Agent: YadirectBot
Allow: /*

User-agent: *
Allow: /$
Allow: /*.xml
Disallow: /attachments*/
Disallow: /avatars/
Disallow: /avatars_users/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*action
Disallow: /*board=*wap
Disallow: /*board=*imode
Disallow: /*topic=*wap
Disallow: /*wap2
Disallow: /*topic=*imode
Disallow: /*topic=*.msg
Disallow: /*topic=*.new
Disallow: /*;
Disallow: /*PHPSESSID
Allow: /*board
Allow: /*topic
Clean-param: PHPSESSID /index.php
Host: za40.org

GeorG · 08 октября 2013, 12:23:00

Они вам указали url ссылки? Я его от вас добиваюсь, я не могу гадать почему ссылка запрещена, если её даже не видел, я не экстрасенс.

Цитата: Sergey_D от 08 октября 2013, 12:04:53теперь, по идее, всё идеально.

Т.е.. значит примут выходит...

Сергей Д. · 08 октября 2013, 12:26:22

url ссылки не указали, насколько понимаю - они ссылку на мой форум просто удалили - я решил не ставить их счетчик. Когда писал, что "всё идеально", имел ввиду "идеально для поисковиков". Больше двух недель Яндекс не индексирует форум.

Подскажите пожалуйста: rss и wap принято закрывать в robots.txt (чтобы не дублировался текст форума)?

GeorG · 08 октября 2013, 12:57:43

В rss дубликатов нет, там ссылки повторяются, а вот wap закройте.

Сергей Д. · 08 октября 2013, 13:02:32

Я когда обозначаю Allow: /*rss, всё равно Яндекс rss ленту не видит... Пишет, что из за строчки Disallow: /*action - выходит, что одно другое исключает?

Вот пример:
http://www.za40.org/index.php?action=.xml;type=rss запрещен правилом /*action*

Сергей Д. · 13 октября 2013, 03:40:04

Никак не разберусь с индексированием в Яндексе. "Документ запрещен в файле robots.txt", в Яндексе (99 страниц) и только Главная проиндексирована - это нормально? Причём, если перейти Вебмастер/настройки/исключённые страницы - то выдаёт ошибки индексирования, но без ссылок на сами страницы.

Жека · 14 октября 2013, 10:43:19

После установки плагина Yandex.Speller папку /speller/ надо исключать с помощью robots.txt?

Посмотрел по логам, гуглбот туда зачем-то лезет.

Yworld_garry · 27 октября 2013, 17:00:40

Цитата: SergeyDY от 13 октября 2013, 03:40:04"Документ запрещен в файле robots.txt"

Проверил основное , все разрешено для яндекса. Другой вопрос что такое и в таком виде ему будет нелегко скормить. Форум обо всем не котируется.

Цитата: Жека от 14 октября 2013, 10:43:19После установки плагина Yandex.Speller папку /speller/ надо исключать с помощью robots.txt?

Закройте, хуже не будет.

Жека · 28 октября 2013, 11:22:31

Цитата: Yworld_garry от 27 октября 2013, 17:00:40Закройте, хуже не будет.

Я так и понял. Закрыл. Спасибо.

sanatgen · 16 ноября 2013, 09:03:12

Здравствуйте! Подскажите пожалуйста, у меня форум установлен в папке блога.
Нужен ли в этом случае Robots.txt или можно просто открыть для индексации в файле блога папку с форумом?

GeorG · 16 ноября 2013, 09:30:06

В папке форума не нужен, для настроек robots.txt используется, главная директория домена (и для дочерних папок тоже).

Serifa · 18 ноября 2013, 19:27:16

После нескольких лет проб и ошибок поняла, что нафиг мне сдалась эта индексация с ботами и ссылками вместе. От посторонних присутствующих на форуме одни проблемы. Конечно, можно вообще закрыть форум и никого не пускать, но у нас такая специфика, что приходят люди по ссылкам, оставленных на тематических каталогах и в соцсетях, т.е., как правило, гости. Так что совсем закрывать не буду, а вот отгонять всех лишних - надо.

Как правильно сделать? Мне требуется вот это:
nofollow
noarchive
да и , наверное, noindex тоже

Просто мы сейчас готовим новую игру, и придти должны строго приглашенные лица и еще гости по ссылкам, специально оставленным в нужных местах. Чтобы нашу кулуарность никто не разрушал, так сказать.

Yworld_garry · 18 ноября 2013, 21:14:52

Цитата: Serifa от 18 ноября 2013, 19:27:16нафиг мне сдалась эта индексация с ботами и ссылками вместе

User-agent: *
Disallow: /

Serifa · 20 ноября 2013, 07:59:27

Что-то я ступила

Всё проще, чем казалось, оказывается

Istoric · 21 ноября 2013, 00:19:28

Подскажите если я в роботсе хочу закрыть конкретную страницу, то я правильно понял что надо вставить в него вот такую строку с адресом страницы? -

Disallow: /index.php?page=page375

Yworld_garry · 21 ноября 2013, 00:37:37

Цитата: Istoric от 21 ноября 2013, 00:19:28я правильно понял что надо вставить в него вот такую строку с адресом страницы? -

Да.

Serifa · 24 ноября 2013, 12:46:06

Нет, не всё ещё... В файле Themes\index.template.php что прописать надо? Я вот такое изобразила

Код Выделить

  // Please don't index these Mr Robot.
   if (!empty($context['robot_no_index']))
      echo '
   <meta name="robots" content="noarchive, nofollow" />';

а через запятую noindex можно добавить?

Yworld_garry · 24 ноября 2013, 12:52:01

noindex хватит, но смысл если сайт уже закрыт для индекса.
при желании можно кучу всего нагородить еще))

Сергей Д. · 02 декабря 2013, 19:22:03

Цитата: Sergey40 от 13 октября 2013, 03:40:04
Никак не разберусь с индексированием в Яндексе. "Документ запрещен в файле robots.txt", в Яндексе (99 страниц) и только Главная проиндексирована - это нормально? Причём, если перейти Вебмастер/настройки/исключённые страницы - то выдаёт ошибки индексирования, но без ссылок на сами страницы.

C Яндексом на сегодняшний день всё ок. Худо-бедно есть переходы.
yahoo.com как-то странно проиндексировал... Вместо описания к страницам пишется "We would like to show you a description here but the site won't allow us." Никто не сталкивался? Похоже, что что-то не нравится в robots.txt.
И Гугл, хоть проиндексировал, но переходов практически нету. Я слышал, что с Гуглом сейчас у многих проблемы? В том смысле, что страницы есть в индексе, а переходов минимум.

Yworld_garry · 02 декабря 2013, 19:27:47

Яху вход не запрещен в файле)) Да и это в нашем сегменте не самый необходимый поисковик. Как байду и иже с ним))
С гуглом как с любым другим поисковиком надо "дружить", а то что переходов мало это НЕ У МНОГИХ, проверяйте анализируйте выдачу. Смотрите сколько страниц участвует в ОСНОВНОЙ выдаче и тд.

Сергей Д. · 02 декабря 2013, 19:29:59

Странно, думал что у всех.
А что насчёт Яху скажете?

Примерно так все страницы:
za40.org
za40.org/index.php?topic=5.0
We would like to show you a description here but the site won't allow us.

Yworld_garry · 02 декабря 2013, 19:53:01

Цитата: Sergey40 от 02 декабря 2013, 19:29:59А что насчёт Яху скажете?

Возможно он не понимает директивы некоторые или их порядок в вашем роботс, поставьте более простой и понятный из этой темы и настройте под себя. Минут на 10 работы.

Сергей Д. · 02 декабря 2013, 20:34:42

В этой теме несколько вариантов роботс, какой именно вы имели ввиду? Из первого поста?
Я свой вариант роботс брал из Optimus Brave.

Я только заметил: Bing тоже неверно проиндексировал мой форум. Ту же надпись выводит.

Yworld_garry · 02 декабря 2013, 20:56:23

Возьмите из первого поста и настройте под себя, там все расписано.

Сергей Д. · 02 декабря 2013, 20:58:00

Ок, спасибо, посмотрим что из этого выйдет.

Сергей Д. · 05 декабря 2013, 11:58:09

Цитата: Yworld_garry от 02 декабря 2013, 19:27:47
С гуглом как с любым другим поисковиком надо "дружить", а то что переходов мало это НЕ У МНОГИХ, проверяйте анализируйте выдачу. Смотрите сколько страниц участвует в ОСНОВНОЙ выдаче и тд.

Yworld_garry, как вы считаете, прописывать ли в роботсе "User-agent: Mediapartners-Google Allow: /*"?
И ещё один вопрос: интересует ваше мнение - установка кода Google Analytics может повлиять на основную выдачу?

Yworld_garry · 13 декабря 2013, 20:30:45

Сорри, не было меня в сети толком...
Так достаточно
User-agent: Mediapartners-Google
Allow: /

Google Analytics не повлияет на выдачу.

Сергей Д. · 13 декабря 2013, 21:23:05

Спасибо за ответы. После изменения robots.txt, yahoo начал нормально индексировать форум. Bing тоже.

Istoric · 17 декабря 2013, 23:41:01

Народ подскажите пожалуйста, гугл выдал в вебмаетере

"Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt."

Посмотрел что он видит заблокированными, это нормальные темы которые я точно не закрывал... Да и вообще робота не трогал (( Посмотрите где у меня ошибка пожалуйста и что поменять? Вот мой робот -

Код Выделить

User-agent: *
Allow: /*action=forum
Allow: /*sitemap
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /avs/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*msg
Disallow: /*profile
Disallow: /*help
Disallow: /*search
Disallow: /*searchg
Disallow: /*mlist
Disallow: /*sort
Disallow: /*recent
Disallow: /*register
Disallow: /*groups
Disallow: /*calendar
Disallow: /*unread
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*go.php
Disallow: /*showtopic
Disallow: /*prev_next
Disallow: /*all
Disallow: /index.php$
Disallow: /*PHPSESSID
Host: адрес сайта

Sitemap: адрес сайта/index.php?action=sitemap;xml

User-agent: Googlebot-Mobile
Allow: /*wap
Allow: /*imode
Disallow: /

User-agent: YandexImageResizer
Allow: /*wap
Allow: /*imode
Disallow: /

User-agent: Mediapartners-Google
Allow: /*action
Allow: /*.new
Allow: /*.msg
Allow: /*.topicseen

User-agent: Twiceler
Disallow: /

User-agent: Baiduspider
Disallow: /

User-agent: W3C-checklink
Disallow: /

User-agent: slurp
Crawl-delay: 120

User-agent: msnbot
Crawl-delay: 120