Первая версия robots.txt , для более полной индексации.

[BoPoH]

Я понял он только для запрета.

да, для запрета, запрещает индексировать ненужную информацию

Без примера нереально понять.
Его и прошу, чтоб понять.

в первом сообщении рабочий вариант, скачиваете, читаете комменты, они там по русски написаны,выбираете свой вариант (форум в корне/форум в папке) вписываете свои главное зеркало и урл карты, закидываете на форум, проверяете в панелях поисковиков, наслаждаетесь результатом, говорите Гарри спасибо.
В принципе все это в роботс написано, но может тут прочитаете если там не хотите

[BoPoH]

Вот с шапки файла взял, свой хост и сайтмап вписал.Правильно?

нет, не правильно. Там роботс значительно больше и это не просто так. И вы выбрали версию для случая когда форум в папке, а он у вас в корне

[makssun]

Оно?

Код Выделить Развернуть

User-agent: *
Allow: /*sitemap
Allow: /*arcade
Allow: /*rss
Allow: /*action=forum
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Disallow: /index.php$
Sitemap:  http://bittogether.com/index.php?action=sitemap;xml


User-agent: Googlebot
Allow: /*sitemap
Allow: /*arcade
Allow: /*rss
Allow: /*action=forum
Allow: /*type=rss
Allow: /Themes/*.css
Allow: /Themes/*.js
Allow: /Themes/*png
Allow: /Themes/*gif
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Sitemap: http://bittogether.com/index.php?action=sitemap;xml


User-agent: Yandex
Allow: /*sitemap
Allow: /*arcade
Allow: /*rss
Allow: /*action=forum
Allow: /*type=rss
Allow: /Themes/*.css
Allow: /Themes/*.js
Allow: /Themes/*png
Allow: /Themes/*gif
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Disallow: /index.php$
Sitemap:  http://bittogether.com/index.php?action=sitemap;xml
Host: www.bittogether.com

User-agent: Mediapartners-Google
Disallow:

User-Agent: YandexDirect
Disallow:

User-agent: Slurp
Crawl-delay: 100
Sitemap: http://bittogether.com/index.php?action=sitemap;xml
Host: www.bittogether.com

[Yworld_garry]

Оно?

Оно))

[makssun]

Оно))

Фуух...
Справился с этим.
Всем большое спасибо!

[Alex32]

Есть тестовый сайт на вордпресс, достаточно ли будет прописать в роботс текст это чтобы запретить всем поисковым индексировать сайт? не хочу чтобы проиндексировалось первее, чем я выложу на нормальный сайт и подходит ли данный запрет для форума?

User-agent: *
Disallow: /
Host: primer.debryansk32.ru

[Yworld_garry]

всем поисковым индексировать сайт?

Да это полностью запретит индексировать сайт и все что в этом домене.
В WP есть еще в настройках пункт - попросить поисковые системы не индексировать сайт, можно и это включить дополнительно.

[Alex32]

Да это полностью запретит индексировать сайт и все что в этом домене.
В WP есть еще в настройках пункт - попросить поисковые системы не индексировать сайт, можно и это включить дополнительно.

Да, там я в первую очередь, но подстраховаться хотел. Проверил страницы тестового в вебмастере - запрещены правилом... все ОК!

[Alex32]

Проверил страницы тестового в вебмастере - запрещены правилом...

Как проверял страницы уже забыл, тестовый не добавлен в панель вебмастера а как то проверял

[Yworld_garry]

не добавлен в панель вебмастера а как то проверял

Вот так https://webmaster.yandex.ru/robots.xml

[Serifa]

Яндекс ругается Не могу понять, чего не так? 

[digger®]

Яндекс ругается Не могу понять, чего не так? 

Написано же, что не так и где. Директива host в robots.tx может быть только одна.
https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml#host

[bober]

4 Директория /__forum , нужна тем у кого форум не в корне и имеет название то, что у вас.
Если форум в корне удаляем её.

А где должен лежать файл, если есть форум http://forum.saite.tt  ?
в корне сайта http://saite.tt или в корне форума?

[Yarik]

В корне форума

[Mакс-23]

В гугл поиске пишет:



В яше всё нормально.

Вопрос: Что не так в Robots.txt ?

Содержимое файла Robots.txt

Код Выделить Развернуть

User-agent: *
Allow: /*sitemap;xml
Allow: /*arcade
Allow: /*rss
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Disallow: /index.php$


User-agent: Googlebot
Allow: /*sitemap;xml
Allow: /*arcade
Allow: /*rss
Allow: /*type=rss
Allow: /Themes/*.css
Allow: /Themes/*.js
Allow: /Themes/*png
Allow: /Themes/*gif
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Sitemap:  http://***.com/index.php?action=sitemap;xml


User-agent: Yandex
Allow: /*sitemap;xml
Allow: /*arcade
Allow: /*rss
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Disallow: /index.php$
Host: ***.com

User-agent: Mediapartners-Google
Disallow:

User-Agent: YandexDirect
Disallow:

User-agent: Slurp
Crawl-delay: 100

[sgtWhite]

У меня только один вопрос - в плане PMX блога все верно ? Раньше никак не хотел индексироваться, недавно переделал :

Код Выделить Развернуть

User-agent: *
 Allow: /*action=pmxblog
 Allow: /*sitemap
 Allow: /*rss
 Allow: /*type=rss
 Allow: /*action=forum
 Allow: /*page
 Disallow: /*.msg
 Disallow: /*.new
 Disallow: /attachments/
 Disallow: /avatars/
 Disallow: /Packages/
 Disallow: /Smileys/
 Disallow: /Sources/
 Disallow: /Themes/
 Disallow: /Games/
 Disallow: /*sort
 Disallow: /*topicseen
 Disallow: /*wap
 Disallow: /*imode
 Disallow: /*action
User-agent: Slurp
Crawl-delay: 100
Sitemap: http://noble-gamers.club/sitemap.xml
Host: noble-gamers.club

[BoPoH]

В гугл поиске пишет:



В яше всё нормально.

Вопрос: Что не так в Robots.txt ?

Содержимое файла Robots.txt

Код Выделить Развернуть

User-agent: *
Allow: /*sitemap;xml
Allow: /*arcade
Allow: /*rss
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Disallow: /index.php$


User-agent: Googlebot
Allow: /*sitemap;xml
Allow: /*arcade
Allow: /*rss
Allow: /*type=rss
Allow: /Themes/*.css
Allow: /Themes/*.js
Allow: /Themes/*png
Allow: /Themes/*gif
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Sitemap:  http://***.com/index.php?action=sitemap;xml


User-agent: Yandex
Allow: /*sitemap;xml
Allow: /*arcade
Allow: /*rss
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Disallow: /index.php$
Host: ***.com

User-agent: Mediapartners-Google
Disallow:

User-Agent: YandexDirect
Disallow:

User-agent: Slurp
Crawl-delay: 100

а ссылку страницы слабо показать? может все нормально и это закрытый дубль

[Mакс-23]

а ссылку страницы слабо показать? может все нормально и это закрытый дубль

Нет, это не дубль. Просто в поиске пишу свой домен (без зоны), и вот такое выдаёт.

[webius2]

Какой актуальный в данный момент файл Robots.txt чтобы нормально было?

[bober]

Еще раз вернемся к вопросу, а то не оконца разобрался

А где должен лежать файл, если есть форум http://forum.saite.tt  ?
в корне сайта http://saite.tt или в корне форума?

В корне форума

в корне форума в каком формате должен быть

User-agent: *
Allow: /forum/*sitemap

или же

User-agent: *
Allow: /*sitemap

[GeorG]

Если у вас форум по URL - http://forum.saite.tt, а не - http://saite.tt/forum/
То должно быть так:

Код Выделить Развернуть

User-agent: *
Allow: /*sitemapЕсли же последнее, т.е., в папке forum - - http://saite.tt/forum/
То так:

Код Выделить Развернуть

User-agent: *
Allow: /forum/*sitemap

[Сергей Акимов]

Здравствуйте!
Сегодня удосужился обновить файл роботс.тхт для своего сайта с форумом(взял из первого сообщения темы). Но при проверке в панели гугла мне выдаёт 649 предупреждений "Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt."... Вот пример запрещённой страницы http://poigarmonika.ru/forum/index.php?topic=598.0 (они все такие-это первые страницы тем). В чём проблема? И проблема ли это?
Заранее благодарю.

[Yarik]

А почему он у Вас тут лежит http://poigarmonika.ru/robots.txt а не тут http://poigarmonika.ru/forum/robots.txt ?

[Сергей Акимов]

А почему он у Вас тут лежит http://poigarmonika.ru/robots.txt а не тут http://poigarmonika.ru/forum/robots.txt ?

Он все семь лет существования сайта там лежит... Он же один,а в нём содержатся данные для сайта на ВордПресс и,собственно,для самого форума.... Или так не должно быть?

[Yarik]

Или так не должно быть?

Да я даже как-то не задумывался об этом,можно так или нет.
Я всегда создавал отдльный файл с правилами для форума и размещал его в корне с форумом.

[Сергей Акимов]

Да я даже как-то не задумывался об этом,можно так или нет.
Я всегда создавал отдльный файл с правилами для форума и размещал его в корне с форумом.

Мне ещё на заре создания сайта подсказали,что так можно... То есть, у вас,получается, два файла роботс.тхт?

[Сергей Акимов]

Сделал отдельно для сайта и форума-один хрен то же самое... Вернул,как было.

[Liza]

Вот пример запрещённой страницы

Ну и что даст этот пример кроме как пропиарить ваш форум? Выложите роботс хотя бы.

[Сергей Акимов]

Ну и что даст этот пример кроме как пропиарить ваш форум? Выложите роботс хотя бы.

Лиза,я не собирался пиарить свой форум,мне помощь нужна. Если вы не знаете,как посмотреть роботс.тхт сайта,то вот,пожалуйста. В файл добавлены правила для ВордПресс,а так-всё,как предложено топикстартером.

User-agent: *

Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /feed
Disallow: */feed
Disallow: /category/*/*
Disallow: /comments
Disallow: */comment-*
Disallow: */trackback
Sitemap: http://poigarmonika.ru/sitemap.xml.gz
Sitemap: http://poigarmonika.ru/sitemap.xml

Allow: /forum/*sitemap

Allow: /forum/*arcade

Allow: /forum/*rss

Allow: /forum/*action=forum

Allow: /forum/*type=rss

Disallow: /forum/attachments/

Disallow: /forum/avatars/

Disallow: /forum/Packages/

Disallow: /forum/Smileys/

Disallow: /forum/Sources/

Disallow: /forum/Themes/

Disallow: /forum/Games/

Disallow: /forum/*.msg

Disallow: /forum/*.new

Disallow: /forum/*sort

Disallow: /forum/*topicseen

Disallow: /forum/*wap

Disallow: /forum/*imode

Disallow: /forum/*action

Disallow: /forum/*prev_next

Disallow: /forum/*all

Disallow: /*PHPSESSID

Disallow: /forum/*go.php

Disallow: /index.php$

Sitemap: http://poigarmonika.ru/forum/index.php?action=sitemap


User-agent: Googlebot

Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /feed
Disallow: */feed
Disallow: /category/*/*
Disallow: /comments
Disallow: */comment-*
Disallow: */trackback
Sitemap: http://poigarmonika.ru/sitemap.xml.gz
Sitemap: http://poigarmonika.ru/sitemap.xml


Allow: /forum/*sitemap

Allow: /forum/*arcade

Allow: /forum/*rss

Allow: /forum/*action=forum

Allow: /forum/*type=rss

Allow: /forum/Themes/*.css

Allow: /forum/Themes/*.js

Allow: /forum/Themes/*png

Allow: /forum/Themes/*gif

Disallow: /forum/attachments/

Disallow: /forum/avatars/

Disallow: /forum/Packages/

Disallow: /forum/Smileys/

Disallow: /forum/Sources/

Disallow: /forum/Themes/

Disallow: /forum/Games/

Disallow: /forum/*.msg

Disallow: /forum/*.new

Disallow: /forum/*sort

Disallow: /forum/*topicseen

Disallow: /forum/*wap

Disallow: /forum/*imode

Disallow: /forum/*action

Disallow: /forum/*prev_next

Disallow: /forum/*all

Disallow: /*PHPSESSID

Disallow: /forum/*go.php

Sitemap: http://poigarmonika.ru/forum/index.php?action=sitemap


User-agent: Yandex

Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /feed
Disallow: */feed
Disallow: /category/*/*
Disallow: /comments
Disallow: */comment-*
Disallow: */trackback
Sitemap: http://poigarmonika.ru/sitemap.xml.gz
Sitemap: http://poigarmonika.ru/sitemap.xml


Allow: /forum/*sitemap

Allow: /forum/*arcade

Allow: /forum/*rss

Allow: /forum/*type=rss

Disallow: /forum/attachments/

Disallow: /forum/avatars/

Disallow: /forum/Packages/

Disallow: /forum/Smileys/

Disallow: /forum/Sources/

Disallow: /forum/Themes/

Disallow: /forum/Games/

Disallow: /forum/*.msg

Disallow: /forum/*.new

Disallow: /forum/*sort

Disallow: /forum/*topicseen

Disallow: /forum/*wap

Disallow: /forum/*imode

Disallow: /forum/*action

Disallow: /forum/*prev_next

Disallow: /forum/*all

Disallow: /*PHPSESSID

Disallow: /forum/*go.php

Disallow: /index.php$

Sitemap: http://poigarmonika.ru/forum/index.php?action=sitemap

Host: poigarmonika.ru

User-agent: Mediapartners-Google

Disallow:

User-Agent: YandexDirect

Disallow:

User-agent: Slurp

Crawl-delay: 100

[digger®]

А почему он у Вас тут лежит http://poigarmonika.ru/robots.txt а не тут http://poigarmonika.ru/forum/robots.txt ?

Потому, что роботс может быть только один для домена и лежать он должен в корне.

[Yarik]

Потому, что роботс может быть только один для домена и лежать он должен в корне.

То есть с раздельными нужно не заморачиваться?Спасибо за пояснение.

[Liza]

могу конечно ошибиться но у вас в адресе присутствует index.php и все это закрыто

Disallow: /index.php$

[Liza]

пояснение.

Но он то сканируется и видит что в нем закрыто, значит не в размещении дело а в самом роботсе?

[Сергей Акимов]

могу конечно ошибиться но у вас в адресе присутствует index.php и все это закрыто

Disallow: /index.php$

index.php$ и index.php -немного разные вещи,как я понимаю... Да и директива эта-для Яндекса,а ему-то,как раз,всё нравится,в отличие от Гугла.

[Liza]

Да и директива эта-для Яндекса

Да для всех она у вас

User-agent: *

[Сергей Акимов]

Да для всех она у вас

User-agent: *

Да,увидел,но... Убрал,проверил-без изменений.

[digger®]

Здравствуйте!
Сегодня удосужился обновить файл роботс.тхт для своего сайта с форумом(взял из первого сообщения темы). Но при проверке в панели гугла мне выдаёт 649 предупреждений "Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt."... Вот пример запрещённой страницы http://poigarmonika.ru/forum/index.php?topic=598.0 (они все такие-это первые страницы тем). В чём проблема? И проблема ли это?
Заранее благодарю.

Возьмите адрес запрещенной страницы и вставьте в инструменте проверки роботс - покажет какое правило его запрещает.

[Сергей Акимов]

Возьмите адрес запрещенной страницы и вставьте в инструменте проверки роботс - покажет какое правило его запрещает.

Хм... Проверил,показывает,что адреса доступны... Ничего не понимаю.

[Liza]

А это зачем?

User-agent: Mediapartners-Google

Disallow:

Надо как то так открывать всё

User-agent: MediaPartners-Google
Allow: /

[Сергей Акимов]

А это зачем?

User-agent: Mediapartners-Google

Disallow:

Надо как то так открывать всё

User-agent: MediaPartners-Google
Allow: /

Я ещё немного изменил роботс. Только ничего не помогло. Теперь он такой:

User-agent: *

Disallow: /cgi-bin         
Disallow: /?               
Disallow: /wp-             
Disallow: /wp/               
                           
Disallow: *?s=             
Disallow: *&s=             
Disallow: /search/         
Disallow: /author/         
Disallow: /users/           
Disallow: */trackback       
                           
Disallow: */feed           
Disallow: */rss             
Disallow: */embed           
Disallow: */wlwmanifest.xml 
                           
Disallow: /xmlrpc.php       
Disallow: *utm=             
Disallow: *openstat=       
Allow: */uploads

Allow: /forum/*sitemap

Allow: /forum/*arcade

Allow: /forum/*rss

Allow: /forum/*action=forum

Allow: /forum/*type=rss

Disallow: /forum/attachments/

Disallow: /forum/avatars/

Disallow: /forum/Packages/

Disallow: /forum/Smileys/

Disallow: /forum/Sources/

Disallow: /forum/Themes/

Disallow: /forum/Games/

Disallow: /forum/*.msg

Disallow: /forum/*.new

Disallow: /forum/*sort

Disallow: /forum/*topicseen

Disallow: /forum/*wap

Disallow: /forum/*imode

Disallow: /forum/*action

Disallow: /forum/*prev_next

Disallow: /forum/*all

Disallow: /*PHPSESSID

Disallow: /forum/*go.php

Disallow: /index.php$





User-agent: Googlebot

Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Disallow: *utm=
Disallow: *openstat=
Allow: */uploads
Allow: /*/*.js             
Allow: /*/*.css             
Allow: /wp-*.png           
Allow: /wp-*.jpg           
Allow: /wp-*.jpeg           
Allow: /wp-*.gif           
Allow: /wp-admin/admin-ajax.php


Allow: /forum/*sitemap

Allow: /forum/*arcade

Allow: /forum/*rss

Allow: /forum/*action=forum

Allow: /forum/*type=rss

Allow: /forum/Themes/*.css

Allow: /forum/Themes/*.js

Allow: /forum/Themes/*png

Allow: /forum/Themes/*gif

Disallow: /forum/attachments/

Disallow: /forum/avatars/

Disallow: /forum/Packages/

Disallow: /forum/Smileys/

Disallow: /forum/Sources/

Disallow: /forum/Themes/

Disallow: /forum/Games/

Disallow: /forum/*.msg

Disallow: /forum/*.new

Disallow: /forum/*sort

Disallow: /forum/*topicseen

Disallow: /forum/*wap

Disallow: /forum/*imode

Disallow: /forum/*action

Disallow: /forum/*prev_next

Disallow: /forum/*all

Disallow: /*PHPSESSID

Disallow: /forum/*go.php



User-agent: Yandex

Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php



Allow: /forum/*sitemap

Allow: /forum/*arcade

Allow: /forum/*rss

Allow: /forum/*type=rss

Disallow: /forum/attachments/

Disallow: /forum/avatars/

Disallow: /forum/Packages/

Disallow: /forum/Smileys/

Disallow: /forum/Sources/

Disallow: /forum/Themes/

Disallow: /forum/Games/

Disallow: /forum/*.msg

Disallow: /forum/*.new

Disallow: /forum/*sort

Disallow: /forum/*topicseen

Disallow: /forum/*wap

Disallow: /forum/*imode

Disallow: /forum/*action

Disallow: /forum/*prev_next

Disallow: /forum/*all

Disallow: /*PHPSESSID

Disallow: /forum/*go.php

Disallow: /index.php$

 

Sitemap: http://poigarmonika.ru/forum/index.php?action=sitemap;xml
Sitemap: http://poigarmonika.ru/sitemap.xml.gz
Sitemap: http://poigarmonika.ru/sitemap.xml

Host: poigarmonika.ru

[Liza]

Добавьте в начале

User-agent: MediaPartners-Google
Allow: /

это хоть и для Адсенс, но может Гугль за него и лается ?

[Сергей Акимов]

Добавьте в начале

User-agent: MediaPartners-Google
Allow: /

это хоть и для Адсенс, но может Гугль за него и лается ?

Добавил. Ничего не изменилось. У меня Яндекс.Директ.

[Liza]

Ну так поставьте Optimus Brave он Вам выдаст и роботс и сайтмап

[Сергей Акимов]

Ещё версии есть?

[Yworld_garry]

Ещё версии есть?

Не могут быть закрыты топики, если взяли из первой темы. Сейчас проверил в яндексе все ок с вашими топиками http://poigarmonika.ru/forum/index.php?topic=598.0
Возможно вы ссылку не правильную приводите и не всю, наверняка там еще есть после =598.0 . Нужно больше инфы и точнее приведите что там в карте. Плюс роботс свой поправьте, а то там через строчку и каша какаято.
Не поленился проверил в гугле приведенный вами урл, то же доступен.

[Сергей Акимов]

Так ведь я и пишу,что урлы доступны,но панель гугла выдаёт предупреждение,что они заблокированы в роботс.тхт ... Ссылку привожу,как есть.,полностью(не сомневайтесь).

[Yworld_garry]

Войдите там же в проверку роботс и введите урл который вам показывает как закрытый и проверьте, вот что говорит мне по вашему робосу и приведенному урлу.

[Сергей Акимов]

Войдите там же в проверку роботс и введите урл который вам показывает как закрытый и проверьте, вот что говорит мне по вашему робосу и приведенному урлу.

Да проверял уже(писал выше). Все ссылки доступны,но предупреждение-то почему выдаёт,не пойму?

[Сергей Акимов]

Как карту сайта сюда кинуть? Ссылка сойдёт? А то опять скажут что-то про пиар....

[Yworld_garry]

А кстати, если вы сегодня только сделали роботс, то в карте он отразится еще не скоро, имею ввиду в гугле, может через недельку, то что сейчас показывает, было у вас прежде. Там даты есть.