Гугл опять меняет правила индексации - что порекомендуете сделать на форуме?

[Istoric]

Собственно описание изменений http://www.seonews.ru/events/novoe-izmenenie-v-rukovodstve-google-dlya-vebmasterov/

И вопрос - что теперь стоит поменять на форуме?

[Yworld_garry]

На форуме менять ничего не стоит.
Просит открыть доступ для CSS и JavaScript в robots.txt, откройте.

Allow: /forum/Themes/*.css
Allow: /forum/Themes/*.js

[Istoric]

А к фото?

[Yworld_garry]

А к фото?

А вы их специально закрывали?

[iaroslav]

На форуме менять ничего не стоит.
Просит открыть доступ для CSS и JavaScript в robots.txt, откройте.

Allow: /forum/Themes/*.css
Allow: /forum/Themes/*.js

А как лучше - открыть конкретно для ботов гугла или просто всем?

[Yworld_garry]

Лучше сделать отдельный блок для гугла...

[iaroslav]

Ага, спасибо.

[valek0972]

Лучше сделать отдельный блок для гугла...

Так правильно:

User-agent: Googlebot
Allow: /*type=rss
Allow: /forum/Themes/*.css

[Yworld_garry]

Так правильно:

User-agent: Googlebot
Allow: /*type=rss
Allow: /forum/Themes/*.css

Полностью скопировать блок и добавить эти вставки.

[valek0972]

Полностью скопировать блок

Не пойму какой блок?

[Yworld_garry]

Вот с вашего форума и с добавленным гуглом

User-agent: *
Allow: /*sitemap
Allow: /*rss
Allow: /*type=rss
Allow: /forum/Themes/*.css
Allow: /forum/Themes/*.js
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /go.php
Disallow: /*PHPSESSID
Sitemap: http://valentsercorp.com/sitemap.xml
Sitemap: http://valentsercorp.com/index.php?action=sitemap;xml
Host: valentsercorp.com

User-agent: Googlebot
Allow: /*sitemap
Allow: /*rss
Allow: /*type=rss
Allow: /forum/Themes/*.css
Allow: /forum/Themes/*.js
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /go.php
Disallow: /*PHPSESSID
Sitemap: http://valentsercorp.com/sitemap.xml
Sitemap: http://valentsercorp.com/index.php?action=sitemap;xml


User-agent: Slurp
Crawl-delay: 100

[valek0972]

Вот с вашего форума и с добавленным гуглом

Спасибо, понял.

[Alex32]

А у меня такой, мне как добавить не подскажете или у меня вообще ненормальный, каличный роботс текст

User-agent: *
Allow: /*action=forum
Allow: /*sitemap
Allow: /*action=blogs
Allow: /*action=blog
Allow: /*type=rss
Allow: /*index.php?action=media
Allow: /*index.php?action=community
Allow: /*index.php?action=articles
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*msg
Disallow: /*profile
Disallow: /*help
Disallow: /*search
Disallow: /*searchg
Disallow: /*mlist
Disallow: /*sort
Disallow: /*recent
Disallow: /*register
Disallow: /*groups
Disallow: /*unread
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*go.php
Disallow: /*showtopic
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID

User-agent: Yandex
Allow: /*action=forum
Allow: /*sitemap
Allow: /*action=blogs
Allow: /*action=blog
Allow: /*type=rss
Allow: /*index.php?action=media
Allow: /*index.php?action=community
Allow: /*index.php?action=articles
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*msg
Disallow: /*profile
Disallow: /*help
Disallow: /*search
Disallow: /*searchg
Disallow: /*mlist
Disallow: /*sort
Disallow: /*recent
Disallow: /*register
Disallow: /*groups
Disallow: /*unread
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*go.php
Disallow: /*showtopic
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Sitemap: http://forum.debryansk32.ru/sitemap.xml
Host: forum.debryansk32.ru

User-agent: Mail.Ru
Disallow:
Crawl-delay: 10

User-agent: Slurp
Crawl-delay: 100

[Yworld_garry]

User-agent: *
Allow: /*action=forum
Allow: /*sitemap
Allow: /*action=blogs
Allow: /*action=blog
Allow: /*type=rss
Allow: /*index.php?action=media
Allow: /*index.php?action=community
Allow: /*index.php?action=articles
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*msg
Disallow: /*profile
Disallow: /*help
Disallow: /*search
Disallow: /*searchg
Disallow: /*mlist
Disallow: /*sort
Disallow: /*recent
Disallow: /*register
Disallow: /*groups
Disallow: /*unread
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*go.php
Disallow: /*showtopic
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID

User-agent: Googlebot
Allow: /forum/Themes/*.css
Allow: /forum/Themes/*.js
Allow: /*action=forum
Allow: /*sitemap
Allow: /*action=blogs
Allow: /*action=blog
Allow: /*type=rss
Allow: /*index.php?action=media
Allow: /*index.php?action=community
Allow: /*index.php?action=articles
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*msg
Disallow: /*profile
Disallow: /*help
Disallow: /*search
Disallow: /*searchg
Disallow: /*mlist
Disallow: /*sort
Disallow: /*recent
Disallow: /*register
Disallow: /*groups
Disallow: /*unread
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*go.php
Disallow: /*showtopic
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID

User-agent: Yandex
Allow: /*action=forum
Allow: /*sitemap
Allow: /*action=blogs
Allow: /*action=blog
Allow: /*type=rss
Allow: /*index.php?action=media
Allow: /*index.php?action=community
Allow: /*index.php?action=articles
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*msg
Disallow: /*profile
Disallow: /*help
Disallow: /*search
Disallow: /*searchg
Disallow: /*mlist
Disallow: /*sort
Disallow: /*recent
Disallow: /*register
Disallow: /*groups
Disallow: /*unread
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*go.php
Disallow: /*showtopic
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Sitemap: http://forum.debryansk32.ru/sitemap.xml
Host: forum.debryansk32.ru

User-agent: Mail.Ru
Disallow:
Crawl-delay: 10

User-agent: Slurp
Crawl-delay: 100

[Alex32]

Получается для гугла у меня вообще не было прописано ничего. Спасибо +

[Yworld_garry]

Получается для гугла у меня вообще не было прописано ничего

Было!
User-agent: *

[Alex32]

а то что стоит Disallow: /Themes/ не запретит ему на Allow: /forum/Themes/*.css и не нужно просто Allow: /Themes/*.css указать

[Yworld_garry]

Сделайте как я выше привел и если есть сомнения, проверьте в панеле вебмастера гугл.

[Alex32]

Нет я сделал как вы показали. До этого постоянно находил что то менял, переставлял. Теперь пусть так будет, если сам сомневался постоянно. Теперь думаю как для вордпресс  сайтов ввести это для индексирования

[Yworld_garry]

Теперь думаю как для вордпресс  сайтов ввести это для индексирования

Allow: /wp-content/themes/*.js
Allow: /wp-content/themes/*.css
Allow: /wp-content/plugins/*.js
Allow: /wp-content/plugins/*.css

[Alex32]

просто это отдельным блоком вставить в

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: debryansk32.ru
Sitemap: http://debryansk32.ru/sitemap.xml.gz
Sitemap: http://debryansk32.ru/sitemap.xml

[Yworld_garry]

просто это отдельным блоком вставить в

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Googlebot
Allow: /wp-content/themes/*.js
Allow: /wp-content/themes/*.css
Allow: /wp-content/plugins/*.js
Allow: /wp-content/plugins/*.css
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: debryansk32.ru
Sitemap: http://debryansk32.ru/sitemap.xml.gz
Sitemap: http://debryansk32.ru/sitemap.xml

[Alex32]

Ну все, пошел на сайты менять роботсы свои 

[Istoric]

А мне тогда как вставить? Отправил робота в личку. Буду очень благодарен )

[ALINA]

Yworld_garry

а можно для тупых на пальцах объяснить что это такое и куда лезть и надо ли мне 

[Yworld_garry]

а можно для тупых на пальцах объяснить что это такое и куда лезть и надо ли мне 

добавить в robots.txt строчки что привел выше.

[Istoric]

Спасибо огромное )

[Жека]

Что будет если добавить строки, разрешающие индексировать .js и .css для всех пауков?
В тот же Яндекс попадет хлам?

[Yworld_garry]

Что будет если добавить строки, разрешающие индексировать .js и .css для всех пауков?

пока это приблуда только гугла и очень сомневаюсь, что в обозримом будущем такое будет у других.

[gorbi]

Не знаю, как в России, но в Украине от Гугла основной поисковый трафик. Надо идти переделывать )

[kak2z]

я вот что прочитал..

получается надо не только к стилям и js открывать индексирование, а и картинки разрешить индексировать.

Вот так?

Код Выделить Развернуть


Allow: /*action=dlattach


UPD: и немного не понял зачем делать блок для гугла. Если Яндекс не индексирует стили и скрипты он и так не будет индексировать.. тем более это не хтмл страница - Яндекс его просто не поймет и не будет трогать.. ИМХО

[digger®]

а и картинки разрешить индексировать.

Еще и разрешить гостям просмотр аттачей, а он обычно у всех запрещен.

[gorbi]

До нынешнего момента внимание обращалось только на «сырое текстовое содержание» страницы.

[Istoric]

хм... поменял робота как мне сделал уважаемый  Yworld_garry, резко увеличилось в индексе количество проиндексированных страниц (почти в два раза) , но в поиске страниц осталось по прежнему, это ни чем мне не грозит?

[Серый Лис]

это ни чем мне не грозит?

Лично вам? Ничем. Поиску тоже.  Оставьте робота в покое и не отвлекайте его от работы

[Жека]

Пока это приблуда только гугла и очень сомневаюсь, что в обозримом будущем такое будет у других.

Я имею ввиду, если я для всех пауков разрешу индексацию .js и .css, у того же Яндекса в поисковую выдачу начнут попадать .css?

[kak2z]

Я имею ввиду, если я для всех пауков разрешу индексацию .js и .css, у того же Яндекса в поисковую выдачу начнут попадать .css?

не)) не попадет)) я тоже про это спрашивал)) зачем делать правило для гугла если яндекс все равно скрипты не будет показывать в выдаче)

[Жека]

kak2z
Почему тогда на вашем форуме отдельная секция для Googlebot и для всех остальных пауков вы НЕ добавили:
Allow: /Themes/*.css
Allow: /Themes/*.js

?

[Serifa]

У меня есть строка, которая непонятно откуда взялась и что означает
Clean-param: PHPSESSID /index.php
Если поменять роботс на рекомендуемый в нынешнем варианте, куда эту строку перемещать?

User-agent: Twiceler
Disallow: /
User-agent: *
Allow: /*rss
Allow: /*type=rss
Allow: /*forum
Disallow: /go.php
Disallow: /attachments/
Disallow: /avatars/
Disallow: /user_avatars/
Disallow: /admin_files/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /forum_/
Disallow: /button_/
Disallow: /*post
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*wap2
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /__forum/*printpage
Disallow: /*PHPSESSID
Clean-param: PHPSESSID /index.php
User-agent: Slurp
Crawl-delay: 100

[Yworld_garry]

Если поменять роботс на рекомендуемый в нынешнем варианте, куда эту строку перемещать?

Достаточно будет этой
Disallow: /*PHPSESSID

А вот эта вообще загадка Disallow: /__forum/*printpage))) Хотя может у вас папки так называются, вижу и выше подобное есть у вас.

Перед этим блоком
User-agent: Slurp
Crawl-delay: 100

пропуск строки надо от основного.

[Mavn]

Disallow: /__forum/

это цензура так работает так что нужно просто это учитывать и все

[Serifa]

Кажется, это хостер какие-то изменения вносил. Понятно, чего яндекс все время ругался на мой роботс Накидает мне ругательных писем, а я их удаляю. Думаю, фигней страдает.

[Istoric]

я таки переживаю, в выдаче яндекса было примерно 3000  страниц и вдруг резко стало 6000, это после того как резко подскочило  просмотренных до  50 000 .... Это хорошо или плохо?

[gorbi]

я таки переживаю, в выдаче яндекса было примерно 3000  страниц и вдруг резко стало 6000, это после того как резко подскочило  просмотренных до  50 000 .... Это хорошо или плохо?

Лучше бы Яндекс так тИЦ поднимал

[kak2z]

kak2z
Почему тогда на вашем форуме отдельная секция для Googlebot и для всех остальных пауков вы НЕ добавили:
Allow: /Themes/*.css
Allow: /Themes/*.js

?

я про это и спрашивал.. и никто не ответил))

[GeorG]

kak2z
Почему тогда на вашем форуме отдельная секция для Googlebot и для всех остальных пауков вы НЕ добавили:
Allow: /Themes/*.css
Allow: /Themes/*.js

?

Потому что это нужно только для Googlebot, остальным поисковикам не надо лазить по js и ccs файлам.

[kak2z]

Потому что это нужно только для Googlebot, остальным поисковикам не надо лазить по js и ccs файлам.

а чем яндексу может к примеру повредить js или css файл? все равно в выдачу этот файл не попадет. а если и попадает каким то чудом.. то несколько лишних страниц  никаких последствий не должны нанести..

[GeorG]

Ну, а зачем остальным поисковикам лазить по папкам, создавать лишнюю нагрузку, если им всё равно там ничего не нужно?

[Жека]

Просто не охота заниматься поддержкой секций robots для разных поисковиков -- в одну секцию добавишь, в другую забудешь.
Да и неплохо иметь единые правила индексации сайта для любого поисковика.

[leon]

Перед этим блоком
User-agent: Slurp
Crawl-delay: 100

пропуск строки надо от основного.

Почему тогда на этом форуме нет пропуска?