Первая версия robots.txt , для более полной индексации.

Автор Yworld_garry, 04 октября 2008, 23:59:13

« назад - далее »

0 Пользователи и 2 гостей просматривают эту тему.

Yworld_garry

Так сказать в процессе работы над ним было, но вот вариант из аттача первого поста, там всё не нужное закрыто и всё нужное оставлено. Работает великолепно и легко регулируется( если нужен определённый экшен просто добавляешь разрешение, например галерею добавить).
User-agent: *
Allow: /__forum/*sitemap
Allow: /__forum/*arcade
Allow: /__forum/*rss
Disallow: /__forum/attachments/
Disallow: /__forum/avatars/
Disallow: /__forum/Packages/
Disallow: /__forum/Smileys/
Disallow: /__forum/Sources/
Disallow: /__forum/Themes/
Disallow: /__forum/Games/
Disallow: /__forum/*.msg
Disallow: /__forum/*.new
Disallow: /__forum/*sort
Disallow: /__forum/*topicseen
Disallow: /__forum/*wap
Disallow: /__forum/*imode
Disallow: /__forum/*action

User-agent: Slurp
Crawl-delay: 100

#__ надо убрать

Nemo31

Взял робот с первой страницы недели полторы назад и поместил в корень своего сайта. Зашел сегодня на гугл и увидел 400 файлов запрешенных к индексации роботом. Среди них личка, страницы для печати, но и ссылки msg, при переходе по которым, открываюся соответствующие сообщения. Не одной ссылки на форум в индексе не появилось. Вопрос: точно ли не нужно индексировать ссылки  msg?
Веду блог для начинающих вебмастеров (ссылка в профиле)

BIOHAZARD

Мои моды:
  • RedirectPage
  • Counters
  • CustomSearch
  • SypexDumper
   адаптирую темы    1.1.хx<=>2.0задавая вопросы, старайтесь сразу указывать конечную цель, предполагаемый Вами путь не обязательно окажется самым коротким

Любые моды на заказ

Nemo31

Веду блог для начинающих вебмастеров (ссылка в профиле)

Vsh

А что делать, если стоит мод Pretty URLs ?
Ссылки из robots.txt же другие

Vsh

А это надо закрывать?
Disallow: /index.php?action=help
Disallow: /index.php?action=calendar
Disallow: /index.php?action=login
Disallow: /index.php?action=register
Disallow: /index.php?action=stats
Disallow: /index.php?action=profile;
Disallow: /index.php?action=profile
Disallow: /index.php?action=search;
Disallow: /index.php?action=search
Disallow: /index.php?action=search2;
Disallow: /index.php?action=search2
Disallow: /index.php?action=mlist;
Disallow: /index.php?action=admin;
Disallow: /index.php?action=admin
Disallow: /index.php?action=pm;
Disallow: /index.php?action=pm
Disallow: /index.php?action=mlist
Disallow: /index.php?action=reminder
Disallow: /index.php?action=unread
Disallow: /index.php?struct=on&data=on&action=dumpdb

BIOHAZARD

да
запись
Disallow: /forum/*action
закрывает все эти строки, кроме последней
Мои моды:
  • RedirectPage
  • Counters
  • CustomSearch
  • SypexDumper
   адаптирую темы    1.1.хx<=>2.0задавая вопросы, старайтесь сразу указывать конечную цель, предполагаемый Вами путь не обязательно окажется самым коротким

Любые моды на заказ

Vsh

Цитата: Vsh от 10 июля 2009, 07:08:48
А что делать, если стоит мод Pretty URLs ?
Ссылки из robots.txt же другие
А что насчёт этого?

Palich

Цитата: Vsh от 12 июля 2009, 15:33:20
А что насчёт этого?
а что мешает вручную написать,убрав,насколько я помню,"index.php?action=?" из строк?
Joomla 1.5.x
SMF 1.1.x

Yworld_garry

Цитата: Vsh от 12 июля 2009, 15:33:20
А что делать, если стоит мод Pretty URLs ?
Ссылки из robots.txt же другие
А что насчёт этого?
Какие там ссылки, дайте посмотреть.

BIOHAZARD

в любом случае методика одна

регаетесь у гугла и яндекса как вэбмастер
мониторите, чего он на ваших сайтах понаходил
правите роботс, чтоб больше он ЭТОГО не находил

главное правило - любое содержимое индексируется только раз!
Мои моды:
  • RedirectPage
  • Counters
  • CustomSearch
  • SypexDumper
   адаптирую темы    1.1.хx<=>2.0задавая вопросы, старайтесь сразу указывать конечную цель, предполагаемый Вами путь не обязательно окажется самым коротким

Любые моды на заказ

oldcopy

Помогите победить бот Рамблера, который упорно лазит туда, куда его не просят. На сайте Рамблера нашел вот что: http://help.rambler.ru/article.html?s=221&id=327 Получается что подобные инструкции -Disallow: /*.msg - он просто проигнорирует. Кроме того у меня закрыты от ботов ссылки вида /catch.php?p=2  инструкцией  Disallow: /catch.php  Тупой бот Рамблера продолжает по ним лазить. Что делать?
AUT VIAM INVENIAM AUT FACIAM <или найду дорогу или проложу ее сам (лат.)>

Yworld_garry

К сожалению правила бота рамы не изменились со времён его введения. К счастью сами механизмы ПС рамблер могут определять что нужно в индексе, а что нет. Но лазить он будет везде, так как закрыть можно только директорию или конкретный урл либо указать общее начало для ссылок.
На данный момент от него можно закрыть тегом с которым мы боремся <meta name="Robots" content="NOINDEX, NOFOLLOW">( они себя позиционируют как вежливых и типо прислушиваются к тегу. Но не всегда конечно) что к сожалению не нравится яндексу в SMF

User-agent: StackRambler
Disallow: /catch # закроет все страницы начинающиеся на catch для рамы
Disallow: /msg   # ради эксперимента можно попробовать, так как там что то сказано о содержащемся в урле.

oldcopy

Спасибо, попробую. Еще вопрос. Очень безобразно ведут себя боты мелких поисковиков: Twiceler, WebAlta Crawler и т.п. Robots.txt  такое впечатление, что игнорируют полностью. Есть смысл давать им доступ к сайту? Реально переходов с них в общей статистике нет, может забанить их и жить спокойно?
AUT VIAM INVENIAM AUT FACIAM <или найду дорогу или проложу ее сам (лат.)>

Простой

У меня другая проблема, Яндекс turbospider на генерировал больше гигабайта трафика. Это много?

oldcopy

За какой срок? Какой обьем сайта, вообще сколько трафика без Яши в среднем получается?

Посмотрел у себя. С начала месяца трафика (без ботов) - 6.63 ГБ, Яша - 901.76 МБ
AUT VIAM INVENIAM AUT FACIAM <или найду дорогу или проложу ее сам (лат.)>

Простой

Один мой сайт стоит на тарифе у которого лимит трафика - 20 гб в месяц. Последнее время счёт за дополнительный траф приходить стал в начале месяца уже :) По статистике ничего особенного, просто много народу заходит, но больше всего ресурсов сожрал Яша, вот и спрашивается, нормально ли это.

***

Апдейт:

А ну значит ок и даже ещё мало трафа.

Gnostis

у меня за этот месяц уже 20 Гб трафа... правда куда уходит понять не могу =)

BIOHAZARD

не нравится, что часто боты гуляют - сделайте им ограничение по частоте захода на сайт
как? читайте про роботс.тхт
Мои моды:
  • RedirectPage
  • Counters
  • CustomSearch
  • SypexDumper
   адаптирую темы    1.1.хx<=>2.0задавая вопросы, старайтесь сразу указывать конечную цель, предполагаемый Вами путь не обязательно окажется самым коротким

Любые моды на заказ

Vsh


Serifa

Еще раз повторите: если раздел закрыт для гостей вообще, боты туда точно не сунутся?
«- Помощник капитана Бакстер, - заявил Лумис, - безбожно врет. Все отнюдь не под контролем, вернее, не под его контролем. Корабль захвачен представителями небелковой формы разумной жизни, которые маскируются под обслуживающих роботов, а некоторые даже не делают и этого...»
«То, что у тебя есть, лечится антибиотиками» (nowhere man, 1995)
В телеге срочно нужны читатели!

Yworld_garry


Nemo31

Использую robot.txt с первой страницы. Все отлично работает в рамблере и яндексе, но в гугле каждый раз проскакивают следующие ссылки на сообщения



удаляю их вручную. Может можно как-то гугла укротить?
Веду блог для начинающих вебмастеров (ссылка в профиле)

BIOHAZARD

Мои моды:
  • RedirectPage
  • Counters
  • CustomSearch
  • SypexDumper
   адаптирую темы    1.1.хx<=>2.0задавая вопросы, старайтесь сразу указывать конечную цель, предполагаемый Вами путь не обязательно окажется самым коротким

Любые моды на заказ

Nemo31

В роботе стоит

Disallow: /__forum/*action

разве это не перекрывает

Disallow: *action=bookmark*
Веду блог для начинающих вебмастеров (ссылка в профиле)

BIOHAZARD

перекрывает
возможно, страница была проиндексирована до появления роботс, тогда её нужно удалить в панели вебмастера, либо просто подождать апа выдачи и она сама отвалится
Мои моды:
  • RedirectPage
  • Counters
  • CustomSearch
  • SypexDumper
   адаптирую темы    1.1.хx<=>2.0задавая вопросы, старайтесь сразу указывать конечную цель, предполагаемый Вами путь не обязательно окажется самым коротким

Любые моды на заказ

Vsh

Disallow: /__forum/*printpage

А можно дополнительно и printы закрыть? Вроде в самом начали выяснилось, что они не нужны. Или всё таки оставить?

Солярис

Цитата: Vsh от 10 августа 2009, 21:58:01
Disallow: /__forum/*printpage

А можно дополнительно и printы закрыть? Вроде в самом начали выяснилось, что они не нужны. Или всё таки оставить?
Лучше закройте сразу от индексации.

Yworld_garry

Vsh, в файле который мы здесь обсуждаем и который находится в аттаче принт закрыт. Внимательнее читайте, закрыты все action.

Vsh

А я сразу и не заметил, что перед printpage идёт action в ссылках(?action=printpage), прошу извинения! wallbash

Vsh

У меня установлен Pretty URLs.
Адрес календаря на моём форуме такого плана: http://www. ... .ru/calendar/
А у вас на форуме: http://www.simplemachines.ru/index.php?action=calendar

А теперь вопрос, если в роботс.тхт закрыты экшены(Disallow: /*action), то надо мне ещё и календарь закрывать(Disallow: /calendar/) ?

Yworld_garry

Vsh,Да надо. Исходите из тех урлов, что выдает этот мод.

Солярис

Всем доброго времени суток!

Заметил следующее. Яндекс, несмотря на файл роботс.тхт и указанное в нем запрещение все равно продолжает индексировать версию imode.

В файле указан следующий запрет: Disallow: /*imode
Однако Яндекс его игнорирует не понятно по какой причине.

Может следует прописать запрет на индексацию следующим образом:
Disallow: /index.php?*;imode
Будет ли такой код правильным.

Заранее спасибо.

BIOHAZARD

зайдите в панель вэбмастера яндекс и посмотрите, каким именно правилом эти ссылки разрешаются
Мои моды:
  • RedirectPage
  • Counters
  • CustomSearch
  • SypexDumper
   адаптирую темы    1.1.хx<=>2.0задавая вопросы, старайтесь сразу указывать конечную цель, предполагаемый Вами путь не обязательно окажется самым коротким

Любые моды на заказ

Солярис

Подходит вот это:
User-agent: Yandex
Disallow: /cgi-bin/*.aspx # запрещает '/cgi-bin/example.aspx'
                          # и '/cgi-bin/private/test.aspx'
Disallow: /*private # запрещает не только '/private',
                    # но и '/cgi-bin/private'

Но почему же тогда не работает вариант с *imode?
До конца не понятно также будет ли работать вариант Disallow: /index.php?*;imode

Yworld_garry

Как написал выше BIOHAZARD, проверьте в панели яндекса. Там есть возможность проверить свой роботос. Вставляете в нужное поле проверяемый урл и видите что по этому поводу думает бот яндекса.
А так как у вас на сайте используется уж очень запутанный и громоздкий роботс, возможно что и наложение разрешений/запретов.

Солярис

#236
А в чем он запутанный? Я не вижу ничего в нем запутанного.

При этом никакие ошибки в вебмастере по поводу правил в роботс.тхт не высвечиваются (то есть их нет).
Но почему тогда версия imode индексируется я не пойму?!

Получается все дело в операторе Allow: /

Yworld_garry

Получается всё дело в нежелании проверить откуда ноги растут.
Вот это из панели яндекса
http://www.yuristyonline.ru/index.php?topic=929.0;imode.    запрещен правилом /*imode*
То есть для ботов закрыто.
Вот это из выдачи яндекса и таких не одна.
Соседи - Форумы Череповца
Тут юридическое обоснование вопроса "Как приструнить соседей, которые создают шум в дневное время": http://www.yuristyonline.ru/index.php?topic=929.0;imode.


Всё закрыто, но проиндексины ссылки со сторонних ресурсов и так как роботс это указание для ботов, а не действительный запрет. Делайте выводы.

А громоздкий я написал, по причине нелюбви моей к файлам роботс длинною больше 100 строк с не понятными для меня дублями правил для разных ботов. Но это моё мнение.

Солярис

ЦитироватьПолучается всё дело в нежелании проверить откуда ноги растут.
Я в Вебмастере Яндекса с самого начало все и смотрел. Так что это Вы не в тему абсолютно написали.

Я не зря указал выше про оператор Allow: / Но Вы на эту мою реплику никоим образом не обратили внимание.

Ибо только когда я его удалил (сегодня) из файла роботс.тхт, только тогда и стало работать правило Disallow: /*imode

Именно поэтому при Вашей проверки соответствующего адреса было указано, что он запрещен к индексации, поскольку начало действовать соответствующее правило, которое ранее не работало из-за наличия оператора Allow: / .

Так что внимательней нужно быть, когда хотите написать про якобоы чье-либо нежелание что-то там проверить!

Yworld_garry

Вы не привели ваш роботс и где и какие правила стоят.
Просто указали на Allow: / и догадываться что и как у вас прописано в файле очень сложно и как я писал он громоздкий, требует действительно нормальной проверки. Уперается во время.
А вы уверены сейчас, что все правила теперь корректны и будут восприниматься ботами как надо?
Правила пишутся не просто так, если конечно составлялся файл изначально правильно. Или добавлялось в файл не правильно, вариантов много.
Так как я ни чего не понял, где и какое правило было изменено или убрано, для чего оно было изначально прописано.
В любом случаи, если интересуют вопросы по вашему файлу роботс, создайте отдельную тему и уже там можно будет более подробно обсудить и посмотреть. Возможно это не единственный косяк вашего файла.
В этом топике по файлу из заглавного поста. Не стоит путать людей сторинними обсуждениями.

Солярис


Yworld_garry

Я не вижу в том посте ни чего, на что можно опереться при ответе.
Тем более в обсуждаемом файле этой ветки нет такой строчки.
И догадаться, как составлен ваш роботс нет возможности.
Как писал неоднократно существуют правила написания файла и не всегда очевидное решение правильно. Тем более применительно к вашему, который имеет не простую структуру и скорее всего, требует доработки.
На этом обсуждение не по теме закрываю, дальнейшее в другой топик.

netoya

Yworld_garry, поставил мод http://custom.simplemachines.org/mods/index.php?mod=579
Как я понимаю вообще теги должны очень хорошо на SEO (я так слышал) но получается, что ссылки на облако index.php?action=tags и на сами теги index.php?action=tags;tagid=29 не индексируются, панель яндекса проверки робота выдает: запрещен правилом /forum/*action*
Нужно ли их в индекс или нет? если нужно, то как быть в данном случае?
Спасибо.


Yworld_garry

#243
Раз поставили значит нужно добавить разрешение ф роботс.
Allow: /__forum/*tags
На самом деле плюсов для форума будет не много. Но хуже точно не будет. Если этот мод корректно работает.

Подправил разрешение.

netoya

Наверно ты хотел сказать
Allow: /forum/*tags* а не action
буду наблюдать. Спасибо.

jericho13

всем спасибо, особенно топикстартеру, многое стало более понятным

Макар

Подскажите чего не нравится Гуглю ?

http://zavgar.info/Smileys/koloboks URL, запрещенный файлом robots.txt 23.09.2009
http://zavgar.info/Smileys/koloboks/ URL, запрещенный файлом robots.txt 23.09.2009
http://zavgar.info/Themes/default/Highslide/ URL, запрещенный файлом robots.txt 27.09.2009
http://zavgar.info/Themes/default/images/ URL, запрещенный файлом robots.txt 22.09.2009
http://zavgar.info/Themes/default/images/post/ URL, запрещенный файлом robots.txt 23.09.2009
http://zavgar.info/Themes/default/images/sp URL, запрещенный файлом robots.txt 27.09.2009
http://zavgar.info/Themes/default/images/sp/ URL, запрещенный файлом robots.txt 27.09.2009
http://zavgar.info/forum/13?sort=asc&a...%82%D0%BA%D0%BB%D0%B8%D0%BA%D0%BE%D0%B2 URL, запрещенный файлом robots.txt 24.09.2009
http://zavgar.info/forum/13?sort=asc&a...B8%D0%B9+%D0%BE%D1%82%D0%B2%D0%B5%D1%82 URL, запрещенный файлом robots.txt 29.09.2009
http://zavgar.info/forum/13?sort=asc&a...B0+%D1%84%D0%BE%D1%80%D1%83%D0%BC%D0%B0 URL, запрещенный файлом robots.txt 25.09.2009
http://zavgar.info/forum/13?sort=desc&...B8%D0%B9+%D0%BE%D1%82%D0%B2%D0%B5%D1%82 URL, запрещенный файлом robots.txt 22.09.2009
http://zavgar.info/forum/13?sort=desc&...B0+%D1%84%D0%BE%D1%80%D1%83%D0%BC%D0%B0 URL, запрещенный файлом robots.txt 29.09.2009
http://zavgar.info/forum/14?sort=asc&a...B8%D0%B9+%D0%BE%D1%82%D0%B2%D0%B5%D1%82 URL, запрещенный файлом robots.txt 28.09.2009
http://zavgar.info/forum/14?sort=desc&...%82%D0%BA%D0%BB%D0%B8%D0%BA%D0%BE%D0%B2 URL, запрещенный файлом robots.txt 25.09.2009
http://zavgar.info/forum/14?sort=desc&...B8%D0%B9+%D0%BE%D1%82%D0%B2%D0%B5%D1%82 URL, запрещенный файлом robots.txt 21.09.2009
http://zavgar.info/forum/7?sort=asc&am...%82%D0%BA%D0%BB%D0%B8%D0%BA%D0%BE%D0%B2 URL, запрещенный файлом robots.txt 21.09.2009
http://zavgar.info/forum/7?sort=desc&a...er=%D0%A1%D0%BE%D0%B7%D0%B4%D0%B0%D0%BD URL, запрещенный файлом robots.txt 25.09.2009
http://zavgar.info/forum/8?sort=asc&am...%82%D0%BA%D0%BB%D0%B8%D0%BA%D0%BE%D0%B2 URL, запрещенный файлом robots.txt 25.09.2009
http://zavgar.info/index.php/topic,127.msg127.html URL, запрещенный файлом robots.txt 25.09.2009
http://zavgar.info/index.php/topic,300.msg1079.html URL, запрещенный файлом robots.txt 23.09.2009
http://zavgar.info/index.php/topic,352.msg1472.html URL, запрещенный файлом robots.txt 26.09.2009
http://zavgar.info/index.php/topic,415.new.html URL, запрещенный файлом robots.txt 23.09.2009
http://zavgar.info/index.php/topic,422.msg2162.html URL, запрещенный файлом robots.txt 28.09.2009
http://zavgar.info/index.php?;wap2 URL, запрещенный файлом robots.txt 23.09.2009
http://zavgar.info/index.php?action=dlattach;topic=313.0;attach=4 URL, запрещенный файлом robots.txt 28.09.2009
http://zavgar.info/index.php?action=post;topic=364.0;num_replies=8 URL, запрещенный файлом robots.txt 23.09.2009
http://zavgar.info/index.php?action=post;topic=364.0;wap2 URL, запрещенный файлом robots.txt 25.09.2009
http://zavgar.info/index.php?action=post;topic=382.0 URL, запрещенный файлом robots.txt 19.09.2009
http://zavgar.info/index.php?action=post;topic=418.1 URL, запрещенный файлом robots.txt 24.09.2009
http://zavgar.info/index.php?action=post;topic=418.2 URL, запрещенный файлом robots.txt 28.09.2009
http://zavgar.info/index.php?action=post;topic=421.3 URL, запрещенный файлом robots.txt 28.09.2009
http://zavgar.info/index.php?action=post;topic=423.0 URL, запрещенный файлом robots.txt 28.09.2009
http://zavgar.info/index.php?action=post;topic=425.0 URL, запрещенный файлом robots.txt 28.09.2009
http://zavgar.info/index.php?action=post;topic=426.0 URL, запрещенный файлом robots.txt 28.09.2009
http://zavgar.info/index.php?action=profile;u=10 URL, запрещенный файлом robots.txt 22.09.2009
http://zavgar.info/index.php?action=profile;u=22 URL, запрещенный файлом robots.txt 26.09.2009
http://zavgar.info/index.php?action=profile;u=3 URL, запрещенный файлом robots.txt 18.09.2009
http://zavgar.info/index.php?action=profile;u=37 URL, запрещенный файлом robots.txt 26.09.2009
http://zavgar.info/index.php?action=profile;u=41 URL, запрещенный файлом robots.txt 25.09.2009
http://zavgar.info/index.php?action=profile;u=7 URL, запрещенный файлом robots.txt 26.09.2009
http://zavgar.info/index.php?action=profile;u=9 URL, запрещенный файлом robots.txt 27.09.2009
http://zavgar.info/index.php?action=profile;u=92 URL, запрещенный файлом robots.txt 22.09.2009
http://zavgar.info/index.php?action=profile;u=95 URL, запрещенный файлом robots.txt 28.09.2009
http://zavgar.info/index.php?action=profile;u=96 URL, запрещенный файлом robots.txt 28.09.2009
http://zavgar.info/index.php?action=register URL, запрещенный файлом robots.txt 23.09.2009
http://zavgar.info/index.php?action=search URL, запрещенный файлом robots.txt 27.09.2009
http://zavgar.info/index.php?action=unread URL, запрещенный файлом robots.txt 27.09.2009
http://zavgar.info/index.php?board=13.0;sort=last_post URL, запрещенный файлом robots.txt 16.09.2009
http://zavgar.info/index.php?board=13.0;sort=replies URL, запрещенный файлом robots.txt 16.09.2009
http://zavgar.info/index.php?board=13.0;sort=starter URL, запрещенный файлом robots.txt 16.09.2009
http://zavgar.info/index.php?board=13.0;sort=subject URL, запрещенный файлом robots.txt 16.09.2009
http://zavgar.info/index.php?board=13.0;sort=views URL, запрещенный файлом robots.txt 16.09.2009
http://zavgar.info/index.php?board=15.0;sort=last_post;desc URL, запрещенный файлом robots.txt 26.09.2009
http://zavgar.info/index.php?board=24.0;sort=last_post URL, запрещенный файлом robots.txt 25.09.2009
http://zavgar.info/index.php?board=24.0;sort=replies URL, запрещенный файлом robots.txt 23.09.2009
http://zavgar.info/index.php?board=24.0;sort=starter URL, запрещенный файлом robots.txt 25.09.2009
http://zavgar.info/index.php?board=24.0;sort=subject URL, запрещенный файлом robots.txt 25.09.2009
http://zavgar.info/index.php?board=24.0;sort=views URL, запрещенный файлом robots.txt 23.09.2009
http://zavgar.info/index.php?topic=100.0;wap2 URL, запрещенный файлом robots.txt 29.09.2009
http://zavgar.info/index.php?topic=136.msg1685 URL, запрещенный файлом robots.txt 27.09.2009
http://zavgar.info/index.php?topic=141.msg1791 URL, запрещенный файлом robots.txt 28.09.2009
http://zavgar.info/index.php?topic=300.0;wap2 URL, запрещенный файлом robots.txt 22.09.2009
http://zavgar.info/index.php?topic=304.45;wap2 URL, запрещенный файлом robots.txt 16.09.2009
http://zavgar.info/index.php?topic=304.msg1179 URL, запрещенный файлом robots.txt 22.09.2009
http://zavgar.info/index.php?topic=304.msg1183 URL, запрещенный файлом robots.txt 22.09.2009
http://zavgar.info/index.php?topic=304.msg1533 URL, запрещенный файлом robots.txt 22.09.2009
http://zavgar.info/index.php?topic=309.10;wap2 URL, запрещенный файлом robots.txt 23.09.2009
http://zavgar.info/index.php?topic=309.25;wap2 URL, запрещенный файлом robots.txt 23.09.2009
http://zavgar.info/index.php?topic=309.30;wap2 URL, запрещенный файлом robots.txt 23.09.2009
http://zavgar.info/index.php?topic=309.5;wap2 URL, запрещенный файлом robots.txt 26.09.2009
http://zavgar.info/index.php?topic=315.0;wap2 URL, запрещенный файлом robots.txt 25.09.2009
http://zavgar.info/index.php?topic=320.10;wap2 URL, запрещенный файлом robots.txt 23.09.2009
http://zavgar.info/index.php?topic=320.20;wap2 URL, запрещенный файлом robots.txt 23.09.2009
http://zavgar.info/index.php?topic=328.10;wap2 URL, запрещенный файлом robots.txt 25.09.2009
http://zavgar.info/index.php?topic=328.25;wap2 URL, запрещенный файлом robots.txt 23.09.2009
http://zavgar.info/index.php?topic=337.0;wap2 URL, запрещенный файлом robots.txt 21.09.2009
http://zavgar.info/index.php?topic=338.10;wap2 URL, запрещенный файлом robots.txt 23.09.2009
http://zavgar.info/index.php?topic=338.30;wap2 URL, запрещенный файлом robots.txt 23.09.2009
http://zavgar.info/index.php?topic=340.10;wap2 URL, запрещенный файлом robots.txt 25.09.2009
http://zavgar.info/index.php?topic=341.10;wap2 URL, запрещенный файлом robots.txt 25.09.2009
http://zavgar.info/index.php?topic=347.0;wap2 URL, запрещенный файлом robots.txt 25.09.2009
http://zavgar.info/index.php?topic=348.0;wap2 URL, запрещенный файлом robots.txt 25.09.2009
http://zavgar.info/index.php?topic=359.msg1669 URL, запрещенный файлом robots.txt 23.09.2009
http://zavgar.info/index.php?topic=401.msg1998 URL, запрещенный файлом robots.txt 18.09.2009
http://zavgar.info/index.php?topic=63.0;wap2 URL, запрещенный файлом robots.txt 27.09.2009
http://zavgar.info/index.php?topic=91.25;wap2 URL, запрещенный файлом robots.txt 27.09.2009
http://zavgar.info/index.php?topic=99.15;wap2 URL, запрещенный файлом robots.txt 23.09.2009
http://zavgar.info/index.php?topic=99.30;wap2 URL, запрещенный файлом robots.txt 27.09.2009
http://zavgar.info/index.php?wap2 URL, запрещенный файлом robots.txt 23.09.2009
http://zavgar.info/new/index.php?action=profile;u=4 URL, запрещенный файлом robots.txt 25.09.2009
http://zavgar.info/new/index.php?action=recent URL, запрещенный файлом robots.txt 21.09.2009
http://zavgar.info/new/index.php?action=stats URL, запрещенный файлом robots.txt 26.09.2009
http://zavgar.info/user/login?destinat...25D0%25B8%25D0%25BA%25D0%25BE%25D0%25B2 URL, запрещенный файлом robots.txt 28.09.2009
http://zavgar.info/user/login?destinat...25D0%25B7%25D0%25B4%25D0%25B0%25D0%25BD URL, запрещенный файлом robots.txt 29.09.2009


или у Яши

http://www.zavgar.info/index.php/topic,433.msg2253.html#new

Используемые секцииСтрока
1-2: User-agent: *
Allow: /*sitemap

4-19: Allow: /*rss
Disallow: /attachments/
...
Disallow: /*wap2



Результаты проверки URLURL Pезультат
http://www.zavgar.info/index.php/topic,433.msg2253.html#new запрещен правилом /*.msg*


и ошибки у Яши

Формат документа не поддерживается
/index.php?type=rss;action=.xml

Документ содержит мета-тег noindex    840 ошибок

/index.php?board=17.20
29.09.2009 29.09.2009
/index.php?board=21.20
28.09.2009 28.09.2009
/index.php?board=4.0
29.09.2009 29.09.2009
/index.php?board=7.20
29.09.2009 29.09.2009
/index.php?board=9.20

http://www.zavgar.info/index.php?topic=152.0
http://www.zavgar.info/index.php?topic=112.0
http://www.zavgar.info/index.php?topic=157.0

/index.php?topic=96.0;prev_next=prev
25.09.2009 27.09.2009
/index.php?topic=99.0;prev_next=next
18.09.2009 24.09.2009
/index.php?topic=99.0;prev_next=prev
17.09.2009 23.09.2009

Если Вы здесь недавно, не обольщайтесь тоном некоторых дискуссий.
Все чаще слова - юзай поиск, приобретают смысл - иди в ж..........  Приобретение смысла автоматизированно - Ответы на любой вопрос по SMF
Не пишите несколько сообщений подряд - тут вам не Twitter  >:( в остальных ситуациях мы не сильно зверствуем 2funny

Yworld_garry

1 Всё нормально
2 Всё нормально ( проверяйте закрытые урлы роботсом, на предмет "дружественных урлов", при написании этого файла robots.txt я их не учитывал. Почему написано в начальных постах топика. А у вас по моему они включены.)
Это не ошибки, а указано что запрещено в роботсе и исчезнет со временем.

3 В начало топика.

Mavn

Кстати Yworld_garry, есть ссылки такие /index.php/topic,****.****/all.html на сколько я понимаю они не закрыты файликом, а по сути стоило бы
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

Макар

Спасибо за анализ. А то я немного запутался, пойду перечитаю эту тему еще раз. Просто, три месяца назад , движек был друпал, я с него съехал, сейчас идет переиндексация ссылок, и вот что заметил, на друпале выдача от гугля была больше чем от яши. А сейчас наоборот, с десятикратным перевесом . Зашел в панель гугля и увидел . ... А с чем связан такой перекос и смена лидера я х.з. ???
Если Вы здесь недавно, не обольщайтесь тоном некоторых дискуссий.
Все чаще слова - юзай поиск, приобретают смысл - иди в ж..........  Приобретение смысла автоматизированно - Ответы на любой вопрос по SMF
Не пишите несколько сообщений подряд - тут вам не Twitter  >:( в остальных ситуациях мы не сильно зверствуем 2funny