Первая версия robots.txt , для более полной индексации.

Автор Yworld_garry, 04 октября 2008, 23:59:13

« назад - далее »

0 Пользователи и 4 гостей просматривают эту тему.

Abrikos

#300
И такой вопрос форум у меня стает типа http://мой сайт.net/forum куда файл кидать в папку с форумом или в папку с сайтом, я хочу чтобы правила на сайт не распространялись а только на форум !И что надо изменить в самом файле чтобы всё заработало ?
Disallow: /forum/*go.php # либо тот редирект что стоит у вас
Host: www.мой сайт.ru # указать ваше главное зеркало 
Что сдесь написать ?

Yworld_garry

Файл в любом случаи в корень кидать. Если есть свой роботс для сайта, просто дописать из скачанного.
Disallow: /forum/*go.php # либо тот редирект что стоит у вас, удалить если нет редиректа
Host: www.мой сайт.ru # ну дык то как вы в поисковиках с www или без индексируетесь. Главное зеркало.
Что бы заработало всё, придётся прочитать немного из написанного.

Все жё советую почитать темку, там все расписано досконально.

m412

Здравствуйте!
Подскажите пожалуйста, стоит ли на это обращать внимание...
в robots.txt стоит

ЦитироватьHost: http://kokki.ru

Яндекс пишет вот так

Цитировать21: Host: http://kokki.ru Некорректное имя главного зеркала сайта

Если меняю на www.kokki.ru то уже гугл начинает ругаться.


в sitimap ссылки начинаются тоже с http://kokki.ru и яша их все видит!

и еще, у меня раньше сайт был на DLE и гугл помнит те страницы, и при сканирование выдает ошибки что этих страниц нету! С этим надо как-то бороться или они сами со временем уйдут?

Yworld_garry

http:// Лишнее

Сами уйдут со временем. Но в панели гугла есть возможность удалить страницы. Поковыряйте панель.

m412


Serifa

Все равно я в индексации ничего не понимаю и не пойму. Роботс составила по рекомендациям в этой теме. Где-то дня два назад засунула в футер форума ссылочку на мою любимую компанию, где я лицензию на свой любимый файрвол обновляю. Выглядит ссылка так: "FirewallSoftkey.ru"
Решила глянуть, что найдется в поиске по этому запросу.
Вот что показывает Яндекс:

Цитироватьрасширенный поиск на сайте: ***.org   
Область поиска: сайт — ***.org

   1. 1. Криокамеры-3 (продолжение) 13-10-3057
      FirewallSoftkey.ru. Prince of Darkness variant by Antechinus.
      ***.org/index.php?... 2 часа назад сохраненная копия
   2. 2. Сцены с Кеноби (цитаты)
      FirewallSoftkey.ru. Prince of Darkness variant by Antechinus.
      ***.org/index.php?topic=1810.0 2 часа назад сохраненная копия
   3. 3. Ответ
      FirewallSoftkey.ru. Prince of Darkness variant by Antechinus.
      ***.org/index.php?... 2 часа назад сохраненная копия

«FirewallSoftkey.ru» · Запросов за месяц: firewallsoftkey — 0, ru — 49 814 491.
в других поисковых системах: Google · Bing · Yahoo! · Rambler · Яндекс.Каталог

Меня удивляет форма ответа, которая попала в этот список. На кой боту было пытаться ответить что-то в теме? Ведь нашел же, гад, раздел, где гости могут отвечать. Как правильно запретить ботам отвечать, если гостям отвечать можно?
«- Помощник капитана Бакстер, - заявил Лумис, - безбожно врет. Все отнюдь не под контролем, вернее, не под его контролем. Корабль захвачен представителями небелковой формы разумной жизни, которые маскируются под обслуживающих роботов, а некоторые даже не делают и этого...»
«То, что у тебя есть, лечится антибиотиками» (nowhere man, 1995)
В телеге срочно нужны читатели!

Yworld_garry

His Divine Shadow, если мы говорим о сайте из аккаунта, то роботс я бы пересмотрел. На на первый взгляд странный.
ЦитироватьРоботс составила по рекомендациям в этой теме.
Очень отдалённо напоминает.

Дайте взглянуть на те темки где разрешено постить гостям.

PS
к сожалению убегаю сейчас, буду по позже.

Serifa

Если почистить файл от всяких
User-agent: Radiation Retriever 1.1
Disallow: /
User-agent: WebmasterWorld Extractor
Disallow: /


то выглядит так:

Allow: /forum/*action=forum
Disallow: /attachments/                 
Disallow: /avatars/                 
Disallow: /img/                 
Disallow: /Packages/                 
Disallow: /Smileys/                 
Disallow: /Sources/                 
Disallow: /Themes/
Disallow: /*printpage
Disallow: /index.php?*wap
Disallow: /*wap
Disallow: /forum/*.msg
Disallow: /forum/*sort               
Disallow: /index.php?action=help                 
Disallow: /index.php?action=profile                 
Disallow: /index.php?action=mlist                 
Disallow: /index.php?action=admin                 
Disallow: /index.php?action=pm                 
Disallow: /index.php?action=notify                 
Disallow: /index.php?action=recent                 
Disallow: /index.php?action=mergetopics                 
Disallow: /index.php?action=printpage
Disallow: /index.php?action=reminder
Disallow: /index.php?action=verificationcode
Disallow: /index.php?action=help
Disallow: /index.php?struct=on&data=on&action=dumpdb
Disallow: /index.php?action=login
Disallow: /index.php?action=login2
Disallow: /index.php?action=register
Disallow: /index.php?action=post
Disallow: /index.php?action=search
Disallow: /index.php?action=search2
Disallow: /index.php?action=stats;
Disallow: /index.php?action=activate;
Disallow: /index.php?action=calendar;
Disallow: /index.php?action=showawards;
User-agent: Slurp
Crawl-delay: 110


И что там неправильно? Сама бы не додумалась, все здесь прочитала))
ЦитироватьДайте взглянуть на те темки где разрешено постить гостям.
В каком виде их представить?)
«- Помощник капитана Бакстер, - заявил Лумис, - безбожно врет. Все отнюдь не под контролем, вернее, не под его контролем. Корабль захвачен представителями небелковой формы разумной жизни, которые маскируются под обслуживающих роботов, а некоторые даже не делают и этого...»
«То, что у тебя есть, лечится антибиотиками» (nowhere man, 1995)
В телеге срочно нужны читатели!

Yworld_garry

В первом топике в аттаче скачайте, там всё прокомментировано. Удалите не нужное и добавьте к нему
Allow: /*forum
ЦитироватьВ каком виде их представить?)
Просто урл мне в личку.

В вашем сейчас запрещён к индексации форум и напутано с каталогами.

Beer

Такой сегодня приполз:

208.115.111.247 - - [14/Jan/2010:04:43:23 +0300] "GET /forum/ HTTP/1.0" 200 26753 "-" "Mozilla/5.0 (compatible; DotBot/1.1; http://www.dotnetdotcom.org/, crawler@dotnetdotcom.org)"

User-agent: dotbot


Макар

как открыть галерею для ботов ? в частности для гугля

сейчас пишет для адреса - http://zavgar.info/index.php?action=media

Результаты проверкиURL   Робот Google   Googlebot-Mobile
http://zavgar.info/index.php?action=media   Заблокировано по строке 23: Disallow: /*action   Заблокировано по строке 23: Disallow: /*action


в файле роботс тхт
открыл строку - Allow: /*media

у яши все в ажуре схавал

Результаты проверки
URL   URL   Результат   

   http://zavgar.info/index.php?action=media   разрешен





Если Вы здесь недавно, не обольщайтесь тоном некоторых дискуссий.
Все чаще слова - юзай поиск, приобретают смысл - иди в ж..........  Приобретение смысла автоматизированно - Ответы на любой вопрос по SMF
Не пишите несколько сообщений подряд - тут вам не Twitter  >:( в остальных ситуациях мы не сильно зверствуем 2funny

Макар

Раз никто не пишет , расскажу о своих экспериментах с роботами.

Гугл упорно не хотел индексировать галерею, роботс
ЦитироватьUser-agent: *
Allow: /*sitemap
Allow: /*rss
Allow: /*type=rss
Allow: /*feed
Allow: /*imode
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /mgal_data/
Disallow: /smf/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*wap2
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*go.php
Host: сайт.info

User-agent: Slurp
Crawl-delay: 100

специально был изменен для этих целей на такой

ЦитироватьUser-agent: *
Allow: /*sitemap
Allow: /*rss
Allow: /*type=rss
Allow: /*feed
Allow: /*imode
Allow: /*media
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /mgal_data/
Disallow: /smf/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*wap2
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*go.php
Host: сайт.info

User-agent: Slurp
Crawl-delay: 100

Яша прекрасно его схавал и не подавился, а Гоша упорно отказывался, мотивируя свой отказ тем что его туда не пускате 23 строка файла

Сейчас изменил роботс таким образом

ЦитироватьUser-agent: *
Allow: /*sitemap
Allow: /*rss
Allow: /*type=rss
Allow: /*feed
Allow: /*imode
Allow: /*index.php?action=media
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /mgal_data/
Disallow: /smf/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*wap2
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*go.php
Host: сайт.info

User-agent: Slurp
Crawl-delay: 100

проверил в панели вебмастера Гоши, пишет что наконец то туда ходить разрешено

ЦитироватьРезультаты проверкиURL   Робот Google   Googlebot-Mobile
http://сайт/index.php?action=media   Разрешено в строке 7: Allow: /*index.php?action=media   Разрешено в строке 7: Allow: /*index.php?action=media

Синтаксический анализ результатов поискаЗначение   Результат
Строка 30: Crawl-delay: 100   Правило, которое не учитывается Googlebot

внес изменения в файл и закинул его в корень , теперь будем подождать результатов  ::) ::)

на этом можно было бы успокоится, если бы не одно НО! На страницах, месяц назад поставил рекламные блоки АдСенса. Естественно, первое время вместо контекстной рекламы наблюдал социальную, заглушки, если нет чего показывать по теме. Ну пройдет время, Гоша, отдуплится и начнет показывать контекст. Но не тут то было. Заметил случайно. Редактируя вид одного из объявлений зашел на страницу диагностики АдСенса и .................. понял :o почему у меня до сих пор на некоторых страницах так и крутится "социалка"  wallbash вместо контекста.

Смотрите файл отчета диагностики
ЦитироватьДиагностика сайта
Просматривайте подробные сведения по диагностике страниц, которые Google сканирует с целью показа релевантных объявлений. 

Если при сканировании ваших страниц возникнут проблемы, они будут указаны в таблице ниже. Постарайтесь устранить эти проблемы, чтобы мы могли просканировать больше ваших страниц и подобрать релевантные объявления.

Чтобы получить помощь в решении проблем с заблокированными URL, перейдите в наш справочный центр.

Отчет о сканировании обновляется еженедельно. Мы не принимаем запросы на более частое сканирование. Также следует помнить, что этот отчет не является исчерпывающим.


Цитироватьhttp:/ / сайт/    Файл robots.txt.   01.02.2010
   index. php? action= forum   Файл robots.txt.   01.02.2010
   index. php? action= media   Файл robots.txt.   01.02.2010
   index. php? action= media;sa= album;in= 14   Файл robots.txt.   27.01.2010

по медиа адресу понятно, я его разрешил только сегодня , но index. php? action= forum  :o  tickedoff

У меня установлен Симпле портал и главная это портал , а страница с разделами и категориями как раз action= forum и ее не нидексирует, и на ней показывает социальную рекламу  wallbash

Идем дальше.

Просматриваем топик с адресом http://сайт.info/index.php/topic,613.0.html , оооо все ОК рекламный блок, как и положенно с контекстом. НО! мля................. эта тема, пока, состоит из одной страницы и если кликнуть по любому из заголовков поста , открывается та же страница но с адресом, например http://сайт.info/index.php/topic,613.msg4537.html#msg4537

и.ииииииииииииииииииии  Гоша опять показывает социалку вместо контекста  tickedoff wallbash

Идем дальше................... Много-страничные темы.
Для примера http://сайт.info/index.php/topic,526.0.html тема с пятью и более страницами, при обращении к ней по указанному адресу, выводится контекстная реклама. Все нормально. Если перейти на следующюю страницу по ссылкам внизу 1 2 3 4 5 6 ................ имеющим вид http://сайт.info/index.php/topic,526.50.html то так же проблем нет, показывается контекстная реклама. НО! как всегда вылазит это Но.................
При переходе в самой теме по ссылке на конкретный пост, из той же темы, или по ссылке на пост в другой теме получаем "социальную рекламу" и матюк заблокированно в роботс  :-\

И еще , надеюсь пока последнее................ Большинство пользователей просматривая форум, загружают главную страницу сообщений , или пользуются ссылкой в шапке показать темы с вашего последнего визита http://сайт.info/index.php?action=unread а он то заблокирован роботс  :( 
и переходя по ссылкам с этой страницы http://сайт.info/index.php/topic,612.0/topicseen.html или по иконке NEW http://сайт.info/index.php/topic,612.msg4534/topicseen.html#new тоже получают вместо контекста "социалку"

Или же пользуются ссылками в информационном центре
Последние сообщения
http://сайт.info/index.php/topic,526.msg4558/topicseen.html#msg4558
http://сайт.info/index.php/topic,530.msg4552/topicseen.html#msg4552
и т.д. .............


тоже получают "социальную рекламу" вместо контекста  wallbash  естественно и эти адреса заблокированны в роботс.

Я вот чего думаю, тут мы боролись с дублями, вычищали выдачу от ненужных страниц . Но не переборщили ли мы ?  :coolsmiley: police

Все хорошо в выдаче только основные урлы, дублей нет, но вот при таком подходе, когда главная страница форума нашпигована как подушка иголками, ссылками на внутренние страницы форума, казалось бы отличная внутренняя перелиновка форума, ан нет эти адреса закрыты в роботс, и мы по сути сами себя лишаем возможности дать поисковикам быстрые линки на актуальные темы, на внутренюю перелиновку. Да и в самих темах, пользователи ссылаясь на какую то тему или конкретное сообщение не постят же заглавный адрес темы, а как правило, чаще всего постят урл типа  http://сайт.info/index.php/topic,600.msg4236.html#msg4236 и реже всего на тот же первый пост урл вида http://сайт.info/index.php/topic,600.0.html ил же, как писал выше,  давая ссылку на другую тему, а чаще на конкретный пост в теме , они постят урл вида http://сайт.info/index.php/topic,612.msg4532.html#msg4532 и все эти урлы запрещенны к индексации. 

Это была лирика, а теперь вернемся к нашим баранам, тобишь поисковикам.

Как открыть для Гоши галерею, не открывая все action вроде разобрался и допер сам.

Теперь сижу и ломаю голову как открыть страницы , что бы на них начала нормально показываться реклама.

В строке посетители,  поисковики, кроме робота Google вижу робота Google(AdSense) вот тумаю как правильно открыть доступ к заблокированным страницам только для АдСенса, не пустив туда основного Googlя
или прийдется пересматривать политику файла роботс, что касается вот этих внутренних адресов перелиновки. Подозреваю, что такая же ситуация может возникнуть и при установке кодов других рекламных сетей.
Если Вы здесь недавно, не обольщайтесь тоном некоторых дискуссий.
Все чаще слова - юзай поиск, приобретают смысл - иди в ж..........  Приобретение смысла автоматизированно - Ответы на любой вопрос по SMF
Не пишите несколько сообщений подряд - тут вам не Twitter  >:( в остальных ситуациях мы не сильно зверствуем 2funny

Yworld_garry

Makar, если бы внимательнее прочитали тему, то в ней написано об открытии для ботов экшенов нужных вам. И в частности об открытии форума для ботов, если установлен тот или иной портал. Да и в самом файле для примера оставлено и прокомментировано.

html#new
#msg4532 -- это дубли и они закрыты и по дефолту и в варианте с роботс.

Макар

Гарри спасибо. Пойду искать где это написано. Если не найду, то вернусь сюда ;)

p.s. Начну ка я с первой страницы . . . .
Если Вы здесь недавно, не обольщайтесь тоном некоторых дискуссий.
Все чаще слова - юзай поиск, приобретают смысл - иди в ж..........  Приобретение смысла автоматизированно - Ответы на любой вопрос по SMF
Не пишите несколько сообщений подряд - тут вам не Twitter  >:( в остальных ситуациях мы не сильно зверствуем 2funny

Beer

 Давеча наткнулся на то, что в Яндексе попалась моя Принтпейдж, хотя все делаю следя за темой уже который год.
А нафига вообще эти принтпейджи нужны? Может грохнуть их физически ради общего дела?!

Yworld_garry

Проверьте ещё раз правильность, либо эти принты попали раньше в индекс.
Пользуются конечно ими не многие, точнее практически никто.

Beer

Я с форума ссылку на "ПЕЧАТЬ СТРАНИЦЫ", или как там оно, мать его, не вижу уже убрал, но открываться оно будет все равно, если адрес набрать.. - как их правильно вырубить вообще?

Bugo

Цитата: Beer от 03 февраля 2010, 13:58:21
Я с форума ссылку на "ПЕЧАТЬ СТРАНИЦЫ", или как там оно, мать его, не вижу уже убрал, но открываться оно будет все равно, если адрес набрать.. - как их правильно вырубить вообще?
А зачем Вы адрес набираете, если оно Вам не нужно? Не набирайте...

Макар

В панели яши есть страница где можно удалять из индекса не нужные ссылки. Вот и удалите. А где эти принты в основной выдаче? Или в секции ошибок? Если в ошибках, то можно  забить, подождать, яша их сам сотрет. А то пару сотен ссылок муторно руками удалять.
Если Вы здесь недавно, не обольщайтесь тоном некоторых дискуссий.
Все чаще слова - юзай поиск, приобретают смысл - иди в ж..........  Приобретение смысла автоматизированно - Ответы на любой вопрос по SMF
Не пишите несколько сообщений подряд - тут вам не Twitter  >:( в остальных ситуациях мы не сильно зверствуем 2funny

Beer

Зашел к Яндексу:

/forum/index.php?action=dlattach;topic=638.0;attach=5256;image - вложение у меня в индексе.


Страницы с ошибкой (3827)
Документ содержит мета-тег noindex:
Там в шаблоне счетчики и баннер заключены в noindex:


<span class="inv"><noindex></span>
<div align="center">
    <SCRIPT language=JavaScript src=.../banner_js.php?place=1&client=29297 target="_blank" rel="nofollow"></SCRIPT>
</div>
<span class="inv"></noindex></span>


Mavn

Почитайте тему давно все разжевано и средства как все сделать тоже выложены!
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

Beer

#322
У меня прописано:

Disallow: /forum/index.php?action=dlattach #
Disallow: /forum/attachments/

Спс. пойду еще разок перечитаю...


Информация: скорее всего страницы намеренно запрещены к индексированию    
Документ содержит мета-тег noindex   2997

Беру урл, кот. запрещен, на странице проверки роботс проверяю:
Результаты проверки URL   URL   Результат   

http://www.сайт.ru/forum/index.php?topic=10.msg159   разрешен

Как сказал выше - в ноиндексе только счетчик и баннер.

Beer

По предыдущему посту мыслей нет?

Можно добавить этого:

User-agent: MJ12bot
Disallow: /

Он перегрел сервак вчера.

Mavn

а какие мысли должны быть? четко вопрос сформулируйте
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

Beer

Яндекс в панели вебмастера ругается так:
ЦитироватьИнформация: скорее всего страницы намеренно запрещены к индексированию   
Документ содержит мета-тег noindex   2997

В noindex  заключены только счетчики, которые внизу страницы.
Беру урл, кот. "типо запрещен", на странице проверки роботс Яндекса проверяю:

Результаты проверки URL   URL   Результат   
http://www.сайт.ru/forum/index.php?topic=10.msg159   разрешен

Как сказал выше - в ноиндексе только счетчик и баннер.

Mavn

SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

Beer

 Вроде как все стандартно в нем - все то, что навеяно чтением этой темы :):

Mavn

файл robots 01.11.09.rar  скачайте из первого сообщения. Видать файл обновляли, текст первого сообщения нет.
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

Yworld_garry

Посмотрел ваш файлик.
1 Пропусков строк быть не должно. Весь файл идёт без пустых строк.
2 В вашем нет запрета на msg , возьмите из аттача первого поста. Всё будет работать.
3 noindex не имеет отношение к роботс. Смотрите как вставлены теги в коде страниц или что там у вас запрещено. корректность. В начале топика описано как.


PS
Подправил первый пост, теперь там нет старого варианта.



Beer

Спс +1 отцам за заботу, а почему про эти разделы не сказано:

Disallow: /forum/index.php?action=help
Disallow: /forum/index.php?action=register

Какова их важность в индексации?

Mavn

вот вы опять не читаете то о чем написали! в роботс уже есть правило
Disallow: /forum/*action

зачем еще раз дублировать??
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

online-gambler

Отписывался по поводу роботс еще в ноябре 2009 в этом топике, с каждым месяцем вылазиет все больше и больше запрещенных страниц в google. Как закрыть их я понятия не имею. Только у меня подобная проблема?

Yworld_garry

Цитата: online-gambler от 06 марта 2010, 11:16:59
Отписывался по поводу роботс еще в ноябре 2009 в этом топике, с каждым месяцем вылазиет все больше и больше запрещенных страниц в google. Как закрыть их я понятия не имею. Только у меня подобная проблема?
Скиньте урл в личку, вечером посмотрю.
Я не помню что в ноябре было по поводу вашего сайта. Освежим сегодня.


Pika4y

#335
Если у меня форум стоит без подраздела. Удалять в robors "/forum"?
Нужно ли ЧПУ или "дружественная ссылка"?

rapid

Цитата: Enik от 20 марта 2010, 20:44:04
Если у меня форум стоит без подраздела. Удалять в robors "/forum"?
Конечно. В роботс ты указываешь путь относительно корня сайта

Тимур

Прочитал всю тему, спасибо автору за проделанную работу.

Мой роботс:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /home$
Disallow: /*begining$
Disallow: /*layout
Disallow: /forums/
Disallow: /forum/
Allow: /forums-__mama-papa/*sitemap
Allow: /forums-__mama-papa/*rss
Allow: /forums-__mama-papa/*type=rss
Disallow: /forums-__mama-papa/attachments/
Disallow: /forums-__mama-papa/avatars/
Disallow: /forums-__mama-papa/Packages/
Disallow: /forums-__mama-papa/Smileys/
Disallow: /forums-__mama-papa/Sources/
Disallow: /forums-__mama-papa/Themes/
Disallow: /forums-__mama-papa/Games/
Disallow: /forums-__mama-papa/*.msg
Disallow: /forums-__mama-papa/*.new
Disallow: /forums-__mama-papa/*sort
Disallow: /forums-__mama-papa/*topicseen
Disallow: /forums-__mama-papa/*wap
Disallow: /forums-__mama-papa/*imode
Disallow: /forums-__mama-papa/*action
Disallow: /forums-__mama-papa/*prev_next
Disallow: /forums-__mama-papa/*all
Host: __mama-nana.ru

User-agent: Slurp
Crawl-delay: 100

User-agent: Twiceler
Disallow: /

User-Agent: W3C-checklink
Disallow: /

Sitemap: http://__mama-nana.ru/sitemap.xml


Вопросы:
1) правильно ли я сделал? Прошу проверить из-за того, что сам форум у меня в директории /forums, и стоит мост Jfusion (Joomla+SMF), форум прописан по http://__mama-nana.ru/forums-__mama-papa
2) зачем rss открывать доступ? ведь опять же дубль! http://__mama-nana.ru/?format=feed&type=rss
(пока открыл как у вас)
3) Сайтмап пока только joomlaвский. Подойдет ли smf_sitemap_1.2.2.tar.gz для SMF 1.1.11 или надо делать вот это
http://custom.simplemachines.org/mods/index.php?action=parse ?



Yworld_garry

1 У вас стоит какой то мод ЧПУ, поэтому проверьте правильность в панелях ПС, в гугле и яндексе.
2 rss в выдаче не участвуют.
3 карту стоит поставить и для форума, подсунуть обе ПС в панелях.

Тимур

Цитата: Yworld_garry от 22 марта 2010, 19:16:46
1 У вас стоит какой то мод ЧПУ, поэтому проверьте правильность в панелях ПС, в гугле и яндексе.
2 rss в выдаче не участвуют.
3 карту стоит поставить и для форума, подсунуть обе ПС в панелях.
Спасибо за ответы:
1)стандартный ЧПУ Joomla, проверил в Яндексе все ок-
http://__mama-nana.ru/forums/index.php?action=profile;u=36;sa=showPosts   запрещен правилом /forums/   
http://__mama-nana.ru/forums/index.php?action=login   запрещен правилом /forums/   
http://__mama-nana.ru/forums/index.php?action=calendar;year=2011;month=2   запрещен правилом /forums/   
http://__mama-nana.ru/forums/index.php?action=reminder   запрещен правилом /forums/   
http://__mama-nana.ru/forums/index.php?action=register   запрещен правилом /forums/   
http://__mama-nana.ru/forums/index.php?board=12.0   запрещен правилом /forums/   
http://__mama-nana.ru/forums/index.php?action=profile;u=40   запрещен правилом /forums/   
http://__mama-nana.ru/forums/index.php?action=calendar;year=2010;month=9   запрещен правилом /forums/   
http://__mama-nana.ru/forums-__mama-papa/action,calendar/   запрещен правилом /forums-__mama-papa/*action*   
http://__mama-nana.ru/forums-__mama-papa/action,help/page,searching/ запрещен правилом /forums-__mama-papa/*action*   
http://__mama-nana.ru/forums-__mama-papa/topic,8.msg15/   запрещен правилом /forums-__mama-papa/*.msg*   
http://__mama-nana.ru/forums-__mama-papa/board,10.0/   разрешен   
http://__mama-nana.ru/forums-__mama-papa/board,6.0/sort,views/   запрещен правилом /forums-__mama-papa/*sort*   
http://__mama-nana.ru/forums-__mama-papa/action,profile/u,47/sa,statPanel/   запрещен правилом /forums-__mama-papa/*action*.
2) буду знать
3) то что надо поставить я понял, вот только тот мод, который вы рекомендуете на первой странице не подходит для SMF 1.1.11 или я не прав? 2.1.0 IS FOR SMF 2.0 ONLY.  Use 1.2.2 for SMF 1.1.9

netoya

Тимур  да, делайте установку мода для линейки 1.1.Х через парсинг

Тимур

Цитата: netoya от 23 марта 2010, 09:16:57
Тимур  да, делайте установку мода для линейки 1.1.Х через парсинг

Не нашел темы для sitemap поэтому все-таки здесь:
Compatible With:    1.1.11, 2.0 RC3, так где правда?
Можно ли ставить просто или надо в коде лазить?

Bugo

Правда в том, что он ставится и на 1.1.11 и на 2.0 RC3. Что непонятного? :)

BlackS

Приветствую, помогите настроить robots.txt!
Стоит форум SMF 2.0 RC3 и поставил ЧПУ SimpleSEF 1.0.3.
Я вообще запутался.
Вот, что у меня получилось:

User-agent: *
Disallow: /attachments/
Disallow: /avatars/
Disallow: /cache/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*redirect/url,
Host: www.subg.ru
Sitemap: http://subg.ru/sitemap/xml


Помогите пожалуйста настроить.

Тимур

Цитата: Bugo от 23 марта 2010, 18:11:46
Правда в том, что он ставится и на 1.1.11 и на 2.0 RC3. Что непонятного? :)

Непонятно вот что:
Цитата: Тимур от 23 марта 2010, 18:02:27
Можно ли ставить просто или надо в коде лазить?

decebel2

Цитата: BlackS от 24 марта 2010, 12:46:04
Приветствую, помогите настроить robots.txt!
Стоит форум SMF 2.0 RC3 и поставил ЧПУ SimpleSEF 1.0.3.
Я вообще запутался.
Вот, что у меня получилось:

User-agent: *
Disallow: /attachments/
Disallow: /avatars/
Disallow: /cache/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*redirect/url,
Host: www.subg.ru
Sitemap: http://subg.ru/sitemap/xml


Помогите пожалуйста настроить.
А чем вам выложенный на первой странице robots не в пример? Где дирректива allow?

decebel2

Цитата: Тимур от 24 марта 2010, 14:03:10
Непонятно вот что:
Если мод не будет конфликтовать с другими, то можно не лазить. Пробуйте.

BlackS

Цитата: Decebel от 24 марта 2010, 14:23:31
А чем вам выложенный на первой странице robots не в пример? Где дирректива allow?

Просто я сам настраивал как-то у меня страниц из поиска много ушло. Вот и спрашиваю у знающих людей, то есть у вас.

decebel2

#348
Естественно, что страницы отпадут, они ведь закрыты. Это нормально, т.к. роботс для того и существует, чтобы отсеить дубли и страницы, которые не должен индексировать бот. Но при правильном роботс отпадут не нужные, останутся только те, которые релевантны в выдаче (несут пользу)

Вот пример robots.txt на одном из моих форумов:

User-agent: *
Allow: /*sitemap
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /avs/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*go.php
Disallow: /*msg
Disallow: /*showtopic
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Host: www.pctune.ru

User-agent: Slurp
Crawl-delay: 100





Отредактировал, подвинул хост к основному блоку.

lovemuscle

Доброй ночи, господа! У меня такой вопрос: стоит ли исключать из индекса такие файлы в корне, как:
index.php
Settings.php
Settings_bak.php
SSI.php
ssi_examples.php
news_readme.html
readme.html
ssi_examples.shtml
agreement.txt
changelog.txt
license.txt
smffooter.txt
smfheader.txt

Заранее благодарю за ответ
smf 1.1.11. Измененная тема - MegaPolis. Установленные моды: Ad Managements 2.3/Sitemap 1.2.2/Load Standard Language 1.0.2/Google Analytics Code 0.1/Remove MySQL, PHP & W3C images to minimize footer size 1.2