Первая версия robots.txt , для более полной индексации.

Автор Yworld_garry, 04 октября 2008, 23:59:13

« назад - далее »

0 Пользователи и 1 гость просматривают эту тему.

Alanamana

Здравствуйте. Подскажите пожалуйста - я создал определенную группу пользователей, которым виден только им один раздел, всем другим, от гостей и выше, доступ запрещен, нужно ли добавлять этот раздел в robots.txt в Disallow: / , чтобы поисковики обходили стороной или это совсем не обязательно и если нужно, то как правильно добавить, если ссылка раздела такая:
http://сайт.ру/index.php?board=280.0 да и темы там тоже будут их тоже нужно будет запрещать для поисковиков?
Silentium est aurum

Mavn

если роботы у вас не выделены в отдельную группу то ничего делать не нужно
в стандарте роботы=гости=нет доступа к разделу=нет индексации
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

Alanamana

Silentium est aurum

ancifer2002

Подскажите пожалуйста, у меня есть сайт на Вордпресс, буду восстанавливать из бекапа форум SMF. У Основного сайта уже есть свой роботс
ЦитироватьUser-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag
Disallow: /category
Disallow: /author
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=

Host: site.ru
Sitemap: http://site.ru/sitemap.xml
Как мне прилепить сюда ещё и строки из рекомендуемого сайтмапа из 1 сообщения топика?

emel

Всем здрастье!
Подскажите почему мой форум совсем не видит googl, может где ошибка или добавить что то в роботс

GeorG

Верстка тем по шаблону, их доработка/переработка, переделка тем с версии smf 1.1 на smf 2.0. Примеры работ - insidestyle.ru
Установка модов (заточка под ваш форум); Моды под заказ; Обновление форума; Правильный перенос; Удаление/лечение вирусов; Устранения ошибок.
Обращаться в ЛС
Мой форум
Модуль анти-спама CleanTalk, сам пользуюсь
Сервера которыми сам пользуюсь - cadedic.ru

Mavn

emel
вы не могли бы задавать одинаковые вопросы в одной теме а не плодить в разных
а то плюшки раздавать буду
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

boom7


Depressive

User-agent: *
Allow: /forum/*sitemap
Allow: /forum/*rss
Allow: /forum/*type=rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /*PHPSESSID
Disallow: /forum/*go.php
Host: ___mysite.ru
     
User-agent: Slurp
Crawl-delay: 100


Гоша видит нормально, несколько тысяч топиков в топе 10, но вот с яшей голяк... супр показывает что проиндексированные страницы есть, а на деле в выдаче пустота. В чем модет быть дело? подскажите плизд.

GeorG

Так адрес форума тоже нужно писать, как можно проверить роботс, не зная адреса форума?
Верстка тем по шаблону, их доработка/переработка, переделка тем с версии smf 1.1 на smf 2.0. Примеры работ - insidestyle.ru
Установка модов (заточка под ваш форум); Моды под заказ; Обновление форума; Правильный перенос; Удаление/лечение вирусов; Устранения ошибок.
Обращаться в ЛС
Мой форум
Модуль анти-спама CleanTalk, сам пользуюсь
Сервера которыми сам пользуюсь - cadedic.ru

Depressive


GeorG

Убирите в пути /forum
Т.е., например вместо этого:
Disallow: /forum/*wap
Должно быть это:
Disallow: /*wap

И ждите апа...

Читайте первое сообщение в теме, там всё есть.
Верстка тем по шаблону, их доработка/переработка, переделка тем с версии smf 1.1 на smf 2.0. Примеры работ - insidestyle.ru
Установка модов (заточка под ваш форум); Моды под заказ; Обновление форума; Правильный перенос; Удаление/лечение вирусов; Устранения ошибок.
Обращаться в ЛС
Мой форум
Модуль анти-спама CleanTalk, сам пользуюсь
Сервера которыми сам пользуюсь - cadedic.ru

Depressive

Спасибо, надеюсь изменения не пагубно повлияют на индексацию гоши. Буду пробовать!

ВладимирК

Яндекс страницу проиндексировал.  Может чего-то не дописано в robots.txt    У меня такой:

User-agent: *
Allow: /*sitemap
Allow: /*rss
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*go.php
Host: vizart.videokino.org

User-agent: Slurp
Crawl-delay: 100

Сергей Д.

Здравствуйте.
Посмотрите пожалуйста мой файл robots.txt, всё ли верно?

User-agent: Googlebot-Mobile
Allow: /*wap
Allow: /*imode
Disallow: /

User-agent: YandexImageResizer
Allow: /*wap
Allow: /*imode
Disallow: /

User-agent: Mediapartners-Google
Allow: /*

User-Agent: YadirectBot
Allow: /*

User-agent: Twiceler
Disallow: /

User-agent: *
Allow: /$
Allow: /*board
Allow: /*topic
Allow: /*rss
Disallow: /attachments*/
Disallow: /avatars/
Disallow: /avatars_users/
Disallow: /cache/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*action
Disallow: /*topic=*.msg
Disallow: /*topic=*.new
Disallow: /*; 
Disallow: /*ID
Disallow: /
User-agent: Slurp
Crawl-delay: 100
Clean-param: PHPSESSID /index.php
Host: za40.org
Форум za40.org - знакомства и общение тех, кому за 40.  :)
TheHost - надёжный, быстрый и недорогой хостинг с отличной техподдержкой 24/7. Выбор потребителя 2020!  O0  Форум za40.org размещён именно на этом хостинге.

Сергей Д.

Ответьте пожалуйста. Яндекс не проиндексировал ни одной страницы, а Гугл проиндексировал только заголовки разделов.  wallbash Вот у меня и возникли сомнения по поводу robots.txt
Форум za40.org - знакомства и общение тех, кому за 40.  :)
TheHost - надёжный, быстрый и недорогой хостинг с отличной техподдержкой 24/7. Выбор потребителя 2020!  O0  Форум za40.org размещён именно на этом хостинге.

Сергей Д.

#966
Переделал Robots.txt, сейчас это выглядит так
User-agent: Mediapartners-Google
Allow: /*

User-Agent: YadirectBot
Allow: /*

User-agent: *
Allow: /$
Allow: /*.xml
Disallow: /attachments*/
Disallow: /avatars/
Disallow: /avatars_users/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*action
Disallow: /*board=*wap
Disallow: /*board=*imode
Disallow: /*topic=*wap
Disallow: /*topic=*imode
Disallow: /*topic=*.msg
Disallow: /*topic=*.new
Disallow: /*;
Disallow: /*PHPSESSID
Allow: /*board
Allow: /*topic
Disallow: /
Crawl-delay: 100
Clean-param: PHPSESSID /index.php
Host: za40.org


Помогите пожалуйста!
Всё ли правильно?
Форум za40.org - знакомства и общение тех, кому за 40.  :)
TheHost - надёжный, быстрый и недорогой хостинг с отличной техподдержкой 24/7. Выбор потребителя 2020!  O0  Форум za40.org размещён именно на этом хостинге.

Bugo

Используйте инструменты Google и Яндекса для тестирования.

Сергей Д.

Протестировал Яндексом - всё ОК.  :)
RSS новости принято открывать для индексирования?
А также интересует wap версия сайта... её открывать?
Форум za40.org - знакомства и общение тех, кому за 40.  :)
TheHost - надёжный, быстрый и недорогой хостинг с отличной техподдержкой 24/7. Выбор потребителя 2020!  O0  Форум za40.org размещён именно на этом хостинге.

Сергей Д.

Получил сегодня письмо с  HotLinks.ru, следующего содержания:
Ваша ссылка "Общение для сорокалетних." не принята в каталог HotLinks.ru!

В http://za40.org/robots.txt есть правило запрещающее индексировать сайт.


Интересно, что им может не нравится? Гугл сайт индексирует, Яндекс пока ни в какую...
Форум za40.org - знакомства и общение тех, кому за 40.  :)
TheHost - надёжный, быстрый и недорогой хостинг с отличной техподдержкой 24/7. Выбор потребителя 2020!  O0  Форум za40.org размещён именно на этом хостинге.

GeorG

Цитата: ВладимирК от 08 сентября 2013, 17:21:38Яндекс страницу проиндексировал.  Может чего-то не дописано в robots.txt
Ну так проиндексировал же...
Доступность ссылок можно смотреть тут - http://webmaster.yandex.ru/robots.xml (у вас все правильно работает).

Цитата: Sergey_D от 04 октября 2013, 10:49:22Ваша ссылка "Общение для сорокалетних." не принята в каталог HotLinks.ru!
Что за ссылка?
Верстка тем по шаблону, их доработка/переработка, переделка тем с версии smf 1.1 на smf 2.0. Примеры работ - insidestyle.ru
Установка модов (заточка под ваш форум); Моды под заказ; Обновление форума; Правильный перенос; Удаление/лечение вирусов; Устранения ошибок.
Обращаться в ЛС
Мой форум
Модуль анти-спама CleanTalk, сам пользуюсь
Сервера которыми сам пользуюсь - cadedic.ru

Сергей Д.

Цитата: GeorG от 08 октября 2013, 08:27:51Ваша ссылка "Общение для сорокалетних." не принята в каталог HotLinks.ru!

Что за ссылка?
Собирался установить их счетчик, по итогу отклонили заявку по вышеуказанной причине - не понравился robots.txt


Я опять изменил файл, убрал закрывающий Disallow: / (насколько разобрался, эта строчка запрещала "всё остальное"), теперь, по идее, всё идеально.
User-agent: Mediapartners-Google
Allow: /*

User-Agent: YadirectBot
Allow: /*

User-agent: *
Allow: /$
Allow: /*.xml
Disallow: /attachments*/
Disallow: /avatars/
Disallow: /avatars_users/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*action
Disallow: /*board=*wap
Disallow: /*board=*imode
Disallow: /*topic=*wap
Disallow: /*wap2
Disallow: /*topic=*imode
Disallow: /*topic=*.msg
Disallow: /*topic=*.new
Disallow: /*;
Disallow: /*PHPSESSID
Allow: /*board
Allow: /*topic
Clean-param: PHPSESSID /index.php
Host: za40.org


Форум za40.org - знакомства и общение тех, кому за 40.  :)
TheHost - надёжный, быстрый и недорогой хостинг с отличной техподдержкой 24/7. Выбор потребителя 2020!  O0  Форум za40.org размещён именно на этом хостинге.

GeorG

Они вам указали url ссылки? Я его от вас добиваюсь, я не могу гадать почему ссылка запрещена, если её даже не видел, я не экстрасенс.

Цитата: Sergey_D от 08 октября 2013, 12:04:53теперь, по идее, всё идеально.
Т.е.. значит примут выходит...
Верстка тем по шаблону, их доработка/переработка, переделка тем с версии smf 1.1 на smf 2.0. Примеры работ - insidestyle.ru
Установка модов (заточка под ваш форум); Моды под заказ; Обновление форума; Правильный перенос; Удаление/лечение вирусов; Устранения ошибок.
Обращаться в ЛС
Мой форум
Модуль анти-спама CleanTalk, сам пользуюсь
Сервера которыми сам пользуюсь - cadedic.ru

Сергей Д.

url ссылки не указали, насколько понимаю - они ссылку на мой форум просто удалили - я решил не ставить их счетчик. Когда писал, что "всё идеально", имел ввиду "идеально для поисковиков". Больше двух недель Яндекс не индексирует форум.

Подскажите пожалуйста: rss и wap принято закрывать в  robots.txt (чтобы не дублировался текст форума)?
Форум za40.org - знакомства и общение тех, кому за 40.  :)
TheHost - надёжный, быстрый и недорогой хостинг с отличной техподдержкой 24/7. Выбор потребителя 2020!  O0  Форум za40.org размещён именно на этом хостинге.

GeorG

В rss дубликатов нет, там ссылки повторяются, а вот wap закройте.
Верстка тем по шаблону, их доработка/переработка, переделка тем с версии smf 1.1 на smf 2.0. Примеры работ - insidestyle.ru
Установка модов (заточка под ваш форум); Моды под заказ; Обновление форума; Правильный перенос; Удаление/лечение вирусов; Устранения ошибок.
Обращаться в ЛС
Мой форум
Модуль анти-спама CleanTalk, сам пользуюсь
Сервера которыми сам пользуюсь - cadedic.ru

Сергей Д.

#975
Я когда обозначаю Allow: /*rss, всё равно Яндекс rss ленту не видит... Пишет, что из за строчки Disallow: /*action - выходит, что одно другое исключает?

Вот пример:
http://www.za40.org/index.php?action=.xml;type=rss   запрещен правилом /*action*
Форум za40.org - знакомства и общение тех, кому за 40.  :)
TheHost - надёжный, быстрый и недорогой хостинг с отличной техподдержкой 24/7. Выбор потребителя 2020!  O0  Форум za40.org размещён именно на этом хостинге.

Сергей Д.

#976
Никак не разберусь с индексированием в Яндексе. "Документ запрещен в файле robots.txt", в Яндексе (99 страниц) и только Главная проиндексирована - это нормально? Причём, если перейти Вебмастер/настройки/исключённые страницы - то выдаёт ошибки индексирования, но без ссылок на сами страницы.
Форум za40.org - знакомства и общение тех, кому за 40.  :)
TheHost - надёжный, быстрый и недорогой хостинг с отличной техподдержкой 24/7. Выбор потребителя 2020!  O0  Форум za40.org размещён именно на этом хостинге.

Жека

После установки плагина Yandex.Speller папку /speller/ надо исключать с помощью robots.txt?

Посмотрел по логам, гуглбот туда зачем-то лезет.

Yworld_garry

Цитата: SergeyDY от 13 октября 2013, 03:40:04"Документ запрещен в файле robots.txt"
Проверил основное , все разрешено для яндекса. Другой вопрос что такое и в таком виде ему будет нелегко скормить. Форум обо всем не котируется.


Цитата: Жека от 14 октября 2013, 10:43:19После установки плагина Yandex.Speller папку /speller/ надо исключать с помощью robots.txt?

Закройте, хуже не будет.

Жека


sanatgen

Здравствуйте! Подскажите пожалуйста, у меня форум установлен в папке блога.
Нужен ли в этом случае Robots.txt или можно просто открыть для индексации в файле блога папку с форумом?

GeorG

В папке форума не нужен, для настроек robots.txt используется, главная директория домена (и для дочерних папок тоже).
Верстка тем по шаблону, их доработка/переработка, переделка тем с версии smf 1.1 на smf 2.0. Примеры работ - insidestyle.ru
Установка модов (заточка под ваш форум); Моды под заказ; Обновление форума; Правильный перенос; Удаление/лечение вирусов; Устранения ошибок.
Обращаться в ЛС
Мой форум
Модуль анти-спама CleanTalk, сам пользуюсь
Сервера которыми сам пользуюсь - cadedic.ru

Serifa

После нескольких лет проб и ошибок поняла, что нафиг мне сдалась эта индексация с ботами и ссылками вместе. От посторонних присутствующих на форуме одни проблемы. Конечно, можно вообще закрыть форум и никого не пускать, но у нас такая специфика, что приходят люди по ссылкам, оставленных на тематических каталогах и в соцсетях, т.е., как правило, гости. Так что совсем закрывать не буду, а вот отгонять всех лишних - надо.

Как правильно сделать? Мне требуется вот это:
nofollow
noarchive
да и , наверное, noindex тоже

Просто мы сейчас готовим новую игру, и придти должны строго приглашенные лица и еще гости по ссылкам, специально оставленным в нужных местах. Чтобы нашу кулуарность никто не разрушал, так сказать.
«- Помощник капитана Бакстер, - заявил Лумис, - безбожно врет. Все отнюдь не под контролем, вернее, не под его контролем. Корабль захвачен представителями небелковой формы разумной жизни, которые маскируются под обслуживающих роботов, а некоторые даже не делают и этого...»
«То, что у тебя есть, лечится антибиотиками» (nowhere man, 1995)
В телеге срочно нужны читатели!

Yworld_garry

Цитата: Serifa от 18 ноября 2013, 19:27:16нафиг мне сдалась эта индексация с ботами и ссылками вместе

User-agent: *
Disallow: /

Serifa

Что-то я ступила :) Всё проще, чем казалось, оказывается :)
«- Помощник капитана Бакстер, - заявил Лумис, - безбожно врет. Все отнюдь не под контролем, вернее, не под его контролем. Корабль захвачен представителями небелковой формы разумной жизни, которые маскируются под обслуживающих роботов, а некоторые даже не делают и этого...»
«То, что у тебя есть, лечится антибиотиками» (nowhere man, 1995)
В телеге срочно нужны читатели!

Istoric

Подскажите если я в роботсе хочу закрыть конкретную страницу, то я правильно понял что надо вставить в него вот такую строку с адресом страницы? -

Disallow: /index.php?page=page375

Yworld_garry

Цитата: Istoric от 21 ноября 2013, 00:19:28я правильно понял что надо вставить в него вот такую строку с адресом страницы? -

Да.

Serifa

Нет, не всё ещё... В файле Themes\index.template.php что прописать надо? Я вот такое изобразила

  // Please don't index these Mr Robot.
   if (!empty($context['robot_no_index']))
      echo '
   <meta name="robots" content="noarchive, nofollow" />';


а через запятую noindex можно добавить?
«- Помощник капитана Бакстер, - заявил Лумис, - безбожно врет. Все отнюдь не под контролем, вернее, не под его контролем. Корабль захвачен представителями небелковой формы разумной жизни, которые маскируются под обслуживающих роботов, а некоторые даже не делают и этого...»
«То, что у тебя есть, лечится антибиотиками» (nowhere man, 1995)
В телеге срочно нужны читатели!

Yworld_garry

noindex хватит, но смысл если сайт уже закрыт для индекса.
при желании можно кучу всего нагородить еще))

Сергей Д.

Цитата: Sergey40 от 13 октября 2013, 03:40:04
Никак не разберусь с индексированием в Яндексе. "Документ запрещен в файле robots.txt", в Яндексе (99 страниц) и только Главная проиндексирована - это нормально? Причём, если перейти Вебмастер/настройки/исключённые страницы - то выдаёт ошибки индексирования, но без ссылок на сами страницы.
C Яндексом на сегодняшний день всё ок. Худо-бедно есть переходы.
yahoo.com как-то странно проиндексировал... Вместо описания к страницам пишется "We would like to show you a description here but the site won't allow us." Никто не сталкивался? Похоже, что что-то не нравится в robots.txt.
И Гугл, хоть проиндексировал, но переходов практически нету. Я слышал, что с Гуглом сейчас у многих проблемы? В том смысле, что страницы есть в индексе, а переходов минимум.
Форум za40.org - знакомства и общение тех, кому за 40.  :)
TheHost - надёжный, быстрый и недорогой хостинг с отличной техподдержкой 24/7. Выбор потребителя 2020!  O0  Форум za40.org размещён именно на этом хостинге.

Yworld_garry

Яху вход не запрещен в файле))  Да и это в нашем сегменте не самый необходимый поисковик. Как байду и иже с ним))
С гуглом как с любым другим поисковиком надо "дружить", а то что переходов мало это НЕ У МНОГИХ, проверяйте анализируйте выдачу. Смотрите сколько страниц участвует в ОСНОВНОЙ выдаче и тд.

Сергей Д.

Странно, думал что у всех.
А что насчёт Яху скажете?

Примерно так все страницы:
za40.org
za40.org/index.php?topic=5.0
We would like to show you a description here but the site won't allow us.

:(
Форум za40.org - знакомства и общение тех, кому за 40.  :)
TheHost - надёжный, быстрый и недорогой хостинг с отличной техподдержкой 24/7. Выбор потребителя 2020!  O0  Форум za40.org размещён именно на этом хостинге.

Yworld_garry

Цитата: Sergey40 от 02 декабря 2013, 19:29:59А что насчёт Яху скажете?
Возможно он не понимает директивы некоторые или их порядок в вашем роботс, поставьте более простой и понятный из этой темы и настройте под себя. Минут на 10 работы.

Сергей Д.

#993
В этой теме несколько вариантов роботс, какой именно вы имели ввиду? Из первого поста?
Я свой вариант роботс брал из Optimus Brave. 


Я только заметил: Bing тоже неверно проиндексировал мой форум. Ту же надпись выводит.  :(
Форум za40.org - знакомства и общение тех, кому за 40.  :)
TheHost - надёжный, быстрый и недорогой хостинг с отличной техподдержкой 24/7. Выбор потребителя 2020!  O0  Форум za40.org размещён именно на этом хостинге.

Yworld_garry

Возьмите из первого поста и настройте под себя, там все расписано.

Сергей Д.

Ок, спасибо, посмотрим что из этого выйдет.  :)
Форум za40.org - знакомства и общение тех, кому за 40.  :)
TheHost - надёжный, быстрый и недорогой хостинг с отличной техподдержкой 24/7. Выбор потребителя 2020!  O0  Форум za40.org размещён именно на этом хостинге.

Сергей Д.

Цитата: Yworld_garry от 02 декабря 2013, 19:27:47
С гуглом как с любым другим поисковиком надо "дружить", а то что переходов мало это НЕ У МНОГИХ, проверяйте анализируйте выдачу. Смотрите сколько страниц участвует в ОСНОВНОЙ выдаче и тд.
Yworld_garry, как вы считаете, прописывать ли в роботсе "User-agent: Mediapartners-Google Allow: /*"?
И ещё один вопрос: интересует ваше мнение - установка кода Google Analytics может повлиять на основную выдачу?
Форум za40.org - знакомства и общение тех, кому за 40.  :)
TheHost - надёжный, быстрый и недорогой хостинг с отличной техподдержкой 24/7. Выбор потребителя 2020!  O0  Форум za40.org размещён именно на этом хостинге.

Yworld_garry

Сорри, не было меня в сети толком...
Так достаточно
User-agent: Mediapartners-Google
Allow: /

Google Analytics не повлияет на выдачу.

Сергей Д.

Спасибо за ответы. После изменения robots.txt, yahoo начал нормально индексировать форум. Bing тоже.  O0
Форум za40.org - знакомства и общение тех, кому за 40.  :)
TheHost - надёжный, быстрый и недорогой хостинг с отличной техподдержкой 24/7. Выбор потребителя 2020!  O0  Форум za40.org размещён именно на этом хостинге.

Istoric

Народ подскажите пожалуйста, гугл выдал в вебмаетере

"Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt."

Посмотрел что он видит заблокированными, это нормальные темы которые я точно не закрывал... Да и вообще робота не трогал (( Посмотрите где у меня ошибка пожалуйста и что поменять? Вот мой робот -

User-agent: *
Allow: /*action=forum
Allow: /*sitemap
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /avs/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*msg
Disallow: /*profile
Disallow: /*help
Disallow: /*search
Disallow: /*searchg
Disallow: /*mlist
Disallow: /*sort
Disallow: /*recent
Disallow: /*register
Disallow: /*groups
Disallow: /*calendar
Disallow: /*unread
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*go.php
Disallow: /*showtopic
Disallow: /*prev_next
Disallow: /*all
Disallow: /index.php$
Disallow: /*PHPSESSID
Host: адрес сайта

Sitemap: адрес сайта/index.php?action=sitemap;xml

User-agent: Googlebot-Mobile
Allow: /*wap
Allow: /*imode
Disallow: /

User-agent: YandexImageResizer
Allow: /*wap
Allow: /*imode
Disallow: /

User-agent: Mediapartners-Google
Allow: /*action
Allow: /*.new
Allow: /*.msg
Allow: /*.topicseen

User-agent: Twiceler
Disallow: /

User-agent: Baiduspider
Disallow: /

User-agent: W3C-checklink
Disallow: /

User-agent: slurp
Crawl-delay: 120

User-agent: msnbot
Crawl-delay: 120