Первая версия robots.txt , для более полной индексации.

Yworld_garry · 10 февраля 2009, 02:11:44

私の作品では幸運を願う (Желаю удачи Вам в трудах)

будет возможность отпишитесь о результатах.

shturmans · 10 февраля 2009, 14:45:23

Yworld_garry, путь воина света нетороплив, при первых проблесках дам знать

а пока в поисках третьего глаза пришла в голову такая вот конструкция:

ЦитироватьUser-agent: *
Disallow: /forum/index.php?*.msg
Disallow: /forum/index.php?*.new
Allow: /forum/index.php?topic=*.*0$
Allow: /forum/index.php?board=*.*0$
Disallow: /forum/

(поставил в настройке форума по 10 месаг на лист, потому все кратно 10)

поигравшись в панели вебмастера явных боков не нашел. что скажет уважаемый пипл на это направление ?

Yworld_garry · 10 февраля 2009, 20:09:47

shturmans Так как вы закрыли от ботов весь форум

Всё что не напишите в файле будет ок.

Проверьте такие вот урлы по вашему роботс:
/forum/index.php
/forum/

Тот роботс, что лежит во вложении в первом посте. Достаточно минимален и оттестирован. Просто не вижу рационального решения по его дальнейшему изменению и тем более уменьшению. Файл не должен быть большой, боты к этому плохо относятся, да и он имеет свои ограничения по числу строк.
Но и лишний минимализм то же будет не правильно понят.
Этот файл представляет рекомендации ботам. По этому стоит делать их более понятным и простым языком.

При разработке собственного решения, обязательно тестируйте по всем урлам. Не нарушайте синтаксис. Не увлекайтесь сложными правилами. Идти лучше от простого. Использование разрешений по расширению файла при экспериментах не оправдало себя. По этому стоит видимо остановиться на более простых вариантах.

shturmans · 11 февраля 2009, 01:12:11

Ваш конфиг реально хорош, но
конструкции вида
/forum/index.php?topic=102.0;prev_next=prev

он не банит - или и не должен ?

имея сайт в корне и форум в каталоге, вот такой вот робот на данный момент образовался

ЦитироватьAllow: /forum/index.php$
Disallow: /forum/index.php?*.msg
Disallow: /forum/index.php?*.new
Allow: /forum/index.php?topic=*.*0$
Allow: /forum/index.php?board=*.*0$
Disallow: /forum/

Allow: /*.htm
Disallow: /*.*

хтм и хтмл, теги-рубрики из цмс, топики и борды в выдачу, остальное под нож (пхп, тхт, свф и т.д.)

Yworld_garry · 11 февраля 2009, 01:31:00

index.php?topic=102.0;prev_next=prev не включал в файл и описал из за чего, где-то по топику. Но если есть желание уберите из выдачи.

Ещё раз по вашему файлу. Проверьте в панели вот это. Оно просто закрыто. Так что ботам ваш форум останется не известным.
/forum/index.php
/forum/

Пробелов не должно быть, иначе это уже новая секция.
Disallow: /forum/

Allow: /*.htm
Disallow: /*.*

shturmans · 11 февраля 2009, 01:52:54

на серию тестов яша отписался нижеследующим:
URL      Pезультат
/forum/index.php?topic=102.msg118      запрещен правилом /forum/index.php?*.msg*
/forum/index.php?type=rss;action=.xml      запрещен правилом /forum/
/forum/index.php?topic=72.0;prev_next=next    запрещен правилом /forum/
/forum/index.php?board=8.0      разрешен правилом /forum/index.php?board=*.*0$
/forum/index.php      разрешен правилом /forum/index.php$
/forum/index.php?action=printpage;topic=10.0    запрещен правилом /forum/
/forum/index.php?topic=7.0      разрешен правилом /forum/index.php?topic=*.*0$
/link.htm      разрешен правилом /*.htm*
/site/tag/link      разрешен
/spravka.doc      запрещен правилом /*.*
/forum/attachments/      запрещен правилом /forum/

Yworld_garry · 11 февраля 2009, 02:15:48

Как будут результаты в выдаче, дайте взглянуть. Не посмотрел что во втором посте вы добавили Allow: /forum/index.php$ ( описывайте изменения в версиях)
Но всё же папка закрыта /forum/(это ни есть гут). Не все боты видят и тем более прислушиваются к роботс одинаково. Это всего лишь рекомендации для них.

Буду ждать урл в личку на выдачу.

shturmans · 11 февраля 2009, 02:35:03

сегодняшняя выдача яндекса очень четко отработала, не показав лишь непроиндексированные страницы.

А вот гугла совершенно непоказательна тем, что тянутся сопли, которые давно закрыты роботсом, и ручками указано их удалить, но они все равно лежат в кеше (кеш или обновляется со временем на новое, или удаляется через 3 месяца, недоступное по коду 404 или запрету роботсом). что с одной стороны понятно - если у тебя упал сервак или задумал редизайн, чтобы было время на подсуетить файлы и не выпасть из выдачи....но все ж не 3 месяца.

shturmans · 14 февраля 2009, 02:31:52

полет нормальный с последним конфигом, но с какогото бодуна гугла в панели анализа робота выдала что ей плохо от того что нет доступа к /forum/ , хотя ко всему что надо для счастья - доступ есть.
пришлось ублажить следующим видом

ЦитироватьAllow: /forum/index.php$
Disallow: /forum/index.php?*.msg
Disallow: /forum/index.php?*.new
Disallow: /forum/*=*= (а это реверанс яндексу, раз он так тревожится насчет точки с запятой)
Allow: /forum/*topic=
Allow: /forum/*board=
Allow: /*.htm
Disallow: /*.*
Disallow: /forum/*/

PS вот такая заморочка
Disallow: /forum/*/
может пойти в ваш конфиг на замену
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/

Yworld_garry · 14 февраля 2009, 02:37:43

shturmans, а я писал вам выше что нужно открыть директорию /forum/

Всё урлы и каталоги нужно проверять очень тщательно.

shturmans · 14 февраля 2009, 12:34:36

ПС как комиссар Коломбо- вроде уже все нормально и всем довольны, и вроде уходят, но потом в последний момент "Ах да, я тут коечто уточнить хотел" и снова на чтото ругаются

Galina_ · 22 февраля 2009, 21:08:11

Подскажите,ошибок в разделе ни стало, а Документ запрещен в файле robots.txt более 340,это нормально,так и должно быть.

Yworld_garry · 23 февраля 2009, 19:54:11

Galina_, всё так и должно быть.

PS

Сейчас тестирую новую директиву гугла rel="canonical". Очень важный шаг ПС. В скором времени выложу результаты. если кто уже наткнулся на мод связанный с этим тегом, возможно есть смысл подождать немного. К тому же там небольшая ошибка с местом вставки (если не пофиксили).

shturmans · 23 февраля 2009, 20:21:01

также интересно влияние archive/noarchive на индексацию

Yworld_garry · 23 февраля 2009, 20:38:52

Цитата: shturmans от 23 февраля 2009, 20:21:01
также интересно влияние archive/noarchive на индексацию

В кратце, этот тег запрещает гуглу кешировать страницу. То есть он её не сохранит в своем кеше. С одной стороны возможно это и удобно. Но с другой стороны слишком много версий и предположений связанных с его использованием. Большая часть уверена, что санкций гугла не избежать, клоакинг и тд.
Хотя сам же гугл его и представил. Если есть желание то можете вставить. Но прочитайте как можно больше инфы по нему. И тогда примите решение.
<META NAME="ROBOTS" CONTENT="NOARCHIVE">
или
<META NAME="GOOGLEBOT" CONTENT="NOARCHIVE">

Galina_ · 26 февраля 2009, 10:16:32

Еще вопрос. Число страниц запрещённых роботом увеличилось, и это в основном все темы, как можно разрешить просматривать темы.(если нажать на ссылку, которую выдает яндекс), что запрещена роботом, то попадаем прям в тему, а не в название ее. Как это можно расрешить или тк и надо скрывать посты?

Yworld_garry · 26 февраля 2009, 18:44:17

Galina_, я примерно понял что вас тревожит и думаю это именно дубли. Но всё же как я доберусь до дома и буду в асе, стукните. Посмотрю и всё будет ясно.

xxxALEXxxx · 27 февраля 2009, 02:32:08

Уж не обезсудьте, у меня вот такой вопрос,точнее пара вопросов:
1) вы говорите устанавливать фаил robots надо в корневую папку форума,это папака в которой лежат все файлы форума на сервере или это папка моей темы форума( у меня тема davinci)?
и
2)я установил два предложенных в этой теме мода smf_sitemap_1.2.2.tar и AdvanceSEFurlsv1.2.5
Но в настройках форума и в настройках этих модов ничего не появилось,появились новые квадратики для галочек,но что они обозначают не понятно. Скажите есть смысл поставить во всех вновь появившихся квадратиках-галочки.Скрин квадратиков прилагаю.
Может так получилось потому что у меня тема не стандартная, Davinci?

Drakonsa · 27 февраля 2009, 02:48:12

Цитата: xxxALEXxxx от 27 февраля 2009, 02:32:08
Уж не обезсудьте, у меня вот такой вопрос,точнее пара вопросов:
1) вы говорите устанавливать фаил robots надо в корневую папку форума,это папака в которой лежат все файлы форума на сервере или это папка моей темы форума( у меня тема davinci)?
и
2)я установил два предложенных в этой теме мода smf_sitemap_1.2.2.tar и AdvanceSEFurlsv1.2.5
Но в настройках форума и в настройках этих модов ничего не появилось,появились новые квадратики для галочек,но что они обозначают не понятно. Скажите есть смысл поставить во всех вновь появившихся квадратиках-галочки.Скрин квадратиков прилагаю.
Может так получилось потому что у меня тема не стандартная, Davinci?

1) папка в которой лежат все файлы форума
2) Посттавьте руссификацию данных модов или переключитесь на Английский язык..

xxxALEXxxx · 27 февраля 2009, 02:53:35

Вот скрин моих галочек:

img243/6442/123j.jpg]http://img243.[censored]img243/6442/123j.jpg
я поставил все галочки, а теперь не могу их удалить так как после удаления,нажимаю кнопку сохранить и меня перекидывает на форум,ничего не сохраняя при этом. И вообще в админке теперь уж не знаю после установки этих модов или после установки этих галочек,многое не открывается, а тупо перебрасывает на форум.
Что это может быть???И как с этим бороться?
И где взять русификатор для этих модов?

xxxALEXxxx · 27 февраля 2009, 10:44:20

Блин,друзья помогите. Что-то у меня с форумом произошло после установки этих галочек(видимо) и теперь у меня не только половина функций в админке не работает, но и нельзя написать сообщение на форуме,нажимаю создать новую тему, а меня тут же перекидывает на главную страницу форума, тоже самое происходит если нажать "ответить"-открывается главная страница форума. Как это убрать???

Я кстати говоря перед установкой модов, сделал бекап форума в админке и мне на комп скачался архив в котором один единственный текстовый фаил-это и есть бекап моего форума? И как его использовать, чтоб востановить форум? Куда этот фаил вставить, чтоб форум вернулся в прежнее состояние???

netoya · 27 февраля 2009, 11:10:55

Цитировать
Уж не обезсудьте, у меня вот такой вопрос,точнее пара вопросов:
1) вы говорите устанавливать фаил robots надо в корневую папку форума,это папака в которой лежат все файлы форума на сервере или это папка моей темы форума( у меня тема davinci)?

robots.txt надо помещать в корневую папку сайта, чтобы был доступ к нему ццц.сайт.ру/robots.txt, а не в папку forum или иную если у вас форум не в корне.

Цитировать2)я установил два предложенных в этой теме мода smf_sitemap_1.2.2.tar и AdvanceSEFurlsv1.2.5
Но в настройках форума и в настройках этих модов ничего не появилось,появились новые квадратики для галочек,но что они обозначают не понятно. Скажите есть смысл поставить во всех вновь появившихся квадратиках-галочки.Скрин квадратиков прилагаю.
Может так получилось потому что у меня тема не стандартная, Davinci?

В данном топике идет обсуждение файла роботс.
И чтобы получить ответ на Ваш вопрос лучше создать тему по этим модификациям в разделе Обсуждение модификаций, там Вы скорее получите ответ.
Из скриншота ясно видно, что не стоит руссификации на моды. А если еще и такие проблемы как редирект на главную, то деинсталируйте моды и затем проводите их корректную установку, поглядите в пакете модификаций какие файлы темы они изменяют и проводите их ручное изменение.

xxxALEXxxx · 27 февраля 2009, 11:24:04

Мда если б я ещё мог их удалить,сразу перекидывает на главную страницу. Ок, я сейчас переберусь в другую тему, скажите ещё пожалуйста - можно ли как-то убрать по другому этот редирект на главную страницу?

Yworld_garry · 29 марта 2009, 16:45:12

Не хотел уже постить в этой теме, так как всё вроде уже обсудили и все ответы в ней есть.
Но из за одного частого вопроса в асе дам на него ответ тут.
Вопрос:
Какие моды затрагивает robots.txt ?
Ответ:
Ни какие моды, хаки и тд не затрагивает. ( по моему уже в теме отвечал на него не раз, но вот видимо не все видят)

Файл перезалил, добавлена строка Allow: /forum/*rss. Во время теста её не добавлял. Собственно на выдачу не влияет. Но добавьте её к роботс.

trehol · 01 апреля 2009, 09:49:53

Подскажите , а как разрешить индексировать атачи? Файл в шапке запрещает.

BIOHAZARD · 01 апреля 2009, 16:15:30

а зачем? там же текста нет

Yworld_garry · 01 апреля 2009, 19:11:43

trehol, Просто ради интереса, за чем это вам?
Разрешить можно всё что угодно по аналогии из готового роботс.
Смотрим какой экшен нужно разрешить(копируем из ссылки) и дописываем по примеру.
Allow: /forum/*rss (название action)

trehol · 04 апреля 2009, 20:33:16

Цитата: Yworld_garry от 01 апреля 2009, 19:11:43
trehol, Просто ради интереса, за чем это вам?
Разрешить можно всё что угодно по аналогии из готового роботс.
Смотрим какой экшен нужно разрешить(копируем из ссылки) и дописываем по примеру.
Allow: /forum/*rss (название action)

На моем форуме к постам прикрепляют достаточно редкие прошивки для спутниковых ресиверов. Знающий человек ищет прошивку по иденту , который как правило есть в имени файла.

trehol · 04 апреля 2009, 20:45:47

Цитата: Yworld_garry от 01 апреля 2009, 19:11:43
...Allow: /forum/*rss (название action)

Спасибо , то что надо.

trehol · 05 апреля 2009, 09:07:00

Напрел еще вопрос: стоит ли запрещать индексацию ссылок на другие ресурсы? Если стоит то как?

BIOHAZARD · 05 апреля 2009, 10:03:26

стоит, как читаем здесь: http://www.simplemachines.ru/index.php/topic,3991.0.html

sven · 17 апреля 2009, 07:50:34

Цитата: Yworld_garry от 04 октября 2008, 23:59:13
Подготавливаем форум к его использованию.
В файле Themes\index.template.php

У нас форум SMF 2.0 RC1 и такого файла нет (Themes\index.template.php).
Он есть в Themes\НАИМЕНОВАНИЕ ТЕМЫ\index.template.php и такой файл имеется в каждой отдельной теме (3 темы по дефолту + 1 тему мы установили)
Подскажите: Нужно ли редактировать данный файл (index.template.php) во всех темах или только в той которую используешь?

sven · 17 апреля 2009, 08:59:32

Цитата: Yworld_garry от 05 октября 2008, 12:54:31

Sources/Printpage.php
Код Выделить Развернуть
fatal_lang_error(472, false);

Вставляем ниже
Код Выделить Развернуть
$context['robot_no_index'] = true;

Форум SMF 2.0 RC1. Такой строки нет (есть fatal_lang_error('not_a_topic', false); и есть fatal_lang_error('no_board'); Вопрос как запретить роботам индексить версию для печати в форуме RC1 ?

sven · 17 апреля 2009, 10:13:14

Цитата: Yworld_garry от 05 октября 2008, 12:54:31

Ищем в Printpage.template.php
Код Выделить Развернуть
<head>

И ниже добавляем всё, что душе угодно, например
Код Выделить Развернуть
<a href="http://www.мой сайт.ru/">На форум</a>

Сделал аналогично но текст ссылки отображается квадратиками.

Подскажите, может где то здесь:

Код Выделить

echo '<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml"', $context['right_to_left'] ? ' dir="rtl"' : '', '>

нужно вставить что то типа:

Код Выделить

xml:lang="ru" lang="ru"

форум SMF 2.0 RC1 Спасибо!

Yworld_garry · 17 апреля 2009, 19:51:00

sven,
1 Во всех темах
2 Если ставите роботс, то там запрещён принт и можете не менять в файле.
3 В поиск по форуму, вариантов и решение описано море. Тут только роботс.

sven · 18 апреля 2009, 09:36:10

Спасибо!

tipitopo · 25 апреля 2009, 10:46:51

Использую последний robots.txt из первого поста; в индекс Яндекса влетела куча страниц непрочитанных тем с титлом "Войти" с адресами типа http://___mysite.ru/index.php?action=unread;board=#.0 .

Подскажите, пожалуйста, как можно их запретить? Я так понимаю, что если добавить

Disallow: /*unread

это не поможет, потому что есть

Allow: /*board=

правильно?

BIOHAZARD · 25 апреля 2009, 16:54:46

у яндуха есть утилита для проверки правил роботс.тхт
не гадай – проверь!

Yworld_garry · 25 апреля 2009, 23:04:35

BIOHAZARD, спасибо. К сожалению мне так и не удалось за весь топик объяснить несколько моментов работы самого файла и с ним. Многие упорно не хотят заметить основные моменты. Пытался я обратить на них внимание, видимо не вышло.
По сему объявляю маленький конкурс.
Тот кто сможет написать внятные правила исключающие кучу вопросов в асю ко мне типо " Какие моды затрагиваются", "Где должен лежать файл", "Как изменить под свои нужды разрешения/запреты", "Где/как проверять роботс" и может ещё что-то.
Получит в качестве благодарности прогон вашего проекта, либо вашей услуги по 6000 досок объявлений. Прогон по подходящим вам разделам. Для чего и чем полезен прогон думаю знаете.

PS
Уезжаю на рыбалку через несколько часов, но тему буду отслеживать. По приезду если будет уже описание свяжусь с автором для получения инфы для прогона.
Если не будет, то буду дальше в асе так же отвечать

tipitopo · 26 апреля 2009, 09:48:04

Цитата: BIOHAZARD от 25 апреля 2009, 16:54:46
у яндуха есть утилита для проверки правил роботс.тхт
не гадай – проверь!

Да, так и есть -"разрешен правилом /*board=*". А вот все-таки, как запретить?

Yworld_garry, было бы здорово, если бы появился такой мануал именно применительно к SMF!

BIOHAZARD · 26 апреля 2009, 10:45:38

Используй более конкретные правила

Код Выделить


User-Agent: *
Disallow: /index.php?action=unread;board
Allow: /index.php?board=

Кроме того

Цитировать
Совместное использование директив.

Если для данной страницы сайта подходит несколько директив, то выбирается первая в порядке появления в выбранном User-agent блоке. Примеры, если:
User-agent: Yandex
Allow: /cgi-bin
Disallow: /
# запрещает скачивать все, кроме страниц начинающихся с '/cgi-bin'

Это только для яндуха, гоша действует несколько иначе – он выбирает из двух директив более конкретную и руководствуется именно ею.

В любом случае, код в начале сообщения работать будет везде.

tipitopo · 26 апреля 2009, 15:11:02

BIOHAZARD, большое спасибо, всё работает

Кроме того, сегодня практически все эти страницы сами пропали из панели Яндекса.

BIOHAZARD · 26 апреля 2009, 15:41:27

Цитата: Yworld_garry от 25 апреля 2009, 23:04:35
BIOHAZARD, спасибо. К сожалению мне так и не удалось за весь топик объяснить несколько моментов работы самого файла и с ним. Многие упорно не хотят заметить основные моменты. Пытался я обратить на них внимание, видимо не вышло.
По сему объявляю маленький конкурс.
Тот кто сможет написать внятные правила исключающие кучу вопросов в асю ко мне типо " Какие моды затрагиваются", "Где должен лежать файл", "Как изменить под свои нужды разрешения/запреты", "Где/как проверять роботс"
Получит в качестве благодарности

Попробовать, чтоль...
Во всяком случае начну, народ дополнит.

afitoid · 20 июня 2009, 01:12:38

А что, означают звездочки *?
Вот примеры
Allow: /__forum/*sitemap
Allow: /forum/index.php?action=sitemap;*
Disallow: /forum/index.php?*;*
Disallow: /forum/index.php?*.msg
Disallow: /forum/index.php/*.msg
Disallow: /forum/index.php?*.new
Disallow: /forum/index.php/*.new

Drakonsa · 20 июня 2009, 01:15:16

Цитата: afitoid от 20 июня 2009, 01:12:38
А что, означают звездочки *?

Условие any(любое)

afitoid · 20 июня 2009, 01:20:17

Мой robots.txt - составленный благодаря создателю темы и который я пытался понять несколько дней, но так и не все понял, поэтому вот что у меня получилось: я впринцыпе хочу чтобы индексировались темы, вопросы, разделы форума, а больше мне ничего не надо, посмотрите и скажите что можно убрать, да и ответить что за звездочки, так их и оставить?

Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Allow: /forum/index.php?action=sitemap;xml
Allow: /forum/index.php?action=sitemap;*
Allow: /forum/*gallery
Disallow: /forum/*topic=*.msg
Disallow: /forum/*modifykarma
Disallow: /forum/*unread
Disallow: /forum/index.php?*unread
Disallow: /forum/*sort
Disallow: /forum/index.php?*sort
Disallow: /forum/*printpage
Allow: /forum/*board=
Disallow: /forum/index.php?*wap
Allow: /forum/*topic=
Disallow: /forum/*wap
Disallow: /forum/index.php?*imode
Disallow: /forum/*imode
Disallow: /forum/*=
Disallow: /forum/*.msg
Disallow: /forum/index.php?*new
Disallow: /forum/*.new

Yworld_garry · 20 июня 2009, 01:33:01

afitoid,Реально запутанный получился файл. Сейчас к сожалению я должен убегать, постараюсь завтра отредактировать ваш, но если вы посмотрите тот что в аттаче первого поста, там всё понятно как разрешать екшены нужные, думаю не стоит лишнее городить.
Спецсимвол '*' означает любую (в том числе пустую) последовательность символов
Пример
Ваша строка
Disallow: /__forum/index.php?*unread
Но лучше вот так
Disallow: /__forum/*unread

В файле который в аттаче запрещены все экшены и там же в верхних строчках(Allow:) пример разрешённых, сделайте так же( разрешиет нужные для вас) и будет гут.

Вот так не надо
Disallow: /__forum/*=

Да и в том файле именно то что вам нужно и оставлено.

Drakonsa · 20 июня 2009, 03:49:00

Кстати, всегда интересовал вопрос.
А если сделать наоборот?
Тоесть сначала
DisAllow: /forum/*
А потом уже
Allow: /forum/index.php?action=sitemap;*
Allow: /forum/*topic
и т.п.

BIOHAZARD · 20 июня 2009, 06:33:12

Цитата: BIOHAZARD от 05 мая 2009, 07:53:15
А что если адрес страницы попадает сразу под разрешающее и запрещающее правило?
Разные поисковики ведут себя здесь по разному: Яндекс использует инструкцию, которая была прописана в файле раньше (выше по тексту), а Гугл более подробную (более длинную) инструкцию.

http://www.simplemachines.ru/index.php/topic,6893.0.html

afitoid · 20 июня 2009, 13:38:06

Спасибо за ответы по звездочкам, я просто думал что вместо этих звездочек что-нибудь дописывать надо. Я изменил свой роботс, исходя из 5 стр. этой темы и action все отменил по совету Yworld_garry:

Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Allow: /forum/*sitemap
Allow: /forum/*gallery
Disallow: /forum/*topic=*.msg
Disallow: /forum/*modifykarma
Disallow: /forum/*unread
Disallow: /forum/index.php?*unread
Disallow: /forum/*sort
Disallow: /forum/index.php?*sort
Disallow: /forum/*printpage
Allow: /forum/*board=
Disallow: /forum/index.php?*wap
Allow: /forum/*topic=
Disallow: /forum/*wap
Disallow: /forum/index.php?*imode
Disallow: /forum/*imode
Disallow: /forum/*=
Disallow: /forum/*.msg
Disallow: /forum/index.php?*new
Disallow: /forum/*.new
Disallow: /forum/*action

Yworld_garry я не очень понял про твою фразу « Вот так не надо
Disallow: /__forum/*= », хотя ты эту запись у себя вставлял