Первая версия robots.txt , для более полной индексации.

Автор Yworld_garry, 04 октября 2008, 23:59:13

« назад - далее »

0 Пользователи и 1 гость просматривают эту тему.

Yworld_garry

私の作品では幸運を願う (Желаю удачи Вам в трудах)

будет возможность отпишитесь о результатах.

shturmans

#151
Yworld_garry, путь воина света нетороплив, при первых проблесках дам знать  smiley6600

а пока в поисках третьего глаза пришла в голову такая вот конструкция:

ЦитироватьUser-agent: *
Disallow: /forum/index.php?*.msg
Disallow: /forum/index.php?*.new
Allow: /forum/index.php?topic=*.*0$ 
Allow: /forum/index.php?board=*.*0$ 
Disallow: /forum/
(поставил в настройке форума по 10 месаг на лист, потому все кратно 10)

поигравшись в панели вебмастера явных боков не нашел. что скажет уважаемый пипл на это направление ?


Yworld_garry

shturmans Так как вы закрыли от ботов весь форум ;) Всё что не напишите в файле будет ок. :coolsmiley:
Проверьте такие вот урлы по вашему роботс:
/forum/index.php
/forum/

Тот роботс, что лежит во вложении в первом посте. Достаточно минимален и оттестирован. Просто не вижу рационального решения по его дальнейшему изменению и тем более уменьшению. Файл не должен быть большой, боты к этому плохо относятся, да и он имеет свои ограничения по числу строк.
Но и лишний минимализм то же будет не правильно понят.
Этот файл представляет рекомендации ботам. По этому стоит делать их более понятным и простым языком.

При разработке собственного решения, обязательно тестируйте по всем урлам. Не нарушайте синтаксис. Не увлекайтесь сложными правилами. Идти лучше от простого. Использование разрешений по расширению файла при экспериментах не оправдало себя. По этому стоит видимо остановиться на более простых вариантах.



shturmans

#153
Ваш конфиг реально хорош, но
конструкции вида
/forum/index.php?topic=102.0;prev_next=prev

он не банит - или и не должен ?

имея сайт в корне и форум в каталоге, вот такой вот робот на данный момент образовался
ЦитироватьAllow: /forum/index.php$
Disallow: /forum/index.php?*.msg
Disallow: /forum/index.php?*.new
Allow: /forum/index.php?topic=*.*0$
Allow: /forum/index.php?board=*.*0$   
Disallow: /forum/

Allow: /*.htm
Disallow: /*.*
хтм и хтмл, теги-рубрики из цмс, топики и борды в выдачу, остальное под нож (пхп, тхт, свф и т.д.)

Yworld_garry

index.php?topic=102.0;prev_next=prev  не включал в файл и описал из за чего, где-то по топику. Но если есть желание уберите из выдачи.

Ещё раз по вашему файлу. Проверьте в панели вот это. Оно просто закрыто. Так что ботам ваш форум останется не известным.
/forum/index.php
/forum/

Пробелов не должно быть, иначе это уже новая секция.
Disallow: /forum/

Allow: /*.htm
Disallow: /*.*

shturmans

на серию тестов яша отписался нижеследующим:
URL                                                            Pезультат
/forum/index.php?topic=102.msg118            запрещен правилом /forum/index.php?*.msg*
/forum/index.php?type=rss;action=.xml            запрещен правилом /forum/
/forum/index.php?topic=72.0;prev_next=next    запрещен правилом /forum/
/forum/index.php?board=8.0                            разрешен правилом /forum/index.php?board=*.*0$
/forum/index.php                                            разрешен правилом /forum/index.php$
/forum/index.php?action=printpage;topic=10.0    запрещен правилом /forum/
/forum/index.php?topic=7.0                            разрешен правилом /forum/index.php?topic=*.*0$
/link.htm                                                    разрешен правилом /*.htm*
/site/tag/link                                            разрешен
/spravka.doc                                            запрещен правилом /*.*
/forum/attachments/                                    запрещен правилом /forum/

Yworld_garry

Как будут результаты в выдаче, дайте взглянуть. Не посмотрел что во втором посте вы добавили Allow: /forum/index.php$ ( описывайте изменения в версиях)
Но всё же папка закрыта /forum/(это ни есть гут). Не все боты видят и тем более прислушиваются к роботс одинаково. Это всего лишь рекомендации для них.

Буду ждать урл в личку на выдачу.

shturmans

сегодняшняя выдача яндекса очень четко отработала, не показав лишь непроиндексированные страницы.

А вот гугла совершенно непоказательна тем, что тянутся сопли, которые давно закрыты роботсом, и ручками указано их удалить, но они все равно лежат в кеше (кеш или обновляется со временем на новое, или удаляется через 3 месяца, недоступное по коду 404 или запрету роботсом).  что с одной стороны понятно - если у тебя упал сервак или задумал редизайн, чтобы было время на подсуетить файлы и не выпасть из выдачи....но все ж не 3 месяца.

shturmans

полет нормальный с последним конфигом, но с какогото бодуна гугла в панели анализа робота выдала что ей плохо от того что нет доступа к /forum/ , хотя ко всему что надо для счастья - доступ есть.
пришлось ублажить следующим видом

ЦитироватьAllow: /forum/index.php$
Disallow: /forum/index.php?*.msg
Disallow: /forum/index.php?*.new
Disallow: /forum/*=*= (а это реверанс яндексу, раз он так тревожится насчет точки с запятой)
Allow: /forum/*topic=
Allow: /forum/*board=
Allow: /*.htm
Disallow: /*.*
Disallow: /forum/*/


PS вот такая заморочка
Disallow: /forum/*/
может пойти в ваш конфиг на замену
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/

Yworld_garry

shturmans, а я писал вам выше что нужно открыть директорию /forum/  ;)
Всё урлы и каталоги нужно проверять очень тщательно.

shturmans

ПС как комиссар Коломбо- вроде уже все нормально и всем довольны, и вроде уходят, но потом в последний момент "Ах да, я тут коечто уточнить хотел" и снова на чтото ругаются  police

Galina_

Подскажите,ошибок в разделе ни стало, а Документ запрещен в файле robots.txt более 340,это нормально,так и должно быть.

Yworld_garry

Galina_, всё так и должно быть.

PS

Сейчас тестирую новую директиву гугла rel="canonical". Очень важный шаг ПС. В скором времени выложу результаты. если кто уже наткнулся на мод связанный с этим тегом, возможно есть смысл подождать немного. К тому же там небольшая ошибка с местом вставки (если не пофиксили).

shturmans

также интересно влияние archive/noarchive на индексацию

Yworld_garry

Цитата: shturmans от 23 февраля 2009, 20:21:01
также интересно влияние archive/noarchive на индексацию
В кратце, этот тег запрещает гуглу кешировать страницу. То есть он её не сохранит в своем кеше. С одной стороны возможно это и удобно. Но с другой стороны слишком много версий и предположений связанных с его использованием. Большая часть уверена, что санкций гугла не избежать, клоакинг и тд.
Хотя сам же гугл его и представил. Если есть желание то можете вставить. Но прочитайте как можно больше инфы по нему. И тогда примите решение.
<META NAME="ROBOTS" CONTENT="NOARCHIVE">
или
<META NAME="GOOGLEBOT" CONTENT="NOARCHIVE">


Galina_

Еще вопрос. Число страниц запрещённых роботом увеличилось, и это в основном все темы, как можно разрешить просматривать темы.(если нажать на ссылку, которую выдает яндекс), что запрещена роботом, то попадаем прям в тему, а не в название ее. Как это можно расрешить или тк и надо скрывать посты?

Yworld_garry

Galina_, я примерно понял что вас тревожит и думаю это именно дубли. Но всё же как я доберусь до дома и буду в асе, стукните. Посмотрю и всё будет ясно.

xxxALEXxxx

Уж не обезсудьте, у меня вот такой вопрос,точнее пара вопросов:
1) вы говорите устанавливать фаил robots надо в корневую папку форума,это папака в которой лежат все файлы форума на сервере или это папка моей темы форума( у меня тема davinci)?
                                    и
2)я установил два предложенных в этой теме мода smf_sitemap_1.2.2.tar и AdvanceSEFurlsv1.2.5
Но в настройках форума и в настройках этих модов ничего не появилось,появились новые квадратики для галочек,но что они обозначают не понятно. Скажите есть смысл поставить во всех вновь появившихся квадратиках-галочки.Скрин квадратиков прилагаю.
Может так получилось потому что у меня тема не стандартная, Davinci?


Drakonsa

Цитата: xxxALEXxxx от 27 февраля 2009, 02:32:08
Уж не обезсудьте, у меня вот такой вопрос,точнее пара вопросов:
1) вы говорите устанавливать фаил robots надо в корневую папку форума,это папака в которой лежат все файлы форума на сервере или это папка моей темы форума( у меня тема davinci)?
                                    и
2)я установил два предложенных в этой теме мода smf_sitemap_1.2.2.tar и AdvanceSEFurlsv1.2.5
Но в настройках форума и в настройках этих модов ничего не появилось,появились новые квадратики для галочек,но что они обозначают не понятно. Скажите есть смысл поставить во всех вновь появившихся квадратиках-галочки.Скрин квадратиков прилагаю.
Может так получилось потому что у меня тема не стандартная, Davinci?


1) папка в которой лежат все файлы форума
2) Посттавьте руссификацию данных модов или переключитесь на Английский язык..

xxxALEXxxx

Вот скрин моих галочек:

img243/6442/123j.jpg]http://img243.[censored]img243/6442/123j.jpg
я поставил все галочки, а теперь не могу их удалить так как после удаления,нажимаю кнопку сохранить и меня перекидывает на форум,ничего не сохраняя при этом. И вообще в админке теперь уж не знаю после установки этих модов или после установки этих галочек,многое не открывается, а тупо перебрасывает на форум.
Что это может быть???И как с этим бороться?
И где взять русификатор для этих модов?

xxxALEXxxx

#170
Блин,друзья помогите. Что-то у меня с форумом произошло после установки этих галочек(видимо) и теперь у меня не только половина функций в админке не работает, но и нельзя написать сообщение на форуме,нажимаю создать новую тему, а меня тут же перекидывает на главную страницу форума, тоже самое происходит если нажать "ответить"-открывается главная страница форума. Как это убрать???

Я кстати говоря перед установкой модов, сделал бекап форума в админке и мне на комп скачался архив в котором один единственный текстовый фаил-это и есть бекап моего форума? И как его использовать, чтоб востановить форум? Куда этот фаил вставить, чтоб форум вернулся в прежнее состояние???

netoya

Цитировать
Уж не обезсудьте, у меня вот такой вопрос,точнее пара вопросов:
1) вы говорите устанавливать фаил robots надо в корневую папку форума,это папака в которой лежат все файлы форума на сервере или это папка моей темы форума( у меня тема davinci)?
robots.txt надо помещать в корневую папку сайта, чтобы был доступ к нему ццц.сайт.ру/robots.txt, а не в папку forum или иную если у вас форум не в корне.                                   
Цитировать2)я установил два предложенных в этой теме мода smf_sitemap_1.2.2.tar и AdvanceSEFurlsv1.2.5
Но в настройках форума и в настройках этих модов ничего не появилось,появились новые квадратики для галочек,но что они обозначают не понятно. Скажите есть смысл поставить во всех вновь появившихся квадратиках-галочки.Скрин квадратиков прилагаю.
Может так получилось потому что у меня тема не стандартная, Davinci?
В данном топике идет обсуждение файла роботс.
И чтобы получить ответ на Ваш вопрос лучше создать тему по этим модификациям в разделе Обсуждение модификаций, там Вы скорее получите ответ.
Из скриншота ясно видно, что не стоит руссификации на моды. А если еще и такие проблемы как редирект на главную, то деинсталируйте моды и затем проводите их корректную установку, поглядите в пакете модификаций какие файлы темы они изменяют и проводите их ручное изменение.

xxxALEXxxx

Мда если б я ещё мог их удалить,сразу перекидывает на главную страницу. Ок, я сейчас переберусь в другую тему, скажите ещё пожалуйста - можно ли как-то убрать по другому этот редирект на главную страницу?

Yworld_garry

#173
Не хотел уже постить в этой теме, так как всё вроде уже обсудили и все ответы в ней есть.
Но из за одного частого вопроса в асе дам на него ответ тут.
Вопрос:
Какие моды затрагивает robots.txt ?
Ответ:
Ни какие моды, хаки и тд не затрагивает. ( по моему уже в теме отвечал на него не раз, но вот видимо не все видят)

Файл перезалил, добавлена строка Allow: /forum/*rss. Во время теста её не добавлял. Собственно на выдачу не влияет. Но добавьте её к роботс.

trehol

Подскажите , а как разрешить индексировать атачи? Файл в шапке запрещает.

BIOHAZARD

Мои моды:
  • RedirectPage
  • Counters
  • CustomSearch
  • SypexDumper
   адаптирую темы    1.1.хx<=>2.0задавая вопросы, старайтесь сразу указывать конечную цель, предполагаемый Вами путь не обязательно окажется самым коротким

Любые моды на заказ

Yworld_garry

trehol, Просто ради интереса, за чем это вам?
Разрешить можно всё что угодно по аналогии из готового роботс.
Смотрим какой экшен нужно разрешить(копируем из ссылки) и дописываем по примеру.
Allow: /forum/*rss (название action)

trehol

Цитата: Yworld_garry от 01 апреля 2009, 19:11:43
trehol, Просто ради интереса, за чем это вам?
Разрешить можно всё что угодно по аналогии из готового роботс.
Смотрим какой экшен нужно разрешить(копируем из ссылки) и дописываем по примеру.
Allow: /forum/*rss (название action)
На моем форуме к постам прикрепляют достаточно редкие прошивки для спутниковых ресиверов. Знающий человек ищет прошивку по иденту , который как правило есть в имени файла.

trehol


trehol

Напрел еще вопрос: стоит ли запрещать индексацию ссылок на другие ресурсы? Если стоит то как?

BIOHAZARD

Мои моды:
  • RedirectPage
  • Counters
  • CustomSearch
  • SypexDumper
   адаптирую темы    1.1.хx<=>2.0задавая вопросы, старайтесь сразу указывать конечную цель, предполагаемый Вами путь не обязательно окажется самым коротким

Любые моды на заказ

sven

Цитата: Yworld_garry от 04 октября 2008, 23:59:13
Подготавливаем форум к его использованию.
В файле Themes\index.template.php

У нас форум SMF 2.0 RC1 и такого файла нет (Themes\index.template.php).
Он есть в Themes\НАИМЕНОВАНИЕ ТЕМЫ\index.template.php и такой файл имеется в каждой отдельной теме (3 темы по дефолту + 1  тему мы установили)
Подскажите: Нужно ли редактировать данный файл (index.template.php) во всех темах или только в той которую используешь?

sven

Цитата: Yworld_garry от 05 октября 2008, 12:54:31

Sources/Printpage.php
fatal_lang_error(472, false);

Вставляем ниже
$context['robot_no_index'] = true;



Форум SMF 2.0 RC1. Такой строки нет (есть fatal_lang_error('not_a_topic', false); и есть fatal_lang_error('no_board'); Вопрос как запретить роботам индексить версию для печати в форуме RC1 ?


sven

Цитата: Yworld_garry от 05 октября 2008, 12:54:31

Ищем в Printpage.template.php
<head>

И ниже добавляем всё, что душе угодно, например
<a href="http://www.мой сайт.ru/">На форум</a>

Сделал аналогично но текст ссылки отображается квадратиками.


Подскажите, может где то здесь:
echo '<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml"', $context['right_to_left'] ? ' dir="rtl"' : '', '>


нужно вставить что то типа:
xml:lang="ru" lang="ru"

форум SMF 2.0 RC1 Спасибо!

Yworld_garry

sven,
1 Во всех темах
2 Если ставите роботс, то там запрещён принт и можете не менять в файле.
3 В поиск по форуму, вариантов и решение описано море. Тут только роботс.

sven


tipitopo

Использую последний robots.txt из первого поста; в индекс Яндекса влетела куча страниц непрочитанных тем с титлом "Войти" с адресами типа http://___mysite.ru/index.php?action=unread;board=#.0 .

Подскажите, пожалуйста, как можно их запретить? Я так понимаю, что если добавить

Disallow: /*unread

это не поможет, потому что есть

Allow: /*board=

правильно?




BIOHAZARD

у яндуха есть утилита для проверки правил роботс.тхт
не гадай – проверь!
Мои моды:
  • RedirectPage
  • Counters
  • CustomSearch
  • SypexDumper
   адаптирую темы    1.1.хx<=>2.0задавая вопросы, старайтесь сразу указывать конечную цель, предполагаемый Вами путь не обязательно окажется самым коротким

Любые моды на заказ

Yworld_garry

BIOHAZARD, спасибо. К сожалению мне так и не удалось за весь топик объяснить несколько моментов работы самого файла и с ним. Многие упорно не хотят заметить основные моменты. Пытался я обратить на них внимание, видимо не вышло.
По сему объявляю маленький конкурс.
Тот кто сможет написать внятные правила исключающие кучу вопросов в асю ко мне типо " Какие моды затрагиваются", "Где должен лежать файл", "Как изменить под свои нужды разрешения/запреты", "Где/как проверять роботс" и может ещё что-то.
Получит в качестве благодарности прогон вашего проекта, либо вашей услуги по 6000 досок объявлений. Прогон по подходящим вам разделам. Для чего и чем полезен прогон думаю знаете.

PS
Уезжаю на рыбалку через несколько часов, но тему буду отслеживать. По приезду если будет уже описание свяжусь с автором для получения инфы для прогона.
Если не будет, то буду дальше в асе так же отвечать :-[

tipitopo

Цитата: BIOHAZARD от 25 апреля 2009, 16:54:46
у яндуха есть утилита для проверки правил роботс.тхт
не гадай – проверь!
Да, так и есть -"разрешен правилом /*board=*". А вот все-таки, как запретить?

Yworld_garry, было бы здорово, если бы появился такой мануал именно применительно к SMF!

BIOHAZARD

Используй более конкретные правила

User-Agent: *
Disallow: /index.php?action=unread;board
Allow: /index.php?board=


Кроме того
Цитировать
Совместное использование директив.

Если для данной страницы сайта подходит несколько директив, то выбирается первая в порядке появления в выбранном User-agent блоке. Примеры, если:
User-agent: Yandex
Allow: /cgi-bin
Disallow: /
# запрещает скачивать все, кроме страниц начинающихся с '/cgi-bin'
Это только для яндуха, гоша действует несколько иначе – он выбирает из двух директив более конкретную и руководствуется именно ею.

В любом случае, код в начале сообщения работать будет везде.
Мои моды:
  • RedirectPage
  • Counters
  • CustomSearch
  • SypexDumper
   адаптирую темы    1.1.хx<=>2.0задавая вопросы, старайтесь сразу указывать конечную цель, предполагаемый Вами путь не обязательно окажется самым коротким

Любые моды на заказ

tipitopo

BIOHAZARD, большое спасибо, всё работает  :)

Кроме того, сегодня практически все эти страницы сами пропали из панели Яндекса.

BIOHAZARD

Цитата: Yworld_garry от 25 апреля 2009, 23:04:35
BIOHAZARD, спасибо. К сожалению мне так и не удалось за весь топик объяснить несколько моментов работы самого файла и с ним. Многие упорно не хотят заметить основные моменты. Пытался я обратить на них внимание, видимо не вышло.
По сему объявляю маленький конкурс.
Тот кто сможет написать внятные правила исключающие кучу вопросов в асю ко мне типо " Какие моды затрагиваются", "Где должен лежать файл", "Как изменить под свои нужды разрешения/запреты", "Где/как проверять роботс"
Получит в качестве благодарности
Попробовать, чтоль...
Во всяком случае начну, народ дополнит.
Мои моды:
  • RedirectPage
  • Counters
  • CustomSearch
  • SypexDumper
   адаптирую темы    1.1.хx<=>2.0задавая вопросы, старайтесь сразу указывать конечную цель, предполагаемый Вами путь не обязательно окажется самым коротким

Любые моды на заказ

afitoid

А что, означают звездочки *?
        Вот примеры
Allow: /__forum/*sitemap
Allow: /forum/index.php?action=sitemap;*
Disallow: /forum/index.php?*;*
Disallow: /forum/index.php?*.msg
Disallow: /forum/index.php/*.msg
Disallow: /forum/index.php?*.new
Disallow: /forum/index.php/*.new



Drakonsa


afitoid

Мой robots.txt - составленный благодаря создателю темы и который я пытался понять несколько дней, но так и не все понял, поэтому вот что у меня получилось: я впринцыпе хочу чтобы индексировались темы, вопросы, разделы форума, а больше мне ничего не надо, посмотрите и скажите что можно убрать, да и ответить что за звездочки, так их и оставить?

Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Allow: /forum/index.php?action=sitemap;xml
Allow: /forum/index.php?action=sitemap;*
Allow: /forum/*gallery
Disallow: /forum/*topic=*.msg
Disallow: /forum/*modifykarma
Disallow: /forum/*unread
Disallow: /forum/index.php?*unread
Disallow: /forum/*sort
Disallow: /forum/index.php?*sort
Disallow: /forum/*printpage
Allow: /forum/*board=
Disallow: /forum/index.php?*wap
Allow: /forum/*topic=
Disallow: /forum/*wap
Disallow: /forum/index.php?*imode
Disallow: /forum/*imode
Disallow: /forum/*=
Disallow: /forum/*.msg
Disallow: /forum/index.php?*new
Disallow: /forum/*.new

Yworld_garry

#196
afitoid,Реально запутанный получился файл. Сейчас к сожалению я должен убегать, постараюсь завтра отредактировать ваш, но если вы посмотрите тот что в аттаче первого поста, там всё понятно как разрешать екшены нужные, думаю не стоит лишнее городить.
Спецсимвол '*' означает любую (в том числе пустую) последовательность символов
Пример
Ваша строка
Disallow: /__forum/index.php?*unread
Но лучше вот так
Disallow: /__forum/*unread

В файле который в аттаче запрещены все экшены и там же в верхних строчках(Allow:)  пример разрешённых, сделайте так же( разрешиет нужные для вас) и будет гут.

Вот так не надо
Disallow: /__forum/*=

Да и в том файле именно то что вам нужно и оставлено.

Drakonsa

Кстати, всегда интересовал вопрос.
А если сделать наоборот?
Тоесть сначала
DisAllow: /forum/*
А потом уже
Allow: /forum/index.php?action=sitemap;*
Allow: /forum/*topic
и т.п.

BIOHAZARD

Цитата: BIOHAZARD от 05 мая 2009, 07:53:15
А что если адрес страницы попадает сразу под разрешающее и запрещающее правило?
Разные поисковики ведут себя здесь по разному: Яндекс использует инструкцию, которая была прописана в файле раньше (выше по тексту), а Гугл более подробную (более длинную) инструкцию.

http://www.simplemachines.ru/index.php/topic,6893.0.html
Мои моды:
  • RedirectPage
  • Counters
  • CustomSearch
  • SypexDumper
   адаптирую темы    1.1.хx<=>2.0задавая вопросы, старайтесь сразу указывать конечную цель, предполагаемый Вами путь не обязательно окажется самым коротким

Любые моды на заказ

afitoid

Спасибо за ответы по звездочкам, я просто думал что вместо этих звездочек что-нибудь дописывать надо. Я изменил свой роботс, исходя из 5 стр. этой темы и action все отменил по совету Yworld_garry:

Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Allow: /forum/*sitemap
Allow: /forum/*gallery
Disallow: /forum/*topic=*.msg
Disallow: /forum/*modifykarma
Disallow: /forum/*unread
Disallow: /forum/index.php?*unread
Disallow: /forum/*sort
Disallow: /forum/index.php?*sort
Disallow: /forum/*printpage
Allow: /forum/*board=
Disallow: /forum/index.php?*wap
Allow: /forum/*topic=
Disallow: /forum/*wap
Disallow: /forum/index.php?*imode
Disallow: /forum/*imode
Disallow: /forum/*=
Disallow: /forum/*.msg
Disallow: /forum/index.php?*new
Disallow: /forum/*.new
Disallow: /forum/*action

Yworld_garry я не очень понял про твою фразу « Вот так не надо
Disallow: /__forum/*= », хотя ты эту запись у себя вставлял