Форум не индексируется поисковиками

[Neuzis]

В чем проблема? Ни один поисковик не индексирует, хотя предприняты общедоступные способы.
форум установлен на поддомене типа forum.domen.net
Насколько известно посковику нужен в корне сайта robot.txt, но в инстале SMF он не запланрован.
Друзья, очень нужны ваши советы.

[rival28]

и давно форум запущен?

Должно время какое-то пройти, посмтри в статистике - есть ли обращения от роботов/спайдеров.

[Mavn]

По нашему опыту до полугода может не появлятся нигде

[amv]

В каком поисковике? Один мой сайт появился на яндексе только через год после открытия, причем когда пользователи искали его название, они находили кучу страниц с ссылками на него

[Mavn]

мы про яндекс и говорим странный парадокс заметили что когда только делаешь сайт и сразу публикуешь его в каталоге он на отрез отказывается индексировать пока деньги не заплатишь или как говорится пока не пройдет более 10 месяцев. у нас так пролет был с несколькими сайтами. Что нам показалось интересным так это то что google после публикации в каталоге через 2 недели запустил индексацию! ну с simplemachines.ru мы вообще не стали заносить в каталог немного другой как говорится долгий около 1 месяца зато надежный .

[Neuzis]

Ну так форум опубликован и работает уже  второй месяц.  На yandex сразу запулил его в каталог ,
наверное зря. Если проблема в этом, то это не делает чести персоналу Yandex
Rambler сказал, что поставили в очередь, потом, что будет завтра, а хрен там же месяц.
Google ничего тоже не видит. Хотя прекрасно видно все мои посты на других форумах с рекламой моего  .
Вот и создается впечатление, что проблема индексации в самом SMF.
Давайте-ка совместно пробежимся по поиску постов SMF в инете и попробуем разобраться в этой ситуации. Вопрос очень серьезный для сообщества.
А как нам поступить с robots.txt?
А, что по этому поводу говорят буржуины?

[PaXaN]

Чесно говоря не понимаю о какой глючности индексирования ты говоришь... у меня форум один за 2 месяца стал на первом месте в яндексе...

А еще один форум запускал тоже на SMF.. так была конкуренция просто охренеть) ну скажем так сайтов с подобной тематикой штук 20... яндекс проиндексировал форум где-то на 2 недели) и щас на 2ом месте по конкретно нашему запросу конкуренты отдыхают!

[Neuzis]

Прими поздравления и расскажи народу каким образом  как у тебя конкуренты отдыхают.
ну и пару фраз не помешают для yandexa с твоих форумов посмотреть твой рейтинг

Mavn, разреши пожалуйста PaXaNу дать ссылки на свои SMF ресурсы.

[Mavn]

Разрешено эта часть раздела не индексируется насколько мы помним
Пример размещения только
1. Ссылка
2. Ключевые слова по которым идет идексация!

[PaXaN]

Первый:

pronn.ru/bor/

Собственно в яндексе "форум города Бор" и "город Бор"

Второй:

pronn.ru/dzr/

В яндексе "форум города Дзержинск" (эт вот тут много конкурентов, но вывелся на 2ом месте)

[YSV]

Моему сайту нет еще месяца...

По связке "Дистанционно-стажерские курсы" проверте меня в Яндексе, на Рамблере и в Гугле.

Главное не сайт, главное, что на нем!

Ну и конечно то, что в голове у создателя!

Да адрес забыл is2006.ru

Удачи!

SMF - ЛУЧШИЙ!!!

[ksantel]

внимательно просмотрите результыты:

http://www.yandex.ru/yandsearch?text=%23url%3D%22www.pronn.ru*%22&pag=u&surl=pronn.ru

всё увас проиндексировано

[Mavn]

Ну у нас гораздо сложнее с нашим сайтом у нас не все разделы доступны гостям поэтому лично у нас не все индексируется

[YSV]

Ну у нас гораздо сложнее с нашим сайтом у нас не все разделы доступны гостям поэтому лично у нас не все индексируется

Ну так надо открыть - ну хотя бы временно или часть информации перенести в открытый доступ!

Удачи!

[amv]

Помнится в инвизион была такая фишка - можно сделать раздел, который поисковики могут индексировать, а гости не могут просматривать..

[rival28]

Ну у нас гораздо сложнее с нашим сайтом у нас не все разделы доступны гостям поэтому лично у нас не все индексируется

а к стати в чем практическая польза такого подхода кроме меньшего числа посетителей?

[Neuzis]

И тему то я какую создал
Ну вот,  можете меня и себя, тоже поздравить, форум появился на первых строчках yandexа и googlа!
Конкуренты действительно могут отдохнуть.  Форум хоть и пустой, но новостные строчки спайдеры сожрали.
Не знаю толком в чем дело, но я таки вложил в корень форума  => robots.txt
Возможная причина еще в том, что форум  зарегистрировали в каталоге расскрученного профильного портала и мой ресурс выскакивает в поиске через него.
SMF- лучшая хавка для поисковых роботов, однозначно! 

[alf]

Моему форуму около года, проиндексированных страниц в Рамблере 5380, в Гугле 404, Янедкс - 119 Причём яндекс схватил только "Печать страницы"
Так всё же как лучше скормить форум Яндексу?

[AnthonyS]

Моему форуму около года, проиндексированных страниц в Рамблере 5380, в Гугле 404, Янедкс - 119 Причём яндекс схватил только "Печать страницы" Так всё же как лучше скормить форум Яндексу?

Даже интересно такое слушать..
У меня Яша с форума не вылазит, только там и носится..
как у тебя с метатегами? Попробуй проставить ссылки на разные части форума с сайта, и в форуме на сайт..

[Avdenago]

Хм. а чем объяснить любовь ботов к Печатному варианту?

[vit11]

Привет. Я тоже размести robots в корень сайта. И теперь мой пустой форум http://simf.ifastnet.com по связке "симферпольский форум" занимает 3-5 место в гугле. А яндекс не хочет индексировать. P.S. сайту дней 10 еще

[Umbrella]

Поправьте меня,если не так, но мне кажется, что  вверсии SMF 1.1.1 это должно выглядеть примерно так:

1) Создать текстовый документ(обычный блокнот) формат txt

2) Вписать туда следующие строки:
User-agent: *
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/

3) Файл обозвать robots (строчными буквами,и в нижнем регистре, а не ROBOTS или Robots) 

[Mavn]

почти так как вы написали нужно добавить еще следующее

Disallow: index.php?action=profile;
Disallow: index.php?action=post;
Disallow: index.php?action=search;
Disallow: index.php?action=search2;
Disallow: index.php?action=mlist;
Disallow: index.php?action=admin;
Disallow: index.php?action=pm;
Disallow: index.php?action=sendtopic;
Disallow: index.php?action=markasread;
Disallow: index.php?action=notify;
Disallow: index.php?action=stats;
Disallow: index.php?action=recent;

и тогда будет все как нужно

[Umbrella]

А слэши нужно ставить?
Нуждается ли файл в "запаролевание" и если да, то как нам это сделать?

[Mavn]

насчет слэшей лучше спецификацию почитать , мы основывались на примере как говорится написали свое

[vladok]

:-)
http://www.simplemachines.ru/robots.txt

[alterkpn]

Спасибо!
Вставил robots.txt и через 2 дня количество проиндексированных  страниц выросло до 672!
Это за месяц жизни форума.

[Avdenago]

В чем проблема? Ни один поисковик не индексирует, хотя предприняты общедоступные способы.

Мною была выявлена причина любви поисковиков, в частности Яндекса, к печатномуварианту страницы.

Дело вот в чем. В файле Themes\index.template.php
ищем строки

Код Выделить Развернуть


<meta name="description" content="', $context['page_title'], '" />';
/* empty($context['robot_no_index']) ? '' : '
<meta name="robots" content="noindex" />', ' */
echo '<meta name="keywords" content="... 
Заметьте - в моем случае они заэкранированы.
Заэкранирована строка, которая в некоторых - пока не выясненных - обстоятельствах принимает значение
name="robots" content="noindex"

Для выяснения вашего пложения дел - зайдите в любую тему и просмотрите исходный код. Если вы увидите ту строку с запретом индексирования - вы можете больше не гадать из-за чего роботы вас игнорируют.
В основном такое происходит на дефолтной теме. На других правленных иногда такой строки нет...


Так что, на свой страх и риск, вы можете закомментировать эту строку.

[Mavn]

не согласен в принципе с таким утверждением
1. строка типа

empty($context['robot_no_index']) 

появилась в версии 1.1 финал (или 1.1 RC3 точно не помню), а любовь поисковиков к печатной странице исходила еще с версии 1.0 beta * так что закономероности просто не вижу
2. А теперь возмите исходный текст сгенерированной страницы с коментарием т.е. вашу и мою со стандартом

empty($context['robot_no_index']) 

и найдите эту самую закономерность вы ее просто не увидите ни в одной теме оформления.
3. если присмотритесь внимательно к исходному коду smf то увидите другую закономерность использования

empty($context['robot_no_index']) 

Sources/Display.php

// Find the previous or next topic.  Make a fuss if there are no more.

if (isset($_REQUEST['prev_next']) && ($_REQUEST['prev_next'] == 'prev' || $_REQUEST['prev_next'] == 'next'))

{

// No use in calculating the next topic if there's only one.

if ($board_info['num_topics'] > 1)

{

// Just prepare some variables that are used in the query.

$gt_lt = $_REQUEST['prev_next'] == 'prev' ? '>' : '<';

$order = $_REQUEST['prev_next'] == 'prev' ? '' : ' DESC';

$request = db_query("

SELECT t2.ID_TOPIC

FROM ({$db_prefix}topics AS t, {$db_prefix}topics AS t2)

WHERE t.ID_TOPIC = $topic" . (empty($modSettings['enableStickyTopics']) ? "

AND t2.ID_LAST_MSG $gt_lt t.ID_LAST_MSG" : "

AND ((t2.ID_LAST_MSG $gt_lt t.ID_LAST_MSG AND t2.isSticky $gt_lt= t.isSticky) OR t2.isSticky $gt_lt t.isSticky)") . "

AND t2.ID_BOARD = $board

ORDER BY" . (empty($modSettings['enableStickyTopics']) ? '' : " t2.isSticky$order,") . " t2.ID_LAST_MSG$order

LIMIT 1", __FILE__, __LINE__);

// No more left.

if (mysql_num_rows($request) == 0)

{

mysql_free_result($request);

// Roll over - if we're going prev, get the last - otherwise the first.

$request = db_query("

SELECT ID_TOPIC

FROM {$db_prefix}topics

WHERE ID_BOARD = $board

ORDER BY" . (empty($modSettings['enableStickyTopics']) ? '' : " isSticky$order,") . " ID_LAST_MSG$order

LIMIT 1", __FILE__, __LINE__);

}

// Now you can be sure $topic is the ID_TOPIC to view.

list ($topic) = mysql_fetch_row($request);

mysql_free_result($request);

$context['current_topic'] = $topic;

}

// Go to the newest message on this topic.

$_REQUEST['start'] = 'new';

 

// Duplicate link!  Tell the robots not to link this.
 

$context['robot_no_index'] = true;

}

// Start from a certain time index, not a message.

if (substr($_REQUEST['start'], 0, 4) == 'from')

{

$timestamp = (int) substr($_REQUEST['start'], 4);

if ($timestamp === 0)

$_REQUEST['start'] = 0;

else

{

// Find the number of messages posted before said time...

$request = db_query("

SELECT COUNT(*)

FROM {$db_prefix}messages

WHERE posterTime < $timestamp

AND ID_TOPIC = $topic", __FILE__, __LINE__);

list ($context['start_from']) = mysql_fetch_row($request);

mysql_free_result($request);

// Handle view_newest_first options, and get the correct start value.

$_REQUEST['start'] = empty($options['view_newest_first']) ? $context['start_from'] : $topicinfo['numReplies'] - $context['start_from'];

}

}

// Link to a message...

elseif (substr($_REQUEST['start'], 0, 3) == 'msg')

{

$virtual_msg = (int) substr($_REQUEST['start'], 3);

if ($virtual_msg >= $topicinfo['ID_LAST_MSG'])

$context['start_from'] = $topicinfo['numReplies'];

elseif ($virtual_msg <= $topicinfo['ID_FIRST_MSG'])

$context['start_from'] = 0;

else

{

// Find the start value for that message......

$request = db_query("

SELECT COUNT(*)

FROM {$db_prefix}messages

WHERE ID_MSG < $virtual_msg

AND ID_TOPIC = $topic", __FILE__, __LINE__);

list ($context['start_from']) = mysql_fetch_row($request);

mysql_free_result($request);

}

// We need to reverse the start as well in this case.

$_REQUEST['start'] = empty($options['view_newest_first']) ? $context['start_from'] : $topicinfo['numReplies'] - $context['start_from'];

$context['robot_no_index'] = true;

}

}


Посмотрев код (я не программер могу ошибаться) приходим к выводу что разработчики позаботились о том что в случае если в ссылке  в первом случае prev_next,prev.html; prev_next,next.html#new(в случае если включены SEO URLS в SMF) и #new во втором случае и будет так называемый запрет на индексирование чтобы поисковики не идексировали одну и туже тему по такому http://www.simplemachines.ru/index.php/topic,205.0/prev_next,next.html#new
и по такому
http://www.simplemachines.ru/index.php/topic,1022.0.html
адресам
Тоже самое касается и ссылки с new
4. Так что прежде чем делать какие то выводы о том что разработчики решили напакостить с индексированием форумов ПОСМОТРИТЕ сначала исходный код что же на самом деле запрещается идексировать поисковикам. И этот пункт касается всех кто так думает а не только Avdenago. Потому как вопрос о <meta name="robots" content="noindex" поднимался давно и криков было много только вот все не в тему!!!

[Avdenago]

Да. согласен полностью.  но я сразу сказал.

Заэкранирована строка, которая в некоторых - пока не выясненных - обстоятельствах принимает значение

Вот кое-кто помог разобраться в этих до данного момента невыясненых обстятельствах.

[domofor]

А никто не изучал влияние фотогалереи смф на поисковики?

[Mavn]

Честно говоря нет. Как говорится пока сам не просмотришь я думаю что никто не ответит на данный вопрос. Далеко не все используют галерею

[domofor]

Честно говоря нет. Как говорится пока сам не просмотришь

Mavn, а что просмотреть-то? Ни разу не встретил в поисковиках ссылку на свой форум именно на страницы фотогалереи, в статистике счетчиков типа мыла.ру тоже не упоминается о подобных страницах, хотя народ ходит в фотогалерею форума активно, и фоток с текстовыми заголовками там накидано немало.

[Avdenago]

я бы посмотрел - но гостей туда не пускают

[domofor]

я бы посмотрел - но гостей туда не пускают

Ну для такого дела можно было и зарегиться...
В-общем, решил, что толку от такой бесплатной галерки нет (только жрет место на сервере) и удалил ее.

[Simple123]

http://forum.searchengines.ru/showpost.php?p=1519526&postcount=36

[bbbbbb]

1. ко мне поисковик пришел через 3-4 дня,может от домена зависит, с yahoo пришло 150 роботов

2. А куда в код поставить ключевые слова, чтобы они были не видемые, но чтобы поисковик их проиндексировал, я поставить могу но не знаю будет ли поисковик их видеть, а кто-то знает точно куда написать???

Я в статье про perl увидел такое...

[Mavn]

index.template.php там ключевики прописываются.

[.nitro]

1. ко мне поисковик пришел через 3-4 дня,может от домена зависит, с yahoo пришло 150 роботов

от доменной зоны точнее.

2. А куда в код поставить ключевые слова, чтобы они были не видемые, но чтобы поисковик их проиндексировал, я поставить могу но не знаю будет ли поисковик их видеть, а кто-то знает точно куда написать???

за это можно очень быстро поймать бан от поисковиков.

[.nitro]

Хм. а чем объяснить любовь ботов к Печатному варианту?

всё очень просто: печатный вариант в "глазах" ПС выглядит более релевантным.

[lekoleko]

Так как всё таки запретить поисковикам выдавать "Печатные страницы" ?

Может эту функцию отключить ?  ...

[Mavn]

используем поиск http://www.simplemachines.ru/index.php/topic,1360.msg11898.html#msg11898

[.nitro]

Так как всё таки запретить поисковикам выдавать "Печатные страницы" ?

Может эту функцию отключить ?  ...

Хм, я бы не стал её отключать...

[lekoleko]

Хм, я бы не стал её отключать...

почему ?

[.nitro]

Например топик с форума может не попасть в десятку-двадцатку-**цадку поисковиков, а версия для печати имеет больше шансов

[lekoleko]

Например топик с форума может не попасть в десятку-двадцатку-**цадку поисковиков, а версия для печати имеет больше шансов

Где то читал что Яша банит за версии для печати...

[.nitro]

ИМХО фигня...

[.nitro]

У меня на статичним сайте процентов 30 было в топе Яши...

[Юран]

кто подскажет .. на форум почему то мало заходит народу.. раньше бывало 20-30 .. а сейчас 10-15 ... форум недвно залил может месяц или около .. и еще а если робот.тхт вообще не кидать.. мне показалось как толтько я его туда кидаю мало вообще заходит по счетчику... и яндекс не находил сайт .. как только удал его ... вроде в яндексе появился в поиске...влияет ли этот файл как то? ... а как можно еще увеличить посещаемость кто может подсказать

[aleksandr.v]

ИМХО надо подождать. Месяц - это не срок.

[Mavn]

Посещаемость вообще прогнозировать сложно... сегодня у тебя аврал 200 человек колбасят форум а завтра и 50 не придут. Так что все относительно...

[Юран]

ф если убрать вообще роботс №№ это как то влияет на посещаемость№№№ или он должен быть обязательно№№ кто то мне говорил, что его лучше вообще не ложить....

[Юран]

сайчас вложил как тут

User-agent: *
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /wysiwyg/
Disallow: /tp-images/
Disallow: /tp-files/
Disallow: /tp-downloads/
Disallow: /FCKeditor/
Disallow: /index.php?action=profile;
Disallow: /index.php?action=profile
Disallow: /index.php?action=post;
Disallow: /index.php?action=post
Disallow: /index.php?action=search;
Disallow: /index.php?action=search
Disallow: /index.php?action=search2;
Disallow: /index.php?action=search2
Disallow: /index.php?action=mlist;
Disallow: /index.php?action=admin;
Disallow: /index.php?action=admin
Disallow: /index.php?action=pm;
Disallow: /index.php?action=pm
Disallow: /index.php?action=sendtopic;
Disallow: /index.php?action=sendtopic
Disallow: /index.php?action=markasread;
Disallow: /index.php?action=markasread
Disallow: /index.php?action=notify;
Disallow: /index.php?action=notify
Disallow: /index.php?action=stats;
Disallow: /index.php?action=stats
Disallow: /index.php?action=recent;
Disallow: /index.php?action=recent
Disallow: /index.php?action=mergetopics;
Disallow: /index.php?action=mergetopics
Disallow: /index.php?action=mlist
Disallow: /index.php?action=register
Disallow: /index.php?action=reporttm;
Disallow: /index.php?action=reminder
Disallow: /index.php?action=verificationcode;
Disallow: /index.php?action=verificationcode
Disallow: /index.php?action=activate;
Disallow: /index.php?action=activate
Disallow: /index.php?action=help;
Disallow: /index.php?action=help
Disallow: /index.php?struct=on&data=on&action=dumpdb
Disallow: /search.html
Disallow: /search2.html
Disallow: /recent.html
Disallow: /login.html
Disallow: /stats.html
Disallow: /users.html
Disallow: /help.html
Disallow: /profile.html
Disallow: /register.html

но не пойму тольь народ идет пока его удаляю толи пока есть

[Юран]

а если такой оставить

User-agent: *
Disallow:

[bbbbbb]

за это можно очень быстро поймать бан от поисковиков.

кстате меня забанили, ко мне заходи все те кто порно искал
выход: сейчас я поменял домен новый, точнее еще один зарегил, сейчас два домена
а по айпи банить не будут .а ест ькстате правила по яндексу

а если такой оставить

User-agent: *
Disallow:

вместо форума проиндексирует страницу печати

[Роман]

народ, не знаю, в какую тему писать... новпрос по метатегам в принципе... я меняю в файле index.template.php  стандартную строчку:

Код Выделить Развернуть

<meta name="keywords" content="PHP, MySQL, bulletin, board, free, open, source, smf, simple, machines, forum" />
на свою

Код Выделить Развернуть

<meta name="keywords" content="Форум, общение, программы, бла-бла-бла, бла-бла-бла, бла-бла-бла, бла-бла-бла, бла-бла-бла, бла-бла-бла, бла-бла-бла, бла-бла-бла" />
Но в результате у меня в исходном тексте все русские символы отображаются (не знаю, как описать этот значек) знаком вопроса в квадратике. И роботы соответственно тоже метатеги видят крякозябрами... форум 2.0 бета 3, версия русская UTF-8. ЧТо может быть не так?
вот тег кодировки: <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />

[Роман]

под исходным текстом я имею в виду результат выполнения скрипта, который выводится в браузере

[dm_mb]

народ, не знаю, в какую тему писать... новпрос по метатегам в принципе... я меняю в файле index.template.php  стандартную строчку:

Код Выделить Развернуть

<meta name="keywords" content="PHP, MySQL, bulletin, board, free, open, source, smf, simple, machines, forum" />
на свою

Код Выделить Развернуть

<meta name="keywords" content="Форум, общение, программы, бла-бла-бла, бла-бла-бла, бла-бла-бла, бла-бла-бла, бла-бла-бла, бла-бла-бла, бла-бла-бла, бла-бла-бла" />
Но в результате у меня в исходном тексте все русские символы отображаются (не знаю, как описать этот значек) знаком вопроса в квадратике. И роботы соответственно тоже метатеги видят крякозябрами... форум 2.0 бета 3, версия русская UTF-8. ЧТо может быть не так?
вот тег кодировки: <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />

файл после редактирования сохранен не в кодировке UTF-8

[Vsh]

Всем здрасти!
У меня жёсткие проблемы с ПС, даже уже не знаю что делать. Может вы подскажите?
Перечитал кучу тем, установил всё по максимуму, но так понял, что наварил каши...... Поисковики хавают и роботс, и ситимэп, но почему-то очень тяжело найти при всевозможных запросах по профилю форума. Гугл показывает 168 ключевых слов на моём форуме, но такие бредовые: smf, зарегистрироваться и т.д.
Проиндексированы все урлы ситимэпа, кроме заблокированных. Форуму уже второй месяц.

Может посмотрите глобальные недочёты!
vsh-tuning.ru (Mavn! я слышал что эти статьи не индексируются, но если ссылки нельзя, то можно стереть сообщение)

За любую инфу заранее спасибо!

[Mavn]

vsh-tuning.ru (Mavn! я слышал что эти статьи не индексируются, но если ссылки нельзя, то можно стереть сообщение)

если урлы не активны то я их не режу, я режу только тем кто злоупотребляет тэгом урл.

[Yworld_garry]

После беглого осмотра.
1 Определитесь что Вы отдаёте ПС. Домен с www или без. Там полная неразбериха с этим. Не забывайте что это не мало важно при индексации начальной.
2 В роботс какие-то противоречия, нет сейчас время смотреть. Скачайте роботс из первого поста одноименной темы, там он в аттаче. Насколько я понял вам его не придётся даже править, только убрать директорию форум.
3 Кто Вам сказал что имея пустую статичную главную страницу( всего пять ссылок и пара счётчиков) Вас полюбят поисковики?
4 Два месяца это конечно срок не большой, но если бы Вы отдавали ботам заглавную форума , то результат был бы в разы лучше.
5 Гугл показывает видимо то что увидел быстро робот у вас, видимо он был на сайте в момент его открытия и не увидел ни чего ролевентнее. А вы упорно подсовываете ему пустую заглавную и "отбиваете желание включать проект в основной индекс.
6 Возможно что ещё, но сейчас сорри нет время.

[Vsh]

Спасибо Yworld_garry, что глянул!
Появилось несколько вопросов:
По 1. гугл не хочет переправлять мой урл с ... .ru на www. .... .ru, говорит что надо подтвердить, но не показывает как это сделать, может проще удалить сайт из индексации и заново поставить?
По 2. Так роботс один в один, только без закрывания всех экшенов, я предпочёл закрыть их по списку
По 3,4,5. Лучше удалить пустую заглавную страницу? Что посоветуете поставить из движков?

[Yworld_garry]

1 Есть несколько вариантов
http://www.google.ru/support/webmasters/bin/answer.py?answer=44231&topic=9025
http://help.yandex.ru/webmaster/?id=995297
Можно редирект сделать.
2 Не понял
3,4,5 Я не могу посоветовать незная что у вас планируется на сайте. Ну и как бы это уже отдельная тема.

[Vsh]

1. Как  и где я знаю, но вот загвоздка начинается после этого, см. вложение.
Хотя подтверждающий файл есть, что ему нужно?!?!
2. Роботс я брал из этого поста, только за место закрытия всех экшенов, закрыл их по списку

[Yworld_garry]

1 Видимо не правильно выполнена инструкция с вашей стороны.
2 Вы роботс взяли вот этот из аттача и усложнили его в три раза??
User-agent: *
Allow: /__forum/*sitemap
Allow: /__forum/*arcade
Allow: /__forum/*rss
Disallow: /__forum/attachments/
Disallow: /__forum/avatars/
Disallow: /__forum/Packages/
Disallow: /__forum/Smileys/
Disallow: /__forum/Sources/
Disallow: /__forum/Themes/
Disallow: /__forum/Games/
Disallow: /__forum/*.msg
Disallow: /__forum/*.new
Disallow: /__forum/*sort
Disallow: /__forum/*topicseen
Disallow: /__forum/*wap
Disallow: /__forum/*imode
Disallow: /__forum/*action

User-agent: Slurp
Crawl-delay: 100

[Palich]

Vsh

1. Как  и где я знаю, но вот загвоздка начинается после этого, см. вложение.
Хотя подтверждающий файл есть, что ему нужно?!?!

Нужно подтвердить ваши права на сайт,т.е. либо вставить строку,сгенерированную гуглом в код,либо в корень поместить файл,опять же сгенерированный гуглом.Подробнее тут

[Yworld_garry]

Вставьте его тег подтверждающий в ваш индекс темы на главной( или что у вас генерит главную) и не будет гемора в дальнейшем.

[BIOHAZARD]

1. неее
он имеет, что надо сначала и с www в админку добавить, уже после этого их можно будет склеить
а сейчас в админке только без www числится

[Vsh]

Наконец-то получилось, спс всем, особенно BIOHAZARD за понимание.
Надо было просто добавь как бы ещё один сайт только с www

[Vsh]

1 Видимо не правильно выполнена инструкция с вашей стороны.
2 Вы роботс взяли вот этот из аттача и усложнили его в три раза??
User-agent: *
Allow: /__forum/*sitemap
Allow: /__forum/*arcade
Allow: /__forum/*rss
Disallow: /__forum/attachments/
Disallow: /__forum/avatars/
Disallow: /__forum/Packages/
Disallow: /__forum/Smileys/
Disallow: /__forum/Sources/
Disallow: /__forum/Themes/
Disallow: /__forum/Games/
Disallow: /__forum/*.msg
Disallow: /__forum/*.new
Disallow: /__forum/*sort
Disallow: /__forum/*topicseen
Disallow: /__forum/*wap
Disallow: /__forum/*imode
Disallow: /__forum/*action

User-agent: Slurp
Crawl-delay: 100

Нет, я брал от сюда:
http://www.simplemachines.ru/index.php/topic,5089.msg35293.html#msg35293

[Vsh]

Yworld_garry, ты же сам писал, что тебе не отредактировать предыдущие сообщения и усовершенствованные боты нужно брать в последующих ответах

[Yworld_garry]

Вроде там миллион раз написано какой нужно использовать. И пост где я писал что не отредактировать был очень давно. С тех пор много чего поменялось.
В первом посте конкретно написано какой использовать, это если нет время или лень читать топик.

PS
Изменил постик и теперь там нет этой фразы, но следуя логике вы должны были взять роботс из последних постов, там он представлен в последнем варианте.

[Vsh]

Сеньк! Исправил