Cообщество пользователей SMF

В чем проблема? Ни один поисковик не индексирует, хотя предприняты общедоступные способы.
форум установлен на поддомене типа forum.domen.net
Насколько известно посковику нужен в корне сайта robot.txt, но в инстале SMF он не запланрован.
Друзья, очень нужны ваши советы.

и давно форум запущен?

Должно время какое-то пройти, посмтри в статистике - есть ли обращения от роботов/спайдеров.

По нашему опыту до полугода может не появлятся нигде

В каком поисковике? Один мой сайт появился на яндексе только через год после открытия, причем когда пользователи искали его название, они находили кучу страниц с ссылками на него

мы про яндекс и говорим странный парадокс заметили что когда только делаешь сайт и сразу публикуешь его в каталоге он на отрез отказывается индексировать пока деньги не заплатишь или как говорится пока не пройдет более 10 месяцев. у нас так пролет был с несколькими сайтами. Что нам показалось интересным так это то что google после публикации в каталоге через 2 недели запустил индексацию! ну с simplemachines.ru мы вообще не стали заносить в каталог немного другой как говорится долгий около 1 месяца зато надежный .

Ну так форум опубликован и работает уже  второй месяц.  На yandex сразу запулил его в каталог ,
наверное зря. Если проблема в этом, то это не делает чести персоналу Yandex
Rambler сказал, что поставили в очередь, потом, что будет завтра, а хрен там же месяц.
Google ничего тоже не видит. Хотя прекрасно видно все мои посты на других форумах с рекламой моего  .
Вот и создается впечатление, что проблема индексации в самом SMF.
Давайте-ка совместно пробежимся по поиску постов SMF в инете и попробуем разобраться в этой ситуации. Вопрос очень серьезный для сообщества.
А как нам поступить с robots.txt?
А, что по этому поводу говорят буржуины?

Чесно говоря не понимаю о какой глючности индексирования ты говоришь... у меня форум один за 2 месяца стал на первом месте в яндексе...

А еще один форум запускал тоже на SMF.. так была конкуренция просто охренеть) ну скажем так сайтов с подобной тематикой штук 20... яндекс проиндексировал форум где-то на 2 недели) и щас на 2ом месте по конкретно нашему запросу конкуренты отдыхают!

Прими поздравления и расскажи народу каким образом  как у тебя конкуренты отдыхают.
ну и пару фраз не помешают для yandexa с твоих форумов посмотреть твой рейтинг

Mavn, разреши пожалуйста PaXaNу дать ссылки на свои SMF ресурсы.

Разрешено эта часть раздела не индексируется насколько мы помним
Пример размещения только
1. Ссылка
2. Ключевые слова по которым идет идексация!

Первый:

pronn.ru/bor/

Собственно в яндексе "форум города Бор" и "город Бор"

Второй:

pronn.ru/dzr/

В яндексе "форум города Дзержинск" (эт вот тут много конкурентов, но вывелся на 2ом месте)

Моему сайту нет еще месяца...

По связке "Дистанционно-стажерские курсы" проверте меня в Яндексе, на Рамблере и в Гугле.

Главное не сайт, главное, что на нем!

Ну и конечно то, что в голове у создателя!

Да адрес забыл is2006.ru

Удачи!

SMF - ЛУЧШИЙ!!!

внимательно просмотрите результыты:

http://www.yandex.ru/yandsearch?text=%23url%3D%22www.pronn.ru*%22&pag=u&surl=pronn.ru

всё увас проиндексировано

Ну у нас гораздо сложнее с нашим сайтом у нас не все разделы доступны гостям поэтому лично у нас не все индексируется

Цитата: Mavn от 13 января 2006, 17:29:33
Ну у нас гораздо сложнее с нашим сайтом у нас не все разделы доступны гостям поэтому лично у нас не все индексируется

Ну так надо открыть - ну хотя бы временно или часть информации перенести в открытый доступ!

Удачи!

Помнится в инвизион была такая фишка - можно сделать раздел, который поисковики могут индексировать, а гости не могут просматривать..

Цитата: Mavn от 13 января 2006, 17:29:33
Ну у нас гораздо сложнее с нашим сайтом у нас не все разделы доступны гостям поэтому лично у нас не все индексируется

а к стати в чем практическая польза такого подхода кроме меньшего числа посетителей?

И тему то я какую создал
Ну вот,  можете меня и себя, тоже поздравить, форум появился на первых строчках yandexа и googlа!
Конкуренты действительно могут отдохнуть.  Форум хоть и пустой, но новостные строчки спайдеры сожрали.
Не знаю толком в чем дело, но я таки вложил в корень форума  => robots.txt
Возможная причина еще в том, что форум  зарегистрировали в каталоге расскрученного профильного портала и мой ресурс выскакивает в поиске через него.
SMF- лучшая хавка для поисковых роботов, однозначно! 

Моему форуму около года, проиндексированных страниц в Рамблере 5380, в Гугле 404, Янедкс - 119 Причём яндекс схватил только "Печать страницы"
Так всё же как лучше скормить форум Яндексу?

Цитата: alf от 07 декабря 2006, 09:31:04
Моему форуму около года, проиндексированных страниц в Рамблере 5380, в Гугле 404, Янедкс - 119 Причём яндекс схватил только "Печать страницы" Так всё же как лучше скормить форум Яндексу?

Даже интересно такое слушать..
У меня Яша с форума не вылазит, только там и носится..
как у тебя с метатегами? Попробуй проставить ссылки на разные части форума с сайта, и в форуме на сайт..

Хм. а чем объяснить любовь ботов к Печатному варианту?

Привет. Я тоже размести robots в корень сайта. И теперь мой пустой форум http://simf.ifastnet.com по связке "симферпольский форум" занимает 3-5 место в гугле. А яндекс не хочет индексировать. P.S. сайту дней 10 еще

Поправьте меня,если не так, но мне кажется, что  вверсии SMF 1.1.1 это должно выглядеть примерно так:

1) Создать текстовый документ(обычный блокнот) формат txt

2) Вписать туда следующие строки:
User-agent: *
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/

3) Файл обозвать robots (строчными буквами,и в нижнем регистре, а не ROBOTS или Robots) 

почти так как вы написали нужно добавить еще следующее

Disallow: index.php?action=profile;
Disallow: index.php?action=post;
Disallow: index.php?action=search;
Disallow: index.php?action=search2;
Disallow: index.php?action=mlist;
Disallow: index.php?action=admin;
Disallow: index.php?action=pm;
Disallow: index.php?action=sendtopic;
Disallow: index.php?action=markasread;
Disallow: index.php?action=notify;
Disallow: index.php?action=stats;
Disallow: index.php?action=recent;

и тогда будет все как нужно

А слэши нужно ставить?
Нуждается ли файл в "запаролевание" и если да, то как нам это сделать?

насчет слэшей лучше спецификацию почитать , мы основывались на примере как говорится написали свое

:-)
http://www.simplemachines.ru/robots.txt

Спасибо!
Вставил robots.txt и через 2 дня количество проиндексированных  страниц выросло до 672!
Это за месяц жизни форума.

Цитата: Neuzis от 10 января 2006, 14:29:15
В чем проблема? Ни один поисковик не индексирует, хотя предприняты общедоступные способы.

Мною была выявлена причина любви поисковиков, в частности Яндекса, к печатномуварианту страницы.

Дело вот в чем. В файле Themes\index.template.php
ищем строки

<meta name="description" content="', $context['page_title'], '" />';
/* empty($context['robot_no_index']) ? '' : '
<meta name="robots" content="noindex" />', ' */
echo '<meta name="keywords" content="... 
Заметьте - в моем случае они заэкранированы.
Заэкранирована строка, которая в некоторых - пока не выясненных - обстоятельствах принимает значение
name="robots" content="noindex"

Для выяснения вашего пложения дел - зайдите в любую тему и просмотрите исходный код. Если вы увидите ту строку с запретом индексирования - вы можете больше не гадать из-за чего роботы вас игнорируют.
В основном такое происходит на дефолтной теме. На других правленных иногда такой строки нет...


Так что, на свой страх и риск, вы можете закомментировать эту строку.

не согласен в принципе с таким утверждением
1. строка типа

empty($context['robot_no_index']) 

появилась в версии 1.1 финал (или 1.1 RC3 точно не помню), а любовь поисковиков к печатной странице исходила еще с версии 1.0 beta * так что закономероности просто не вижу
2. А теперь возмите исходный текст сгенерированной страницы с коментарием т.е. вашу и мою со стандартом

empty($context['robot_no_index']) 

и найдите эту самую закономерность вы ее просто не увидите ни в одной теме оформления.
3. если присмотритесь внимательно к исходному коду smf то увидите другую закономерность использования

empty($context['robot_no_index']) 

Sources/Display.php

// Find the previous or next topic.  Make a fuss if there are no more.

if (isset($_REQUEST['prev_next']) && ($_REQUEST['prev_next'] == 'prev' || $_REQUEST['prev_next'] == 'next'))

{

// No use in calculating the next topic if there's only one.

if ($board_info['num_topics'] > 1)

{

// Just prepare some variables that are used in the query.

$gt_lt = $_REQUEST['prev_next'] == 'prev' ? '>' : '<';

$order = $_REQUEST['prev_next'] == 'prev' ? '' : ' DESC';

$request = db_query("

SELECT t2.ID_TOPIC

FROM ({$db_prefix}topics AS t, {$db_prefix}topics AS t2)

WHERE t.ID_TOPIC = $topic" . (empty($modSettings['enableStickyTopics']) ? "

AND t2.ID_LAST_MSG $gt_lt t.ID_LAST_MSG" : "

AND ((t2.ID_LAST_MSG $gt_lt t.ID_LAST_MSG AND t2.isSticky $gt_lt= t.isSticky) OR t2.isSticky $gt_lt t.isSticky)") . "

AND t2.ID_BOARD = $board

ORDER BY" . (empty($modSettings['enableStickyTopics']) ? '' : " t2.isSticky$order,") . " t2.ID_LAST_MSG$order

LIMIT 1", __FILE__, __LINE__);

// No more left.

if (mysql_num_rows($request) == 0)

{

mysql_free_result($request);

// Roll over - if we're going prev, get the last - otherwise the first.

$request = db_query("

SELECT ID_TOPIC

FROM {$db_prefix}topics

WHERE ID_BOARD = $board

ORDER BY" . (empty($modSettings['enableStickyTopics']) ? '' : " isSticky$order,") . " ID_LAST_MSG$order

LIMIT 1", __FILE__, __LINE__);

}

// Now you can be sure $topic is the ID_TOPIC to view.

list ($topic) = mysql_fetch_row($request);

mysql_free_result($request);

$context['current_topic'] = $topic;

}

// Go to the newest message on this topic.

$_REQUEST['start'] = 'new';

 

// Duplicate link!  Tell the robots not to link this.
 

$context['robot_no_index'] = true;

}

// Start from a certain time index, not a message.

if (substr($_REQUEST['start'], 0, 4) == 'from')

{

$timestamp = (int) substr($_REQUEST['start'], 4);

if ($timestamp === 0)

$_REQUEST['start'] = 0;

else

{

// Find the number of messages posted before said time...

$request = db_query("

SELECT COUNT(*)

FROM {$db_prefix}messages

WHERE posterTime < $timestamp

AND ID_TOPIC = $topic", __FILE__, __LINE__);

list ($context['start_from']) = mysql_fetch_row($request);

mysql_free_result($request);

// Handle view_newest_first options, and get the correct start value.

$_REQUEST['start'] = empty($options['view_newest_first']) ? $context['start_from'] : $topicinfo['numReplies'] - $context['start_from'];

}

}

// Link to a message...

elseif (substr($_REQUEST['start'], 0, 3) == 'msg')

{

$virtual_msg = (int) substr($_REQUEST['start'], 3);

if ($virtual_msg >= $topicinfo['ID_LAST_MSG'])

$context['start_from'] = $topicinfo['numReplies'];

elseif ($virtual_msg <= $topicinfo['ID_FIRST_MSG'])

$context['start_from'] = 0;

else

{

// Find the start value for that message......

$request = db_query("

SELECT COUNT(*)

FROM {$db_prefix}messages

WHERE ID_MSG < $virtual_msg

AND ID_TOPIC = $topic", __FILE__, __LINE__);

list ($context['start_from']) = mysql_fetch_row($request);

mysql_free_result($request);

}

// We need to reverse the start as well in this case.

$_REQUEST['start'] = empty($options['view_newest_first']) ? $context['start_from'] : $topicinfo['numReplies'] - $context['start_from'];

$context['robot_no_index'] = true;

}

}


Посмотрев код (я не программер могу ошибаться) приходим к выводу что разработчики позаботились о том что в случае если в ссылке  в первом случае prev_next,prev.html; prev_next,next.html#new(в случае если включены SEO URLS в SMF) и #new во втором случае и будет так называемый запрет на индексирование чтобы поисковики не идексировали одну и туже тему по такому http://www.simplemachines.ru/index.php/topic,205.0/prev_next,next.html#new
и по такому
http://www.simplemachines.ru/index.php/topic,1022.0.html
адресам
Тоже самое касается и ссылки с new
4. Так что прежде чем делать какие то выводы о том что разработчики решили напакостить с индексированием форумов ПОСМОТРИТЕ сначала исходный код что же на самом деле запрещается идексировать поисковикам. И этот пункт касается всех кто так думает а не только Avdenago. Потому как вопрос о <meta name="robots" content="noindex" поднимался давно и криков было много только вот все не в тему!!!

Да. согласен полностью.  но я сразу сказал.

ЦитироватьЗаэкранирована строка, которая в некоторых - пока не выясненных - обстоятельствах принимает значение

Вот кое-кто помог разобраться в этих до данного момента невыясненых обстятельствах.

А никто не изучал влияние фотогалереи смф на поисковики?

Честно говоря нет. Как говорится пока сам не просмотришь я думаю что никто не ответит на данный вопрос. Далеко не все используют галерею

Цитата: Mavn от 17 июня 2007, 21:08:28
Честно говоря нет. Как говорится пока сам не просмотришь

Mavn, а что просмотреть-то? Ни разу не встретил в поисковиках ссылку на свой форум именно на страницы фотогалереи, в статистике счетчиков типа мыла.ру тоже не упоминается о подобных страницах, хотя народ ходит в фотогалерею форума активно, и фоток с текстовыми заголовками там накидано немало.

я бы посмотрел - но гостей туда не пускают

Цитата: Avdenago от 19 июня 2007, 19:43:26
я бы посмотрел - но гостей туда не пускают

Ну для такого дела можно было и зарегиться...
В-общем, решил, что толку от такой бесплатной галерки нет (только жрет место на сервере) и удалил ее.

http://forum.searchengines.ru/showpost.php?p=1519526&postcount=36

1. ко мне поисковик пришел через 3-4 дня,может от домена зависит, с yahoo пришло 150 роботов

2. А куда в код поставить ключевые слова, чтобы они были не видемые, но чтобы поисковик их проиндексировал, я поставить могу но не знаю будет ли поисковик их видеть, а кто-то знает точно куда написать???

Я в статье про perl увидел такое...

index.template.php там ключевики прописываются.

Цитата: bbbbbb от 06 октября 2007, 01:06:47
1. ко мне поисковик пришел через 3-4 дня,может от домена зависит, с yahoo пришло 150 роботов

от доменной зоны точнее.

Цитировать
2. А куда в код поставить ключевые слова, чтобы они были не видемые, но чтобы поисковик их проиндексировал, я поставить могу но не знаю будет ли поисковик их видеть, а кто-то знает точно куда написать???

за это можно очень быстро поймать бан от поисковиков.

Цитата: Avdenago от 07 декабря 2006, 10:45:28
Хм. а чем объяснить любовь ботов к Печатному варианту?

всё очень просто: печатный вариант в "глазах" ПС выглядит более релевантным.

Так как всё таки запретить поисковикам выдавать "Печатные страницы" ?

Может эту функцию отключить ?  ...

используем поиск http://www.simplemachines.ru/index.php/topic,1360.msg11898.html#msg11898

Цитата: lekoleko от 09 ноября 2007, 05:40:55
Так как всё таки запретить поисковикам выдавать "Печатные страницы" ?

Может эту функцию отключить ?  ...

Хм, я бы не стал её отключать...

Цитата: .nitro от 13 ноября 2007, 04:28:13
Хм, я бы не стал её отключать...

почему ?

Например топик с форума может не попасть в десятку-двадцатку-**цадку поисковиков, а версия для печати имеет больше шансов

Цитата: .nitro от 13 ноября 2007, 04:42:32
Например топик с форума может не попасть в десятку-двадцатку-**цадку поисковиков, а версия для печати имеет больше шансов

Где то читал что Яша банит за версии для печати...

ИМХО фигня...

У меня на статичним сайте процентов 30 было в топе Яши...

кто подскажет .. на форум почему то мало заходит народу.. раньше бывало 20-30 .. а сейчас 10-15 ... форум недвно залил может месяц или около .. и еще а если робот.тхт вообще не кидать.. мне показалось как толтько я его туда кидаю мало вообще заходит по счетчику... и яндекс не находил сайт .. как только удал его ... вроде в яндексе появился в поиске...влияет ли этот файл как то? ... а как можно еще увеличить посещаемость кто может подсказать

ИМХО надо подождать. Месяц - это не срок.