Проблема с индексацией Яндексом

Автор Ishodniki, 07 Сентябрь 2007, 12:58:56

« назад - далее »

0 Пользователей и 1 гость просматривают эту тему.

Ishodniki

Доброе время всем!

Форум: forum .ishodniki .ru

Проблема: Яндекс индексирует примерно 30 страничек и через день они пропадают и заново индексируются. Остальные поисковики замечательно проглотили всё... А вот Яндекс...
Возможные причины: Смотрел код... Был какой-то непонятный скрипт, запрещающий индексацию: откуда взялся он, не понятно. Убрал его давно уже... Гугл моменттально схватил всё.
Была ещё одна непонятная проблема: некоторые темы были запрещены для просмотра гостями. Исправили.
Роботс настроен аналогично, как и на данном форуме!

Подскажите, какие ещё могут быть проблемы, касательные движка форума?
Буду признателен, если кто-либо сделает предположения или, ещё лучше, ткнёт носом в косяк.

Спасибо

kostyk

http://www.yandex.ru/yandsearch?text=rhost%3D%22ru.ishodniki.forum%22|rhost%3D%22ru.ishodniki.forum.*%22&pag=u
вот как на данный момент проиндексирован Ваш форум.
А что за скрипт такой был который запрещал индексацию???

Ishodniki

kostyk, как проиндексировано, я знаю.
Проиндексировано постоянно 31 страница и через день они заново выпадают и индексируются...

И так постоянно...
Причину найти не могу...

Пользовался гугл sitemap один раз делал курту сайта.
Сейчас все файлы удалил. Но причина в чём-то другом...

Ishodniki

Цитата: kostyk от 08 Сентябрь 2007, 19:21:33
http://www.yandex.ru/yandsearch?text=rhost%3D%22ru.ishodniki.forum%22|rhost%3D%22ru.ishodniki.forum.*%22&pag=u
вот как на данный момент проиндексирован Ваш форум.
А что за скрипт такой был который запрещал индексацию???
А скрипт привести тоже не могу уже. Что-то на JavaScript было.
Удалил его безвозвратно.

kostyk

Попробуй тогда написать письмо в тех. поддержку Яндекс, с темой Платон, опиши в письме полностью свою проблему!
Как ответят, отпишись тут!

Ishodniki

Цитата: kostyk от 08 Сентябрь 2007, 23:13:11
Попробуй тогда написать письмо в тех. поддержку Яндекс, с темой Платон, опиши в письме полностью свою проблему!
Как ответят, отпишись тут!
Писал уже им.
Правда не Платону.

Хорошо, попробую.
Надеюсь ответят.

Ishodniki

На searchengines предложили сделать .htaccess
(мол ссылающиеся ссылки все начинаются с www а форум без ..)
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.forum.ishodniki\.ru
RewriteRule ^(.*)$ http://forum.ishodniki.ru/$1 [R=permanent,L]

Пробую...

Ishodniki

Сегодня первый день, как проиндексировалось 195 страниц, однако, если начать просматривать эти страницы, нажимая дальше, то оказывается, что их 43 или ещё меньше...
Что-то Яндекс глючит http://www.yandex.ru/yandsearch?ras=1&text=&site=forum.ishodniki.ru

Однако, время покажет.
Ждём дальше.
Лишь бы страницы не вылетили...

kostyk

Вот и я сегодня нашел у себя такой вот тег, нафига спрашивается разработчикам это нужно???? :-(
<meta name="robots" content="noindex" />', '

domofor

Цитата: kostyk от 15 Сентябрь 2007, 01:15:20
Вот и я сегодня нашел у себя такой вот тег, нафига спрашивается разработчикам это нужно???? :-(
<meta name="robots" content="noindex" />', '
Где конкретно?
Размещайте ссылки на свои форумы в сообществе владельцев форумов на любых движках https://forumovod.ru

kostyk

в index.template.php твоей текущей темы в хедере

DarkTemplar

Хм, ну если она мешает, то что мешает ее удалить?

Avdenago

Цитата: kostyk от 15 Сентябрь 2007, 01:15:20
Вот и я сегодня нашел у себя такой вот тег, нафига спрашивается разработчикам это нужно???? :-(
<meta name="robots" content="noindex" />', '

Так. без паники - так надо. для вас лучше же ее не убирать:)  разрабы не такие уж и дураки... Поищите поиском по форуму - уже не раз обсуждали это.

вот тут начало.
http://www.simplemachines.ru/index.php/topic,205.msg9348.html#msg9348

вот тут ответ
http://www.simplemachines.ru/index.php/topic,205.msg9349.html#msg9349

kostyk

мда... бредятина какая-то, лично не фига не понял из объяснений Мавна, у себя заменил noindex на index, follow

domofor

Цитата: kostyk от 15 Сентябрь 2007, 19:52:58
мда... бредятина какая-то, лично не фига не понял из объяснений Мавна, у себя заменил noindex на index, follow
Если я правильно понял из объяснений, то неиндексируется пост с приставкой new. Самое главное, чтоб пост без приставки индексировался :)
Размещайте ссылки на свои форумы в сообществе владельцев форумов на любых движках https://forumovod.ru

Avdenago

Цитата: kostyk от 15 Сентябрь 2007, 19:52:58
мда... бредятина какая-то, лично не фига не понял из объяснений Мавна, у себя заменил noindex на index, follow

Я бы не спешил называть бредятиной то, чего не понимаешь... убрали - ваше дело...  только потом не жалуйтесь...

я тоже когда то убрал. и получил эффект обратный желаемому. Янди проиндексировал несколько тысяч страниц...  и ему было все равно, что это одни и те же страницы... линки у них были разные - за счет якорей # - которые убираються той строчкой...

Я думаю, что если бы вы внимательно прочли то что я указал - и посмотрели на свои линки на форуме - вы бы поняли о чем шла речь...

kostyk

Я прекрасно понимаю что такое индексация и т п т.к. являюсь Seo-оптимизатором, но то как описывают в вышеуказанной теме для чего noindex в тех мета-тагех, врядли кто поймет!

Denis

Avdenago
А что было далее?? Проиндексил много дупликатных страниц Яндекс и что? Это боком Вам вышло?

Mavn

Цитата: kostyk от 15 Сентябрь 2007, 19:52:58
мда... бредятина какая-то, лично не фига не понял из объяснений Мавна, у себя заменил noindex на index, follow
Бредятиной занимаетесь вы а не я. Следите за словами в следующий раз потому как больше предупреждений не будет.
Незнание неумение и нежелание вникнуть в суть проблемы вот это бредятина и она исходит с вашей стороны!
Объясняю для особо одареных и вечно как это правильно сказать даже не знаю ... те кто бредят и мнят себя крутыми оптимизаторами не вникая и не желая вникать в суть проблемы.
Объясняю еще раз и на примерах.

заходим по ссылке:
http://www.simplemachines.ru/index.php/topic,2618.0/prev_next,next.html#new
после чего видим след код
Код

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml"><head>
<meta http-equiv="Content-Type" content="text/html; charset=windows-1251" />
<meta name="description" content="robots.txt" />
<meta name="robots" content="noindex" />

а теперь заходим
http://www.simplemachines.ru/index.php/topic,2067.0.html
и видим
Код

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml"><head>
<meta http-equiv="Content-Type" content="text/html; charset=windows-1251" />
<meta name="description" content="robots.txt" />


ну и где ваш noindex ?
Так что прежде чем говорить что кто то занимается бредятиной подумайте может вы не в своем уме...
Прежде чем что то говорить прочтите то что уже написал тем более что в теме в которой все расписал даже код приводил который отвечает за данное действие!!
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

Ishodniki

Mavn, будь добр, приведи, пажалуйста, тот самый код, чтобы верно ставился noindex!
Проверяю индексацию в Яндексе сейчас.
Всё верно, ребята говорят!!!
Яндекс индексирует одну и туже тму несколько раз: отличие только в том, что в url прибавляются различные .msg..., а нам это не надо и нужны только topic...

Спасибо.

Mavn

Цитата: Ishodniki от 10 Сентябрь 2007, 14:08:36
На searchengines предложили сделать .htaccess
(мол ссылающиеся ссылки все начинаются с www а форум без ..)
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.forum.ishodniki\.ru
RewriteRule ^(.*)$ http://forum.ishodniki.ru/$1 [R=permanent,L]
я конечно не крутой оптимизатор но помоему это не очень...
при данном условии у вас будет всего лишь происходить редирект
и еще под вопросом имеет ли смысл делать редирект при помощи 302 ошибки а не 301 потому как когда переносил форум с http://www.simplemachines.ru/community на тот что имеем сейчас http://www.simplemachines.ru прочитал достаточно много документации на разных ресурсах (в основном забугорных) по данному вопросу и многие сколнялись использовать 301 а не 302.
Разницу между одним и другим я думаю найдете в документации.
И честно говоря если у вас не индексируется и с www то не думаю что данное правило будет как то вообще влиять но общую индексацию проекта кроме как пожалуй только одно понимание поисковиками проекта с www и без www как единого целого. К ускорению или улучшению индексации наврятли приведет.

Цитата: Ishodniki от 19 Сентябрь 2007, 11:05:57
Mavn, будь добр, приведи, пажалуйста, тот самый код, чтобы верно ставился noindex!

Avdenago отвечал на данный вопрос приводя ссылки но как всегда оставили без внимания еще и обругав при этом.

Цитата: Avdenago от 15 Сентябрь 2007, 19:43:18
вот тут ответ
http://www.simplemachines.ru/index.php/topic,205.msg9349.html#msg9349
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

Ishodniki

Эх странное дело, сколько времени прошло, но так и не хочет индексироваться Яндексом.
Ежедневно 31-32 страницы и ежедневно они пропадаю и появляются.

Mavn

а в гугле у тебя индексация нормальная? У гугля есть утилитка для вебмастеров можно посмотреть что запрещеается какие ошибки при индексировании возникают и прочие мелочи. Я это к тому что можно использовать данную утилитки для анализа своего хоста по крайней мере ты будешь видеть хоть что то .
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

Ishodniki

Цитата: Mavn от 08 Октябрь 2007, 13:18:42
а в гугле у тебя индексация нормальная? У гугля есть утилитка ...
Спасибо за совет, конечно.
Данной утилитой пользовался и частенько проверяю.
Проблем нет никаких. Всё что запрещено в роботс там отображается, более проблем нет. СайтМап тоже своё дело сделал.
И Яндекс молчит... Сегодня зарегил в их каталоге, возможно это повлияет на скорость их ответов.

В логах сервера смотрю за активностью Яндекса... Заходит ежедневно и берёт много ссылок. Однако они не появляются.

bbbbbb

поисковики по разному работатю, ко мне иногда приходит yahoo, пару раз пришло 150, другой, раз 30, другой раз 5.
с гугла по одному, И не давно был яндекс, точнее может и не он, но счетчик этого хоста который пришел не всчитал...

.nitro

2Ishodniki, ну чего вы паникуете?
Сейчас в Я твориться что-то невообразимое. У меня до недавнего времени сайт в день индексировался просто замечательно, но 2 недели назад СТОП и всё. Гугля исправно индексирует, а вот Я нивкакую. Рамблер и то признался, что уже проиндексировал, хотя 2 месяца скрывал :)

Хз что в вашем случае, у меня зона .info, у вас .ru
Добавьте в адурилку? погодите с пару недель, а то и с месяц. Прикупите на сапе ссылок.

Если через пару месяцев не будет результата, пишите Платону.
SамыйMатёрыйFорум 2.0.15, URL: http://kamrc.ru/ - форум Камчатских радиолюбителей

Ishodniki

2.nitro 
Всё, что ты описал, я уже сделал ))
И ссылки и аддурелка. Яндекс знает мой сайт, и практически каждый день забирает страницы.
Вот снова 32 страницы из которых 30 проиндексированы  7 часов назад...
И так каждый день ))

А Плотон молчит как партизан. Хоть бы словечко промолвил, хоть бы сказал, что не у меня трабл.

Ну да ладно, спасибо за активность и поддержку!
ОТпишусь как проясниться...

savirmir

Хм... Я просто прописал свой сайт в Яндексе...
Запретов на сканирование страниц у меня нет, знаю точно, так как сам тот сайт писал...
Одна из страниц сайта ведёт на форум. Всё...
Пробывал искать - всё нормально... т.е. если через некоторое время ввести в Яндексе фразу из форума, он её находит... причём среди первых ссылок.
Недавно проделал ещё одну штуку - добавил функцию поиска по сайту (и, соотвественно, форуму) из Яндекса на одну из страничек сайта, работает прекрасно и, насколько я понимаю, ускоряет индексирование страниц...

Ishodniki

Взглянул на .htaccess
Кто растолкует? Запись появилась сама по себе:
-------------------------------------------
DirectoryIndex index.php
Options -MultiViews

<IfModule mod_php4.c>
   php_flag session.use_trans_sid off
</IfModule>

<IfModule mod_rewrite.c>
   RewriteEngine On
   RewriteRule ^dir/(.*) sefriendly.php
</IfModule>
--------------------------------------------

2savirmir - Попробую форму поиска Яши вставить.
Хотя не вариант тоже ))

Но в Логах сервера каждый день наблюдаю, что Яша забирает сотни страниц - куда они деваются только и почему не появляются так долго в индексе...

Mavn

DirectoryIndex index.php  указывает что загрузка должна производится  с index.php
Options -MultiViews не знаю и не нашел описание опции но многие говорят что из за нее могут быть различные глюки.
<IfModule mod_php4.c>
   php_flag session.use_trans_sid off             
</IfModule>

работа с сессиями

<IfModule mod_rewrite.c>
   RewriteEngine On
   RewriteRule ^dir/(.*) sefriendly.php
</IfModule>


ну а это какая то заморочка на переделку адресов типа как у нас index.php?action=forum в forum.html

Честно говоря я бы убрал Options -MultiViews я бы еще понял бы если была бы строка Options -Indexes
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

Ishodniki

Странная штука, .htaccess частенько проверяю и до этого стоял только запрет на один IP (бан)
Эти строки появились совсем недавно. Какой-то SMF уж слишком умный. ))

А возможна проблема из-за неправильного выставления атрибутов на файлы и папки?

Mavn

от атребутов уж точно не зависит
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

bbbbbb

10 Октябрь 2007, 01:07:56 #32 Последнее редактирование: 10 Октябрь 2007, 01:21:37 от bbbbbb
«Главное преимущество mod_rewrite — настраиваемость и гибкость Sendmail. Обратная сторона mod_rewrite — настраиваемость и гибкость Sendmail».
«Несмотря на тонны примеров и документацию, mod_rewrite это Вуду. Чертовски клёвый Вуду, но все-таки Вуду.» laugh

MultiViews - это опция для многоязычных кодировок, она давно не используеться, рекомендуеться выключить, она у меня включена кстате, "-" приоритет меньше если еще в подкаталоге будет такаяже опция ...
http://mod-rewrite-wizard.com/ - сайт для генерации того чтобы убрать лишнее...

есть каталог dir и файл sefriendly.php?

Ishodniki

bbbbbb, таких каталогов и файла нет.

Mavn

ну тогда и смысла в данных параметрах .htaccess вообще нет можешь его либо удалить вообще либо оставить только загрузку с index.php
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.