Причуды индексации от Яндекса

[Солярис]

Всем доброго времени суток!

Яндекс стал последнее время как-то странно индексировать сайт.
Из около 5000 тем форума в поисковой выдаче (в настоящий момент) участвуют чуть больше 3800 адресов. Неделю назад это цифра была в районе 4000 тем.

Между тем, иной раз индексация возвращается на круги своя (в нормальное русло) и показывает более верные цифры, приближенные к соответствующему количеству адресов страниц сайта.

Платону писал уже несколько раз - полная тишина.

В чем искать причину ума не приложу.

Заранее спасибо за дельные советы.

[Yworld_garry]

На самом деле в индексе, в количество 3876 проиндексированных входит куча страниц не относящихся к форуму непосредственно.
Разных вариаций вот этого урла, море варианотов
catalog/mail2.php?id=73&cat=12&subcat=0&subsubcat=0&page=0
catalog/mail.php?id=57&cat=1&subcat=0&subsubcat=0&page=     и тд.

Дальше есть вот такая бойда различная http://ваш сайт из профиля/catalog/m/view.php?id=71&page=0&cat=21&subcat=0&subsubcat=0
Вот такое http://ваш сайт из профиля/catalog/review.php?id=86&cat=13&subcat=0&subsubcat=0&page=0

Дальше просто смотреть нет смысла. Я так думаю, в поиске горадо меньше полезного и нужного, чем вы думаете.

Закройте всю бойду и тогда будет гораздо больше переходов и любви ПС.

[Солярис]

То, о чем Вы пишите, давным давно закрыто от индексации Disallow: /catalog/m/

[Yworld_garry]

Не знаю что закрыто, но я взял из свеже проиндексиного.
Да и бог с ним /catalog/m/, остального куча

[Солярис]

Не знаю что закрыто, но я взял из свеже проиндексиного.
Да и бог с ним /catalog/m/, остального куча

Между прочим, и остальное закрыто.

Кстати, для каталога лучше роботс разместить отдельный или в общем все писать (который находится в корне сайта)?
И если роботс (для каталога) находится в папке catalog, я так понимаю, что в операторе Disallow можно опустить адресацию через папку catalog.

[Yworld_garry]

Роботс может быть только один и он должен лежать в корне.

[Солярис]

Роботс может быть только один и он должен лежать в корне.

Щорт побъяри!

Спасибо за информацию.

[lelkasmol]

мне интересует что яндекс не инет сообщения в темах, ток темы и тто не все, обьясните что это за Документ содержит мета-тег noindex че за теги и как их убрать .......надо чтоб все страницы индексировались

[Yworld_garry]

Надеюсь я правильно понял, в следующий раз пишите более распространённым языком.
http://www.simplemachines.ru/index.php?topic=5089.0

[Солярис]

В продолжении темы.

Яндекс опять выкинул из поисковой выдачи значительное число страниц.
Так, тем на форуме 5203, в поисковой выдаче у Яндекса участвует ~ 2844 адреса (это фактически лишь половина форума). Гугл индексирует нормально.
Лично я уже запарился искать причины нелюбви Яндекса к форуму и его "великолепной" индексации.

Буду признателен за полезную информацию. Спасибо.

[decebel2]

Я  думал только у меня за последние пару дней из индекса выскочило порядка 500 страниц...
Может всем скопом Платону письмо напишем?

[Солярис]

Я  думал только у меня за последние пару дней из индекса выскочило порядка 500 страниц...
Может всем скопом Платону письмо напишем?

Я думаю, что не поможет. Щукин напишет шаблонный ответ примерно такой, как мне:

Количество страниц сайта, которые находятся в поиске, зависит от
авторитетности сайта, оригинальности его контента, наличия спама (в том числе
ссылочного) на его страницах. Если Ваш сайт еще молод и не стал достаточно
авторитетным, со временем он проиндексируется лучше. Если Ваш сайт не содержит
оригинального контента, даже уже имеющиеся в индексе страницы могут исчезнуть
из поиска.

Никогда не думал, что количество проиндексированных страниц сайта (которые выдаются в поиске) зависит от его авторитетности. Это что-то новое на ниве индексации. Яндекс жжёт.

А то, что Гугл нормально индексирует сайт - это Яндексу по барабану.

[decebel2]

Медленно, но уверенно форум продолжает лететь из индекса...За сегодня еще под 50 страниц ушло, за неделю порядка 1000 Логи апача в норме, бот не получал не каких стопов...ХЗ, Что у них творится...Написал Платону, ждем...

[Солярис]

Я посмотрел у себя в метрике (статистика от Яндекса в вебмастере), так трафик с Яндекса занимает только третье место. На первом Гугл, на втором Майл.ру. О чем также писал им в запросе, но на это они никакого внимания не обращают.

[Yworld_garry]

Нужен анализ переходов с яндекса, почему и по каким запросам сайт в выдаче. Отсюда делать выводы и работать.
Насколько я смог посмотреть сейчас с работы, в индексе доля форума не увеличилась. Там далеко не 2844 страниц, это отчасти страницы не форума.

[Солярис]

Нда...
Еще 600 страниц в Яндексе вылетело из поисковой выдачи. Я просто фигею! Яндекс уже просто достал подобными действиями. И главное - неизвестно, куда копать и где собака зарыта.

[Yworld_garry]

Посмотреть логи апача, что отдаётся боту, какой ответ сервера.

[Солярис]

Да нормальный ответ ботам: 200

Да притом Гугл то нормально индексирует. В Гугле количество проиндексированных страниц растет, а Яндекс только выкидывает страницы пачками. Маразм!

[Yworld_garry]

Начните с анализа свеже попавших в выдачу страниц. И сравните с выпавшими. Возможно будет видна проблема.

[Солярис]

"Праздник" продолжается. Зашел сегодня в вебмастер и офигел. Участвующих в поиске страниц осталось только 1499.

Написал в поддержку, но на ответ не рассчитываю.

[Yworld_garry]

Могу дать некоторый анализ, так как я на момент выше поста сохранил данные.

1 Выпал мусор. Посмотрите мои ответы на ваши посты в этой и других темах.
2 Алгоритм стал очень жёсткий. Вашему проекту не обойтись без цитирования различных актов и законов. Выпало по причине не уникальности. Смиритесь, уникальным это не сделать.
3 Выпал копипаст, кстати сейчас у вас на форуме первым из новых постов идёт 100% копипаст.
4 Восемь блоков рекламы на страницу топика, перебор.
Из правил : Мы исключаем из выдачи сайты/страницы созданные для открутки рекламы ( сокращённо)
5 www.pr-cy.ru не видит вашего роботс.

Нет или точнее я не увидел уникальных статей. У вас не так много вариантов удержатся в индексе. Нужно достаточное количество статей по топикам. Тогда проникнувшись вашей полезностью и уникальностью ПС будет любить.
Ещё раз повторю, с вашей тематикой очень трудно быть уникальным без написания текстов не копирующих определённые законы, акты и тд.

[Солярис]

Спасибо за ответ. Но...

1. Мусором более половины форума быть не может.
2. Абсолютно согласен с Вами, что юридический форум не может обойтись без упоминания о новых нормативных актах. Однако считать это неуникальным контентом - это полный бред и косяк поисковой системы! Такой алгоритм - это маразм его разработчиков! Да на десятках тысяч сайтов может упоминаться один и тот же нормативный акт и никак по иному (уникально) он именоваться по определению не может, ибо из официального наименования акта ничего не выкинешь и не добавишь своего.
3. Какой копипаст?! Название новых нормативных актов? Это копипаст?! Это бред, если такую информацию поисковик считает за копипаст! Я не размещаю тексты этих актов, а только информацию об их издании и ссылку на сам акт.
При этом я лишь размещаю информацию о новых нормативных правовых актах, которые печатаются в Российской газете, которая является официальным изданием для публикации нормативных актов. При этом без опубликования эти акты вообще не могут иметь юридическую силу.
4. Где Вы восемь блоков насчитали? В средней части форума (верхний блок) - это не реклама (да к тому же закрыто в ноуиндекс).
5. Не понял, причем здесь указанный Вами сайт? Какое он имеет отношение к индексации?

[Yworld_garry]

1 Я имел ввиду мусор не от форума, а то что было в выдаче от других разделов сайта. Вспоминайте.
2 Маразм, не маразм, но он есть и приходится плясать от этого.
3 Копипаст :  Отметка о наршении больничного листа, хотя на всех назначеных приемах был
Моя история такова:
15.11.09г.- сломал ногу
15.11.09г.- положили в стационар в больницу скорой мед.помощи
19.11.09г.- выписали из стационара
и дали выписку - Эпикриз, с пометкой, о ......

Названия дулирующие уже находжящиеся в поиске, так с большой вероятность вылетают. СМ п.2
4 Сколько блоков рекламы напрмер тут    http://www.yuristyonline.ru/index.php?topic=5742.msg17844#new
5 Этот сайт даёт неплохую первичную картину и используется практически всеми.

[Солярис]

3. И что? Да пользователь может свой юридический вопрос на куче форумов задать! Я что должен проверять его вопрос на "уникальность"?
Кроме того, я не пойму, как Вы определили, что этот же пост есть еще на каком-то сайте (форуме):
4. Шесть.
5. Но к индексации Яндексом этот сервис никакое отношение не имеет. Через панель Вебмастера файл роботс прекрасно загружается и, следовательно, он доступен. Да даже так можно посмотреть http://www.yuristyonline.ru/robots.txt

[Yworld_garry]

1 Проверять не нужно и бесполезно. Привел как пример того что не будет в поиске. Находится очень просто по ПС http://___forum.gdezakon.ru/showthread.php?p=139460
2 Это вам решать сколько блоков считаете безопасным и удобным для пользователей.
3 Это так же на ваше усмотрение. Но я бы делал более универсальный файл, у яндекса не один бот и не от одной службы, как и у других ПС.

[Mavn]

Оффтоп
мдя рекламы на ресурсе хоть отбавляй. даже с моим гигантским разрешением 1680*1050 контент на первой странице не увидешь нужно прокрутить вниз фиг знает сколько.

[Yworld_garry]

Mavn, я пытаюсь донести это уже не в первой темке о этом проекте. Но не услышан. Может яндекс теперь донесёт.
Заработать на проекте это гут. Но надо учитывать интересы пользователей. ПС их учитывает и в своих правилах чётко это прописало насчёт рекламы и количества оной.

Сейчас глянул с ноутбука, там не видно вообще ничего кроме рекламы. Постарайтесь что то сделать с этим.

[Солярис]

Оффтоп
мдя рекламы на ресурсе хоть отбавляй. даже с моим гигантским разрешением 1680*1050 контент на первой странице не увидешь нужно прокрутить вниз фиг знает сколько.

Вот только не надо преувеличивать и говорить нелепость! Ничего там не надо прокручивать, как Вы выразились, фиг знает сколько.
Одно едва заметное движение мышью - и сразу видно меню перехода к основным разделам.
Из мухи слона не надо делать! Вы так пишите, что можно подумать что по целому экрану надо прокручивать страницу.

Yworld_garry, что-то я не помню, чтобы Вы об этом мне постоянно говорили? Не приведете цитату?


З.Ы. Ни один из пользователей на форуме еще не размещал критику по якобы переполненности ресурса рекламой и что якобы необходимо неимоверно много прокручивать страницу, чтобы увидеть контент. Об этом заявляете лишь Вы, но не непосредственные пользователи ресурса.

[Mavn]

а вы опрос создайте на своем сайте сразу узнаете. 700 пикселей рекламы по высоте через чур дофига, но это мое мнение, дальше сами делайте выводы.

[Yworld_garry]

Лазить по форуму и выискивать посты не буду, нет время.

Всё что могли сказать по вашему форуму сказали. Либо прислушайтесь, либо как вам угодно, форум ваш.

[digger®]

Вот только не надо преувеличивать и говорить нелепость! Ничего там не надо прокручивать, как Вы выразились, фиг знает сколько.
Одно едва заметное движение мышью - и сразу видно меню перехода к основным разделам.
Из мухи слона не надо делать! Вы так пишите, что можно подумать что по целому экрану надо прокручивать страницу.

На 17" мониторе первый раздел форума или первое сообщение темы чуть выглядывает из под нижней границы экрана. Остальное заполнено информационным мусором. Я бы таким форумом пользоваться не смог.

[trora]

 удивительно как такой сайт вообще в бан не попал  у Яндекса. хотя к этому дело идет. такое количество рекламы- глаза рябит. и дальше уже идти не хочется.

[Солярис]

Я смотрю, что здесь прямо сплошь альтруисты собрались, которые рекламу на своих сайтах "не размещают", а делает свои сайты исключительно из альтруистических побуждений.

trora, знаете, почему именно Вам дальше идти не хочется?! Да потому, что Вы зашли на сайт не с целью получить необходимую юридическую информацию, а лишь с одной целью - покритиковать сам сайт.
Вам не нужна юридическая информация, которая на нем размещена. Вы и вниманию на неё не обращали, а только занимались подсчетами количества рекламы.

Каждый видит на сайте лишь то, что хочет увидеть. Как известно, придраться можно и к фонарному столбу (как в одном анекдоте).

[Солярис]

Треккерами никто не пользуется из здесь присутствующих?! Да 100% пользуетесь! Ну и как  - "мало" на них рекламы размещено? Да в 10 раз больше, если сравнивать с сайтом, который Вы дружно принялись критиковать в этой теме.

Пример: free-torrents.org - 4 огромных (!) блока рекламы, размещенных вверху страницы при открытии любой темы. Чтобы увидеть саму тему необходимо прокручивать экран. И никто не возмущается, никто не критикует. Наоборот, лишь число пользователей растет.

И ничего, никто эти сайты в бан Яндекса не собирается заносить.

Предложение оппонентам, которые участвуют в дискуссии: покажите свои сайты и я посмотрю, насколько у Вас там якобы мало рекламы размещено - также займусь подсчетами количества рекламы на Ваших сайтах.

[digger®]

Треккерами никто не пользуется из здесь присутствующих?! Да 100% пользуетесь! Ну и как  - "мало" на них рекламы размещено? Да в 10 раз больше, если сравнивать с сайтом, который Вы дружно принялись критиковать в этой теме.

Вопрос не в количестве рекламы, а в том что она физически затрудняет исполльзование форума. На нормальных трекерах это по видимому понимают.

Пример: free-torrents.org - 4 огромных (!) блока рекламы, размещенных вверху страницы при открытии любой темы. Чтобы увидеть саму тему необходимо прокручивать экран. И никто не возмущается, никто не критикует. Наоборот, лишь число пользователей растет.

Почему ваш любимый торрент все должны принять в качестве эталона? И да, там такая же жуть как и на вашем форуме. Просто там всем на это наплевать, как и на любом другом варезнике.

[Mavn]

ну для примера можем привести и другой торрент
torrents.ru реклама есть но сильное неудобство она не доставляет. мне не нужно прокручивать страницу чтобы увидеть разделы и какую то информацию.

[Drakonsa]

Или я туплю... Или пора в Канаду, со своими лыжами. Я рекламы никакой, кроме как я.директа, после первого сообщения не вижу о_О
http://img693.[censored]img693/4656/123rob.jpg

Но вот цветовые оттенки меняющиеся все время, немного раздражают.

знаете, почему именно Вам дальше идти не хочется?! Да потому, что Вы зашли на сайт не с целью получить необходимую юридическую информацию, а лишь с одной целью - покритиковать сам сайт.
Вам не нужна юридическая информация, которая на нем размещена. Вы и вниманию на неё не обращали, а только занимались подсчетами количества рекламы.

Ну с таким же успехом можно было все тупо просто делать на web 1.0 или вообще тупо выкладывать без изменения цвета.
Контент это конечно хорошо, но если судить тупо как поисковый робот не обращая внимания на дизайн и прочее, то vveb.ru Ваш однодумец. Хотя уже поисковые роботы обращают внимания и на w3 валидность и количество рекламы...

Треккерами никто не пользуется из здесь присутствующих?! Да 100% пользуетесь! Ну и как  - "мало" на них рекламы размещено? Да в 10 раз больше, если сравнивать с сайтом, который Вы дружно принялись критиковать в этой теме.

Пример: free-torrents.org - 4 огромных (!) блока рекламы, размещенных вверху страницы при открытии любой темы. Чтобы увидеть саму тему необходимо прокручивать экран. И никто не возмущается, никто не критикует. Наоборот, лишь число пользователей растет.

И ничего, никто эти сайты в бан Яндекса не собирается заносить.

Предложение оппонентам, которые участвуют в дискуссии: покажите свои сайты и я посмотрю, насколько у Вас там якобы мало рекламы размещено - также займусь подсчетами количества рекламы на Ваших сайтах.

Как одна из причин: "бабки в харю, я ***ошу флеш рекламу где попало, как попало" я делал свой проект, если так охота, то могу предоставить линк на него в ПМ. Заодно оцените количество рекламы  
Еще можно далеко не ходить и оценить количество рекламы и захламленность на этом форуме.

ну для примера можем привести и другой торрент
torrents.ru реклама есть но сильное неудобство она не доставляет. мне не нужно прокручивать страницу чтобы увидеть разделы и какую то информацию.

Полностью согласен, количество рекламы в разы больше, но она не затрудняет чтение, единственное, это очень сильная нагрузка на процессор флешек, на старом железе.

[Yworld_garry]

Дык мы вроде не о трекере говорим и не о серче. А о вашем сайте.
Если на серче вывесят в таких местах рекламу, народ сразу запищит и однозначно перевесят и уберут. Хотя там такой мысли не придёт.
Если на трекере повесят в пять экранов рекламу, ни кто и не заметит.

Но и ПС ни каких санкций не применит, точнее для таких трастовых ресурсов это практически бесполезно. Там контента на несколько миллионов страниц и вылет сотни другой тысяч пофиг. Они просто будут мелькать.

А ваш проект не имеет траста пока и держится на нескольких тысячах контента, вылет которого крайне болезнен для ресурса, возможно вернуть его будет дорого и не просто.
Зачем рисковать и доставлять неудобство.

PS
На моих вообще нет рекламы, так как мне это не надо, но я конечно не показатель, просто так сложилось. Скорее мои сайтики нужны больше для работы с ПС и обкатке разных алгоритмов. Но некоторые народ любит и посещает достаточно плотно, я их тоже люблю и стараюсь заботится о удобстве.

[Солярис]

Оппонентам, у которых главный "аргумент" (в кавычках) - это якобы большое количество рекламы, привожу скриншоты с других форумов (в качестве примера)

Форум программы "Квартирный вопрос" (стрелками показаны блоки рекламы). Чтобы увидеть тему необходимо прокручивать экран. Никто не жалуется.


Форум Манимэйкергрупп (красными стрелками показаны блоки рекламы):

Три блока рекламы. Для того, чтобы прочесть тему также необходимо прокручивать экран.

[Mavn]

дальше не вижу смысла в обсуждении вопроса. Гари может закроем?

[Yworld_garry]

Да, тема закрыта.