YandexMoreSpiders - новые боты для Яндекса и др.

Автор Knave, 14 июня 2008, 15:20:54

« назад - далее »

0 Пользователи и 2 гостей просматривают эту тему.

Knave

Добавляет 13 ботов Яндекса и несколько других

  • Яндекс
  • Яндекс.Картинки
  • Яндекс-зеркальшик
  • Яндекс-Favicon
  • Яндекс (добавить URL)
  • Яндекс (найденные слова)

  • Яндекс.Блоги
  • Яндекс.Новости
  • Яндекс.Директ

  • "простукивалка" Яндекс.Каталога
  • "простукивалка" Яндекс.Закладок
  • "простукивалка" Яндекс.Директа
  • "простукивалка" Яндекс.Новостей

  • Google-Mobile

  • MSN Shopping
  • MSN News
  • MSN Image Search

  • Апорт!

Serifa

Я дико извиняюсь, а чего с файлом делать? Вещь, несомненно, полезная, как подсказывает мне мое джедайское чутье...
«- Помощник капитана Бакстер, - заявил Лумис, - безбожно врет. Все отнюдь не под контролем, вернее, не под его контролем. Корабль захвачен представителями небелковой формы разумной жизни, которые маскируются под обслуживающих роботов, а некоторые даже не делают и этого...»
«То, что у тебя есть, лечится антибиотиками» (nowhere man, 1995)
В телеге срочно нужны читатели!

Knave

Дык в readme.txt все ж написано


Yandex SPIDERS v0.1
By Konstantin N Likhachev

Совместимость
Для SMF 2.0 Beta 3 Public, 2.0 Beta 3.1 (и будущих версий)
Не работает с версией 1 форума.

Описание
Длбавляет 13 ботов Яндекса и несколько других

  • Яндекс
  • Яндекс.Картинки
  • Яндекс-зеркальшик
  • Яндекс-Favicon
  • Яндекс (добавить URL)
  • Яндекс (найденные слова)

  • Яндекс.Блоги
  • Яндекс.Новости
  • Яндекс.Директ

  • "простукивалка" Яндекс.Каталога
  • "простукивалка" Яндекс.Закладок
  • "простукивалка" Яндекс.Директа
  • "простукивалка" Яндекс.Новостей

  • Google-Mobile

  • MSN Shopping
  • MSN News
  • MSN Image Search

  • Апорт!
Установка
Добавляет записи в таблицу поисковых ботов. Существующие записи ни коим образом не модифицируются.
Правка тем и языковых файлов не требуется.

Примечание: при удалении мода никакие данных не удаляются, статистика не страдает

Для ручной установки, просто загрузите YandexMoreSpiders.php в корневую директорию форума и откройте в браузере.

Полезные ссылки
Справка Яндекса
robotstxt.org

Changelog
0.1 - 14th June 2008
o Первый релиз :).


Да прибудет с Вами сила ;)

Kolya

Яндекс если чесно г**** , и почему не стали делать для версий 1.1.Х ?
Перевод модов SMF

Knave

Цитата: Kolya от 14 июня 2008, 18:23:16
и почему не стали делать для версий 1.1.Х ?
Потому что в 1.1.Х нет такого. Это новая возможность SMF 2

Serifa

Тоже мимо. У меня 1.1.4 и 1.1.5, обновляться до версии 2 знающие камрады не советовали, пока.
У меня вопрос почти по теме, задавала здесь, но отклика нет.
http://www.simplemachines.ru/index.php/topic,1418.75.html

ЦитироватьЯ не ставила данный мод, просто заменила Who.template.php, форум версия 1.1.5 utf8
Все работает, при просмотре кто онлайн - все видны, мне достаточно.
Но когда я меняю тот же файлик  Who.template.php на форуме 1.1.4 (не utf) - вместо буков в онлайне появляются квадратики и кракозябры. Что не так?
«- Помощник капитана Бакстер, - заявил Лумис, - безбожно врет. Все отнюдь не под контролем, вернее, не под его контролем. Корабль захвачен представителями небелковой формы разумной жизни, которые маскируются под обслуживающих роботов, а некоторые даже не делают и этого...»
«То, что у тебя есть, лечится антибиотиками» (nowhere man, 1995)
В телеге срочно нужны читатели!

Knave

Цитата: His Divine Shadow от 14 июня 2008, 19:40:09
Тоже мимо. У меня 1.1.4 и 1.1.5, обновляться до версии 2 знающие камрады не советовали, пока.

Ну, я ведь никого не заставляю. Обновил форум - смотрю Яндекса нет. Добавил, решил поделиться.

Цитата: His Divine Shadow от 14 июня 2008, 19:40:09
У меня вопрос почти по теме, задавала здесь, но отклика нет.

Я не ставила данный мод, просто заменила Who.template.php, форум версия 1.1.5 utf8
Все работает, при просмотре кто онлайн - все видны, мне достаточно.
Но когда я меняю тот же файлик  Who.template.php на форуме 1.1.4 (не utf) - вместо буков в онлайне появляются квадратики и кракозябры. Что не так?

Нужно сохранить файл Who.template.php в кодировке windows-1251 для не UTF-8 форума.

Mavn

Цитата: Knave от 14 июня 2008, 21:20:02
Нужно сохранить файл Who.template.php в кодировке windows-1251 для не UTF-8 форума.

если быть точным то ansi :)
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

DarkTemplar

Установил мод забыв пересохранить в utf8, в итоге в админке пустые места вместо названия бота. Переустановка мода, переделанного в utf8 не дала результата. Как понял изменения храняться в бд? Как мне из сделать на русском не подскажите?

Plazik

Цитата: DarkTemplar от 19 июля 2009, 12:48:51
Установил мод забыв пересохранить в utf8, в итоге в админке пустые места вместо названия бота. Переустановка мода, переделанного в utf8 не дала результата. Как понял изменения храняться в бд? Как мне из сделать на русском не подскажите?
Попробуй почистить папкук cache.

Anna

DarkTemplar

Была такая же ерунда. Справилась так. Удалила мод и удалила файл с сервера, потом в списке пауков удалила все новые яндекс. И по новой установила уже мод (переведенный в UTF8). Все нормально показывает.


DarkTemplar

Цитата: Plazik от 22 июля 2009, 20:38:29
Попробуй почистить папкук cache.
Это не помогает. :-) Пробовал первым делом.

Цитата: Anna от 25 июля 2009, 11:16:04
Удалила мод и удалила файл с сервера, потом в списке пауков удалила все новые яндекс. И по новой установила уже мод (переведенный в UTF8). Все нормально показывает.
Во спасиб, удалял мод, но не додумался почистить в админке список пауков:-) Сделал вы написали, все хорошо :-)

Кухарь

#12
Для прописанных пауков сесии не генерируются форумом?

Макар

Если Вы здесь недавно, не обольщайтесь тоном некоторых дискуссий.
Все чаще слова - юзай поиск, приобретают смысл - иди в ж..........  Приобретение смысла автоматизированно - Ответы на любой вопрос по SMF
Не пишите несколько сообщений подряд - тут вам не Twitter  >:( в остальных ситуациях мы не сильно зверствуем 2funny

Кухарь


Кухарь

Мне нужно чтобы Яндекс не видел вот этого в ссылках PHPSESSID
Гугл индексирует нормально, а роботу Яндекса все сылки выдаются с PHPSESSID

GeorG

Верстка тем по шаблону, их доработка/переработка, переделка тем с версии smf 1.1 на smf 2.0. Примеры работ - insidestyle.ru
Установка модов (заточка под ваш форум); Моды под заказ; Обновление форума; Правильный перенос; Удаление/лечение вирусов; Устранения ошибок.
Обращаться в ЛС
Мой форум
Модуль анти-спама CleanTalk, сам пользуюсь
Сервера которыми сам пользуюсь - cadedic.ru

Кухарь

Конечно искал, нет ответа на этот вопрос!

GeorG

Верстка тем по шаблону, их доработка/переработка, переделка тем с версии smf 1.1 на smf 2.0. Примеры работ - insidestyle.ru
Установка модов (заточка под ваш форум); Моды под заказ; Обновление форума; Правильный перенос; Удаление/лечение вирусов; Устранения ошибок.
Обращаться в ЛС
Мой форум
Модуль анти-спама CleanTalk, сам пользуюсь
Сервера которыми сам пользуюсь - cadedic.ru

Кухарь

Это не решает проблемы.
Мне нужно избавится от сесий в движке, а не в базе поисковой системы.

даже
session.use_cookies   On   On
session.use_only_cookies   On   On
session.use_trans_sid   0   0

не помогает

Кухарь

Цитата: Makar от 07 января 2011, 15:06:39
Генерируются
Я думаю Вы неправы.
вот что написано в файле Load.php
// This isn't meant to be reliable, it's just meant to catch most bots to prevent PHPSESSID from showing up.

Макар

Прав или нет , я смотрю в свою панель вм и вижу ссылки с этим параметром в индексе . И ломаю голову как их запретить :( наверное зря ?

у вас так же :( тоже наверно случайность ? При установке кода сапы отдельно оговаривается вопрос сесий смф и яши , тоже наверно людям они померещились ?
Если Вы здесь недавно, не обольщайтесь тоном некоторых дискуссий.
Все чаще слова - юзай поиск, приобретают смысл - иди в ж..........  Приобретение смысла автоматизированно - Ответы на любой вопрос по SMF
Не пишите несколько сообщений подряд - тут вам не Twitter  >:( в остальных ситуациях мы не сильно зверствуем 2funny

Кухарь

Цитата: Makar от 10 января 2011, 18:49:26
Прав или нет , я смотрю в свою панель вм и вижу ссылки с этим параметром в индексе . И ломаю голову как их запретить :( наверное зря ?

у вас так же :( тоже наверно случайность ? При установке кода сапы отдельно оговаривается вопрос сесий смф и яши , тоже наверно людям они померещились ?
А вы роботов яндекса добавляли?

А запретить на индексацию так Disallow: /*PHPSESSID

Yworld_garry

Боту яндекса поменять User Agent на Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
Либо добавить нового если нет вообще.
Тогда не будет сессий ему.

Кухарь

Цитата: Yworld_garry от 10 января 2011, 20:47:51
Боту яндекса поменять User Agent на Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
Либо добавить нового если нет вообще.
Тогда не будет сессий ему.
Расскажите пожалуйста подробнее как это сделать  :D

Кухарь


Yworld_garry

Кликните по нужному боту и появится возможность редактировать.
Но в вашем случаи добавьте нового с тем User Agent что я дал.
Так как эти тоже заходят изредка правда.
Кстати теперь у всех ботов сменился User Agent. В общем теперь первые видимо потихоньку отмирают.

Кухарь


Yworld_garry

Можно и так, хотя название достаточно просто яндекс. Но это уже на любителя :)

Кухарь

Спасибо Вам большое!
Надеюсь это поможет.
Я так понимаю это основной бот? А есть список ботов остальных для яндекса?

Yworld_garry

Дык он у вас есть на скрине. Есть еще конечно, как время появится выложу.
Но на самом деле это ни так принципиально.

Либо посмотрите по логам апача, какие боты и с каким агентом к вам заходят

Кухарь

Цитата: Yworld_garry от 10 января 2011, 21:16:34
Дык он у вас есть на скрине.
Кто? Что-то не понял о чем Вы...

Цитата: Yworld_garry от 10 января 2011, 21:16:34
Есть еще конечно, как время появится выложу.
Но на самом деле это ни так принципиально.
Либо посмотрите по логам апача, какие боты и с каким агентом к вам заходят
Спасибо, поищу в инете. Я думаю принципиально если например нужно проиндексировать вложения.

Макар

Цитата: kpm от 10 января 2011, 20:31:03
А вы роботов яндекса добавляли?

А запретить на индексацию так Disallow: /*PHPSESSID

у меня чпу и несколько иной подход требуется :(

эта строчка есть в моем роботс.тхт  , но видать выше нее затесалось разрешающее правило так как яша говорит что ссылка не запрещена

черт слепой пью  wallbash разобрался , у меня разрешена индексация imode , а их яша  индексирует с PHPSESSID сылками .  Основная выдача чистая.

Сорри что ввел в оману .  :-[
Если Вы здесь недавно, не обольщайтесь тоном некоторых дискуссий.
Все чаще слова - юзай поиск, приобретают смысл - иди в ж..........  Приобретение смысла автоматизированно - Ответы на любой вопрос по SMF
Не пишите несколько сообщений подряд - тут вам не Twitter  >:( в остальных ситуациях мы не сильно зверствуем 2funny

Кухарь

Цитата: Makar от 10 января 2011, 21:27:26
у меня чпу и несколько иной подход требуется :(

эта строчка есть в моем роботс.тхт  , но видать выше нее затесалось разрешающее правило так как яша говорит что ссылка не запрещена

черт слепой пью  wallbash разобрался , у меня разрешена индексация imode , а их яша  индексирует с PHPSESSID сылками .  Основная выдача чистая.

Сорри что ввел в оману .  :-[
Всё равно и Вам спасибо и +1 за отклик!

Кухарь