Странный сайт, через который можно открыть различные форумы

[Солярис]

Всех приветствую!

Совершенно случайно наткнулся на сайт с доменом zozor.ru
Домен зарегистрирован совсем недавно: в конце июня 2016 года.

Если открыть вышеуказанный домен, то вы ровным счетом ничего не увидите, кроме пустой строки с поиском, которая оканчивается кнопкой "отправить".

Но. Если вбить в эту строку адрес какого-либо форума (или иного сайта), то он откроется со следующей адресацией в строке браузера: доменфорума.ру.zozor.ru

Открывается не всякий форум (и не любой сайта), но многие.

При этом такой адрес может попадать в поисковую выдачу.

К примеру, форум по SMF ( http://www.simplemachines.org/community/ ) открывается через указанный сайт по следующему адресу _http://www.simplemachines.org.zozor.ru/community/
Все страницы форума "донора" будут открываться через указанный сайт с измененной адресацией.

Что это за сайт и для чего он существует абсолютно не понятно. Но его работа весьма странная.

Встает вопрос: возможно ли как-то запретить открытие (загрузку) форума через подобный "интернет-сервис"?
Не знаю, как открывается соответствующий сайт через вышеуказанный, фрейм это или иной способ.

Заранее спасибо за ответы.

[Солярис]

Ни у кого нет никаких мыслей?

[Yworld_garry]

Ни у кого нет никаких мыслей?

Парсер всея инета 

В общем добавьте IP этого сайта в бан, в файле .htaccess
Я сейчас посмотрел 88.202.230.151
Получим:
## USER IP BANNING
<Limit GET POST>
 order allow,deny
 deny from 88.202.230.151
 allow from all
</Limit>

Теперь ваш сайт не будет выдаваться через них "Access forbidden!"

На самом деле смотрю они не плохо нашлепали дублей судя по гуглу.

И если есть желание, необходимость, возможность...можно абузу написать регистратору REGRU-RU, у них есть форма.

Кстати не плохо все себя обезопасить от их активности.

[Солярис]

Спасибо за ответ.

И если есть желание, необходимость, возможность...можно абузу написать регистратору REGRU-RU, у них есть форма.

Искал я у них на сайте соответствующую форму, но что-то не неё так и не набрел.

Всё, что нашел, так это советы писать в адрес администратора, что в данном случае будет просто насмешкой над здравым смыслом.

[Yworld_garry]

Всё, что нашел, так это советы писать в адрес администратора, что в данном случае будет просто насмешкой над здравым смыслом.

Да, я тупанул, надо на хостинг писать, вот https://www.uk2group.com/
Форму у них не смотрел, возможно есть, но вот адрес для абузы abuse@uk2group.com, abuse@vps.net

[kak2z]

Ни у кого нет никаких мыслей?

что то типа анонимазера может.. фиг его знает.

[Солярис]

Нет, это никакой ни анонимайзер.

Никакой анонимайзер не выдается в поисковый выдаче по сайту, который через него просматривается.

Посмотрите как адрес формируется на этот сайте: адрес_сайта_донора.ру.zozor.ru
То есть сайт-донор превращается в субдомен другого сайта. И такой адрес потом выдается в поисковой выдаче.

З.Ы. Посмотрите как Ваш собственный сайт преспокойно открывается и выглядит через этот.

[kak2z]

Нет, это никакой ни анонимайзер.

Никакой анонимайзер не выдается в поисковый выдаче по сайту, который через него просматривается.

Посмотрите как адрес формируется на этот сайте: адрес_сайта_донора.ру.zozor.ru
То есть сайт-донор превращается в субдомен другого сайта. И такой адрес потом выдается в поисковой выдаче.

З.Ы. Посмотрите как Ваш собственный сайт преспокойно открывается и выглядит через этот.

ну пусть выдается.. чем мешает то?

[Yworld_garry]

ну пусть выдается.. чем мешает то?

сайт ловит кучу дублей абсолютно не нужных, да и еще на другом адресе.

Лучше побанить сразу.

[Солярис]

ну пусть выдается.. чем мешает то?

Как это пусть?!

Создается полный дубликат Вашего сайта в режиме реального времени. При этом вся адресация будет по субдомену этого бредового ресурса.
Ваш сайт превращается в субдомен другого интернет-ресурса.

Элементарно трафик может идти мимо Вашего ресурса.

[kak2z]

Как это пусть?!

Создается полный дубликат Вашего сайта в режиме реального времени. При этом вся адресация будет по субдомену этого бредового ресурса.
Ваш сайт превращается в субдомен другого интернет-ресурса.

Элементарно трафик может идти мимо Вашего ресурса.

ну вообще то файл robots.txt никуда не девается.. а там хост явно указывается.. максимум что произойдет так это то что этот поддомен объявят зеркалом..

[Yarik]

Ваш сайт превращается в субдомен другого интернет-ресурса.

А как это интересно мой сайт может стать субдоменом?Может наоборот?
Даже взглянув на иерархию конструкции которая получается легко понять что мой домен как был второго уровня так и остаётся,просто получается ненужный дубль как выше уже написали.

[Солярис]

А как это интересно мой сайт может стать субдоменом?Может наоборот?

Я лишь говорю о том, что вижу в адресной строке. Физически Ваш сайт, разумеется, как был на Вашем хостинге, так и остался, но он полностью дублируется на другом сайте, превращаясь на нем в субдомен другого сайта вида: домен_вашего_сайта.ру.zozor.ru

[bober]

Я сейчас посмотрел 88.202.230.151

Это не проблема, завтра будет другой )))
Интересно цель какая у них?

[Yworld_garry]

Это не проблема, завтра будет другой )))

вы уверены что будут постоянно менять IP сервера? 

Они на своем сервере как бы все это выдают, менять накладненько выйдет

Не проверял, но можно что то типо такокго по рефереру.


RewriteEngine on
# Options +FollowSymlinks

RewriteCond %{HTTP_REFERER} zozor\.ru [NC]
RewriteRule .* - [F]

[bober]

менять накладненько выйдет

для nginx по словам  @Yworld_garry  ))
используя правило апача.


# nginx configuration
location / {
if ($http_referer ~* "zozor\.ru"){
return 403;
}
}

[GeorG]

Интересно цель какая у них?

Вот ещё один 2magic.ru
К примеру, уже стащил весь ТИЦ у одного форума в последний ап:

Вам недоступны вложения в этом разделе.

Ну там сам админ тупанул, файл роботс зафейлил.

[Yworld_garry]

Ну там сам админ тупанул, файл роботс зафейлил.

Многие вообще не озабачиваются главное зеркало указать для яндекса + Host и гугла, потом можно долго удивляться.

[kak2z]

Многие вообще не озабачиваются главное зеркало указать для яндекса + Host и гугла, потом можно долго удивляться.

а яндексу надо отдельно указывать host?

upd1:
почитал..  host оказывается только яндекс понимает... а как тогда гуглу указать основной домен.. у меня вот такой вот роботс всегда думал что правильный http://kak2z.ru/robots.txt

[Yworld_garry]

а как тогда гуглу указать основной домен.. у меня вот такой вот роботс всегда думал что правильный

да все нормально с файлом, просто удобнее разбить на блоки и указать для гугла отдельный, для яндекса и для остальных. В плане управления индексацией, что то можно разным закрывать открывать. Плюс регулировать все их выкрутасы по поводу открытия картинок, явы, скриптов и тд.

А для гугла только в панели указать главное зеркало подтвердив права на оба ( www и без), потом указать главное.

[Солярис]

Ну там сам админ тупанул, файл роботс зафейлил.

Что Вы под этим подразумеваете? Желательно по конкретнее.

Возникает вопрос, как от этих деятелей глобальнее защититься.

Не блокировать же каждый сайт по IP-адресу? Какие-нибудь глобальные настройки нельзя сделать, чтобы уродцы не тянули сайт?

[GeorG]

Что Вы под этим подразумеваете?

Файле роботс, host левый указан.
Тоже самое касается карты форума.

[Солярис]

Поясните, плиз, для тех, кто танке - менее заковыристым языком.

+++++++++++++++++++++

И как находить сайты этих деятелей, которые тянут к себе чужой сайт - тот еще вопрос.

[GeorG]

Поясните, плиз, для тех, кто танке - менее заковыристым языком.

Нужно прописывать свой домен в директиве host.

И как находить сайты этих деятелей, которые тянут к себе чужой сайт

Я случайно наткнулся, видимо как и вы сами.

[Солярис]

Нужно прописывать свой домен в директиве host.

Ну это без сомнения.

Вопрос остается:

Возникает вопрос, как от этих деятелей глобальнее защититься.

Может еще какие настройки сделать в .htaccess или какой скрипт можно использовать для этих целей?

[Yarik]

вы уверены что будут постоянно менять IP сервера? 

Они на своем сервере как бы все это выдают, менять накладненько выйдет

Не проверял, но можно что то типо такокго по рефереру.


RewriteEngine on
# Options +FollowSymlinks

RewriteCond %{HTTP_REFERER} zozor\.ru [NC]
RewriteRule .* - [F]

Не поможет,я тут многие конструкции пробовал.Ни одна не работает.

[Солярис]

Мне хостинг такой вариант предлагал:

Код Выделить Развернуть

RewriteEngine On
RewriteCond %{HTTP_REFERER} ^http://.*zozor\.ru [NC]
RewriteRule .* - [F]
Хм, сам сейчас попробовал, и действительно не работает этот код (почему - не понятно). Работает только блокировка по IP-адресу.
Вот ведь зараза.

[Yarik]

Совершенно верно,работает только блокировака по айпишнику.

А для гугла только в панели указать главное зеркало подтвердив права на оба ( www и без), потом указать главное.

Ээээ,такой вопросик.Стоит принудительный редирект с www на https.Я так понимаю подтверждение www делать не надо.Да и не получится.

[Солярис]

Удалено. Нет. не работает.

[Yworld_garry]

Стоит принудительный редирект с www на https.Я так понимаю подтверждение www делать не надо.Да и не получится.

Не надо подтверждение, у вас же там 301, а он уже указывает. Собственно в панеле просто посмотрите и думаю стоит именно то главное зеркало которое вам надо.

[DiS]

как вариант - фрейм это какой-то хитрый
ответа на вопрос а нах это нужно? не увидел или просмотрел?

[Солярис]

Тянуть на себя трафик. Вклиниваться в поисковую выдачу.

Понижать сайт-донор в поисковой выдаче.

[Солярис]

Удивительно, почему работает только блокировка по айпишнику, и не работают иные команды?

[Солярис]

Обсуждение какое-то вялое.

Неужели все равно, что делаются клоны вашего форума?

[GeorG]

Я ip заблокировал...

[kak2z]

Обсуждение какое-то вялое.

Неужели все равно, что делаются клоны вашего форума?

что то мне подсказывает что таких сайтов море... все не заблокируешь..
я сейчас как раз думаю как это реализовано)) интересно)

[sgtWhite]

Неужели все равно, что делаются клоны вашего форума?

Меня вообще не парит, например )) Проблема озвучена, решение тоже.

[Солярис]

что то мне подсказывает что таких сайтов море... все не заблокируешь..

Но хоть каких-то деятелей поприжать.

Кстати, а вот нельзя как-нибудь реализовать при блокировке по айпишнику вывод соответствующим пользователям, которые перейдут из поисковый выдачи по фейковому адресу форума, адреса реального форума. Чтобы показывалось, что перейти следует вот сюда - здесь реальный форум, который вы искали.

А то ведь эти клоны еще и в поисковой выдаче фигурируют по соответствующему запросу. Вот это вообще ни в какие ворота уже не лезет.

Меня вообще не парит, например ))

Вас может и не парит, а меня лично волнует, что всякая дребедень выдается в поисковой выдаче вместе с твоим форумом.

И я, честно говоря, не понимаю, почему поисковик этот хлам индексирует?! Полный клон форума, который создается в режиме реального времени.

[kak2z]

Кстати, а вот нельзя как-нибудь реализовать при блокировке по айпишнику вывод соответствующим пользователям, которые перейдут из поисковый выдачи по фейковому адресу форума, адреса реального форума. Чтобы показывалось, что перейти следует вот сюда - здесь реальный форум, который вы искали.

легко... вот тут хранится адрес сайта $_SERVER - можно сделать проверку и даже выдавать редирект в случае если текущий домен не совпадает с оригинальным)

[Солярис]

Хотелось бы пример такого кода увидеть?

Как это может быть реализовано? Скриптом или через файл .htacces?

[kak2z]

Хотелось бы пример такого кода увидеть?

Как это может быть реализовано? Скриптом или через файл .htacces?

ну например так.. в файл index.php к примеру где перед этой строкой

Код Выделить Развернуть

// Using an pre-PHP 5.1 version?добавить это

Код Выделить Развернуть

$domain_settings = parse_url($boardurl);
if($domain_settings['host'] != $_SERVER['HTTP_HOST']) {
redirectexit('' . $_SERVER['QUERY_STRING'] . '');
}
должно работать)) но не проверял))

если проверите - расскажите)

[Солярис]

должно работать)) но не проверял))

Это самая главная фраза )))

А то мне тут хостинг предложил один код, который чуть ли не всех пользователей фильтровал и не давал зайти на форум.

Хорошо, что я додумался его убрать.

[kak2z]

Это самая главная фраза )))

А то мне тут хостинг предложил один код, который чуть ли не всех пользователей фильтровал и не давал зайти на форум.

Хорошо, что я додумался его убрать.

проверьте)) работает или нет сразу покажет)

[Солярис]

А как это должно хотя бы выглядеть в пример с этим zozor.ru?

Сейчас там отображается:
Forbidden

You don't have permission to access / on this server.

Если же установить предложенный Вами код, то там какая-то дополнительная строчка с адресом сайта будет показываться? А обычный пользователь вообще поймет? Ему же надо какое-то пояснение.

[kak2z]

А как это должно хотя бы выглядеть в пример с этим zozor.ru?

Сейчас там отображается:
Forbidden

You don't have permission to access / on this server.

Если же установить предложенный Вами код, то там какая-то дополнительная строчка с адресом сайта будет показываться? А обычный пользователь вообще поймет? Ему же надо какое-то пояснение.

если установить мой код то при заходе по адресу http://www.simplemachines.org.zozor.ru/community/ будет тупо редиректить на http://www.simplemachines.org/community/

[Yarik]

если установить мой код

После установки кода
http://s-s.yarik-sat.ru.zozor.ru

Сейчас там отображается:
Forbidden

You don't have permission to access / on this server.

[kak2z]

После установки кода
http://s-s.yarik-sat.ru.zozor.ru

работает не так как я планировал - но цель достигнута)) зеркала нет)

upd1: я проверил у себя... код не работает... страница создается то на стороне нашего сервера.. поэтому и в переменной SERVER все таки наш урл...
можно попробовать сделать js редирект.. там адрес можно брать прямо с браузера. Но это может не работать в том случае если js не включен..
я сейчас попробую на js что то изобразить..

upd2: хотя js редирект ничего не даст.. он в браузере выполняется, а нам нужно для ПС..

[Yarik]

хотя js редирект ничего не даст.. он в браузере выполняется,

Да и для юзеров я думаю тоже будет неплохо.

[kak2z]

ну в общем мои выводы)))
средствами пхп мы не можем определить что наш сайт является динамическим поддоменом.. в массиве $_SERVER нет ничего что бы нам могло указать.... единственный нюанс который я заметил, так это то что этот массив на нашем домене и на чужом поддомене отображается по разному... разный порядок элементов массива... но привязываться к этому не знаю стоит или не стоит..

средствами js мы можем узнать текущий урл и сделать редирект - но это нам ничего не дает т.к. наша цель закрыть зеркало от ПС.


UPD: в массиве с нашего сервера есть ключи массива HTTP_COOKIE и HTTP_UPGRADE_INSECURE_REQUESTS... на зеркале нет.. может это как то поможет.. но тоже мне кажется не стоит к этому привязываться.

[bober]

Мне хостинг такой вариант предлагал

А где вы его пишете??

[Солярис]

В файле .htacces, который должен находиться в корне Вашего сайта.

Но это не рабочий код для этих деятелей с подобных сайтов.

Лучше блокируйте по IP-адресу. Выше был приведен код (во втором сообщении).

[bober]

В файле .htacces, который должен находиться в корне Вашего сайта.

Я в курсе где прописывается, просто у вас спросил.
А у вас включен в апаче "Mod rewrite" ?
Иначе работать не будет.

Лучше блокируйте по IP-адресу. Выше был приведен код (во втором сообщении).

Если мод включен, то 14 и 15 е будут работать (апач и nginx )

[Солярис]

Не работают они. Выше уже об этом говорилось:

Не поможет,я тут многие конструкции пробовал.Ни одна не работает.

Должны работать, не значит, что будут. Никому неведомо как эти деятели настроили свои серверы и сайты для подобного занятия.

З.Ы. Если бы у меня что-то не было включено, то у меня не работали бы иные команды, основанные на том же коде.

[bober]

З.Ы. Если бы у меня что-то не было включено, то у меня не работали бы иные команды, основанные на том же коде.

Это предположение.
Спорить не буду.
Посмотрите http://old.webasyst.ru/support/help/general-check-modrewrite.html или им подобные.

[Солярис]

О чем мы вообще спорим? К чему эта ненужная полемика ни о чем?

У меня ранее были установлены команды, основанные на том же коде, который приведен в данной теме.

Всё работает. Что я должен проверять, когда соответствующий код РАБОТАЕТ. Какое это "предположение"? По-моему, Вы не читаете то, что Вам в ответ пишут.

Не работают только команды (за исключением блокировки по ай-пи), касающиеся сайтов этих деятелей по парсингу.

[Yarik]

Вставить код от @kak2z и при переходе с сайта таких деятелей будет выбивать белую страницу.

[Солярис]

В принципе, такое же действие происходит и при блокировке по IP.

Только что написано: Forbidden

[Yarik]

В принципе, такое же действие происходит и при блокировке по IP.

Только что написано: Forbidden

С одной лишь разницей,сменят айпи и блокровка не поможет уже.
А вот код от @kak2z поможет всегда,при попытке подмены.

[Serifa]

Код, который вот здесь? https://www.simplemachines.ru/index.php?topic=19339.msg161940#msg161940

[Солярис]

С одной лишь разницей,сменят айпи и блокровка не поможет уже.
А вот код от @kak2z поможет всегда,при попытке подмены.

Я вот лично не понял, в какой конкретно файл вставлять данный код. В index.php?

Но указанной строки лично у меня в нем нет. Весь этот файл состоит из следующего кода:

Код Выделить Развернуть

// Try to handle it with the upper level index.php. (it should know what to do.)
if (file_exists(dirname(dirname(__FILE__)) . '/index.php'))
include (dirname(dirname(__FILE__)) . '/index.php');
else
exit;

?>
Где этот файл расположен?  В папке Themes с соответствующими темами?!

Пожалуйста, укажите точное местоположение файла index.php, в который необходимо добавить соответствующий код.

[kak2z]

@Солярис в корне форума.. главный index.php
только мой мой код у меня лично не работает))

[Солярис]

Спасибо за информацию.

Уже сам набрел ))) на этот файл.

Но, по-моему, Ваш пример кода у меня также не работает (как и у Вас).

Поскольку отображается всё также: Notice: Undefined property: stdClass::$HTTP_CACHE_CONTROL in /var/www/pytin/data/www/zozor.ru/index.php on line 107
Forbidden
You don't have permission to access / on this server.

Ну то есть работает код в файле .htacces (блокировка по айпи), а код в index.php не работает. Не понятно почему. 

[kak2z]

Спасибо за информацию.

Уже сам набрел ))) на этот файл.

Но, по-моему, Ваш пример кода у меня также не работает (как и у Вас).

Поскольку отображается всё также: Notice: Undefined property: stdClass::$HTTP_CACHE_CONTROL in /var/www/pytin/data/www/zozor.ru/index.php on line 107
Forbidden
You don't have permission to access / on this server.

Ну то есть работает код в файле .htacces (блокировка по айпи), а код в index.php не работает. Не понятно почему. 

а потому что в массиве $_SERVER хранятся данные того сервера на котором выполняется пхп скрипт.. а тут только отличается адрес в адресной строке который реально узнать только с помощью JS так как он выполняется на стороне клиента.. но нам это ничего не дает, так как поисковые боты не выполняются JS

[Солярис]

Получается, что нет смысла этот код добавлять в файл index.php.

О чем тогда речь вел выше другой участник дискуссии?

Что этот код работает всегда и даже если IP-адрес эти сайты поменяют?!

[kak2z]

Получается, что нет смысла этот код добавлять в файл index.php.

О чем тогда речь вел выше другой участник дискуссии?

Что этот код работает всегда и даже если IP-адрес эти сайты поменяют?!

я еще не понял почему он у меня тупо игнорируется, а у некоторых прерывает выполнение скрипта..

[Yarik]

Поскольку отображается всё также: Notice: Undefined property: stdClass::$HTTP_CACHE_CONTROL in /var/www/pytin/data/www/zozor.ru/index.php on line 107
Forbidden
You don't have permission to access / on this server.

Ну то есть работает код в файле .htacces (блокировка по айпи), а код в index.php не работает. Не понятно почему. 

Блокировку по айпи с файла .htacces уберите и посмотрите работает код или нет.

[Солярис]

Не работает код.
Если убрать блокировку по айпи, то это зараза производит парсинг сайта по полной программе, как ни в чем не бывало.

[Yarik]

Ну единственная разница это то что у меня 2.1
Вот
http://s-s.yarik-sat.ru.zozor.ru

[Солярис]

Не знаю.

Сделано же как-то на иных сайтах невозможность "тянуть" код сайта на другой домен.

Неужели СМФ-движок такой в этом смысле "уникальный"?!

[bober]

@Солярис не мучайте себя.
Если ничего не работает, тогда этот вариант подойдет https://www.simplemachines.ru/index.php?topic=19339.msg161878#msg161878
и спите спокойно.

[Солярис]

Я не говорил, что ничего не работает. Работает блокировка по IP.

Как там будет работать алгоритм поисковой системы - это ещё бабушка на двое сказала.

Но в поисковой выдаче эти клоны преспокойно фигурируют.

[Serifa]

А мне сегодня ссылку интересную забросили: http://o53xo.onsxe2lgmexhe5i.cmle.ru/
Я вот не пойму, что это такое.

[Солярис]

Это элементарно.

Данная ссылка - это результат просмотра Вашего форума через анонимайзер. А вот сам анонимайзер: http://cameleo.ru/

Если введете адрес Вашего форума в строке по указанному адресу, то получите вышеприведенную Вами ссылку.

[Солярис]

kak2z, Вы доступ к своему форуму заблокировали для этих деятелей?!

А то он парсится спокойно - _http://kak2z.modnozz.ru/

Этот modnozz.ru на том же IP-адресе, что и 2magic.ru .

[kak2z]

kak2z, Вы доступ к своему форуму заблокировали для этих деятелей?!

А то он парсится спокойно - _http://kak2z.modnozz.ru/

Этот modnozz.ru на том же IP-адресе, что и 2magic.ru .

нет)) зачем?)) всех не вычислишь)) таких сайтов много должно быть)) и будет еще больше раз такая тема пошла)

[Солярис]

 kak2z?, но сайт Вы все-таки заблокировали.

[kak2z]

kak2z?, но сайт Вы все-таки заблокировали.

все бегут и я побежал... все такие сайты все равно не заблокируешь)) мы их все не знаем даже)

[Солярис]

Не понимаю, как этот zozor.ru при блокировке по IP преспокойно парсит файл robots.txt форума?!

Что это за фантастика?

Как это запретить, не навредив при этом поисковикам?

[Yworld_garry]

Как это запретить, не навредив при этом поисковикам?

Никак, да собственно и пусть парсит и тд, там же ваше главное зеркало прописано, карта сайта ваша.
В индекс оно все равно не попадет.

Или есть какие то опасения?

[Солярис]

Уже не знаешь чего опасаться.
Особенно на фоне гигантского падения посещаемости.

Но я саму технику такого парсинга не понимаю.
Установлена блокировка по IP, а с другого домена все равно сайт получается доступным и его отдельные файлы.

[Yworld_garry]

Установлена блокировка по IP, а с другого домена все равно сайт получается доступным и его отдельные файлы.

IP не изменился, проверяли?
Если что, в логах сервера смотрите куда этот айпи ломился.

[Yworld_garry]

Упс не отредактировать почему то свой пост, напишу тогда новый.

IP не изменился, сейчас проверил, но смотрите по логам, что отдает сервер при доступе этого айпи к файлам. Какой код...

[Солярис]

смотрите по логам, что отдает сервер при доступе этого айпи к файлам. Какой код...

Не совсем понял, как можно посмотреть то, что отдает именно сервер, на котором работает форум?

Есть, к примеру, сервисы типа этого (для проверки ответа сервера): _http://www.majento.ru/index.php?page=seo-analize/check-server-request

[Yworld_garry]

Не совсем понял, как можно посмотреть то, что отдает именно сервер, на котором работает форум?

Вам надо зайти на ftp или может у вас в панеле хоста есть, в общем найти access_log файл и в нем посмотреть, куда с этого айпи ломились и что отдал сервер.

[Солярис]

Тут тех. поддержка хостинга ответила:

robots.txt - статический файл, который отдает nginx на фронтэнде - до Apache (который и работает с .htaccess) запрос на получение его содержимого не доходит.
В данном случае возможны следующие варианты:
- мы передаем тикет системным администраторам, и они устанавливают запрет на получение данных с заблокированных Вами в .htaccess подсетей и на nginx (этот вариант был бы наиболее предпочтительным)

Как оцениваете предложенный хостингом вариант?

[Yworld_garry]

Как оцениваете предложенный хостингом вариант?

Адекватный ответ.

Подсуньте им еще и адрес этого сайта вместе IP.

Насчет "подсетей", все же надо быть осторожнее, а то так можно заблочить кучу народа. Либо проверьте кому принадлежат, либо просто конкретный IP.

[Солярис]

Спасибо за ответ.

Посмотрел лог и что-то уже ничего не понимаю.

Есть там такая строчка:

Код Выделить Развернуть

www.yuristyonline.ru 88.202.230.151 - - [30/Aug/2016:01:16:27 +0300] "GET /index.php?board=148.0;sort=views HTTP/1.1" 403 302 "http://www.yuristyonline.ru./index.php?board=148.0;sort=views" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
Причем здесь яндекс-бот?! Он что на том же айпишнике сидит, что и zozor.ru ? Или это запудривание мозгов?

[Yworld_garry]

Что то не то, показывает что это бот яндекса))
хм... а ответ 403 и 302 перенаправление, странно.

Хотя вот этот IP

IP: 88.202.230.151(88.202.230.151.static.midphase.com)
Страна по данным GeoIP: GB United Kingdom (Англия) Город: NA
WhoIs IP адреса
[Querying whois.ripe.net]
[whois.ripe.net]
% This is the RIPE Database query service.
% The objects are in RPSL format.
%
% The RIPE Database is subject to Terms and Conditions.
% See http://www.ripe.net/db/support/db-terms-conditions.pdf

% Note: this output has been filtered.
% To receive output for a database update, use the "-B" flag.

% Information related to '88.202.230.0 - 88.202.230.255'

% Abuse contact for '88.202.230.0 - 88.202.230.255' is 'abuse@uk2group.com'

inetnum: 88.202.230.0 - 88.202.230.255
netname: UK2-INFRA-VPS-DOT-NET
descr: UK2 Infrastructure
remarks: Abuse matters to: abuse@vps.net
remarks: Abuse mail to any other address may be ignored
country: GB
admin-c: UKAC-RIPE
tech-c: UKAC-RIPE
status: ASSIGNED PA
mnt-by: AS13213-MNT
created: 2015-10-21T16:47:29Z
last-modified: 2015-10-21T16:47:29Z
source: RIPE

person: Abuse Contact
address: The Old Truman Brewery
address: 91 Brick Lane
address: London
address: E1 6QL
phone: +44 (0)2070537676
mnt-by: AS13213-MNT
nic-hdl: UKAC-RIPE
created: 2014-04-09T15:07:03Z
last-modified: 2015-10-14T15:17:12Z
source: RIPE # Filtered

% Information related to '88.202.224.0/21AS13213'

route: 88.202.224.0/21
descr: UK2.NET announcement
origin: AS13213
mnt-by: AS13213-MNT
created: 2015-09-16T11:21:32Z
last-modified: 2015-09-16T11:21:32Z
source: RIPE

% This query was served by the RIPE Database Query Service version 1.87.4 (BLAARKOP)


Записи DNS A
Записи DNS NS
Ответ web-сервера
HTTP/1.1 200 OK
Date: Wed, 31 Aug 2016 14:05:47 GMT
Server: Apache/2.2.15 (CentOS)
X-Powered-By: PHP/5.3.3
Connection: close
Content-Type: text/html; charset=UTF-8
WhoIs домена

Whois Server Version 2.0

Domain names in the .com and .net domains can now be registered
with many different competing registrars. Go to http://www.internic.net
for detailed information.

MIDPHASE.COM.NATIONSBESTDESIGNS.COM
MIDPHASE.COM

To single out one record, look it up with "xxx", where xxx is one of the
records displayed above. If the records are the same, look them up
with "=xxx" to receive a full display for each record.

>>> Last update of whois database: Wed, 31 Aug 2016 14:05:32 GMT <<<

For more information on Whois status codes, please visit https://icann.org/epp

NOTICE: The expiration date displayed in this record is the date the
registrar's sponsorship of the domain name registration in the registry is
currently set to expire. This date does not necessarily reflect the expiration
date of the domain name registrant's agreement with the sponsoring
registrar. Users may consult the sponsoring registrar's Whois database to
view the registrar's reported date of expiration for this registration.

TERMS OF USE: You are not authorized to access or query our Whois
database through the use of electronic processes that are high-volume and
automated except as reasonably necessary to register domain names or
modify existing registrations; the Data in VeriSign Global Registry
Services' ("VeriSign") Whois database is provided by VeriSign for
information purposes only, and to assist persons in obtaining information
about or related to a domain name registration record. VeriSign does not
guarantee its accuracy. By submitting a Whois query, you agree to abide
by the following terms of use: You agree that you may use this Data only
for lawful purposes and that under no circumstances will you use this Data
to: (1) allow, enable, or otherwise support the transmission of mass
unsolicited, commercial advertising or solicitations via e-mail, telephone,
or facsimile; or (2) enable high volume, automated, electronic processes
that apply to VeriSign (or its computer systems). The compilation,
repackaging, dissemination or other use of this Data is expressly
prohibited without the prior written consent of VeriSign. You agree not to
use electronic processes that are automated and high-volume to access or
query the Whois database except as reasonably necessary to register
domain names or modify existing registrations. VeriSign reserves the right
to restrict your access to the Whois database in its sole discretion to ensure
operational stability. VeriSign may restrict or terminate your access to the
Whois database for failure to abide by these terms of use. VeriSign
reserves the right to modify these terms at any time.

The Registry database contains ONLY .COM, .NET, .EDU domains and
Registrars.

[Солярис]

Вот и я не понимаю. IP-адрес - этого zozor.ru , а данные весьма странные?!

[Yworld_garry]

я прост о не понимаю почему два заголовка сразу передано.
Отправьте в поддержку и это с вопросом, раз уж они взялись помогать.

[Солярис]

Пинг до yandex.com дает совсем другой IP.

[Yworld_garry]

Пинг до yandex.com дает совсем другой IP.

У YandexBot 100500 своих IP и они их не разглашают.
Но тут что то другое, сделайте как написал выше и проверяйте логи свои регулярно на этот предмет.

[Солярис]

Хостинг ответил, что

Поле User-agent передает клиент, который отправляет обращение, и ничто не мешает запрашивающей стороне (то есть не серверу - а тому, кто пытается получить содержимое страницы) его изменить на любой, в том числе - и на тот, который используют боты Яндекса.
Судя по выдержке из WHOIS - 88.202.230.151 не принадлежит к используемым Яндексом, поэтому наиболее вероятным является именно вариант с подменой User-agent.

[Yworld_garry]

Вот и пусть забанят ip и сайт

[Yarik]

Код Выделить Развернуть

www.yuristyonline.ru 88.202.230.151 - - [30/Aug/2016:01:16:27 +0300] "GET /index.php?board=148.0;sort=views HTTP/1.1" 403 302 "http://www.yuristyonline.ru./index.php?board=148.0;sort=views" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
Причем здесь яндекс-бот?! Он что на том же айпишнике сидит, что и zozor.ru ? Или это запудривание мозгов?

Кстати,такого и у меня в логах хватает,если судить по логам то давненько у меня по форуму шастает.И очень давненько
Кстати,а в роботсе в директиве хост обязательно нужно указывать https если сайт на нём?

[bober]

Уже не знаешь чего опасаться.

Читаю тему и думаю, что Вы наверное меньше переживаете о подборе ssh чем с парсингом сайта  


база зозора собралась с одним IP  ))))

1 http://www.electrooptics.com.zozor.ru
2 http://shaman-r.com
3 http://www.legal-pills.net.kupit-tabletki-kadillak-adam-boby-yasnost-eyv-lyubov-ulybka.snezhok-vitaminki-diski-tably-kolosa-bubliki-kalachi-muzyka.ekstazi-kruglye-yeshki-eksta-eks-ti-si-tapki-bubly-pilsy-eyfor.net
4 http://www.barrons.com.zozor.ru
5 http://shaman-by.com
6 http://www.forparty.su
7 http://shaman-kz.com
8 http://legal-pills.net.ekstazi-kruglye-yeshki-eksta-eks-ti-si-tapki-bubly-pilsy-eyfor.net
9 http://shaman-s.com
10 http://legpills.info
11 http://shaman-r.net
12 http://www.legpills.biz.legalnyye-narkotiki-sol-dlya-vann-dzhiviash.reagenty-kuritelnyye-smesi-geroin-efedrin-metadon-lsd-mdma-jwh.biz
13 http://shaman-ua.com
14 http://snezhok-vitaminki-diski-tably-kolosa-bubliki-kalachi-muzyka.ekstazi-kruglye-yeshki-eksta-eks-ti-si-tapki-bubly-pilsy-eyfor.net
15 http://kuritelnyye-smesi-miksy-marki-sol-dzhiv-jwh-skorost-zakladki.shaman-r.com
16 http://www.legalrc.biz.garant-ofitsialnyy-garant-foruma-legalrc.biz-garant-ne-torguyet-i-nichego-ne-prodayet.reagenty-kuritelnyye-smesi-geroin-efedrin-metadon-lsd-mdma-jwh.biz
17 http://www.legalrc.biz.magazin-v-doverennix-account-legpills.prinimayet-zakazy-pishite-v-kontakty.kuritelnyye-smesi-miksy-marki-sol-dzhiv-jwh-skorost-zakladki.reagenty-kuritelnyye-smesi-geroin-efedrin-metadon-lsd-mdma-jwh.biz
18 http://www.legalrc.biz.magazin-v-doverennix-forparty-biz-vsjo-dlja-veseloj.vecherinki-reagent-fr-700-1-k-30-coco-powder-ehffekty-kokaina.reagenty-kuritelnyye-smesi-geroin-efedrin-metadon-lsd-mdma-jwh.biz
19 http://www.shaman-r.ru
20 http://s-s.regnum.ru.zozor.ru
21 http://s-s.shaman-r.ru
22 http://www.legalrc.biz.magazin-v-doverennix-account.shaman-shaman-vnov-prinimayet-zakazy-pishite-v-kontakty-05.02.2014-pishite-v-kontakty.kuritelnyye-smesi-miksy-marki-sol-dzhiv-jwh-skorost-zakladki.shaman-r.net

[Yworld_garry]

Кстати,а в роботсе в директиве хост обязательно нужно указывать https если сайт на нём?

Из мана яндекса:

Директива Host должна содержать:
 Указание на протокол HTTPS, если зеркало доступно только по защищенному каналу (Host: https://myhost.ru).

Вы наверное меньше переживаете о подборе ssh чем с парсингом сайта

Не путайте теплое с мягким! 

[bober]

Не путаю, просто такая параноя ТС берет, что удивляет. Вот и сравнил.

[Солярис]

bober, выражаться приличнее не пробовали, господин "не параноик"?!

Паранойя (научитесь, "грамотей", хотя бы правильно писать данное слово) - это желание покрасоваться и написать подобные Вам нелепости. Более Вам видать нечем "возвыситься" (в кавычках) над другим пользователем.

Не нравится обсуждаемая тема - проходите мимо, если кроме глупости и хамства ничего сказать не можете. Полезной информации от Вас - НОЛЬ.

З.Ы. Свой форум можете хоть направо и налево раздать деятелям, которые парсингом занимаются. Я же буду решать без Вас (и Ваших убогих реплик), что мне делать и как и о чем на форуме сообщения размещать.
Так что удивительно лишь то, что всегда находятся в сети подобные Вам персоны, которые свое пупкинское (и, разумеется, хамское) мнение о другом пользователе выдают за истину в последней инстанции.

[bober]

Солярис 
Настроение подняли 
Другой бы спорил, я не стану.

Полезной информации от Вас - НОЛЬ

Карма Ваша на форуме улыбнула

научитесь, "грамотей", хотя бы правильно писать данное слово)

танки рулят епс
Найдите в своем посте ошибку (или там их несколько??) )))))

Поясните, плиз, для тех, кто танке - менее заковыристым языком.

Пока вы крутитесь вокруг зозоро, ваш сайт еще десятки парсят

P.S. ничего личного, никого обидеть не хотел. Солярис, если вас обидел, извините.
Выразил свое личное мнение и то как я вижу эту ситуацию.