Cообщество пользователей SMF

Доброго времени суток!сдал сайт на индексацию и в вебмастере Исключённые страницы ? Страницы запрещены к индексированию вебмастером или не существуют
Документ запрещен в файле robots.txt
Посмотрите пожалуйста в чем ошибка или где найти url запрещенные файлы

# If the Joomla site is installed within a folder such as at
# e.g. www.example.com/joomla/ the robots.txt file MUST be
# moved to the site root at e.g. www.example.com/robots.txt
# AND the joomla folder name MUST be prefixed to the disallowed
# path, e.g. the Disallow rule for the /administrator/ folder
# MUST be changed to read Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/orig.html
#
# For syntax checking, see:
# http://tool.motoricerca.info/robots-checker.phtml

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Sitemap: http:/

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: vash_sait.ru
Sitemap: http://

при проверки файла яндексом пишет:
Результаты проверки (6 ошибок)
Произошла внутренняя ошибка. Попробуйте повторить попытку позже.Превышено время ожидания ответа.
Неправильный адрес страницы
Строка 1: User-agent: *
Неправильный адрес страницы
Строка 2: Disallow: /administrator/
Неправильный адрес страницы
Строка 3: Disallow: /cache/
Неправильный адрес страницы
Строка 4: Disallow: /includes/
Неправильный адрес страницы
Строка 5: Disallow: /installation/
Неправильный формат текста

А почему бы не пойти на joomla форум и там все узнать?

там не отвечают

Тогда скажу что дело не в роботс, на первый взгляд он стандартный, а то как или куда или чем залили его, имею ввиду сам файл, формат... Плюс адрес сайта, возможно у вас стоит  редирект с www на без или наоборот.

Цитата: Yworld_garry от 14 октября 2014, 22:32:12Yworld_garry

а это правда что яша себе отдельно пропись требует?
"User-agent: *
User-agent: Yandex"

Цитата: Depressive от 14 октября 2014, 22:36:23а это правда что яша себе отдельно пропись требует?

Нет, это не обязательно, просто удобнее для себя и для конкретно яндекса прописать директивы отдельным блоком. Хотя не обязательно.
Например гуглу пофиг на директиву Host:  а яндексу надо...

спасибо большое .

как узнать редирект с www или без?



нужно ли вписать это в robots.txt:

# If the Joomla site is installed within a folder such as at
# e.g. www.example.com/joomla/ the robots.txt file MUST be
# moved to the site root at e.g. www.example.com/robots.txt
# AND the joomla folder name MUST be prefixed to the disallowed
# path, e.g. the Disallow rule for the /administrator/ folder
# MUST be changed to read Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/orig.html
#
# For syntax checking, see:
# http://tool.motoricerca.info/robots-checker.phtml

Цитата: ivan-mark от 14 октября 2014, 22:39:26как узнать редирект с www или без?

если наберете домен с www а перекинет на без, значит стоит редирект и наоборот.

Цитата: ivan-mark от 14 октября 2014, 22:39:26нужно ли вписать это в robots.txt:

Не надо.

спасибо
у меня с www и без есть переход

Дальше мы перейдем в разрез гаданий, если не представите сайт, гадать можно до утра.

вот сайт
freezan.com

Косяков нет в файле и яндекс его прекрасно в проверке взял.
Но есть еще момент, если вы добавили сайт впанель не сразу, а через какое то время с существующей сейчас Host: freezan.com  а поисковик до этого проиндексил с www, то роботс будет в панеле не рабочим, пока не сменится главное зеркало в индексе.
Там можно указать главное зеркало, имею ввиду в панеле веб мастера, но опять же изменения вступят в силу от 2 до 4 недель.

Либо все дело в этом "Произошла внутренняя ошибка. Попробуйте повторить попытку позже.Превышено время ожидания ответа.", в момент скана ботом, сайт был недоступен.
Думаю это все что можно сказать по вашему случаю, остальное, конкретика...уже только видя изнутри.

спасибо за информации ..
хорошо почему тогда идет ошибка  сканирования   запросы отсутствуют в гугуле !!
он не можетнайти url к примеру как freezan.com/photo ..как мне найти url чтоб удалить его?

Цитата: ivan-mark от 14 октября 2014, 23:42:12freezan.com/photo

У вас на сайте нет такой страницы.

да у меня на сайте нет такой странице раньше было вместо страховка - фото
и теперь гугул пишет ошибка не найден url
как удалить url photo
или например как
http://freezan.com/flights/map?marker=30924.map.map&origin_iata=IWA
и
http://freezan.com/interesno и много другое
как найти их корень чтоб удалить потому что из за них гугл не индексируют

Если они в гугл попали, то пока он сам их не удалит, ничего не выйдет. тут проблем нет, если гуглу отдается 404 ошибка по этим страницам.
И не индексировать из за них не может, гугл обходит весь сайт и то что отдает корректную ошибку сейчас, в итоге уйдет из индекса.
Есть конечно форма что бы показать гуглу какие страницы надо удалить из индекса, но толку не много от нее, в гугле кеш очень долго может хранится.

Спасибо большое.Вы очень помогли

возник у меня еще такой вопрос буду благодарен за ответ
у меня на хостинге был загружен файл под названием robots(без txt)надо ли его переименовать с robots на robots.txt или это не столь важно?

чтоб добавить перелинковку с www на домен без www:нужно писать код а где его именно писать в .htaccess ?


RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.domain.ru$ [NC]
RewriteRule ^(.*)$ http://domain.ru/$1 [R=301,L]



если .htaccess  правильно выглядит так:        то куда именно вписать:     RewriteCond %{HTTP_HOST} ^www.domain.ru$ [NC]                       
                                                                                                             RewriteRule ^(.*)$ http://domain.ru/$1 [R=301,L]

##
# @package   Joomla
# @copyright   Copyright (C) 2005 - 2012 Open Source Matters. All rights reserved.
# @license   GNU General Public License version 2 or later; see LICENSE.txt
##

##
# READ THIS COMPLETELY IF YOU CHOOSE TO USE THIS FILE!
#
# The line just below this section: 'Options +FollowSymLinks' may cause problems
# with some server configurations. It is required for use of mod_rewrite, but may already
# be set by your server administrator in a way that dissallows changing it in
# your .htaccess file. If using it causes your server to error out, comment it out (add # to
# beginning of line), reload your site in your browser and test your sef url's. If they work,
# it has been set by your server administrator and you do not need it set here.
##

## Can be commented out if causes errors, see notes above.
Options +FollowSymLinks

## Mod_rewrite in use.

RewriteEngine On

## Begin - Rewrite rules to block out some common exploits.
# If you experience problems on your site block out the operations listed below
# This attempts to block the most common type of exploit `attempts` to Joomla!
#
# Block out any script trying to base64_encode data within the URL.
RewriteCond %{QUERY_STRING} base64_encode[^(]*\([^)]*\) [OR]
# Block out any script that includes a <script> tag in URL.
RewriteCond %{QUERY_STRING} (<|%3C)([^s]*s)+cript.*(>|%3E) [NC,OR]
# Block out any script trying to set a PHP GLOBALS variable via URL.
RewriteCond %{QUERY_STRING} GLOBALS(=|\[|\%[0-9A-Z]{0,2}) [OR]
# Block out any script trying to modify a _REQUEST variable via URL.
RewriteCond %{QUERY_STRING} _REQUEST(=|\[|\%[0-9A-Z]{0,2})
# Return 403 Forbidden header and show the content of the root homepage
RewriteRule .* index.php [F]
#
## End - Rewrite rules to block out some common exploits.

## Begin - Custom redirects
#
# If you need to redirect some pages, or set a canonical non-www to
# www redirect (or vice versa), place that code here. Ensure those
# redirects use the correct RewriteRule syntax and the [R=301,L] flags.
#
## End - Custom redirects

##
# Uncomment following line if your webserver's URL
# is not directly related to physical file paths.
# Update Your Joomla! Directory (just / for root).
##

# RewriteBase /

## Begin - Joomla! core SEF Section.
#
RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization}]
#
# If the requested path and file is not /index.php and the request
# has not already been internally rewritten to the index.php script
RewriteCond %{REQUEST_URI} !^/index\.php
# and the request is for something within the component folder,
# or for the site root, or for an extensionless URL, or the
# requested URL ends with one of the listed extensions
RewriteCond %{REQUEST_URI} /component/|(/[^.]*|\.(php|html?|feed|pdf|vcf|raw))$ [NC]
# and the requested path and file doesn't directly match a physical file
RewriteCond %{REQUEST_FILENAME} !-f
# and the requested path and file doesn't directly match a physical folder
RewriteCond %{REQUEST_FILENAME} !-d
# internally rewrite the request to the index.php script
RewriteRule .* index.php [L]
#
## End - Joomla! core SEF Section.