Сайт и форум в основной директории и robot.txt + ссылки на sitemap.xml

Автор x.v.x, 06 декабря 2011, 17:41:03

« назад - далее »

0 Пользователи и 1 гость просматривают эту тему.

x.v.x

Посоветуйте, у меня сайт в основной директории http://сайт.com,
в этой же директории, в папочке forum  находится форум - http://сайт.com/forum,
так вот, я создаю "robot.txt" для форума и сайта, то есть "все в одном" и кидаю его в основную директорию :
http://сайт.com
Подскажите, правильно ли я сделал этот робот ткст и правильно  ли будет видеть
поисковик мои sitemap.xml
размещенные в директориях  соответственно :
http://сайт.com/sitemap.xml
http://сайт.com/forum/sitemap.xml


пример - robot.txt :

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: сайт.com

Sitemap: http://сайт.com/sitemap.xml

User-Agent: *
Disallow: /forum/admin/
Disallow: /forum/attach_mod/
Disallow: /forum/ban/
Disallow: /forum/cache/
Disallow: /forum/db/
Disallow: /forum/docs/
Disallow: /forum/files/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/language/
Disallow: /forum/templates/
Disallow: /forum/attach_rules.php
Disallow: /forum/common.php
Disallow: /forum/config.php
Disallow: /forum/extension.inc
Disallow: /forum/faq.php
Disallow: /forum/groupcp.php
Disallow: /login.php
Disallow: /forum/memberlist.php
Disallow: /forum/modcp.php
Disallow: /forum/posting.php
Disallow: /forum/privmsg.php
Disallow: /forum/profile.php
Disallow: /forum/quick_reply.php
Disallow: /forum/search.php
Disallow: /forum/uacp.php
Disallow: /forum/viewonline.php
Sitemap: http://сайт.com/forum/sitemap.xml

Yworld_garry

User-Agent: *
Такой блок может быть только один. И для форума и сайта один вместе.
Sitemap:
Слитно с блоком, пишите сразу оба подряд.
Посмотрите тему про роботс, http://www.simplemachines.ru/index.php?topic=5089.0   будет все понятно, какой нужно составить и как