вопрос по robots.txt

Автор buben77, 25 декабря 2014, 14:25:51

« назад - далее »

0 Пользователи и 1 гость просматривают эту тему.

buben77

вопрос по robots.txt. помогите далекому в этом  :)

optimes brave с генерировал мне robots.txt. я сохранил.
robots.txt нужно в дальнейшем редактировать?

User-agent: Googlebot-Image
Disallow: /

User-agent: YandexImages
Disallow: /

User-agent: msnbot-MM
Disallow: /

User-agent: Googlebot-Mobile
Allow: /*wap
Disallow: /

User-agent: YandexImageResizer
Allow: /*wap
Disallow: /

User-agent: MediaPartners-Google
Allow: /

User-agent: Baiduspider
Disallow: /

User-agent: *
Allow: /$
Allow: /*forum$
Allow: /*page*page
Disallow: /*action
Disallow: /*board=*wap
Disallow: /*board=*imode
Disallow: /*topic=*wap
Disallow: /*topic=*imode
Disallow: /*topic=*.msg
Disallow: /*topic=*.new
Disallow: /*;
Disallow: /*PHPSESSID
Allow: /*board
Allow: /*topic
Disallow: /
Crawl-delay: 5
Clean-param: PHPSESSID /index.php
Host: key-free.tk




Yworld_garry


buben77


buben77

гуглу вэбмастеру не нравятся строки 40. 41

Yworld_garry

Crawl-delay: 5

не в том месте и вообще он не нужен, плюс написал какой поставить и не мучатся, в топике все написано.