индексация форума

Автор webpirati, 26 октября 2024, 15:22:05

« назад - далее »

0 Пользователи и 1 гость просматривают эту тему.

webpirati

всем  привет !!!  столкнулся  что  яндекс и гоогле
  начал  выплевывать  страницы из  писка  
с  уведомлением  что  есть   запрет на  сканирование  
robots.txt . при  проверке  запрета   я  не  обнаружил, 
User-agent: *
Disallow: /*topic=*.msg
Disallow: /*topic=*.new
Disallow: /*PHPSESSID
Disallow: /*;
Allow: /$
Allow: /*board
Allow: /*topic
Allow: /*forum$
Allow: /*page=*
Allow: /*.xml
Allow: /*.css$
Allow: /*.js$
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.gif$
Allow: /*sitemap

как  заставить  яндекс и гоогле  нормально сканировать
раньше  такого небыло