Правильный robot.txt для блогер

Итак сегодня я поведаю вам как установить файл робот который будет видеть  и гугл и яндекс!
Потому как если не добавлять этот файл яндекс не очень охотно индексирует блоги от блогпост 
Что бы решить эту проблему делаем яндексу подсказку User-agent: Yandex
Потому как в стандартном блоговском етого нет! Мы как бы призываем робота яндекса " что смотри что тут есть я агент яндекса"






В общем проделываем следующие действия
Переходим в настройки поиска

Находим строку "Пользовательский файл robots.txt"  после напротив"Использовать собственный файл robots.txt?" ставим ДА 

И в открывшемся окне вводим код

User-agent: Mediapartners-Google 

Disallow: 

User-agent: * 

Disallow: /search 

Disallow: /p/search.html 

Allow: / 

Sitemap: http://вашсайт/default?orderby=updated 

User-agent: Yandex 

Disallow: /search 

Disallow: /p/search.html 


Allow: /

После проверяете и сохраняете пользовательский файл!
Желаю успехов в работе 

Share on Facebook Share on Twitter Share on Google Plus

About Unknown

This is a short description in the author block about the author. You edit it by entering text in the "Biographical Info" field in the user admin panel.