|
 Рецепт правильного робот.тхт для сайта с точки зрения СЕО:
итак, во первых запрещаем индексацию текстовой версии сайта, если таковая предусматривается движком (некоторые версии форумав, ДЛЕшка любят создавать текстовые версии), это нам нужно, потому что если яшка скушает и страницу и ее копию в текстовом виде, то скорей всего копию она оставит себе, а станицу из индекса выкинет как дубликат (это объясняется тем, что текстовой вариант страницы не содержит в себе тэгов, т.е. чистый контент), поэтому закрываем индексацию текстовых:
User-agent: *
Disallow: /*print
Едем дальше. что еще едет в топку? в топку идут все служебные страницы, такие как профили юзеров, форма добавления новостей и прочее/прочее, для ДЛЕ к примеру это будет выглядеть так:
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
А если мы сетку делаем, то скрываем от ботов яху и альта лависте (абы конкуренты не глядели)
по материалам SpYeRа
|
