|
Рецепт правильного робот.тхт для сайта с точки зрения СЕО:
итак, во первых запрещаем индексацию текстовой версии сайта, если таковая предусматривается движком (некоторые версии форумав, ДЛЕшка любят создавать текстовые версии), это нам нужно, потому что если яшка скушает и страницу и ее копию в текстовом виде, то скорей всего копию она оставит себе, а станицу из индекса выкинет как дубликат (это объясняется тем, что текстовой вариант страницы не содержит в себе тэгов, т.е. чистый контент), поэтому закрываем индексацию текстовых:
Читайте далее >>>
|