|
 Немножко о роботах в SAPE, или к каким последствиям может привести неправильная внутренняя перелинковка сателита:
Берем сайт (50 страниц), скармливаем его яше, яша молодец, съедает все.
Кормим в САПЕ, но название статьи – это не линк на полную новость, линк – это слово “подробнее” – и смотрим на поведение робота сапы:
Робот сьедает мордашку, и …. и идет индексировать юзеров (имя сайта/юзер/имя_юзера), итог: 11 проиндексированных страниц…
вывод:
- Сапа игнорирует линки вида “читайте далее” и “подробнее”
- Почему то робот не пошел по ссылкам “читайте так же”
Лан, думал сам виноват, заголовки-текст исправляются на заголовки-ссылки, но сапа опять индексирует роботов.
Вывод:
- Внутренняя перелинковка должна присутствовать даже на сателитах
- нужно заранее в робот.тхт закрывать все лишнее
Итог:
- Сайт ТИЦ 50 пр 5 имеет всего 11 страниц в сапе, все ссылки раскуплены
- потеряно месяц работы (перемодерация/индексация – по несколько дней, ап яшы – тож не сразу был)
Постовые:
|
