Браузеры изо всех сил прячут проблемы от людей. Роботы, которые читают ваш сайт для ИИ-движков — боты, или краулеры, — получают его ровно таким, каким отдаёт сервер. Каждая проблема, которую браузер спрятал от вас, — это стена, в которую робот врезается на полном ходу. И у робота хорошая память.
Почему ваш сайт выглядит нормально
Откройте свой сайт в Chrome или Safari — всё работает. Страницы открываются, картинки на месте, ссылки ведут куда надо. Значит, сайт в порядке?
Не обязательно. То, что вы видите, — результат тридцати лет браузерной инженерии с одной целью: спрятать сломанное от человека.
Браузер молча переключает небезопасные соединения на безопасные. Без жалоб проходит по цепочкам записок «эта страница переехала». Запускает скрипты, которые дорисовывают страницу в последний момент. Угадывает, как должна была выглядеть кривая разметка, и рисует свою версию. Всё это — потому что человеку нужна работающая страница, а не отчёт об ошибках.
Ваш браузер, по сути, дипломат. Он сглаживает углы.
Что на самом деле видит робот
Программы, которые читают сайты для ИИ-движков, — не дипломаты. Они берут сайт таким, каким его отдаёт сервер, и записывают всё.
| Что есть на сайте | Что видите вы в браузере | Что видит робот |
|---|---|---|
| Старые ссылки на удалённые страницы | Ничего: вы по ним не ходите | Тупик (404). Зафиксирован, доверие снижено |
| Ссылки через несколько записок «мы переехали» | Страница открывается чуть позже | Пункт оплаты на каждом шагу, топливо сгорает |
| «Официальный адрес» страницы указывает на адрес, который сам переезжает | Вообще ничего | Противоречие: робот не верит ни одному из адресов |
| Файл правил для роботов (robots.txt) иногда отвечает ошибкой | Вообще ничего | Правило на такой случай: считать весь сайт закрытым |
| Защита сайта блокирует посетителей, назвавшихся ИИ-ботами | Сайт работает идеально | Вышибала у двери: для этого ИИ вашего сайта не существует |
Ни одна из этих проблем не видна из браузера. Все они видны каждому роботу, при каждом визите.
Запас топлива
Деталь, которая удивляет большинство владельцев бизнеса: робот не читает весь сайт при каждом визите. У каждого захода есть ограниченный запас топлива — примерное количество страниц, которые робот заберёт, прежде чем уйти.
Каждая записка «мы переехали» тратит топливо. Каждый тупик тратит топливо. На сайте, где каждая девятая внутренняя ссылка идёт в объезд, заметная часть каждого визита уходит на «пункты оплаты» вместо контента.
vash-sait.ru/ceny → «мы переехали» (301) vash-sait.ru/ceny/ → «мы снова переехали» (301) vash-sait.ru/tarify Три прыжка. Топливо сгорело. Доверие снижено на каждом шагу.
vash-sait.ru/tarify → «вот она» (200) Один прыжок. Никаких пошлин. Всё топливо — на страницы, которые вы хотите показать.
Теперь представьте: вы только что опубликовали десять дорогих статей. Робот приходит, сжигает половину топлива на объездах и тупиках, читает три статьи из десяти и уходит. Остальных семи как будто нет — в этот визит и в каждый следующий, пока трубы не починены.
Это и есть механическая причина, по которой мы советуем чинить здоровье сайта до вложений в разработку контента. Это не философия. Это арифметика.
Как увидеть сайт глазами робота
Из браузера — никак: дипломат продолжит прикрывать трубы. Нужен инструмент, который читает сырые ответы сервера и проходит по каждой ссылке так, как это делает краулер.
Именно это измеряет оценка здоровья сайта — одна из двух цифр: ссылки, объезды, адресные ярлыки, файлы правил, поведение сервера. Больше шестидесяти механических проверок, ноль браузерной дипломатии. То, что видят роботы, — наконец записанное там, где это видите и вы.