robots.txt и ИИ: как не потерять видимость в поиске и в обучении моделей
Search Engine Journal опубликовал разбор лучших практик для управления доступом поисковых и ИИ-агентов через robots.txt. В материале объясняется, как правильно настраивать файл, чтобы не потерять видимость в поиске и не тратить ресурсы на ненужное сканирование.
О чём речь и почему это важно для бизнеса
Речь о том, как поисковики и ИИ-агенты находят и читают сайт. Неправильная настройка robots.txt может оставить ваш интернет-магазин без индексации, даже если он идеально сделан. Если вы не контролируете, кто и что сканирует, вы теряете контроль над тем, как вас видят клиенты. И это касается не только поиска, но и ИИ, который уже начинает использовать данные с сайтов для обучения. Важно не просто запретить доступ, а понимать, что и зачем нужно разрешить. Мы в Cetera видим это как часть архитектуры сайта — не как отдельный технический костыль, а как элемент управления видимостью.
Как это устроено — что тут вообще происходит
robots.txt — это простой файл в корне сайта, который говорит ботам, что им можно, а что нельзя. Он не блокирует доступ к странице, но указывает, можно ли её сканировать. Проблема в том, что сейчас боты — это не только Google, но и ИИ-системы, которые учатся на контенте. Если вы запрещаете доступ ИИ-агентам, вы можете лишить себя возможности быть учтённым в обучающих моделях. А если не настроите блокировку дублирующих URL, боты могут бесконечно сканировать фильтры, поисковые результаты и action-ссылки, тратя ресурсы.
Что изменилось в отрасли: как было раньше и как сейчас
Раньше robots.txt был инструментом только для поисковых систем. Сегодня к нему обращаются ИИ-агенты, которые сканируют сайт для обучения. Это меняет правила игры. Раньше можно было просто запрещать «поисковые» URL. Сейчас нужно думать о том, как ИИ будет использовать ваш контент. Если вы не учитываете эти агенты, вы рискуете, что ваш сайт не войдёт в обучающие данные. А это значит — вы не будете учитываться в ответах ИИ, которые уже начинают влиять на выбор покупателей. Новые боты не всегда понимают, что такое «дубль» или «действие» — они просто сканируют. Поэтому настройка должна быть точной, а не просто «заблокировать всё, что с параметрами».
Кого это касается и как понять, что это про ваш бизнес
Это про любого, кто ведёт интернет-магазин, работает с маркетплейсами или развивает цифровой проект в индустрии красоты. Если у вас есть фильтры, поисковые страницы, ссылки «в избранное» или «в корзину» — вы уже в зоне риска. Если вы не контролируете, кто и что сканирует, вы теряете контроль над тем, как вас видят. Особенно если у вас большой каталог — тысячи страниц с параметрами. ИИ-агенты не знают, что «цена=1000&цвет=синий» — это не уникальная страница. Они могут сканировать её как отдельную.
Что с этим делать — порядок действий в общем виде
Сначала определите, какие URL-адреса не должны быть индексированы. Это не просто «все с параметрами» — нужно понимать, что они делают. Затем настройте robots.txt с учётом, что боты — не только поисковики, но и ИИ-агенты. Используйте конкретные директивы: Allow и Disallow, учитывая порядок приоритетов. Не забывайте про case-sensitive: «s=» и «S=» — это разные вещи. Проверяйте, что правило срабатывает на реальных URL. И главное — не полагайтесь только на robots.txt. Если нужно, чтобы страница не индексировалась, используйте noindex. robots.txt — это не гарантия, а рекомендация. Он не блокирует доступ к странице, он только говорит, что её можно не сканировать.
Что мы с этим делаем
Выбор платформы — это выбор скорости изменений на годы вперёд. Платформа, которая не позволяет гибко управлять доступом поисковым и ИИ-агентам, уже сегодня ограничивает вашу возможность адаптироваться к новым условиям. Мы в Cetera поддерживаем и развиваем проекты на Cetera CMS, 1С-Битрикс, Laravel, Yii2, InSales, WordPress, Magento2 и других платформах. Если хотите понять, как это выглядит у вас, — давайте обсудим вашу задачу.
Это часть нашей работы — Продвижение сайтов. Комплексное SEO-продвижение сайтов всех типов в поиске Яндекс и Google. ✔ Заказать раскрутку в поисковых системах, контексте, социальных сетях и на маркетплейсах. Продвижение сайтов
Автор: Святослав Семенов из Cetera Labs