Что такое сканирование сайта
Обновлено Время чтения: 21 мин
Коротко
Сканирование сайта (краулинг) — это процесс, при котором поисковый робот или специальная программа-сканер последовательно загружает страницы сайта, получает код ответа сервера, читает HTML и переходит по найденным ссылкам на новые адреса. Поисковые системы сканируют сайты, чтобы найти новые и изменённые страницы и передать их на индексацию. SEO-специалисты и владельцы сайтов используют сканеры, чтобы проверить сайт на ошибки, битые ссылки, дубли и уязвимости.
Что такое сканирование простыми словами
Сканирование — первый шаг, с которого начинается путь страницы в поисковую выдачу. Поисковый робот получает список адресов, загружает каждую страницу, смотрит код ответа сервера, читает HTML и находит в нём ссылки на другие страницы. Новые ссылки он добавляет в очередь и сканирует позже. Так робот постепенно обходит весь сайт и узнаёт о новых, изменённых и удалённых страницах.
Слово «сканирование» используют в двух смыслах. В SEO это обход сайта поисковым роботом или программой-краулером, которая повторяет его работу. В безопасности — проверка сайта сканером уязвимостей, который ищет слабые места в коде, настройках сервера и CMS. Задачи разные, но принцип похож: программа автоматически проходит по страницам и анализирует то, что нашла.
Сканирование для поиска
Робот Яндекса или Google обходит страницы, чтобы найти новый контент и передать его на индексацию. Владелец сайта управляет этим через robots.txt, sitemap и ссылки.
Сканирование для аудита
SEO-сканер повторяет обход робота и показывает ошибки: битые ссылки, редиректы, дубли, проблемы мета-тегов, медленные страницы.
Сканирование безопасности
Сканер уязвимостей проверяет сайт на известные проблемы: устаревшие версии CMS, открытые файлы, ошибки настроек, уязвимости вроде XSS и SQL injection.
Важно
Страница, которую робот не смог просканировать, не попадёт в индекс и не будет получать трафик из поиска. Поэтому проблемы сканирования — одни из самых важных в техническом SEO.
Как поисковые системы сканируют сайт
Процесс сканирования у Яндекса и Google устроен похоже. Робот не обходит интернет случайно: у него есть очередь адресов и правила, которые определяют, какие страницы сканировать в первую очередь и как часто возвращаться.
Обнаружение адреса
робот находит URL по ссылкам, в sitemap.xml или из сообщений владельца сайта в Вебмастере
Проверка robots.txt
робот смотрит, разрешено ли сканировать этот адрес
Загрузка страницы
робот получает код ответа сервера и HTML страницы
Обработка и рендеринг
робот читает содержимое, при необходимости выполняет JavaScript
Поиск новых ссылок
найденные адреса добавляются в очередь сканирования
Индексация
содержимое страницы обрабатывается и может попасть в индекс
Скорость и частота сканирования зависят от нескольких факторов. Робот старается не перегружать сервер, поэтому медленный хостинг снижает количество страниц, которые он обходит за день. Важные и часто обновляемые страницы сканируются чаще, а глубокие и редко меняющиеся — реже. Это ограничение называют краулинговым бюджетом: количество страниц, которое робот готов обойти на вашем сайте за определённое время.
| Фактор | Как влияет | Что сделать |
|---|---|---|
| Скорость ответа сервера | медленный сервер — меньше страниц за обход | быстрый хостинг, кэширование |
| Ошибки сервера 5xx | робот снижает частоту обхода | следить за доступностью и нагрузкой |
| Внутренние ссылки | страницы без ссылок робот находит реже | перелинковка, меню, хлебные крошки |
| Sitemap.xml | подсказывает роботу важные адреса | актуальная карта сайта без мусора |
| Мусорные адреса | робот тратит бюджет на дубли и параметры | закрыть в robots.txt или склеить |
| Частота обновлений | часто обновляемые страницы обходятся чаще | регулярно добавлять и обновлять контент |
| Глубина вложенности | глубокие страницы сканируются реже | важные страницы ближе к главной |
Подробнее о дальнейших шагах — в статьях про индексацию сайта и индекс поисковой системы.
Сканирование и индексация: в чём разница
Сканирование и индексацию часто путают, но это разные этапы. Сканирование — это загрузка страницы, индексация — обработка её содержимого и добавление в базу поисковика. Страница может быть просканирована, но не попасть в индекс, если поисковик посчитал её дублем, малополезной или нашёл на ней запрет индексации.
| Признак | Сканирование | Индексация |
|---|---|---|
| Что происходит | робот загружает страницу и читает код | содержимое анализируется и сохраняется в базе |
| Чем управлять | robots.txt, Disallow, sitemap, ссылки | мета-тег robots, noindex, canonical, качество контента |
| Где смотреть | статистика обхода в Вебмастере и Search Console | страницы в поиске и отчёт об индексировании |
| Типичные проблемы | ошибки сервера, закрытые разделы, медленный ответ | дубли, малополезные страницы, noindex |
Ошибка
Закрыть страницу в robots.txt, чтобы убрать её из поиска. Робот перестанет сканировать страницу и не увидит noindex, а адрес может остаться в индексе по внешним ссылкам. Для удаления из индекса нужна индексация без запрета сканирования и мета-тег noindex.
Подробнее о том, как управлять сканированием, — в статьях про robots.txt и директиву Disallow.
Как проверить сканирование в Вебмастере и Search Console
Поисковые системы показывают владельцам сайтов, как роботы сканируют их ресурс. Эти данные помогают заметить проблемы раньше, чем они повлияют на трафик.
- В Яндекс Вебмастере раздел «Статистика обхода» показывает, сколько страниц робот обходит в день, какие коды ответа получает и какие страницы были просканированы недавно
- Инструмент «Переобход страниц» в Вебмастере позволяет отправить важные адреса на повторное сканирование
- В Google Search Console отчёт «Статистика сканирования» показывает количество запросов, время ответа сервера и распределение по типам файлов
- Инструмент проверки URL в Search Console показывает, когда страница сканировалась последний раз и как Googlebot её видит
- Логи сервера показывают каждое обращение робота и помогают понять, какие разделы он обходит чаще всего
Если количество просканированных страниц резко упало, а доля ошибок выросла, это сигнал проверить сервер, robots.txt и последние изменения на сайте. Если робот тратит много запросов на страницы с параметрами и дубли, нужно навести порядок с мусорными адресами.
Совет
Сравнивайте статистику сканирования до и после релизов. Резкий рост количества обходов часто означает, что на сайте появились тысячи новых адресов — например, из-за фильтров или ошибки в ссылках.
Как ускорить сканирование сайта
Если новые страницы долго не попадают в поиск, а изменения на сайте поисковик замечает с задержкой, нужно помочь роботу сканировать сайт быстрее. Основные способы связаны с тем, чтобы робот быстро находил важные страницы и не тратил время на лишние.
Обновите sitemap.xml
добавьте все важные страницы с кодом 200 и уберите редиректы, 404 и закрытые адреса.
Улучшите внутренние ссылки
новые страницы должны быть доступны из меню, разделов, блоков «похожие товары» и статей.
Уберите мусорные адреса
закройте параметры сортировки, поиск по сайту и служебные разделы в robots.txt.
Ускорьте сервер
чем быстрее ответ, тем больше страниц робот успеет просканировать за один обход.
Исправьте ошибки
битые ссылки, цепочки редиректов и ошибки 5xx снижают эффективность сканирования.
Отправьте страницы на переобход
используйте инструменты в Яндекс Вебмастере и Google Search Console для самых важных адресов.
Для крупных сайтов особенно важна работа с краулинговым бюджетом. Если на сайте сотни тысяч страниц, робот не может обходить их все каждый день. Поэтому нужно, чтобы он тратил запросы на страницы, которые приносят трафик и клиентов, а не на тысячи вариантов фильтров и сортировок.
Совет
Новые важные страницы ставьте ссылкой на главную или в популярные разделы хотя бы на время. Робот часто сканирует главную и быстро находит всё, на что с неё ведут ссылки.
Подробнее — в статьях про sitemap.xml, внутреннюю перелинковку и структуру сайта.
Частые проблемы сканирования
Проблемы сканирования проявляются по-разному: страницы долго не попадают в индекс, в поиске остаются старые версии, робот находит тысячи ненужных адресов. Чаще всего причины такие.
| Проблема | Возможная причина | Как исправить |
|---|---|---|
| Робот не видит раздел | закрыт в robots.txt, нет внутренних ссылок | открыть раздел, добавить ссылки и адреса в sitemap |
| Много ошибок 5xx | перегрузка сервера, ошибки в коде | проверить хостинг, логи и нагрузку |
| Много 404 при обходе | битые внутренние ссылки, удалённые страницы | исправить ссылки, настроить 301 редиректы |
| Робот сканирует дубли | параметры URL, фильтры, сортировки | закрыть в robots.txt или настроить canonical |
| Медленное сканирование | долгий ответ сервера, тяжёлые страницы | ускорить сервер, кэширование, уменьшить вес страниц |
| Контент не виден роботу | текст загружается только через JavaScript | серверный рендеринг или предварительная генерация |
| Бесконечные адреса | календари, ошибки в ссылках, сессии в URL | закрыть генерацию бесконечных URL |
Многие проблемы видны в статистике обхода, но точную причину часто помогает найти только собственное сканирование сайта программой-краулером. Она показывает, откуда ведут ссылки на ошибочные адреса и какие шаблоны создают дубли.
- Закрыть CSS и JavaScript в robots.txt — робот не сможет правильно отрисовать страницу
- Ставить ссылки на адреса с редиректами — робот тратит лишние запросы
- Генерировать ссылки с параметрами сессии или UTM-метками внутри сайта
- Оставлять тестовые и старые разделы доступными для сканирования
- Игнорировать ошибки сервера, которые появляются только под нагрузкой
SEO-сканеры: как просканировать свой сайт
Чтобы увидеть сайт глазами поискового робота, используют SEO-сканеры, или краулеры. Это программы и онлайн-сервисы, которые обходят страницы так же, как поисковый робот, и собирают данные о каждом адресе: код ответа, title, description, заголовки H1, canonical, мета-тег robots, количество внутренних и внешних ссылок, вес страницы и время загрузки.
| Данные | Что можно найти | Зачем это нужно |
|---|---|---|
| Коды ответа | 404, 5xx, редиректы | битые ссылки и цепочки редиректов |
| Мета-теги | пустые и одинаковые title и description | дубли и слабые сниппеты |
| Заголовки | отсутствие H1 или несколько H1 | проблемы структуры страниц |
| Canonical и robots | неправильные канонические адреса, случайный noindex | ошибки индексации |
| Внутренние ссылки | страницы без входящих ссылок, глубина вложенности | проблемы перелинковки |
| Изображения | тяжёлые файлы, отсутствие alt | медленная загрузка и слабая оптимизация |
| Внешние ссылки | битые ссылки на другие сайты | плохой пользовательский опыт |
Сканеры бывают нескольких типов. Онлайн-сервисы удобны тем, что ничего не нужно устанавливать: вы вводите адрес сайта, и сервис сам сканирует страницы и формирует отчёт. Десктопные программы работают на компьютере и позволяют гибко настраивать обход больших сайтов. Облачные сервисы аудита умеют сканировать сайт регулярно, сравнивать результаты и присылать уведомления о новых ошибках.
Бесплатный онлайн-сканер
Быстро проверить небольшой сайт, найти основные ошибки. Обычно есть ограничения по количеству страниц.
Десктопная программа
Гибкие настройки обхода, работа с большими сайтами, выгрузка данных. Требует установки и ресурсов компьютера.
Облачный сервис аудита
Регулярное сканирование по расписанию, история изменений, отчёты для команды и клиентов. Обычно работает по тарифам.
Совет
Перед сканированием большого сайта ограничьте скорость обхода в настройках сканера. Слишком много запросов одновременно может нагрузить сервер и замедлить сайт для пользователей.
Сканирование своим краулером — основа технического аудита. Результаты помогают составить список задач для разработчиков и проверить, что исправления внедрены.
Сканирование сайта на уязвимости
Второе значение сканирования — проверка безопасности. Сканер уязвимостей (web security scanner) автоматически проверяет веб-сайт на наличие известных проблем: устаревшие версии CMS и плагинов, открытые служебные файлы и директории, ошибки конфигурации сервера, слабые HTTP-заголовки безопасности, уязвимости в формах и параметрах. Такой анализ помогает обнаружить слабые места до того, как ими воспользуются злоумышленники.
| Проверка | Что это | Чем опасно |
|---|---|---|
| XSS (Cross-Site Scripting) | внедрение чужого скрипта через формы или параметры | кража cookie и данных пользователей |
| SQL injection | внедрение команд в запросы к базе данных | утечка или удаление данных |
| Устаревшие версии CMS | старая версия WordPress, Битрикс или плагина | взлом через известные уязвимости |
| Открытые файлы и директории | резервные копии, логи, файлы конфигурации в доступе | раскрытие паролей и настроек сервера |
| HTTP-заголовки безопасности | Content-Security-Policy, X-Frame-Options, HSTS | атаки через фреймы и подмену контента |
| SSL и HTTPS | срок сертификата, протоколы, смешанный контент | предупреждения в браузере, перехват данных |
| Слабые пароли и формы входа | отсутствие защиты от перебора | доступ к админке и аккаунтам |
Многие сканеры проверяют сайт по спискам распространённых уязвимостей, например OWASP Top 10. Есть онлайн-сервисы, которые за несколько минут делают базовую проверку по адресу сайта, и профессиональные инструменты для тестирования безопасности веб-приложений, которые используют специалисты по защите. Перед запуском глубокого тестирования обязательно получите разрешение владельца сайта: сканировать чужие ресурсы на уязвимости без согласия нельзя.
Важно
Сканер безопасности показывает возможные проблемы, но не гарантирует полную защиту. Результаты нужно проверить вручную, а исправления — внедрить и повторно просканировать сайт.
Безопасность влияет и на SEO. Если сайт взломали, на нём могут появиться чужие страницы, спам-ссылки и редиректы на сторонние ресурсы. Поисковые системы помечают такие сайты в выдаче, понижают их позиции и предупреждают пользователей. Поэтому регулярное сканирование на уязвимости полезно любому бизнесу, у которого сайт приносит клиентов.
- Обновляйте CMS, модули и плагины до актуальных версий
- Включите HTTPS и заголовок HSTS
- Настройте заголовки безопасности: Content-Security-Policy, X-Frame-Options, X-Content-Type-Options
- Закройте доступ к служебным файлам, резервным копиям и директориям
- Используйте сложные пароли и двухфакторный вход в админку
- Регулярно сканируйте сайт и следите за сообщениями о безопасности в Вебмастере и Search Console
Проверить HTTP-заголовки ответа конкретной страницы можно в статье и инструменте про HTTP-заголовки.
Инструменты проверки безопасности
Для проверки защиты веб-сайтов и приложений существует много решений — от простых онлайн-утилит до профессиональных платформ. Некоторые проверяют только заголовки и SSL, другие проводят полноценное тестирование с поиском инъекций и уязвимостей в логике приложения.
| Тип | Что умеет | Для кого |
|---|---|---|
| Онлайн-сканеры | быстрая проверка по адресу: заголовки, SSL, версии CMS, открытые файлы | владельцы сайтов, малый бизнес |
| Открытые сканеры вроде OWASP ZAP | автоматическое и ручное тестирование веб-приложений | разработчики и специалисты по защите |
| Профессиональные платформы вроде Burp Suite | глубокое тестирование, перехват запросов, поиск сложных уязвимостей | пентестеры и команды безопасности |
| Плагины для CMS | проверка файлов, обновлений и подозрительного кода внутри WordPress или Битрикс | сайты на популярных CMS |
| Мониторинг хостинга | антивирус, защита от атак и угроз на уровне сервера, VPS или VDS | все проекты |
Автоматический сканер — достаточно хорошая отправная точка, но он не заменяет ручного анализа. Различных типов уязвимостей очень много, и некоторые из них, например ошибки в логике личного кабинета или регистрации, автоматические алгоритмы определить не могут. Поэтому для сайтов, где хранятся персональные данные и платежи, необходимо отдельно проводить тестирование с участием специалистов.
Совет
Если вы хотите проверить сайт на уязвимости впервые, начните с онлайн-сканера и проверки HTTP-заголовков. Это займёт пару минут и покажет самые очевидные проблемы: отсутствие HTTPS, HSTS, Content-Security-Policy и устаревшие версии ПО.
Какие файлы сканирует поисковый робот
Поисковый робот сканирует не только HTML-страницы. Он загружает изображения, файлы CSS и JavaScript, документы PDF и другие ресурсы, которые используются на сайте. Изображения могут попасть в поиск по картинкам, PDF-документы — в обычную выдачу. Если какие-то файлы не должны попадать в поиск, для них используют заголовок X-Robots-Tag или запрет в robots.txt.
Кроме того, робот учитывает HTTP-заголовки ответа: код статуса, дату изменения, правила кэширования, канонический адрес в заголовке Link. Корректные заголовки помогают сканировать сайт эффективнее: например, ответ 304 Not Modified говорит роботу, что страница не изменилась с прошлого раза, и экономит ресурсы сервера.
Как выбрать сканер сайта
Выбор сканера зависит от задачи. Для SEO-аудита нужен краулер, который повторяет работу поискового робота, для проверки защиты — сканер уязвимостей. Многие популярные платформы совмещают оба направления, но обычно одно из них развито лучше.
| Критерий | Что важно | Кому важно |
|---|---|---|
| Количество страниц | лимит на один проект и на месяц | интернет-магазины и крупные сайты |
| Глубина анализа | какие проверки входят: SEO, скорость, безопасность | специалисты и агентства |
| Удобный интерфейс | понятный отчёт и фильтры по ошибкам | владельцы сайтов и маркетологи |
| Регулярный мониторинг | сканирование по расписанию и уведомления | компании с часто меняющимся сайтом |
| Экспорт и API | выгрузка данных, интеграция с другими инструментами | разработчиков и аналитиков |
| Тарифы | бесплатный режим, стоимость и ограничения | малый бизнес |
Бесплатный сканер подойдёт, чтобы быстро проверить небольшой сайт и получить общий обзор проблем. Для регулярной работы над проектом лучше выбрать сервис с историей проверок, сравнением результатов и рекомендациями по исправлению. Хороший инструмент не просто показывает список ошибок, а объясняет, почему каждая из них важна и как её исправить.
Совет
Сканируйте сайт после каждого обновления CMS, редизайна и переезда. Повторная проверка за несколько минут покажет, не появились ли новые ошибки и уязвимости.
Как просканировать свой сайт пошагово
Собственное сканирование сайта можно сделать за один вечер, даже если вы не SEO-специалист. Главное — правильно настроить обход и понять, на какие результаты смотреть в первую очередь.
Выберите инструмент
бесплатный онлайн-сканер для небольшого сайта или программу и облачный сервис для большого проекта.
Укажите домен и настройки
стартовый адрес, учитывать ли поддомены, следовать ли правилам robots.txt, ограничение скорости и количество страниц.
Запустите сканирование
дождитесь, пока программа обойдёт все доступные страницы; для крупного сайта это может занять несколько часов.
Посмотрите сводный отчёт
общий список ошибок, коды ответа, количество страниц и распределение по типам проблем.
Разберите критичные ошибки
5xx, 404 на важных страницах, случайный noindex, закрытые разделы, цепочки редиректов.
Выгрузите данные
отправьте разработчикам список адресов с ошибками и страниц, откуда на них ведут ссылки.
Просканируйте повторно
после исправлений запустите проверку ещё раз и сравните результаты.
Сравнение собственного сканирования с данными Вебмастера и Search Console даёт полную картину. Сканер показывает, что есть на сайте, а поисковые системы — как они его видят и что уже проиндексировали. Если сканер нашёл тысячу страниц, а в индексе всего триста, нужно определить причину: дубли, малополезные страницы, проблемы с качеством или ограничения сканирования.
Ошибка
Запустить сканер без ограничений на слабом хостинге в рабочее время. Сайт может начать медленно работать для пользователей, а сервер — отдавать ошибки, которые увидит и поисковый робот.
Сканирование сайтов на JavaScript
Современные сайты часто отображают контент с помощью JavaScript. Для сканирования это дополнительная сложность: робот сначала получает HTML, а затем, если нужно, выполняет скрипты в специальном браузере, чтобы увидеть итоговую страницу. Этот этап требует ресурсов, поэтому может откладываться, и часть контента поисковик видит с задержкой.
- Основной текст, заголовки и ссылки должны быть в исходном HTML или появляться через серверное отображение
- Ссылки в меню и каталоге — обычные теги со ссылками, а не обработчики кликов
- Скрипты и стили не должны быть закрыты от сканирования в robots.txt
- Бесконечная прокрутка дополняется обычной пагинацией с адресами страниц
- Важные данные не должны загружаться только после действий пользователя
Чтобы проверить, как робот видит страницу, используйте инструмент проверки URL в Search Console и сканер с режимом рендеринга JavaScript. Сравните, совпадает ли текст и ссылки в исходном коде и в отрисованной версии. Если основной контент появляется только после выполнения скриптов, стоит обсудить с командой разработчиков серверный рендеринг.
Как сканирование влияет на продвижение
Сканирование напрямую связано с SEO-продвижением. Если робот редко обходит сайт, новые статьи блога, товары и услуги долго не появляются в поиске, а обновлённые цены и описания попадают в выдачу с опозданием. Это особенно важно для интернет-магазинов, новостных сайтов и проектов, где контент быстро теряет актуальность.
- Новые страницы быстрее появляются в поиске и начинают получать трафик.
- Изменения в текстах и мета-тегах быстрее отражаются в выдаче и влияют на позиции.
- Удалённые и перемещённые страницы быстрее исчезают из индекса.
- Сайт с понятной структурой и без ошибок получает больше доверия и выше оценку качества.
Хорошее сканирование не поднимает позиции само по себе, но без него остальные факторы ранжирования не работают. Если страница не просканирована, неважно, насколько полезный на ней контент и сколько на неё ведёт обратных ссылок. Поэтому проверка сканирования — один из первых пунктов при анализе сайта и оценке его технического состояния.
Сейчас контент сайтов сканируют не только поисковые системы, но и боты нейросетей и ИИ-ассистентов. Правила для них тоже задаются в robots.txt: вы можете разрешить или запретить доступ отдельным ботам в зависимости от стратегии компании. Технические требования те же — быстрый сервер, понятная структура и контент, доступный в HTML.
Сканирование для анализа конкурентов
Сканер полезен не только для своего проекта. С его помощью можно провести анализ сайтов конкурентов из топа: посмотреть их структуру, количество страниц в каждой категории, шаблоны title и description, глубину вложенности и то, как устроена перелинковка. Такая информация помогает понять, почему конкуренты занимают высокие позиции по ключевым запросам, и найти идеи для улучшения своего ресурса.
| Данные | Что даёт | Как использовать |
|---|---|---|
| Структура разделов | какие категории и подкатегории есть у лидеров | дополнить структуру своего сайта |
| Шаблоны мета-тегов | как формируются title и description | улучшить свои шаблоны |
| Количество страниц | размер каталога и блога | оценить объём работ |
| Внутренние ссылки | какие страницы получают больше ссылок | перераспределить внутренний вес |
| Скорость и вес страниц | насколько быстрые сайты в топе | поставить цель по скорости |
Сканируйте чужие сайты бережно: ограничьте скорость обхода и не запускайте тесты безопасности — это допустимо только для собственных ресурсов или с разрешения владельца.
Регулярное сканирование и мониторинг
Разовое сканирование показывает состояние сайта на конкретный день. Но сайт меняется: разработчики выпускают обновления, контент-менеджеры добавляют страницы, плагины обновляются автоматически. Поэтому для любого проекта, который приносит деньги, полезен регулярный мониторинг — сканирование в автоматическом режиме по расписанию.
- Отслеживание изменений: сервис сравнивает новое сканирование с прошлым и показывает, что изменилось.
- Уведомления: письмо или сообщение в мессенджер, если появились новые ошибки или сайт перестал отвечать.
- История: можно посмотреть, когда появилась проблема и с каким обновлением она связана.
- Отчёты: общий обзор технического уровня сайта в удобном формате для команды или клиента.
Мониторинг особенно важен для интернет-магазинов, порталов и сайтов на платформах с частыми обновлениями. Если после очередного релиза в шаблоне появился noindex или массовая ошибка в ссылках, лучше узнать об этом в течение дня, а не через месяц по падению трафика. Многие сервисы позволяют включить регулярное сканирование раз в неделю или раз в день и настроить, какие ошибки считать критичными.
Совет
Рекомендуем совмещать мониторинг доступности сайта, регулярное SEO-сканирование и проверку безопасности. Вместе они дают полный обзор технического состояния и помогают защитить проект от потери позиций и взлома.
Чек-лист сканирования
- Robots.txt не закрывает важные разделы, CSS и JavaScript
- Sitemap.xml актуальна и содержит только страницы с кодом 200
- Сервер отвечает быстро и без ошибок 5xx
- Новые страницы доступны по внутренним ссылкам
- Нет битых ссылок и цепочек редиректов
- Мусорные адреса с параметрами закрыты или склеены
- Важные страницы находятся близко к главной
- Контент доступен роботу без выполнения сложных скриптов
- Статистика обхода в Вебмастере и Search Console без резких скачков
- Сайт регулярно сканируется своим сканером, включая проверку безопасности
Главное
- Сканирование — обход страниц роботом: загрузка адресов, чтение кода и переход по ссылкам.
- Сканирование идёт перед индексацией: страница, которую робот не просканировал, не попадёт в поиск.
- Ускорить обход помогают sitemap.xml, внутренние ссылки, быстрый сервер и отсутствие мусорных адресов.
- Статистику сканирования показывают Яндекс Вебмастер и Google Search Console.
- SEO-сканеры повторяют работу робота и находят ошибки, а сканеры безопасности ищут уязвимости — это разные задачи.
Какие инструменты Титло помогают со сканированием сайта
Свой обход сайта показывает то же, что видит поисковый робот. Эти модули помогают найти проблемы сканирования.
Связанные термины
Термины без ссылки ещё в работе — ссылки появятся после публикации.