Индексация — это простыми словами: как страницы сайта клиники попадают в поиск Яндекса и Google

Индексация — это добавление страницы сайта в базу поисковой системы, из которой Яндекс и Google собирают выдачу. Робот скачивает страницу, разбирает текст, ссылки и служебные метки и сохраняет её копию в индексе. Если страницы в индексе нет, её не найдут ни по одному запросу. Нормальный текст и правильные ключевые слова в этом случае не помогут.

Индексация простыми словами: аналогия с библиотекой

Представьте библиотеку с каталогом. Книга может стоять на полке, но пока её не внесли в каталог, читатель её не найдёт. Сайт — это полка, индекс — каталог, а поисковый робот — библиотекарь. Он ходит по ссылкам, находит новые страницы и решает, вносить их в каталог или нет.

Отсюда главный вывод для владельца клиники. Страница «Имплантация зубов» или карточка нового врача существует на сайте, но в поиске её нет, пока поисковик её не проиндексировал. Если страница в индекс не попала, пациенты придут на неё только по прямой ссылке.

Чем индексация отличается от сканирования и ранжирования

Эти три понятия часто смешивают. На деле это три последовательных этапа, и на каждом сайт может «застрять» по своей причине. Google описывает такую схему в справке «Как работает Google Поиск»: сканирование, индексирование и показ результатов. У Яндекса логика та же.

Этап	Что происходит	Что от него зависит	Типичная проблема
Сканирование (обход, краулинг)	Робот находит URL и скачивает страницу	Узнает ли поисковик о странице вообще	Страница закрыта в robots.txt, на неё нет ссылок, сервер отвечает ошибкой
Индексация	Поисковик анализирует содержимое и решает, хранить ли страницу в базе	Может ли страница участвовать в поиске	Дубль, мало полезного текста, метка noindex
Ранжирование	Поисковик выбирает, на каком месте показать страницу по запросу	Позиция и трафик	Конкуренты полезнее, слабый сниппет, нет доверия к сайту

Проиндексированная страница ещё не стоит в топе. Индексация лишь пропускает страницу в конкурс за позиции. Если сайт клиники проиндексирован, но звонков нет, проблема уже в ранжировании.

Как поисковая система находит и добавляет страницу

Путь страницы в индекс выглядит так:

1. Робот узнаёт адрес: по ссылке с другой страницы, из файла sitemap.xml или из уведомления, которое сайт отправил сам.
2. Он проверяет robots.txt, разрешено ли ему заходить на этот адрес.
3. Скачивает страницу и смотрит код ответа сервера. Нормальный ответ — 200.
4. Обрабатывает содержимое: текст, заголовки, изображения, ссылки, метатеги, атрибут canonical.
5. Решает, добавлять ли страницу в индекс. Если похожих страниц несколько, выбирает из них главную.

На четвёртом и пятом шагах поисковик оценивает и качество. Если страница почти копирует другую или пустая, её могут обойти и всё равно не включить в поиск.

Какие бывают виды индексации

Строгой единой классификации нет. Обычно индексацию делят по трём признакам.

По поисковой системе. У Яндекса и Google разные роботы, разные индексы и разные правила. Страница может быть в индексе Google и отсутствовать в Яндексе, и наоборот. Проверять нужно обе системы отдельно.

По типу контента. Поисковики индексируют HTML-страницы, а также изображения, видео и документы, например PDF. Прайс-лист клиники в PDF тоже может попасть в выдачу. Иногда по запросу о ценах он показывается вместо основной страницы с ценами, и пациент видит устаревший файл.

По версии страницы. Google индексирует и ранжирует сайты по мобильной версии, это правило описано в его справке по mobile-first индексации. Если на телефоне не видно части текста, цен или списка врачей, для Google этого содержимого на странице нет.

Почему страница не попадает в индекс

Ниже — частые причины, особенно характерные для сайтов стоматологий и медцентров, и что с ними делать.

Причина	Как проявляется на сайте клиники	Что сделать
Запрет в robots.txt или метка noindex	После разработки забыли снять закрытие, тестовые настройки ушли на рабочий сайт	Проверить robots.txt и метатег robots на ключевых страницах
Дубли	Версия для слабовидящих, адреса с UTM-метками, фильтры каталога врачей, одна услуга в двух разделах	Настроить canonical, в Яндексе — директиву Clean-param для параметров
Пустые или шаблонные страницы	Карточки врачей из одной строки, страницы услуг с одинаковым текстом для разных филиалов	Дописать уникальное содержание: опыт врача, этапы лечения, особенности филиала
Нет внутренних ссылок	Новая страница услуги есть только в sitemap, из меню и других разделов на неё не ведут ссылки	Поставить ссылки из раздела услуг, со страниц врачей и из статей
Ошибки сервера и редиректы	Страница отдаёт 404, 5xx или проходит через цепочку перенаправлений	Исправить код ответа, оставить один прямой 301
Контент подгружается скриптом	Цены и расписание приходят из виджета записи и в исходном HTML отсутствуют	Выводить важный текст в HTML-коде страницы

Отдельный риск — сети клиник с одинаковыми сайтами под разные города. Если тексты услуг совпадают дословно, поисковик может оставить в индексе одну версию из нескольких. Тогда сайт другого города просто не покажется по своему запросу.

Как проверить индексацию сайта и отдельной страницы

Точные данные показывают сами поисковики: Яндекс Вебмастер и Google Search Console. Там видно, какие страницы в поиске, какие исключены и по какой причине. Оператор site: в строке поиска даёт только грубую прикидку. Пошаговая проверка, а также ускорение и настройка robots.txt разобраны в руководстве как проверить, ускорить и закрыть страницы от индексации в Яндексе и Google.

Как ускорить индексацию

Поисковики не обещают, что страница попадёт в индекс к определённому сроку, но обход можно ускорить: обновить sitemap.xml, поставить на страницу внутренние ссылки и отправить её на переобход. Слабая или дублирующая страница в индекс всё равно не попадёт, сколько её ни отправляй. Как отправить в Google сразу много адресов, рассказано в статье о том, как запросить индексацию нескольких страниц в Google.

Как закрыть страницы от индексации и удалить их из индекса

robots.txt запрещает сканировать адрес, а метатег robots со значением noindex запрещает его индексировать. По справке Google о блокировке индексирования, noindex сработает, только если страница не закрыта в robots.txt. Как надёжно убрать страницу из выдачи, чтобы она туда не вернулась, разобрано в статье как удалить страницу из индекса Google.

Как часто поисковики обходят сайт и можно ли ограничить скорость

Фиксированного графика нет. Частота обхода зависит от того, как часто сайт обновляется, насколько он популярен и как быстро отвечает сервер. Главную страницу и разделы с новостями роботы посещают чаще, чем старые статьи.

Бывает и обратная проблема: роботы создают нагрузку на слабый хостинг. Яндекс с 2018 года не учитывает директиву Crawl-delay в robots.txt. Скорость обхода для него настраивают в Вебмастере, подробности — в справке Яндекса о Crawl-delay. Google при срочной необходимости советует временно отдавать коды ответа 500, 503 или 429. Способ описан в его руководстве по снижению частоты сканирования. Держать такие ответы дольше 1–2 дней Google не рекомендует: страницы могут выпасть из индекса.

Что проверить на сайте клиники в первую очередь

Нет смысла проверять сразу все страницы. Начните с тех, что приносят пациентов:

• Страницы основных услуг: имплантация, лечение, ортодонтия, профильные направления медцентра.
• Карточки врачей. Пациенты ищут врачей по фамилии, и такая страница должна быть в индексе с полным описанием.
• Страницы филиалов с адресами и графиком работы.
• Страница цен, а заодно PDF-прайс. Он не должен оттеснять её в выдаче.
• Версия для слабовидящих: закрыта ли она от индексации или связана canonical с основной.

Если по ключевым страницам есть расхождения между Яндексом и Google, разбирать их стоит раньше, чем дописывать новые тексты. Новые тексты не помогут, если поисковик не видит уже существующие.

Если нужно понять, какие страницы сайта выпали из индекса, почему так вышло и что исправить в первую очередь, закажите SEO-аудит сайта. Аудит покажет технические ошибки индексации вместе с проблемами контента и структуры. Для клиник, которые получают пациентов из своего района, индексацию полезно проверять вместе с картами, это часть локального продвижения клиники. Другие разборы по поиску и сайтам медклиник — в блоге.

Частые вопросы