Как проиндексировать сайт в гугле пошаговая инструкция

Что сделать, чтобы мой сайт видели поисковые системы

В этой статье мы расскажем, как добавить сайт в поисковые системы: как проиндексировать сайт в Яндексе и добавить сайт в поиск Google.

После публикации сайта позаботьтесь о том, чтобы пользователи могли найти его в Интернете. Если пользователь знает URL-адрес сайта, сделать это легко. Сложнее сделать так, чтобы сайт быстро находился через поисковые системы.

Возникает закономерный вопрос: «Я уже создал сайт, как его разместить в Интернете?». Это связано с индексацией сайта. Прежде чем понять, как добавить свой сайт в поисковики Яндекс и Google, разберемся, что такое индексация.

Бесплатный SSL-сертификат

Поисковые системы больше доверяют сайтам с SSL. Получите в подарок SSL-сертификат начального уровня на 1 год и хостинг на 2 месяца бесплатно при регистрации нового домена на сайте REG.RU.

Зарегистрировать

Что такое индексация

Индексация сайта — это добавление его страниц в базу поисковых систем (поиск в Яндекс, Google, Рамблер, Yahoo, Mail, Bing и т.д.). Чтобы проиндексировать веб-страницы, поисковики отправляют на обход специальных роботов. Они анализируют HTML-код сайтов, учитывая:

  • правильное наполнение страниц метатегами (description, title, keywords, h1, p) и их соответствие стандартам вёрстки;
  • грамотное расположение текста;
  • перелинковку;
  • наличие карты сайта (sitemap);
  • микроразметку.

В результате проверки роботы индексируют сайт, и он начинает отображаться в поисковой выдаче. Как добавить сайт на индексацию в поисковики, читайте ниже.

Почему сайта нет в Yandex и Google

Процесс индексации может занимать несколько недель. Представьте, какое количество новых сайтов нужно обойти роботам. Кроме того, не все страницы одного сайта индексируются одновременно. А если в коде есть то, что не удовлетворяет требованиям поисковых систем, индексация затянется.

Если вы только что разместили сайт в Интернете, он не будет сразу же отображаться в Яндекс и Google. Если вам нужно, чтобы сайт как можно быстрее отображался в поисковой выдаче, ускорьте индексацию вручную.

Ниже рассмотрим, как бесплатно добавить сайт на индексацию в поисковики.

Как ускорить процесс индексации сайта

Как сделать так, чтобы сайт стал быстрее видимым для поисковых систем? Нужно самому указать на свой сайт Яндекс и Google. Это делается через специальные панели, предназначенные для разработчиков сайтов: Яндекс.Вебмастер и Google Search Console. Прежде чем следовать инструкции о том, как разместить сайт в Гугл и в Яндекс, авторизуйтесь в нужной системе.

Как добавить сайт в Яндекс.Вебмастер

Чтобы добавить сайт в поисковую систему Яндекс, следуйте инструкции ниже:

  1. 1.

    Перейдите на страницу Яндекс.Вебмастера.

  2. 2.

    Перейдите по ссылке Добавить сайт.

  3. 3.

    Введите адрес сайта (доменное имя) и нажмите Добавить:


    Размещение сайта в Яндекс.Webmaster

  4. 4.

    Подтвердите права на сайт. Сделать это можно через:

    • код-страницы (Метатег);
    • загрузку файла на хостинг (HTML-файл);
    • или добавление TXT-записи (DNS-запись).

    Мы рекомендуем добавить DNS-запись, так как это наиболее простой способ.


Как добавить DNS-запись для подтверждения прав

Кликните по вкладке «DNS-запись» и скопируйте значение TXT, которое нужно добавить:


Яндекс.Вебмастер: подтверждение прав на сайт

Определите, какие DNS-серверы прописаны для домена, по инструкции. От этого будет зависеть, где добавить TXT-запись:

  • если для домена указаны ns1.reg.ru и ns2.reg.ru, воспользуйтесь пошаговой инструкцией раздела «Помощь»;
  • если для домена указаны ns1.hosting.reg.ru и ns2.hosting.reg.ru, воспользуйтесь статьей.

Дождитесь обновления зоны домена.

Готово, вы добавили TXT-запись для подтверждения права на домен.

  1. 5.

    После подтверждения прав нажмите Проверить. Если права подтверждены корректно, вы увидите следующее:


    как добавить сайт в поиск яндекса

    После мы рекомендуем воспользоваться инструментом Переобход страниц. Через него можно задать, какие страницы сайта стоит проиндексировать в первую очередь.

Готово, вы ускорили индексацию сайта. Теперь вы знаете, как добавить сайт в Вебмастер.

Обратите внимание

Описанный способ не требует технических навыков и знания SEO-оптимизации, но не гарантирует, что сайт сразу появится в поисковой выдаче. Если вы технически подкованы, воспользуйтесь другим способом: Как добавить сайт в поиск Яндекса.

Как добавить сайт в поиск Google

Как разместить сайт в Гугле, вы узнаете по инструкции:

  1. 1.

    Перейдите на страницу Google Search Console.

  2. 2.

    Введите адрес сайта в первом блоке и нажмите Продолжить:


    Как добавить url в поисковые системы

  3. 3.

    Добавьте нужную запись в зону домена по инструкции ниже и нажмите Подтвердить.


Как добавить DNS-запись для подтверждения прав

Скопируйте значение TXT-записи.

Определите, какие DNS-серверы прописаны для домена, по инструкции. От этого будет зависеть, где добавить TXT-запись:

  • если для домена указаны ns1.reg.ru и ns2.reg.ru, воспользуйтесь пошаговой инструкцией раздела «Помощь»;
  • если для домена указаны ns1.hosting.reg.ru и ns2.hosting.reg.ru, воспользуйтесь статьей.

Дождитесь обновления зоны домена.

Готово, вы добавили TXT-запись для подтверждения права на домен.

  1. 4.

    Если права подтверждены корректно, вы увидите уведомление. Нажмите Готово:

Готово, вы ускорили индексацию сайта. Теперь вы знаете, как добавить сайт в поисковики.

Обратите внимание

Описанный способ не требует технических навыков и знания SEO-оптимизации, но не гарантирует, что сайт сразу появится в поисковой выдаче. Если вы технически подкованы, воспользуйтесь другим способом: Как добавить сайт в Google?.

Мы рассказали о том, как зарегистрировать сайт в Яндексе и Гугле и добавить сайт в поисковые системы бесплатно. Это поможет вам на начальном этапе. Если вы хотите продвигать свой ресурс, рекомендуем также подключить SSL-сертификат. Он поможет в SEO-продвижении проекта: позволит занять более высокую позицию в поисковой выдаче. В REG.RU вы можете заказать бесплатный SSL-сертификат для домена на 1 год: Как заказать бесплатный SSL-сертификат?

Алгоритмы Google самостоятельно ищут новые сайты и добавляют их в индекс. Обычно для того, чтобы попасть в него, вам не нужно ничего предпринимать: достаточно опубликовать свой сайт. Однако иногда веб-страницы не показываются в наших результатах поиска. В статье ниже вы прочитаете о том, как проверить это и как улучшить позиции контента в Google.

Что нужно, чтобы ваш сайт появлялся в результатах поиска Google

Прежде чем переходить дальше, ответьте на перечисленные ниже вопросы. Дополнительную информацию о том, что вам нужно предпринять в первую очередь, вы найдете на странице Введение в поисковую оптимизацию.

Появляются ли страницы вашего сайта в результатах поиска Google?

Чтобы узнать, проиндексированы ли материалы вашего сайта, найдите его в Google Поиске с помощью примерно такого запроса: Вместо example.com укажите адрес своего сайта.

site:example.com

Google сканирует миллиарды страниц, но может пропустить некоторые из них. Чаще всего это происходит по следующим причинам:

  • На ваш ресурс ссылается недостаточно сайтов. Узнайте, что можно предпринять, чтобы в интернете появились ссылки на ваш ресурс (только не предлагайте никому плату за их размещение – это запрещено правилами Google).
  • Если сайт новый, робот Googlebot мог не успеть его просканировать. У Google может уйти несколько недель на то, чтобы обнаружить новый сайт или изменения, внесенные на существующем.
  • Структура сайта затрудняет сканирование. Если на вашем сайте используется не HTML, а какая-либо специализированная технология, Google может столкнуться со сложностями при его обработке. Размещайте на своих страницах текст, а не только изображения или видео.
  • При попытке сканирования произошла ошибка. Возможно, что ваши страницы недоступны без ввода имени пользователя и пароля или ваш сайт блокирует сканирование роботами Google.
    Проверьте, можно ли загрузить ваш сайт в режиме инкогнито.
  • Мы пропустили ваш сайт. Google сканирует миллиарды веб-страниц и может не обнаружить некоторые из них. Подождите немного, а пока постарайтесь сделать так, чтобы ссылки на ваши страницы появились на других сайтах.

    Вы можете добавить свой сайт в Search Console и попробовать найти ошибку, из-за которой роботам Google не удается распознать ваш сайт. Также можно прислать нам наиболее значимые URL вашего сайта, которые нужно просканировать и проиндексировать.

Изучите раздел Главное о Google Поиске и проверьте, все ли условия вы выполнили для попадания сайта в результаты поиска Google.

Отвечает ли контент вашего сайта стандартам качества?

Ваша задача – сделать свои страницы интересными и удобными для пользователей. Подумайте о том, в чем заключается уникальность и ценность вашего сайта. Чтобы самостоятельно оценить свой сайт, воспользуйтесь специальными вопросами из нашего руководства по созданию полезного, надежного и ориентированного на посетителей контента.
Также убедитесь в том, что ваш сайт отвечает нашим критериям качества, описанным в разделе Главное о Поиске.

Есть ли в Google информация о вашей компании?

Чтобы публиковать информацию о своей организации в Поиске, Картах и других продуктах Google, а также управлять ее показом, создайте профиль компании.

Достаточно ли быстро загружается контент сайта на различных устройствах?

Поскольку пользователи чаще всего ищут информацию с помощью смартфонов, ваш контент должен быстро и корректно загружаться на любых устройствах. Проверьте, оптимизированы ли ваши страницы для просмотра на телефонах и планшетах.

Безопасен ли ваш сайт?

Обеспечить защиту пользовательских данных при работе с вашим сайтом
вам поможет протокол HTTPS.

Нужна ли вам помощь?

Если вам нужно улучшить свой сайт и его позиции в результатах поиска, вы можете обратиться к специалистам по поисковой оптимизации. Подробнее…

Ваш контент посвящен определенной тематике?

Тип контента влияет на то, какими способами его можно добавить в результаты поиска Google. В таблице ниже приведены ссылки на различные ресурсы, которые Google предоставляет для того, чтобы ваш контент был связан с определенным юридическим или физическим лицом в Google.

Компания или частное лицо
Google для розницы Предоставьте нам цифровой каталог своих товаров, чтобы продвигать их в Google Покупках, Google Offers и других наших сервисах.
Google для малого бизнеса Используйте ресурсы Google, созданные специально для поддержки малого бизнеса.
Просмотр улиц Приглашайте клиентов на виртуальную экскурсию по своему ресторану, кафе, магазину или офису.
Блок знаний Управляйте представлением данных о вас как частном лице или организации в Google, обновляя сведения в блоке знаний.
Личная карточка Самостоятельно добавьте в результаты поиска Google карточку с информацией о себе. Эта функция доступна не во всех странах.

Дополнительная информация о том, что нужно делать, чтобы цифровой контент появлялся в результатах поиска Google, представлена в следующих ресурсах:

Цифровой контент
Google Книги и электронные книги Рекламируйте книги в интернете и продавайте их цифровые версии в нашем магазине электронных книг.
Академия Добавляйте свои научные работы в специальный индекс Google.
Google Новости Показывайте свой контент в результатах поиска в Google Новостях. Вы также можете предоставлять пользователям электронную версию своего издания по подписке.

Местная информация, связанная с компанией Google, представлена в следующих ресурсах:

Местная информация
Загрузка геоданных Добавляйте информацию о дорогах и адресах в своем регионе на Google Карты (для подтвержденных организаций).
3D-панорама Создавайте панорамные снимки местности и добавляйте их в сервисы Google.
Просмотр улиц Предлагайте клиентам виртуальные панорамные туры по своему ресторану, кафе, магазину или офису.
Общественный транспорт Повышайте привлекательность общественного транспорта, помогая в поиске маршрутов, расписаний и тарифов.
СМИ
Загрузка геоданных Добавляйте информацию о дорогах и адресах в своем регионе на Google Карты (для подтвержденных организаций).
Видео в Google Поиске Публикуйте свои видео так, чтобы поисковые роботы Google могли их найти и просканировать.
YouTube Загружайте, распространяйте и монетизируйте видеоролики.
Подкасты Публикуйте свои выпуски в Google Подкастах.

Индексирование страниц для включения в результаты поиска

Чтобы материалы с вашего сайта появлялись в результатах вашей системы пользовательского поиска, они должны быть включены в индекс Google. Индекс Google аналогичен картотеке, в которой хранится информация о всех доступных в библиотеке книгах. А в нашем индексе содержатся сведения о всех веб-страницах, о которых знает Google. Когда наш робот посещает ваш сайт, он обнаруживает новые и обновленные страницы. Сведения о них заносятся в индекс Google.

Чтобы проверить, какие страницы вашего сайта включены в индекс, выполните поиск в Google по запросу «site:moisait.ru».

Чтобы в индекс Google было включено больше страниц, подайте запросы на индексирование с помощью Search Console. Они повлияют на результаты индексирования как для СПП, так и для Google Поиска. Чтобы СПП распознала запрос, сайт или шаблон URL должен быть в списке «Сайты, на которых выполняется поиск». Он находится на вкладке Основные сведения в разделе настроек. Сканирование и индексирование занимает определенное время.

Узнайте, как запросить повторное сканирование страниц, и изучите сведения о файлах Sitemap и о работе с отчетом по ним в Google Search Console.

История о том, как мы за 10 дней проиндексировали сайт в Google (более 30 000 страниц), используя Google Indexing API.

Конечно, мы работали с индексацией на протяжении всего 2021 года, но стандартные работы по перелинковке с расчетом весов, внедрению плитки тегов и дополнительных сквозных блоков не принесли ожидаемого эффекта. К счастью, мы нашли решение, которым делимся в этой статье.

Этот материал будет полезен как крупным, так и небольшим сайтам.

В качестве примера мы рассматриваем сайт интернет-магазина.

Что мы знаем об индексации в Google?

Когда речь идет об индексации в поисковой системе (Гугл), то прежде всего мы имеем в виду краулинговый бюджет. Это определение включает в себя множество факторов, которые влияют на индексацию: перелинковка, размер сайта, частота сканирования сайта роботами поисковой системы, настроенные заголовки и многое другое. Более подробно ознакомиться с понятием “краулинговый бюджет” можно по ссылке.

Таким образом, чтобы поисковик начал индексировать, а в последствии и ранжировать сайт, необходимо выполнить программу-минимум:

  • качественный контент и его оптимизация (метатеги);
  • микроразметка;
  • настроенные заголовки Last-Modified;
  • блоки перелинковки, например плитка тегов в категориях и товарах;
  • стабильный сервер-хостинг сайта;
  • коммерческие факторы (YMYL);
  • корректные robots.txt и карты сайта.

Выполнив все работы из этого списка примерно к середине 2021 года (ориентировочно июнь-июль), мы начали ждать положительных результатов в ПС Google.

Рисунок 1. Мем “Ждун”.

Здесь следует отдельно поблагодарить команду маркетолога, а именно: программиста, дизайнера и контент-менеджера, за то что помогли быстро осуществить все внедрения по сайту. Это дало проекту колоссальный рост видимости в Яндекс, а нам — возможность построить дальнейшие гипотезы для продвижения в Гугл.

Результаты продвижения в Яндекс представлены на рисунке 0. Если интересно, что конкретно мы делали и внедряли на проекте, то пишите в комментариях, и мы разберем это в отдельной статье.

Рисунок 0. Результаты внедрений на сайте и видимость проекта по ПС Яндекс.

К сожалению, у нас не сохранился скриншот, который бы отражал индексацию сайта в Google на протяжении всего 2021 года. Но по рисунку 2 очевидно, что все проведенные работы никак не повлияли на количество проиндексированных страниц. Мы находились на стабильном плато.

Рисунок 2. Скриншот из Google Search Console, данные об индексации сайта.

Да, на рисунке 2 в индексе находится около 10 000 страниц, но общий размер сайта составляет 70 000 URL-адресов. Ориентировочно в середине сентября (спустя 1-2 месяца после внедрения всех работ) мы начали искать новые решения, как проиндексировать сайт. Из известных способов оставалось:

  • Ссылки (биржи, pbn сети и др.).
  • WebMaster Bot (если кто-то его не знает, то вот ссылка: @wmaster_bot).
  • Разработка более продвинутых и сложных способов перелинковки, например “Ловец ботов” от Дмитрия Шахова.

Все эти способы достойны того, чтобы их прорабатывать. Но мы, оптимизаторы, всегда должны искать более экономичные и быстрые варианты выполнения сложных задач.

Google Indexing API: разбираемся, что это и как им пользоваться

Google Indexing API — инструмент, позволяющий отправлять в Google ссылки на новые и обновленные посадочные, а также удалять старые и ненужные мусорные ссылки. Лимит на отправку данных в Google — 200 ссылок в сутки.

В начале сентября, перед отпуском, мне прислали ссылку на пост https://t.me/drkwng/17 про индексатор Гугл, написанный на Python. Я добросовестно отложил этот пост в список To Do, что стало первой существенной ошибкой. Тем не менее, не погружаясь в тему более подробно, мы написали программисту ТЗ на индексатор. Но существенный недостаток индексатора — это лимит в 200 запросов. Вспоминаем, что нам необходимо проиндексировать более 60 000 ссылок, делим указанное количество на 200 запросов (в день), в итоге получаем 300 дней (почти год без двух месяцев).

Кстати, индексатор от drkwngdata был значительно улучшен. Чтобы им воспользоваться, не нужно быть программистом. Достаточно прочитать пост https://t.me/drkwng/57 и файл readme.txt по ссылке на скачивание Python-скрипта.

Подготовительные работы

Прежде чем перейти к разбору индексатора от Google, требовалось определить, какие ссылки проиндексированы, а какие — нет. В распоряжении у SEO-специалистов для решения такой задачи могут быть как готовые сервисы и программы, так и индивидуальные решения (разработки). В нашем случае использовался парсер в связке с XEvil и фермой мобильных прокси. Далее расскажу по пунктам, какой из инструментов за что отвечает:

  • A-Parser — отправляет запросы к реальной выдаче Гугл. Обрабатывает ответы и сохраняет все данные. Иными словами, это гибкий парсер, который можно настроить под любые цели.
  • XEvil — компонент от Хрумера (ссылочные прогоны по форумам и профилям), который позволяет разгадывать капчи (продается в комплексе с Хрумером).
  • Ферма мобильных прокси — модемы с симками, через которые осуществлялись запросы к реальной выдаче, чтобы получать как можно меньше капч.

На этом этапе мы получили таблицу со списком ссылок, которые необходимо проиндексировать (везде, где количество страниц в индексе равно 0). Пример на рисунке 3.

Рисунок 3. Скриншот результатов работы A-Parser в формате: “URL;Кол-во страниц в индексе”.

Более подробно ознакомиться с возможностями парсера можно по ссылке.

Аналитика

Для детального разбора индексатора (Google Indexing API) необходимо настроить аналитику по следующим пунктам:

  • какие ссылки и когда были отправлены;
  • парсинг и визуализация логов сервера.

Отслеживание отправленных ссылок

Для чего это нужно? Чтобы контролировать даты отправки URL-адресов в индексатор и сопоставлять их с датой обхода googlebot. С этой целью мы подготовили дашборд в Google Data Studio. Его внешний вид представлен на рисунке 4.

Рисунок 4. Визуализация отправленных URL-адресов в индексатор Гугл по дате.

Пояснения к рисунку 4: мы отправляли по 200 ссылок, но благодаря графику выяснилось, что отправляли по несколько дублей (по 400 запросов). А Гугл более 200 запросов не обрабатывал. Ошибку устранили ближе к началу января.

Парсинг и визуализация логов сервера

Общий дашборд в Google Data Studio состоит из 4 вкладок:

  • Indexing API — рассмотрели выше;
  • боты Яндекс и Гугл — для анализа посещаемости сайта роботами ПС;
  • фильтр URL — подача на вход отправленных ссылок и отслеживание их посещаемости роботами;
  • не боты — классический дашборд для анализа всех кодов ответа сервера, например 400-х, 500-х и других, критически важных для нас.

В аналитике мы столкнулись с единственным минусом. Так как парсинг и визуализацию логов сервера я дописал только 18 января 2022 года, а индексатор направлял по 200 ссылок еще с начала ноября 2021 года, то не было возможности оценить посещаемость сайта гуглботом до указанной даты (2022 года). В качестве альтернативного источника для анализа статистики сканирования googlebot мы использовали Google Search Console.

Пример дашборда Google Data Studio для НЕ ботов приведен на рисунке 5.

Рисунок 5. Скриншот визуализации кодов ответа сервера без учета ботов ПС и сервисных ботов (предполагается, что это только реальные пользователи).

Индексатор и обход ограничений Google

На этом этапе стояла задача: обойти ограничения в 200 запросов на отправку ссылок и отправлять в день как можно больше данных в индексатор Гугл. Идея была простой — попробовать зарегистрировать еще один аккаунт Google и добавить JSON-ключи от него в Python-скрипт. Поэтому мы перешли к следующим задачам:

  • Регистрация нового аккаунта Google.
  • Написание нового скрипта на Python под цикличную обработку всех выданных аккаунтов Google.

Если у вас есть вопросы по первому пункту, то можете написать их в telegram или связаться с нами через контакты, указанные на сайте.

Разберем подробнее второй пункт. Индексатор от drkwngdata, написанный для людей, под нашу задачу не подходил, поскольку нам требовалось проверить возможность отправки данных в индексатор с разных аккаунтов Google. Поэтому мы взяли за основу код на GitHub и переписали его под себя. Измененный код доступен по ссылке (предупреждаю, что я не программист, поэтому много “костылей”).

Для работы этого кода в корне скрипта нужно создать папку “json_keys” и поместить в нее все json-файлы ключей, которые вам выдал Гугл (итоговый алгоритм действий вы найдете в конце статьи). Если у вас есть вопросы по запуску скрипта, то обязательно посмотрите наше практическое видео, которое мы специально записали в качестве дополнения к исследованию по Google Indexing API:

Написав скрипт и зарегистрировав два тестовых аккаунта Google, я отправил данные в API. Было удивительно наблюдать, как лимит в 200 строк увеличился до 400. Экстренно поставил контент-менеджеру задачу на регистрацию аккаунтов Гугл, и на следующий день вместо 400 ссылок мы отправили 4000+ шт. Спустя несколько дней у нас в распоряжении было 32 аккаунта Google, и мы начали отправлять в индексатор по 6000+ ссылок в день. Для наглядности привожу скриншот отправленных ссылок в индексатор из Google Data Studio.

Рисунок 6. До 14 января отправляем по 200 ссылок. 15-17 января — тестовые дни написания скрипта, с 18 января отправляем по 6300 ссылок и более.

Как отреагировала Search Console? Статистика сканирования представлена на рисунке 7.

Рисунок 7. Сканирование сайта гуглботом увеличилось в 2-2,5 раза.

В дополнение скриншот из парсера логов сервера, который практически коррелирует с данными на рисунке 8.

Рисунок 8. Визуализация запросов к серверу (парсер логов) от googlebot.

Пояснения к рисункам 7 и 8: с 18 по 23 января мы отправили в Google indexing API тестовую партию ссылок (около 35 000 штук), а далее взяли паузу, чтобы подумать и обработать данные. Как мы видим, после завершения отправки данных googlebot перестал так часто посещать сайт (провал на 24-25 января, рис.№7 и №8).

Итоговый алгоритм действий вы найдете в конце статьи. А пока перейдем к результатам, хотя часть из них вы уже и видели на скриншотах выше.

Результаты

Ожидаемые результаты — это, конечно же, рост числа ссылок в индексе. Удивительно, но большая часть из первой (тестовой) партии ссылок была проиндексирована. Рост индексации с 23000 до 47000 ссылок — более чем в два раза за 10 дней (с 19 по 29 января, согласно рисунку 9).

Рисунок 9. Скриншот из Google Search Console.

Теперь об очевидном. В аналитике и оценке эффективности нашей работы мы используем платформу SEOWORK. В частности, благодаря отслеживанию большого пула ключей, мы обнаружили рост видимости в Гугл (рисунок 10).

Рисунок 10. Улучшение видимости в Гугл для ТОП-100, ТОП-10 и ТОП-5 ключей.

Итоговый алгоритм действий

  • Регистрируем новый аккаунт в Гугл.
  • Переходим сюда: https://console.cloud.google.com/apis/enableflow?apiid=indexing.googleapis.com&;credential=client_key&hl=ru&pli=1 и активируем API.
Рисунок 11. Активация API

  • Переходим сюда: https://console.cloud.google.com/projectselector2/iam-admin/serviceaccounts?supportedpurview=project и нажимаем на “Create Project”.
  • Затем создаем сервисный аккаунт.
Рисунок 12. Создание сервисного аккаунта.

  • Заполняем все данные, выбираем роль “Owner”. Нажимаем done.
Рисунок 13. Заполнение данных.

  • Кликаем по созданному аккаунту (на почту).
Рисунок 14. Выбираем “на почту”.

  • Переходим в раздел Keys и добавляем новый ключ. Выбираем формат Json и сохраняем файл ключа в папку скрипта json_keys.
Рисунок 15. Сохраняем файл ключа в папку скрипта json_keys.

  • В Google Search Console переходим в “Настройки” — “Пользователи и разрешения” — “Добавляем сервисную почту созданного аккаунта”.

Надеемся, что этот метод поможет тем, у кого также были проблемы с индексацией в Гугл, и кто ранее не использовал Google Indexing API. Будем рады ответить на ваши вопросы.

Автор: Дмитрий Федосеев (Ant-team.ru).

P.s. Подписывайтесь на наш телеграм-канал t.me/seoantteam, чтобы первыми узнавать о выходе новых материалов.

Как проинформировать поисковую систему о существовании сайта

Зайдите в Google Search Console. Если вы там впервые, кабинет сразу предложит вам подтвердить права на новый проект, как показано на скриншоте ниже. Либо нажмите вверху слева «Добавить ресурс» – появится такое же диалоговое окно.

Как подтвердить права на сайт в Гугл через Search Console
Подтверждение прав на проект в Google Search Console

Подтвердить свои права вебмастера можно несколькими способами:

  • Запись DNS (ТХТ или CNAME) доступна для любого типа ресурса.

  • Для сайтов с протоколом безопасности HTTPS возможно также подтверждение через HTML-файл или мета тег HTML, а также через аккаунты Google Analytics или Google Диспетчер тегов (если они у вас есть).

В любом варианте – DNS или HTML-код – операция достаточно простая и доступна для вебмастера с минимальными навыками использования административной панели сайта. 

Чтобы облегчить роботу индексацию, создайте на хостинге XML-карту сайта – файл Sitemap.xml. Его можно написать вручную либо использовать соответствующий плагин вашей CMS. У вас должна быть хорошая скорость загрузки сайта.

Обычно карту размещают в корневом каталоге,например: www.domain.ru/sitemap.xml. И указывают ссылку на файл в служебном файле robots.txt, который тоже расположен в корневом каталоге, с помощью директивы: Sitemap: www.domain.ru/sitemap.xml.

После чего через Google Search Console сообщите роботу, где его ожидает карта сайта. Для этого в разделе меню «Индексирование» выберите «Файл Sitemap», добавьте адрес и отправьте.

Как сообщить роботу, где находится Sitemap.xml
Как сообщить роботу, где находится Sitemap.xml

Если в файле будут найдены ошибки, сообщение об этом появится ниже, в разделе «Файлы Sitemap на проверке». Их нужно будет исправить и подать заново.

Вот, собственно, и все: подтвердив право на ресурс, вы получили возможность анализировать и корректировать процесс индексации сайта.

Какие технические ошибки необходимо мониторить

Неработоспособность тех или иных элементов сообщает роботу о том, что ресурс некачественный, не стоит тратить на него время. Поэтому необходим регулярный аудит сайта. Проверяйте:

  • Неработающие ссылки, качество навигации по сайту, юзабилити. Должны работать «хлебные крошки», категории, теги, которые облегчают пользователю поиск информации.

  • Наличие статических, а не динамических URL.

  • Присутствие ответа сервера 404 – на такие документы не должно быть ссылок и переходов.

  • Редиректы 301, которые мешают индексации.

  • Дублированные страницы.

  • Скорость загрузки страниц. Для индексирования в Google это крайне важный параметр, медленно загружающиеся адреса не попадают в индекс и снижают частоту заходов бота на ресурс.

  • Наличие и хорошая работа мобильной версии сайта. Так как в Google существует приоритет мобильного поиска, именно по ней поисковик судит о качестве и функционировании сайта.

  • Создайте файл robots.txt, из которого Googlebot узнает, какие страницы и разделы сайта не надо посещать. 

Мнение эксперта

Алексей Губерман, руководитель отдела поисковой оптимизации «Ашманов и партнеры»:

Guberman.jpg «Без этого файла поисковому роботу по умолчанию разрешено индексировать всё, а приоритет индексации он строит по своим алгоритмам. Закройте от индексации адреса, которые являются служебными или неготовыми для показа пользователям. Убедитесь, что при этом вы не запретили роботу индексировать изображения, видео, стили, шрифты – иначе сайт в его представлении будет выглядеть некачественно».

В поиске ошибок поможет раздел «Обзор» Google Search Console – в нем можно увидеть, на каких страницах есть ошибки. Или платные инструменты для проверки сайта Screaming Frog, Rush Analytics. Скорость загрузки лучше всего оценивать при помощи бесплатного сервиса Google PageSpeed Insights.

Как создавать контент, который попадет в индекс

Для оценки качества наполнения ресурса Google использует алгоритм E-A-T (экспертиза – авторитетность – надежность), краткие характеристики которого отражены ниже.

Что включает Е-А-Т алгоритм в Гугл

Также для поисковой системы важен рейтинг низкого/высокого качества страниц Page Quality. Как он строится, схематично показано на картинке.

Как формируется рейтинг качества страниц Page Quality

Здесь мы не будет детально разбирать эти критерии, так как подробно их рассмотрели в статье «Что такое алгоритм E-A-T и как делать контент, который полюбит Google?». Сейчас расскажем, что сделать на сайте, чтобы им соответствовать.

  • Указывайте авторов статей с информацией, что они являются подтвержденными экспертами в данной нише. Идеально, если они представлены не только на сайте, но и на сторонних площадках, в соцсетях. Так Google поймет, что авторы – реальные люди, имеющие вес в тематике.

  • Если в контенте приводятся цифры, факты, рекомендации со сторонних ресурсов – ставьте ссылки в подтверждение своих слов. Ссылайтесь на трастовые площадки, например, научные библиотеки, сайты производителей, официальные справки сервисом.

  • Проверяйте уникальность, переспам, водность, стилистику текстов, например, при помощи сервиса «Тургенев». Не допускайте орфографических и грамматических ошибок, кликбейтных заголовков – все это понижает оценку Page Quality.

  • Используйте видео, в том числе внедренное на сайт с Youtube – Google хорошо оценивает коллаборацию с его собственным видеохостингом.

  • Добавляйте дополнительную информацию: дата публикации, время прочтения/просмотра, счетчик прочтений/просмотров, активное оглавление, для кого полезна статья.

  • Каждая страница должна решать свою задачу – дать пользователю контент, который закроет его потребность. Доносите информацию доступным языком, делайте видеоинструкции, чтобы мотивировать пользователя остаться на сайте и дочитать или досмотреть полезный контент.

Как найти доверенные сайты для линкбилдинга

На данном этапе развития поискового продвижения хорошо работают только обратные ссылки с авторитетных доменов – в противном случае они никак не помогут сайту и его индексации.

  • Ищите сайты, релевантные вашей тематике, демонстрирующие свою экспертизу в ней. Желательно, чтобы их возраст был от двух лет, чем старше тем лучше.

  • Используйте анкоры с запросами, релевантными контенту, на который ведет ссылка.

  • Обращайте внимание не только на сайт-донор в целом, но и на конкретную страницу, где будет размещена ссылка. Ее вес важнее, чем домена в целом. 

Как проверить, что индексация сайта в Google произошла

Это можно сделать тремя способами:

  1. Через поисковую сроку с оператором;

  2. Плагин браузера;

  3. Через Google Search Console.

1. Введите в поисковую строку site:url_вашего_сайта, чтобы получить приблизительные данные о количестве проиндексированных страниц. 

2.  Плагин браузера следует найти в соответствующем магазине дополнений. Он представляет собой JavaScript, который надо один раз подключить. После чего достаточно перетащить ссылку, которую надо проверить, в закладку на контрольной панели. 

В Google Search Console в разделе «Обзор показано состояние индексирования для ваших страниц. Развернутый отчет находится на кнопке меню «Страницы» в разделе «Индексация».

Также можно использовать сервисы для SEO, которые позволяют проверять индекс: PR-CY, Serphunt Netpeak Spider и Netpeak Checker, и прочие.

Как ускорить индексацию сайта в Google?

Выше мы рассказали, что можно для этого сделать с точки зрения технического мониторинга, контента, ссылок. Если после внесения этих изменения на сайт Google все равно не хочет его индексировать, используйте бесплатный инструмент Google Indexing API.

Мнение эксперта

Алексей Губерман, руководитель отдела поисковой оптимизации «Ашманов и партнеры»:

Guberman.jpg
« Это сервис, через который любой владелец ресурса может уведомить поисковую систему, что на его сайте появились новые страницы или удалены старые, изменился контент, поэтому поисковый робот должен заново выполнить сканирование. Это довольно бонусный уровень, не все оптимизаторы владеют этим инструментом».

Здесь есть ограничение на количество заявок в день, но его можно обойти, воспользовавшись пакетной отправкой запросов или запросив расширение квоты.

Google рекомендует использовать Google Indexing API вместо файла Sitemap, так как через API процесс индексации начинается быстрее, чем через карту сайта. Тем не менее, если бизнесу нужен полный охват контента на ресурсе, а сроками выполнения можно чуть-чуть поступиться, предпочтителен Sitemap. 

Выводы

  • Продвижение сайта в Google предполагает, что ваш подрядчик проработает над всеми необходимыми параметрами ресурса.

  • Для информирования поисковика о ваших новых страницах следует использовать Google Search Console или – на более сложном уровне – Google Indexing API.

  • Для индексации, так же как и для ранжирования сайта, важна его техническая работоспособность.

  • Постепенно, как при естественной генерации, получайте обратные ссылки для улучшения индексации.

Понравилась статья? Поделить с друзьями:
  • Как проехать змейку на автодроме подробная инструкция
  • Как проехать автодром пошаговая инструкция
  • Как продлить электронную подпись на госуслугах физическому лицу пошаговая инструкция
  • Как продлить удостоверение частного охранника 4 разряда через госуслуги пошаговая инструкция
  • Как продлить товарный знак самостоятельно пошаговая инструкция