Для многих веб мастеров и владельцев сайтов вопрос индексации их сайтов является очень щепетильным. И есть из-за чего переживать, так как большая часть интернет трафика приходится на поисковые системы, то логично, чем быстрее страницы сайта попадут в индекс поисковых роботов (! и не выпадут из него !), тем больше вероятность переходов.
Когда возникают проблемы с индексацией, первыми попадают под горячую руку хостинг-провайдеры. Так ли это на самом деле? Зависит ли индексация сайта от хостинга? И какие факторы влияют на скорость
От чего зависит скорость индексации?
На этот показатель влияют большое количество факторов, среди которых хотелось бы выделить: выбор доменной зоны, возраста домена, выбор cms (движка сайта), частоту наполнения контентом. Далее о каждом из них подробней.
Влияет ли хостинг на скорость индексации?
На прямую скорость индексации от провайдера не зависит, поэтому я не отнесла хостинг к основным факторам, влияющих на индексацию. Но если капнуть глубже, хостинг определяет доступность сайта для пользователей и поисковых систем. Провайдер должен обеспечить максимальный аптайм серверов и внутренней сети. Если при посещении роботом ресурса – он будет недоступен несколько раз подряд, то возможно выпадение сначала нескольких страниц из поискового индекса, а затем и всего сайта. Также влияет скорость загрузки страниц, если сайт грузится очень долго, робот также будет считать, что сайт недоступен. В итоге можно сказать, что не сам хостинг, а его качество, надежность и скорость все же влияют на индексацию сайта.
Как влияет домен на индексацию сайта?
Казалось бы, что зависит от домена, но здесь есть два нюанса. Во-первых, это выбор доменной зоны, лучше всего выбирать домены второго уровня т. е. com, net, ua и т. д. Было замечено, что международные домены .com индексируется чуть быстрее, причем как в Yandex, так и в Google. Национальные домены, также быстро попадают в индекс – разница небольшая. Бытует мнение, что медленно индексируется .info.
Во-вторых, это возраст домена. Ново-зарегистрированные попадают в индекс не сразу, придется подождать несколько недель. Если вы покупаете домен на вторичном рынке, на котором раньше был размещен сайт и домен был проиндексирован поисковиками, то и новый сайт робот зайдет значительно раньше. Про покупку доменов на вторичном рынке, читайте здесь. Хотелось бы уточнить, что фактор выбора домена влияет, в основном, на первичную индексацию. На то, как часто ваш сайт будет посещать поисковый робот, влияют следующие факторы:
Влияние CMS на индексацию сайта
Все популярные CMS уже оптимизированы под веб-стандарты: чистый код HTML, легкое управление CSS файлами (в идеале одним), а также использование Schema (schema.org). Валидность кода по validator.w3.org.
Следовательно проблем с индексацией возникнуть не должно. А вот чтобы ее ускорить, используйте дополнительные преимущества, которые предоставляют современные системы управления сайтом: создание файлов Sitemap.xml, Robots.txt, канонические теги, решающие проблему повторяющегося контента по разным адресам, 301 редирект, оптимизация кода и скорости загрузки страниц.
Также советуют избегать фреймов, Javascript, Flash, для показа содержания.
Основополагающий фактор: частота обновления контента
Как часто вы обновляете сайт? 1 раз в день, в неделю, год? Поисковики заходят на популярные новостные ресурсы по несколько раз в день, чтобы новости тут же попадали в индекс. Если они анализируют, что контент на сайте обновляется редко, то и заглядывать на такой сайт они будут редко.
Если вы ведете блог, то регулярно пополняйте его новым контентом, если у вас статический сайт, то создайте хотя бы новостную ленту. Нечего писать? Поздравляйте хотя бы своих посетителей с праздниками — покажите поисковикам, да и пользователям, что сайт живой, что его контент периодически обновляется! У вас новостной ресурс — ну тогда сам «Гугл» велел писать ежедневно (не в ущерб, кончено уникальности и полезности информации).
Что сделать, чтобы сайт индексировался быстрее?
У поисковиков существуют специальные сервисы, которые дают возможность веб- мастерам «рассказать» о новых сайтах, вот самые популярные из них:
Yandex — сообщить о новом сайте
Отправить свой сайт в службу Bing
Социальные сети помогут ускорить индексацию новых страниц
Не стоит упускать из внимания такой мощный инструмент как социальные кнопки, рассказав пользователям соц сетей о новой записи, вы тем самым ускорите её попадания в индекс. Поисковые роботы сканируют социальные сети не реже, чем новостные ресурсы, так как контент там обновляется ежесекундно, а следовательно новая ссылка на ваш сайт также попадет в индекс.
Что делать, если сайт не индексируется?
Причин тут может быть несколько. Перепроверьте файл robots.txt, возможно индексация сайта запрещена для всех поисковиков. Запись выглядит так:
User-agent: *
Disallow: /
Чтобы разрешить всем роботам индексировать весь сайт, измените запись на
User-agent: *
Disallow:
Может быть, что-то неправильно в коде самого сайта или страницы, которые не видны поисковикам. Например, текст заключен в теги <noindex></noindex>. И одной из самых неприятных ситуаций может являться нарушение одного из условий поисковых систем. Тогда на ваш сайт могут быть наложены фильтры и сайт исключен из индекса.
