6. Индексация сайта в поисковых системах.

Представляем серию статей, посвященных раскрутке сайта. Предыдущая статья по теме "Как раскрутить сайт" - 5. Влияние хостинга и домена.

После того, как человек набирает в поисковой системе какой-либо запрос и нажимает "найти", то поисковик извлекает те данные из своего индекса – это база, в которой содержится информация обо всех посещённых поисковым роботом сайтах и страницах, которые поисковик посчитал нужным занести в свой индекс, или проиндексировать (индексация сайта). Первая задача для Вас, после того, как Вы создали свой новый сайт - обеспечить попадание сайта в индекс поисковиков.

Что нужно сделать, чтобы поисковики проиндексировали Ваш новый сайт ? Поисковые роботы все время обходят Интернет, посещая сайты из числа уже занесённых в базу и переходят по попадающимся ссылкам. Поэтому нужно разместить несколько ссылок на уже проиндексированных сайтах, форумах, блогах, социальных закладках и т. п., чтобы через определенное время роботы поисковиков обнаружили и проиндексировали Ваш сайт. Другой вариант – это добавить свой сайт в специальную форму, которая есть у каждой поисковой системы (аддурилка, от англ. add url). Вот некоторые адреса этих форм:

Яндекс - http://webmaster.yandex.ru/, http://webmaster.yandex.ru/wmconsole/

Рамблер - http://www.rambler.ru/doc/add_site.shtml

Гугл - http://www.google.ru/intl/ru/addurl.html, http://www.google.ru/webmasters/.

Панель вебмастера, которая имеется у Яндекса и Гугла – это очень удобная штука, которая позволяет отслеживать различные параметры сайта, таких как число проиндексированных страниц, число внешних ссылок на сайт, можно узнать, по каким поисковым фразам посетители переходили на Ваш сайт и т. п.

От момента, когда Вы предпримите некоторые действия для индексации Вашего сайта поисковыми системами , до того, когда он вообще будет проиндексирован, пройдёт некий период время от нескольких часов или даже минут до 2-3 недель или даже больше. Время индексации сайта зависит от некоторых, очень часто не вполне понятных причин. Рекомендации, которые обычно даются для ускорения индексации сайта – это разместить на сайт как можно больше ссылок, особенно с часто обновляемых сайтов.

В поисковой системе Google результаты поиска обновляются в постоянном режиме, а вот у Яндекса изменения происходят во время апов – это обновления выдачи, которые происходят с интервалом в несколько дней. Сайт проиндексируют полностью и сразу, если на нём не так много страниц. Если же страниц на сайте много, то он попадает в индекс не сразу, а частями.

Проблемы с индексацией сайта.

Иногда может случиться такое, что сайт не индексируют поисковые системы, либо проиндексировали, но затем он вылетает из индекса. Список причин, по которым это может произойти, довольно обширен. Если наблюдаются проблемы с индексацией сайта, то в первую очередь нужно проверить, не используете ли Вы чёрные методы оптимизации, о которых рассказывалось в одной из предыдущих статей. Одной из самых распространённых причин, по которым сайт не индексируют или он выпадает из индекса - это неуникальный контент. Или много неуникального контента, который занимает основную массу страниц сайта. Как составить уникальный контент для сайта, советы по написанию статей мы рассматривали в одной из статей Правила написания статей для сайтов.

Другие причины проблем с индексацией сайта в поисковых системах - это очень частые и длительные перебои с хостингом, неразумная продажа ссылок со своего сайта, прогоны сайта по забаненным каталогам и спам в очень больших объёмах с помощью программ типа хрумера.

Управление индексацией сайта и robots.txt.

Обычно роботы поисковых систем индексируют все страницы сайта. Но Вы можете, если, конечно, захотите, запретить им индексацию сайта или некоторых страниц. Для этого нужно создать текстовый файл, назвав его robots.txt, и расположить его в корневом каталоге сайта. Часто при помощи robots.txt запрещают индексацию различных служебных страниц, также страниц, которые дублируют содержание других страниц (пример: если на сайте имеется по 2 страницы каждой новости - одна простая, а другая - версия для печати). Чтобы запретить индексацию какой-то страницы или просто части страниц, то используется директива disallow. В начале списка директив нужно обязательно указать, для каких именно роботов данные директивы предназначены, а если они предназначены для всех роботов, то вместо имени робота ставится *. Пример:

User-agent: *

Disallow: /folder1/list.php

Файл robots.txt с таким содержанием запрещает всем роботам поисковых систем индексировать страницу сайта / folder1/list .php на Вашем сайте.

Читайте далее 7. Внешняя оптимизация. Как получить ссылки на сайт.

Продолжение статьи "Индексация сайта в поисковых системах." :