С российскими поисковыми системами дело обстоит несколько сложнее. Для успешной индексации сайта в Яндексе или Рамблере, лучше все же вручную указать поисковой системе на новый ресурс. Все страницы сайта прописывать не требуется, достаточно указать главную (корень сайта), остальные будут найдены поисковым роботом по ссылкам.
Большинство поисковых систем позволяют просмотреть список проиндексированных страниц с использованием специальных языковых операторов. Semonitor позволяет проверять индексацию в Яндексе, Рамблере, Google и других поисковых системах.
Для каждой страницы проверяется также значение Google PageRank, что является очень важной возможностью при анализе больших сайтов со сложной структурой.
Обновление баз данных поисковых систем - процесс постоянный, записи в базе могут подвергаться изменениям, исчезать и появляться снова. Поэтому проверять проиндексированые страницы своего сайта также следует регулярно. Это можно делать нечастно, но 1-2 раза в месяц стоит провести проверку.
Одной из наиболее частых причина отказа в индексации является недоступность сервера, если робот при посщении вашего сайта не смог получить доступ к нему..
Чем больше внешних ссылок существует на ваш проект, тем чаще поисковые роботы будут посещать ваш сайт. Прописка в каталоге поисковой системы Яндекс также заставляет робот Яндекса чаще индексировать ваш сайт. Управлять поведением поисковых роботов можно с помощью файла robots.txt.
Модуль Лог-Анализатор.
Каждое обращение к вашему сайту фиксируется сервером и о нем остается запись в лог-файле. По этим записям можно узнать огромное количество информации о ваших посетителях.Лог-файл сервера представляет собой текстовый файл, в котором в особом формате записанны все данные об обращениях к сайту. Semonitor лог-анализатор поддерживает форматы IIS (Intetnet Information Server, серверное ПО применяемое под операционной системой Windows) и Apache (сервер под оперционной системой Linux).
Прежде всего можно провести анализ числа посетителей сайта. Это такие парметры, как число униальных ip адресов, число посетителей, число просмотров страниц и число заходов с поисковых систем.
Число уникальных ip адресов - показывает сколько уникальных обращений к серверу было. Причем, уникальный ip адрес еще не означает униального посетителя, т.к. с сайта могут быть запрошены графические файлы, либо другие ресурсы, но человек при этом не зашел на сайт.
Число посетителей - Посетителем считается человек, запросишвуий какую-либо информацию с сайта. К информационным файлам относиятся все html страницы (с различными расширениями htm, html, asp и т.д.), а также файлы с данными (exe, zip и т.д.). Картинки и элементы оформления к таким ресурсам не относятся.
Просмотры страниц - показывают суммарное число загрузок html страниц сайта. Как правило, число просмотров страниц заметно больше, нежели число посетителей (т.к. почти каждый посетитель просматривает более одной страницы). Однако, может быть и обратная ситуация, например для сайтов, предлагающих своим посетителям скачать программное обеспечение (в этом случае бывает много прямых обращений к дистрибутивам ПО без загрузки промежуточных страниц).
Заходы с поисковых систем. В принципе, человек зашедший с поисковой системы, является таким же посетителем как и все остальные. Но поскольку число таких посетителей особенно интересно в контексте раскрутки сайта под поисковые системы, то в представленном лог-анализаторе оно вынесено отдельным параметром.
Анализатор логов, входящий в пакет Semonitor уделяет особое внимание анализу посетителей поисковых систем. Для каждой страницы сайта, к которой были обращения, показывается следующая информация:
- Число просмотров - сколько раз запрашивалась та или иная страница.
- Число заходов с поисковиков - сколько раз посетители приходили на данную страницу с поисковых систем (общее, а также по каждой поисковой системе).
- Трафик - какой трафик сгенерировала данная страница.
Статистика поисковых запросов показывает по каким фразам и с каких поисковиков заходили посетители на ваш сайт. Поддерживаются посковые системы Яндекс, Рамблер, Апорт, Google, Yahoo и другие.
Следующим важным показателем, который можно получить при анализе логов является статистика рефереров. Реферер, или ссылающийся ресурс, показывает откуда посетитель пришел на ваш сайт. Semonitor лог-анализатор показывает статистику ссылающихся доменов и ссылающихся страниц.
При каждом обращении к серверу в лог-файле остается запись, содержащая ip-адрес этого обращения. Анализируя ip можно определить страну запроса. Semonitor покзывает географию посетителей вашего сайта.
В следующих 3 отчетах анализатор логов показывает наиболее частые пути по сайту и точки входа/выхода.
В заключительном отчете представлена информация о визитах поисковых роботов. Как известно, прежде чем попасть в выдачу поисковой системы, сайт должен быть проиндексирован и добавлен в базу поисковой системы. Этой работой занимаются поисковые роботы - ищут новые страницы, отсутствующие в индексе, и обновляют информацию об уже известных. В данном отчете вы можете видеть информацию о посещениях поисковыми роботами вашего сайта.
Модуль Page Rank анализатор.
Модуль PageRank анализатор предназначен для автоматического анализа большого списка сайтов. Для каждого сайта из списка определяются следующие параметры:
- Google PageRank;
- Тематический индекс цитирования ТИЦ поисковой системы Яндекс
- Число внешних ссылок по версиям различных поисковых систем
- Присутствие сайта в каталогах DMOZ, Yahoo и Яндекс-каталоге
- TITLE текст страницы
О параметрах PageRank и ТИЦ подробнее. Основной целью любой поисковой системы является определение релевантности (соответствия) той или иной страницы поисковому запросу. Для этих целей используется анализ текста страницы, учитываются плотность и вес ключевых слов, теги в которых они находятся и многие другие показатели. Как видим, практически все эти параметры находятся под контролем автора страницы. В условиях жесткой конкуренции за высокие места в поисковых системах анализа текстового содержимого оказывается недостаточно. Существует огромное число страниц, оптимизированных под популярные запросы, среди которых невозможно сделать объективный выбор, основываясь лишь на тексте страницы.
С этой целью поисковые системы вводят в свою работу параметр ссылочной цитируемости, или, попросту говоря, начинают учитывать внешние ссылки на сайт. Действительно, чем интереснее ресурс, тем больше будет на него ссылок с других, тематически связанных с ним ресурсов.
Однако большое число ссылок само по себе не является гарантией качества ресурса. Необходими учитывать также и качество каждой ссылки. Условно, ссылка с сайта www.microsoft.com значит гораздо больше, чем ссылка с домашней страницы.
Что такое индекс цитирования? Индекс цитирования или ИЦ - это общее обозначение численных показателей, оценивающих популярность того или иного ресурса, т.е. некоторое абсолютное значение важности страницы. Каждая поисковая система использует свои алгоритмы для подсчета собственного индекса цитирования, как правило эти значения нигде не публикуются
Помимо обыкновенного индекса цитирования, который представляет собой абсолютный показатель (т.е. некоторое конкрентное число), вводится термин взвешенный индекс цитирования, который является относительным значением, т.е. показывает популярность данной страницы относительно популярности остальных страниц в Интернет. Термин "взвешенный индекс цитирования" (ВИЦ) обычно употребляют в отновшении поисковой системы Яндекс, хотя это и не совсем верно
PageRank (PR) - это взвешенный индекс цитирования поисковой системы Google. Это значение определяется для каждой страницы, и характеризует "важность" или популярность страницы. PageRank не учитывает тематическую свять страницы и ссылающихся на нее ресурсов, а зависит только от числа и качества внешних ссылок. Значение PageRank можно посмотреть используя Google ToolBar, Semonitor способен определять PageRank автоматически для большого числа сайтов.
Тематический индекс цитирования ТИЦ Яндекс - как и следует из названия, ТИЦ показывает популярность ресура относительно других тематически близких сайтов. Еще одно важное отличие ТИЦ от взвешенных индексов цитирования и PageRank состоит в том, что ТИЦ определяется для ресурса в целом, а не для каждой страницы. Жили-были Зайчик и Белочка. Дружили, любили друг друга. Как-то Зайчик предлагает - давай жить вместе, поженимся. Белочка говорит - как так, ведь ты - Зайчик, а я - Белочка. Зайчик отвечает, что сила их любви выше стереотипов и видово-расовых соображений. Стали жить семьей, в общем. И любовь есть, и понимание, и секс есть. Детей только нет. Загрустили они. Зайчик говорит: неужели у нас нет детей, потому что я - Зайчик, а ты - Белочка? Как же так! Пойдем к Сове, она умная, она все знает. Пришли Белочка и Зайчик, и говорят: Сова, скажи, почему у нас нет детей? Потому что мы Зайчик и Белочка? Сова отвечает: Да вы ох.ели что ли? Потому что ты - мальчик и он - тоже мальчик! Значения ТИЦ можно определить с помощью Яндекс.Бара, Semonitor определяет их автоматически. Кроме тематического индекса цитирования (ТИЦ) Яндекс использует в своих алгоритмах и взвешеннй индекс цитирования (ВИЦ), однако занчения ВИЦ закрыты и извествны только поисковой системе.
Следующая группа параметров, которые проверяет Semonitor - это число внешних ссылок по версиям Google, Yahoo, MSN и Яндекс. Число внешних ссылок не дает непосредственного представления о значимости страницы, т.к. не учитывает важности ссылок, однако также дает представление о популярности страницы.
Проверка присутствия сайта в каталогах DMOZ, Yahoo и Яндекс. Прописка сайта в различных каталогах очень важна для повышения ссылочной цитируемости. Конечно, присутствие сайта в том или ином каталоге дает некоторый приток непосредственных посетителей, однако основная отдача заключается в повышении позиций в поисковых системх