В продолжение темы о полезных инструментах для вебмастера хотелось бы поделиться с Вами очень нужной программой, которая практически не имеет аналогов. Она позволяет не только проверить индексацию сайта в Яндекс и Google, но и провести его достаточно глубокий технический аудит.
Программа ComparseR была разработана директором веб-студии «АлаичЪ и Ко» Александром Алаевым, который уже более 10 лет профессионально занимается SEO. Для каждодневной работы ему требовался быстрый и эффективный способ проверки своих и сайтов клиентов на индексацию, сравнения числа страниц на сайте и в индексе поисковиков, поиска непроиндексированных страниц и пр. Такая программа была создана и названа ComparseR, на основе двух английских слов: Comparison – сравнение и Parser – парсер.
Давайте рассмотрим, что умеет ComparseR и чем он будет полезен владельцам собственных ресурсов, а также тем, кто занимается SEO по роду своей деятельности.
Статистика и структура сайта (аудит)
Для старта сбора информации о сайте и его структуре надо запустить краулер (сканер) и настроить некоторые параметры:
Здесь галочками надо отметить нужные пункты. Если какой-то из них вызовет у Вас затруднение, наведите на него курсор мыши, и всплывет поясняющая подсказка.
Обход сайта краулером займет некоторое время (число потоков, глубину сканирования, задержку между запросами, ограничение на число результатов и пр. можно задать в настройках), после чего наведите курсор мыши на вкладку «Статистика и структура сайта» в правой части окна программы:
Вы увидите сводный отчет о количестве страниц сайта:
- С ответом сервера (200, 301 и др.)
- Запрещенных к индексации (noindex)
- С дублями в Title
- С отсутствующими или пустыми Title и Description
- Разрешенных (запрещенных) для сканирования в соответствие с правилами robots.txt
Также будет указана информация о числе внешних (исходящих ссылок), какое из них количество являются Follow, Nofollow либо битыми.
Данное окошко не только указывает суммарную статистическую информацию. Например, кликнув на число страниц с ответом сервера 301, Вы сразу получите их полный список.
Ну и чем не подробный технический аудит сайта, за который кстати многие фирмы берут немалые деньги? Однако погодите, это еще далеко не всё, что умеет ComparseR 🙂
Отчет о страницах сайта
Запустив сканирование сайта (краулер), спустя некоторое время Вы получите таблицу, где будет указан список всех его страниц и подробная информация о каждой из них:
- URL, канонический URL, длина (число символов)
- Ответ сервера, скорость загрузки, размер (Kb)
- Наличие Title, Description и их длина (число символов)
- Директивы для поисковых роботов ( теги noindex, follow, nofollow)
- Заголовки H1-H6, их количество и длина
Не так давно мне понадобился список всех страниц моего сайта, где есть заголовки H2. Comparser сделал это за пару минут. А сколько бы мне понадобилось времени делать это вручную? Даже представить ужасно 🙂
А еще программа позволяет искать и выводить список страниц с наличием определенного кода или текста! Это может понадобится в огромном числе случаев. Простейший пример, Ваш сайт «подхватил» вирус. Как его найти? Достаточно выявить одну зараженную страницу, скопировать фрагмент вирусного кода и отправить его в ComparseR. Программа быстро выявит все остальные зараженные странички.
Айри.рф — онлайн сервис комплексной защиты сайтов от атак DDoS
Поиск внешних ссылок
На вкладке «Внешние ссылки» Вы найдете информацию о всех исходящих ссылках со страниц сайта, которые удалось обнаружить краулеру. При этом будет доступна сопутствующая информация:
- URL куда ведет ссылка и откуда
- Ответ сервера акцептора ссылки (очень легко найти битые внешние ссылки)
- Анкор
- Тип ссылки (nofollow, follow)
Проверка индексации сайта
Проверка индексации и быстрый поиск страниц, отсутствующих в индексе поисковых систем (ПС), собственно и составляет основной функционал программы, ради чего она задумывалась. Программа получает список индексированных страниц сайта из выдачи поисковиков и сравнивает полученные данные с результатами парсинга самого сайта.
Это позволяет обнаружить две проблемы:
- Какие страницы сайта отсутствуют в индексе ПС
- Какие нежелательные страницы находятся в индексе (дубли, «сопли», технические странички и пр.)
Для парсинга Яндекса можно использовать три источника данных:
- Обычная выдача
- XML-данные
- Яндекс Вебмастер (необходимо ввести в программу логин и пароль для доступа)
По умолчанию для каждой страницы проверяется код ответа сервера. Для ускорения процесса и снижения нагрузки на сервер при проверке, данную опцию лучше отключить.
В процессе сбора данных потребуется ввод капчи. Это можно делать как в ручном режиме, так и в автоматическом, введя в настройках ComparseR ключ одного из сервисов:
- antigate.com
- ripcaptcha.com
- rucaptcha.com
- anti-captcha.com
Детальный отчет о проверке индексации в Яндекс и Google можно найти на соответствующих вкладках, а сравнительная информация доступна на вкладке «Статистика и структура»:
Особого внимания здесь конечно же заслуживают два параметра:
- Обнаружено на сайте, не найдено в Яндекс (Google). Здесь указаны страницы, которые по каким-то причинами не находятся в индексе ПС. Возможно они просто запрещены к индексации (noindex) либо были исключены из индекса.
- Найдено в Яндекс (Google), не обнаружено на сайте. Странная ситуация… Например, для моего сайта в Яндекс здесь почему-то оказались ссылки на SWF и PDF файлы, которые я использовал в каких-то публикациях. В Google оказались несколько страниц, которые прекрасно открываются на сайте… В любом случае стоит проверить каждую позицию из списка и убедиться, что всё в порядке.
Достоинства и недостатки ComparseR
Про достоинства программы мы уже довольно подробно рассказали. Кстати некоторые функции не были затронуты в обзоре, но они есть: проверка изображений на сайте, построение карты сайта (sitemap.xml) и дерева сайта, подстановка user-agent, проверка орфографии, экспорт отчетов и пр. Всё это уместить в один обзор конечно же нельзя 🙂
Рекомендую также познакомиться с другим «детищем» Александра Алаева — сервисом Checktrust.ru для оценки качества сайтов. Он имеет очень хорошие отзывы у SEO-специалистов.
Недостатки тоже имеются… Во-первых, на официальном сайте софта отсутствует какая-либо документация по описанию функционала программы, инструкции по использованию, практические кейсы. Тем, кто слабо ориентируется в терминах SEO, придется «попотеть», чтобы разобраться. С другой стороны, ComparseR предназначен в первую очередь для специалистов, а не простых блогеров с 1-2 сайтами.
Во-вторых, есть проблема с парсингом выдачи из Google. После ввода капчи появляется сообщение, что она неверна и процесс останавливается. За весь период тестирования программы (порядка двух недель) мне ни разу не удалось в Google просканировать более 500 с хвостиком страниц – почему-то на этом значении всегда вылезали проблемы. При этом с парсингом в Яндекс всё отлично. Будем надеяться, что грядущие обновления всё пофиксят (они кстати сказать, выходят регулярно).
В-третьих, пару раз Компарсер подвисал. Причем подвисал наглухо… Закрыть его удавалось только через остановку соответствующего процесса в диспетчере задач.
В-четвертых, программа платная 🙂 Шучу, конечно же это не недостаток ибо качественный продукт не может быть бесплатным. Лицензия на весь период пользования ComparseR стоит 2000 руб., что совсем немного, по сравнению с той пользой и экономией времени на трудоемких рутинных операциях, которые взамен дает программа.
Есть бесплатная демо-версия ComparseR, которая имеет абсолютно тот же самый набор функционала, что и полная версия. Единственное ограничение – парсинг ограничен 150-ю страницами. Если у Вас небольшой сайт или Вы просто хотите изучить возможности программы до покупки лицензии, то это отличный выбор!
Друзья, понравился ли Вам функционал ComparseR? Считаете ли Вы её полезной для своих сайтов? Может Вы уже имеете опыт её использования для своих проектов или проектов заказчиков? Или Вы пользуетесь каким-то аналогичным софтом? Делитесь в комментариях и конечно же задавайте вопросы!