Рекомендации веб-мастерам

На этой странице мы предлагаем вам подборку статей на различные темы, связанные с созданием и продвижением сайтов, которые могут оказаться полезными для веб-мастеров, администраторов сайтов и их владельцев. Вашему вниманию предлагаются, в том числе, и различные авторские тексты. Если у вас появилось желание обогатить эту коллекцию своим маленьким шедевром – просто воспользуйтесь для добавления этой формой. Ваш материал появится на сайте после модерации.

Последние публикации

  • Создание сайта


    Сегодня, вероятно, никакой бизнес или род деятельности немыслим без Интернета – именно там все больше и больше людей ищут информацию по самым разным вопросам. Не иметь сайта – своего рода представительства в Интернете – сегодня уже просто нельзя. Это грозит не просто недополученной прибылью, но и прямыми убытками; кроме того отсутствие сайта создает крайне неблагоприятный имидж. Кто захочет иметь дело с компанией или человеком, которые не идут в ногу со временем? Ну, а если у фирмы имеется хороший сайт – это совсем другое дело!

    Подробнее
  • Хостинг – проверка сервера


    Проверка качества сервера, пожалуй, может ограничиться тремя параметрами. Это загруженность сервера, загруженность канала и «ап тайм» вашего веб-сайта (во всех трех случаях сайт уже должен быть на хостинге – так что такую проверку можно произвести только после покупки).

    Подробнее
  • Что такое домен


    Домен – это особым образом структурированный набор символов, который пользователь должен ввести в адресную строку браузера, чтобы попасть на тот или иной сайт. Многие называют его именем сайта – но тогда уж правильнее назвать его адресом сайта. Домен и сайт – разные вещи. Домен лишь направляет пользователя на сайт с информацией (то есть на хостинг, который на самом деле представляет собой машину – сервер, где «лежат» файлы сайта). Это перенаправление незаметно для пользователя. При открытии сайта загружается информация (файлы), находящаяся на хостинге.  Впрочем, домен может существовать и безо всякого сайта, как чистая абстракция.

    Подробнее
  • Регистрация доменов


    Итак, вы придумали домен. Теперь его надо купить – вернее, зарегистрировать. После регистрации домен становится вашей собственностью на год (или на больший срок, если вы решите оплатить таковой). Если срок оплаты закончится, и вы её снова не осуществите, домен перестанет быть вашим. После этого его сможет зарегистрировать любой желающий.

    Подробнее
  • Как выбрать доменное имя


    Если вы осмыслили, что такое домен и зачем он нужен, определились с тематикой вашего сайта, и решили выбрать для него подходящее доменное имя, то изучите сначала небольшой свод правил, которые желательно соблюдать при выборе доменного имени для сайта.

    Подробнее

Поисковый робот


Поисковый робот (паук, краулер) — программа, являющаяся составной частью поисковой системы и предназначенная для перебора страниц Интернета с целью занесения информации о них в базу данных поисковика (сервера). По принципу действия паук напоминает обычный браузер. Но он ничего не выводит на экран. Он анализирует содержимое страницы, сохраняет его в некотором специальном виде на сервере поисковой машины и отправляется по ссылкам на следующие страницы.

Владельцы поисковых машин ограничивают глубину проникновения паука внутрь сайта и максимальный размер сканируемого текста. Кроме обычных пауков, существуют поисковые роботы, которые периодически проверяют сайт – доступен ли он. Также имеются роботы с другими функциями. Порядок обхода страниц, частота визитов, защита от зацикливания, критерии определения релевантности информации определяются поисковыми алгоритмами. Ограничить индексацию сайта можно с помощью файла robots.txt, однако поисковые роботы могут игнорировать наличие этого файла. Полная защита от индексации может быть обеспечена другими механизмами, например установкой пароля на странице либо требованием заполнить регистрационную форму.


В Яндексе, например, есть несколько видов поисковых роботов, которые выполняют разные функции. Самый важный — основной индексирующий робот, функция которого — поиск и индексирование информации для формирования базы основного поиска. В помощь ему есть быстрый робот (быстробот) для оперативного индексирования свежей, актуальной на данный момент информации.  У Яндекса есть еще несколько роботов, которые представляются по-разному:

User-agent для Яндекса: Yandex
  • Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) — основной индексирующий робот;
  • Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots) — индексатор Яндекс.Картинок;
  • Mozilla/5.0 (compatible; YandexVideo/3.0; +http://yandex.com/bots) — индексатор Яндекс.Видео;
  • Mozilla/5.0 (compatible; YandexMedia/3.0; +http://yandex.com/bots) — робот, индексирующий мультимедийные данные;
  • Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; +http://yandex.com/bots) — робот поиска по блогам, индексирующий комментарии постов;
  • Mozilla/5.0 (compatible; YandexFavicons/1.0; +http://yandex.com/bots) — робот, индексирующий пиктограммы сайтов (favicons);
  • Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL»;
  • Mozilla/5.0 (compatible; YandexPagechecker/1.0; +http://yandex.com/bots) — робот, обращающийся к странице при валидации микроразметки через форму «Валидатор микроразметки»;
  • Mozilla/5.0 (compatible; YandexImageResizer/2.0; +http://yandex.com/bots) — робот мобильных сервисов;
  • Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса;
  • Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel; +http://yandex.com/bots) — «простукивалка» Яндекс.Директа. Она проверяет корректность ссылок из объявлений перед модерацией;
  • Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots) — робот Яндекс.Метрики;
  • Mozilla/5.0 (compatible; YandexNews/3.0; +http://yandex.com/bots) — робот Яндекс.Новостей;
  • Mozilla/5.0 (compatible; YandexNewslinks; +http://yandex.com/bots) — «простукивалка» Яндекс.Новостей. Используется для проверки ссылок из новостных материалов;
  • Mozilla/5.0 (compatible; YandexCatalog/3.0; +http://yandex.com/bots) — «простукивалка» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге;
  • Mozilla/5.0 (compatible; YandexAntivirus/2.0; +http://yandex.com/bots) — антивирусный робот, который проверяет страницы на наличие опасного кода.
  • Mozilla/5.0 (compatible; YandexZakladki/3.0; +http://yandex.com/bots) — «простукивалка» Яндекс.Закладок. Используется для проверки доступности страниц, добавленных в закладки.
  • Mozilla/5.0 (compatible; YandexSitelinks; Dyatel; +http://yandex.com/bots) — «простукивалка» быстрых ссылок. Используется для проверки доступности страниц, определившихся в качестве быстрых ссылок.
  • Mozilla/5.0 (compatible; YandexVertis/3.0; +http://yandex.com/bots)
Примерно так же обстоят дела с поисковыми роботами Google.

User-agent для Гугла: Googlebot
  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) — поисковый робот Google.
  • Googlebot-Image (Google) Googlebot-Image/1.0 — робот-индексатор картинок.
  • Mediapartners-Google — робот-анализатор AdSense.
  • Googlebot-Mobile (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html) — робот индексирующий сайты для мобильных устройств.
  • Google Search Appliance (Google) gsa-crawler — поисковой робот нового аппаратно-программного комплекса Search Appliance (GSA 6.0).
  • AdsBot-Google (+http://www.google.com/adsbot.html) — оценка качества целевых страниц AdWords.
IP-адресов, с которых «ходят» роботы и той, и другой поисковой системы много, и они могут меняться. Различать и отследить посещения разных роботов Яндекса и Google можно по соответствующим записям в логах вашего сервера. Подробнее информацию об этом (если вам понадобится) можно найти в разделах «помощь» обоих поисковых систем, а также узнать у вашего хостинг-провайдера.
{jcomments on}