Главная » Статьи » Оптимизация, Раскрутка сайта.

Что такое файл robots.txt?

Что такое файл robots.txt
 
 
Robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов.
Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, как для всех, так и для определённых, роботов.
К файлу robots.txt предъявляются специальные требования, не выполнение которых может привести к неправильному считыванию роботом поисковой системы или вообще к неработоспособности данного файла.
Как создать robots.txt
Robots.txt должен создаваться в текстовом формате Unix.
Воспользуйтесь любым текстовым редактором, создайте файл с именем "robots.txt" и заполните его в соответствии с представленными ниже правилами.
Файл robots.txt должен находиться только в корневой директории сайта, только тогда он будет учитываться поисковыми системами.
robots.txt является регистрозависимым, называть файл необходимо robots.txt, Robots.txt будет уже ошибкой.
После этого необходимо загрузить файл в корневой каталог вашего сайта.
Всегда после того, как вы закачали файл robots.txt на сервер, проверяйте его. Достаточно в браузере набрать простой запрос:
http://ваш_сайт/robots.txt
Проверка синтаксиса
Инструмент Проверка файла robots.txt показывает, не блокирует ли ваш файл robots.txt доступ поискового робота к файлам и каталогам вашего сайта
и не разрешает ли он сканирование файлов, которые не должны появляться в Интернете.
Для проверки синтаксиса и структуры файла robots.txt существует ряд специализированных онлайн-служб.

Служба яндекса - webmaster.yandex.ua
Gogle webmasters - www.google.com

Содержимое файла robots.txt
Полностью пустой файл robots.txt эквивалентен его отсутствию, что предполагает разрешение на индексирование всего сайта.

User-agent: содержит название робота.
Disallow: URL-адреса, которые необходимо заблокировать.

User-agent: * - разрешение индексировать всем роботам.

Запрещает роботу Roverdog индексировать все файлы сервера:

User-agent: Roverdog
Disallow: /

Запрещает роботу googlebot индексировать файл cheese.htm:

User-agent: googlebot
Disallow: cheese.htm
 
Стандартный файл
 
 
 
 
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
 
Sitemap: http://ваш сайт/sitemap.xml
Sitemap: http://ваш сайт/sitemap-forum.xml
 

Чтобы сообщить поисковым системам местоположение файла Sitemap, можно в robots.txt добавить строку вида:
Sitemap: http://ваш_сайт/sitemap.xml
 
Источник: http://mrtower.ru
 

На этом все, спасибо за внимания, надеюсь, мой пост вам помог, и вы оцените мои труды, кликнув по одной из кнопок, социальной сети и поделитесь с друзьями. Не забываем подписаться на обновления. Удачи!

Другие материалы по теме:


Категория: Оптимизация, Раскрутка сайта. | Добавил: maloir (26.04.2012)
Просмотров: 1505 | Теги: seo, тиц, раскрутка, оптимизация, robots.txt, поисковики, pr, запросы, Что такое файл robots.txt | Рейтинг: 0.0/0
     Подпишитесь на обновления Библиотеки Шедар Кассиопеи:

     Ваш Email:     

Случайное:

Всего комментариев: 0
Имя *:
Email:
Все смайлы
Код *: