| Главная » Статьи » Оптимизация, Раскрутка сайта. |
Что такое файл robots.txt?
Что такое файл robots.txt
Robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов.
Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, как для всех, так и для определённых, роботов. К файлу robots.txt предъявляются специальные требования, не выполнение которых может привести к неправильному считыванию роботом поисковой системы или вообще к неработоспособности данного файла. Как создать robots.txt Robots.txt должен создаваться в текстовом формате Unix. Воспользуйтесь любым текстовым редактором, создайте файл с именем "robots.txt" и заполните его в соответствии с представленными ниже правилами. Файл robots.txt должен находиться только в корневой директории сайта, только тогда он будет учитываться поисковыми системами. robots.txt является регистрозависимым, называть файл необходимо robots.txt, Robots.txt будет уже ошибкой. После этого необходимо загрузить файл в корневой каталог вашего сайта. Всегда после того, как вы закачали файл robots.txt на сервер, проверяйте его. Достаточно в браузере набрать простой запрос: http://ваш_сайт/robots.txt Проверка синтаксиса Инструмент Проверка файла robots.txt показывает, не блокирует ли ваш файл robots.txt доступ поискового робота к файлам и каталогам вашего сайта и не разрешает ли он сканирование файлов, которые не должны появляться в Интернете. Для проверки синтаксиса и структуры файла robots.txt существует ряд специализированных онлайн-служб. Служба яндекса - webmaster.yandex.ua Gogle webmasters - www.google.com Содержимое файла robots.txt Полностью пустой файл robots.txt эквивалентен его отсутствию, что предполагает разрешение на индексирование всего сайта. User-agent: содержит название робота. Disallow: URL-адреса, которые необходимо заблокировать. User-agent: * - разрешение индексировать всем роботам. Запрещает роботу Roverdog индексировать все файлы сервера: User-agent: Roverdog Disallow: / Запрещает роботу googlebot индексировать файл cheese.htm: User-agent: googlebot Disallow: cheese.htm Стандартный файл
Чтобы сообщить поисковым системам местоположение файла Sitemap, можно в robots.txt добавить строку вида: Sitemap: http://ваш_сайт/sitemap.xml Источник:
На этом все, спасибо за внимания, надеюсь, мой пост вам помог, и вы оцените мои труды, кликнув по одной из кнопок, социальной сети и поделитесь с друзьями. Не забываем подписаться на обновления. Удачи! 
Другие материалы по теме: | |
| Просмотров: 2096 | | |
Случайное:
- Подборка иллюстраций из сказки "Алиса в стране чудес"
- Крылатые фразы Алиса в стране чудес Льюис Кэррол
- ПОМОЩЬ ДОБРОГО АСАНА
- ОБЗОР БИРЖИ ВЕЧНЫХ ССЫЛОК
- Божественная комедия Данте Алигьери ЧИСТИЛИЩЕ
| Всего комментариев: 0 | |