Файл robots.txt

Спонсор статьи: Студия SMOpro - реклама в блогах и продвижение

В продолжение темы индексации сайта хочется рассказать о файле robots.txt Роботы поисковиков при заходе на веб-сайт сначала обращаются к нему и получают инструкции по индексированию. Присутствие этого файла не обязательно, но крайне желательно.

Важно правильно составить файл robots.txt, иначе ошибки в нём могут привести к ненужным последствиям. Для написания инструкций используется определенный синтаксис, который не разрешает к индексации, а только запрещает.

Создается и редактируется при помощи Блокнота.
Размещается файл robots.txt в корневой папке веб-сайта. Название должно быть в нижнем регистре (т.е. robots.txt, а не Robots.Txt и т.д.)

Пример правильного файла robots.txt

User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /admin/
Host: www.site.ru
Sitemap: http://www.site.ru/sitemap.xml

User-agent: Googlebot
Disallow: /admin.php
Disallow: /hide.html
Sitemap: http://www.site.ru/sitemap.xml

User-Agent: *
Disallow: /

Директива User-agent указывает определенному поисковому роботу инструкции для выполнения. Если стоит *, то значит данные инструкции предписаны всем.
Директива Disallow запрещает к индексации отдельную папку или документ. Для того, чтобы запретить к индексации сайт полностью необходимо прописать "Disallow: /", а чтобы НЕ запрещать индексировать сайт, необходимо прописать "Disallow: "
Директива Host определяет основной домен для сайта. Внимание! Ее учитывает только Яндекс! Домен прописывается БЕЗ HTTP://
Директива Sitemap предназначена для указания карты сайта. Путь карты сайта прописывается полностью вместе с HTTP://

Следует понимать, что мы не сможем, например, разрешить к индексации только файл index.html, а все остальное закрыть. Хотя, конечно, можно, но для этого придется перечислять ВСЕ имеющиеся документы и папки, кроме самого index.html.

Это является основным минусом файла robots.txt, т.к. иногда возникает потребность в директиве Allow.

Постовой:

Компания «Портал Инфо» предлагает услуги веб дизайна и создания сайтов в Тюмени и Тюменской области

• Twit

Подписаться на RSS