|
Зачастую на сайты попадает не уникальный контент и это очень неприятно сказывается на репутации сайта в глазах поисковиков. Не уникальный контент попадает на сайт разными путями. К примеру: это характеристики ноутбука. Ведь не выкинешь слов из песни. Либо цитирование или шаблонное комментирование. Поэтому был придуман файл ROBOTS.txt, который создан для поисковых роботов. В этом хитроумном файле хранятся инструкции для поисковых роботов, а именно о том какие страницы индексировать, а какие нет.
Файл robots.txt это простой текстовый файл, который можно создать в примитивном текстовом редакторе «Блокнот».
Пример базового файла для роботов:
User-Agent: *
Disallow: /
С этими двумя строчками роботам запрещено индексировать что-нибудь от сайта. Давайте посмотрим на некоторые другие команды, которые можно записать в файл robots.txt:
User-Agent: MSNBot
Disallow: / некоторые папки
Если по каким-то причинам вы должны скрыть что-то от Yahoo веб-сканера, который известен как Slurp , то это достигается с помощью Disallow: / могут быть скрыты от поиска папки и файлы.
User-Agent: Google
Disallow:
User-Agent: *
Disallow: /
Таким образом, Google робот имеет доступ к сайту (просто опустить слэш / сообщению Disallow:) а все остальные роботы обойдут ваш сайт стороной.
User-Agent: *
Disallow: / CGI-BIN /
Disallow: / TMP /
Disallow: / нежелательной /
Таким образом, чтобы запретить доступ только к указанной папки, в то время как остальная часть сайта бесплатно для индексирования.
Robots.txt может быть полезен в различных ситуациях, например, в то время сайт находится в стадии разработки или тестированияили же если существуют две версии одного и того же сайта.
В дополнение к robots.txt, который помещен в корневую директорию на сервере веб-сайт (www.sajt.com / robots.txt), можно использовать роботов мета-тегов, которые вставляются в голове вашего документа HTML.
Если вы не разобрались с данной статьей, обратитесь к профессионалам по продвижению сайтов. Раскрутка сайта проффесионалами отрасли, это - умеренный бюджет, продвижение, оптимизация, юзабилити, дальнейшее сопровождение.
При использовании файла robots.txt следует иметь в виду, что некоторые роботы могут просто игнорировать файл robots.txt и что файл robots.txt можно легко не увидеть. Другими словами, не используйте файл robots.txt, чтобы скрыть важную информацию на сайте.
|
