mBlogs

Как правильно написать robots.txt
Роботы поисковых систем при входе на сайт первым делом обращаются к файлу robots.txt, чтобы получить инструкции к дальнейшему действию и узнать, какие файлы и директории запрещены к индексированию.Так что, если хотим иметь оптимизированный сайт, надо научиться писать эти самые robots.txt .
 1)Давайте ка возьмем пример и разберем его :)
User-agent: * 
Disallow: /adminka/ 
Disallow: /image/
так, давайте разбираться.
Первая строчка «User-agent: *». Звёздочка после User- agent обозначает, что наш файл относится ко всем поисковым роботам. Если файл предназначен для конкретного поискового робота, прошите его имя. 
Вторая и третья строчки запрещают индексацию админки и картинок, в гугле мы свою админку не найдем, это радует :)
Кстати, каждая подобная строчка запрещает индексацию одного объекта.Совмещать строки категорически нельзя, сайт в поисковиках не появится.
"2)Рассмотрим так же яндекс.В нем надо обязательно прописать host .Эта функция показывает боту основное зеркало сайта.Прописывать надо без http, но наличие www особой роли не играет, можете писать, можете нет.Как хотите :-)
Итак, делаем робота для яндекса.
User-agent: Yandex 
Disallow: /adminka/ 
Host: www.site.ru 
 3)Рассмотрим другие случаи применения:
  1. Запретим весь сайт к индексации всеми поисковиками 
User-agent: * 
Disallow: / 
  2. Не будем запрещать весь сайт к индексации всеми поисковиками. 
User-agent: * 
Disallow: 
  3. Запретим весь сайт к индексации одним поисковиком(например, Google). 
User-agent: Google
Disallow: / 
  4. Не будем запрещать весь сайт к индексации одному роботу (например, Google) и запретим к индексации всем остальным поисковикам. 
User-agent: Google
Disallow: 
User-agent: * 
Disallow: / 
  5. Запретим несколько директорий к индексации всеми поисковиками. 
User-agent: * 
Disallow: /directoria-1/ 
Disallow: /directoria-1/ 
Disallow: /hidedirectoria/ 
  6. Запретим несколько файлов к индексации всеми поисковиками. 
User-agent: * 
Disallow: /hide.php 
Disallow: /secret.html 
 4)Какие же ошибки бывают в написании файла robots.txt? 
Вот основные правила написания содержимого файла robots.txt:
  0.Называть файл только robots.txt, а не ROBOTS.txt,Robots.txt .И не robot.txt
  1. Писать в файле надо только в нижнем регистре.
  2. В каждом Disallow указывать только одну директорию или один файл. 
  3. Не менять местами инструкцию Disallow и User- agent. 
  4. Не оставлять пустой строку User-agent. Если она относится ко всем поисковикам, то пишем звёздочку, а если к конкретному поисковику, то пишем его имя. 
  5. В директиве Host (для Яндекса) адрес пишем без http:// и без закрывающего слеша /. 
  6. Не используем символы подстановки в инструкции Disallow типа звёздочки и прочего. 
  7. Стараться не писать комментарии к инструкциям в одной строке с инструкциями. 
  8. Не пропускать инструкцию Disallow. Если вы не собираетесь ничего запрещать к индексации, то оставьте эту инструкцию пустой. 
  9. При запрещении к поиском директорий обязательно прописываем слеши. 
  10.И Самое Главное Правило — прежде чем залить файл robots.txt на сервер, сто раз его перепроверьте во избежание дальнейших недоразумений.
####
автор: Grammer
grammer@list.ru

Мой блог находят по следующим фразам

• Любэ-Выйду в поле с конем mp3
• прога для создания демотиваторов
• термины по истории держави та права украины
• outer glow перевод
• термины по истории украины
• wordpress счетчик