Использование robots.txt

http://help.yandex.ru/webmaster/?id=996567#996573