Drupal hosting, server, support | IT Patrol inc.
Document Actions
Перечень директив для поисковых роботов
REP (Robots Exclusion Protocol – Протокол Исключений для Роботов) обеспечивает контроль над деятельностью поисковых ботов на уровне всего сайта (файл robots.txt), на уровне отдельных страниц (META-тег или тег X-Robots) и на уровне элементов HTML-кода.
Таким образом, можно контролировать и процесс изучения ботами вашего сайта, и его отображение на страницах с результатами поиска (SERPах). По ссылке привожу таблицу с перечнем часто встречающихся задач (пользовательских сценариев), способов их решения (директив) и поисковых систем, которые их поддерживают.