seo - wildcards - robots.txt noindex



Мета-тег против robots.txt (6)

  1. Лучше использовать метатеги * или файл robots.txt для информирования пауков / сканеров о включении или исключении страницы?

  2. Есть ли проблемы с использованием как метатегов, так и файла robots.txt?

* Например: <#META name="robots" content="index, follow">


Answer #1

Robots.txt ИМХО.

Опция Meta tag говорит ботам не индексировать отдельные файлы, тогда как Robots.txt может использоваться для ограничения доступа ко всем каталогам.

Конечно, используйте метатег, если у вас есть нечетная страница в проиндексированных папках, которую вы хотите пропустить, но в целом я бы порекомендовал вам большую часть вашего неиндексированного контента в одной или нескольких папках и используйте robots.txt, чтобы пропустить лот.

Нет, нет проблем в использовании обоих - если есть конфликт, в общих чертах, отказ отменит разрешение .


Answer #2

Robots.txt хорош для страниц, которые тратят много вашего бюджета на сканирование, таких как внутренний поиск или фильтры с бесконечной комбинацией. Если вы разрешите Google проиндексировать yoursite.com/search=lalalala это приведет к yoursite.com/search=lalalala вашего бюджета.


Answer #3

Вы хотите использовать 'noindex, follow' в метатеге robots , а не robots.txt , потому что это позволит пропускать сок ссылок. Это лучше с точки зрения SEO.


Answer #4

Есть одно существенное отличие. Согласно Google https://support.google.com/webmasters/answer/6062608?hl=en они по-прежнему будут индексировать страницу за robots.txt DENY, если страница связана с другим сайтом.

Тем не менее, они не будут, если они увидят метатег:

Хотя Google не будет сканировать или индексировать контент, заблокированный robots.txt, мы все равно можем найти и проиндексировать запрещенный URL из других мест в Интернете. В результате URL-адрес и, возможно, другая общедоступная информация, такая как якорный текст в ссылках на сайт, все еще могут появляться в результатах поиска Google. Вы можете полностью запретить отображение своего URL в результатах поиска Google, используя другие методы блокировки URL, такие как защита паролем файлов на вашем сервере или использование метатега noindex или заголовка ответа .


Answer #5

Существует огромная разница между meta robot и robots.txt.

В файле robots.txt мы просим сканеры, какую страницу вы должны сканировать, а какую - исключить, но мы не просим сканера не индексировать эти исключенные страницы из сканирования.

Но если мы используем метатег роботов, мы можем попросить сканеры поисковых систем не индексировать эту страницу. Тег, который будет использоваться для этого:

<#meta name = "имя робота", content = "noindex"> (удалить #)

ИЛИ ЖЕ

<#meta name = "имя робота", content = "follow, noindex"> (удалить #)

Во втором метатеге я попросил робота следовать этому URL, но не индексировать в поисковой системе.


Answer #6

Я бы, вероятно, использовал robots.txt поверх meta . Robots.txt существует дольше и может быть более широко поддержан (но я не уверен на 100% в этом).

Что касается второй части, я думаю, что большинство пауков примут любой наиболее ограничивающий параметр для страницы - если есть несоответствие между robots.txt и метатегом.