você acha que colocar as regras de não permitir em seus robôs.txt irá parar o seu site aparecendo nos motores de busca. Então você coloca o seguinte em seus robôs.arquivo txt para bloquear rastreadores da web:

robots txt disallow

a aranha vai rastejar
isso deve impedir que todos os robôs rastejem, certo? … errar certo. E então você descobre em um estágio posterior que suas páginas ainda estão aparecendo no Google ou Bing. Não é bom, você ainda não estava pronto com seu novo design de site e agora está listado nos mecanismos de pesquisa. O que se passa aqui?

indexado por crawlers block

existem alguns conceitos para entender, e o primeiro é a diferença entre ser listado nos resultados do mecanismo de pesquisa e o de realmente ser indexado. Como muitas vezes pensamos que precisamos que nosso site seja indexado antes que ele bloqueie os rastreadores da web e não apareça nos resultados da pesquisa, certo? Bem, não exatamente.

Nish Stephen Nishanth Stephen Google ainda pode decidir rastrear e, eventualmente, indexar o site com base em informações externas, como links de entrada, que é relevante.

lembre-se de que existem muitas maneiras de os URLs serem descobertos e rastreados na internet. Incluindo, claro, um dos mais óbvios que é a descoberta por meio de links apontando para o seu URL. Mesmo que os robôs.o arquivo txt disse a essas aranhas robôs para obedecer ao não permitir que você coloque no Arquivo, seu URL ainda pode ser indexado. O Google deixa esse ponto muito claro, leia mais aqui: http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449

Matt Cutts explica URLs Uncrawled nos resultados da pesquisa

se houver links a seguir apontando para o seu URL, O Google segue esses links. Portanto, o URL ainda aparece nos resultados da pesquisa. Portanto, ele pode aparecer nos resultados da Pesquisa, dependendo da pesquisa que você fez, mas pode não ser indexado. Aqui está um ótimo guia do Joost De Valk, para ajudá-lo a garantir que seus URLs não sejam indexados.

infográfico dicas rápidas como bloquear rastreadores da web

.bloqueie os robôs rastreadores da web.txt

não permitir em robôs.TXT para bloquear rastreadores

o que realmente acontece quando usamos os robôs.arquivo txt para bloquear robôs. Como você pode ver nesta imagem, ele está dizendo Por que uma descrição não está disponível. O url do site ainda é descoberto, mas não mostra a descrição.

o snippet do google bloqueou robôs txt

Barry Schwartz relatou um trecho de pesquisa descritivo para quando bloqueado pelos robôs.arquivo txt. O Google começou a mostrar esses trechos de pesquisa descritivos para quando não pode mostrar um resultado descritivo, em 2012.

é comumente incompreendido que usar essa abordagem impedirá que seu site entre nos resultados da pesquisa. No entanto, como você está realmente bloqueando o rastreador de acessar o URL, isso significa apenas que ele não pode descrever o que está nessa página.

Sha MenzSha Menz Em poucas palavras – Fecho a porta da frente e não parar as pessoas de escalada em uma janela aberta 🙂

Meu post favorito de todos os tempos foi escrito por Lindsay Wassell há muito tempo atrás, mas ainda é verdade https://moz.com/blog/restricting-robot-access-for-improved-seo

**Tenha cuidado para não use nofollow sem uma reflexão cuidadosa

também É conhecido que a página de seu site seja indexado quando a página é compartilhada, e, como mencionado por Tony abaixo pelo G+ botões

Tony McCreathTony McCreath me lembro que em algum ponto, o Google afirmou que iria substituir essas pedidos se outros sinais forem contrariados. Foi a presença de um botão G+. Outras coisas como a canonização também podem confundir as coisas.

robôs.o txt não permite o acesso a um URL, ele não o impede de ser adicionado ao índice de pesquisa. Ele apenas impede que seu conteúdo seja usado. A meta tag noindex permite que uma página seja rastreada e tecnicamente seja indexada, mas não deve ser mostrada nos resultados da pesquisa. Nofollow é uma coisa diferente.

uma maneira mais confiável de garantir que seu URL não apareça nos resultados da pesquisa é usando a tag meta robots noindex.

Meta robots tag para interromper a listagem de URL

para garantir que suas páginas não apareçam nos mecanismos de pesquisa, você precisará pensar cuidadosamente sobre indexá-las. Portanto, evitar listar seu URL nos resultados da pesquisa é usar a tag meta robots. Como este:

meta robots tag nofollow noindex

vou usar o abaixo tag para permitir que mecanismos de pesquisa para acompanhar e passar o link de capital, mas noindex páginas:

meta robots tag noindex siga

João S. BritsiosJohn S. Britsios A única diferença entre robôs.txt e meta noindex, nofollow é que, com robôs, os bots não podem acessar a página e, com o meta, podem acessar a página, mas não podem passar a equidade pelos links da página. E a segunda opção cria páginas pendentes (nós). Se você usar as diretivas meta, você deve usar noindex, siga. Então você terá as coisas certas.

se você não tiver nenhuma tag meta robots especificada em seu site, ela será padrão para indexar, siga. Que é essencialmente o mesmo que especificando esta tag:

meta robots tag index seguir

danny sullivanmais informações podem ser encontradas em detalhes. Danny Sullivan Guia: Meta Robots Tag 101

Danny disse: A meta robots tag foi um padrão aberto criado há mais de uma década e projetado inicialmente para permitir que os autores de páginas para evitar que a página de indexação. Ao longo dos anos, vários mecanismos de pesquisa adicionaram suporte adicional à tag.

o cabeçalho HTTP X-Robots-Tag

outra maneira mais fácil de implementar isso em todo o site é usar o cabeçalho HTTP X-Robots-Tag. Você adiciona isso ao seu .htaccess:

Isso funciona para servidores Apache com mod_headers habilitado. Depois que essa linha for adicionada, ela funcionará para todo o site.

novamente, o que isso significa é que o site é efetivamente indexado, mas não aparece nos resultados da pesquisa.

proteção por senha para bloquear rastreadores da web

se você realmente deseja impedir que os rastreadores da web acessem e indexem seu site e apareçam nos resultados nos resultados da pesquisa, proteja seu site com senha. É muito fácil implementar um .senha htaccess para que nenhum rastreador possa prosseguir. Isso garantirá que nada protegido por senha seja rastreado e nunca chegue ao índice.

Dawn Anderson Dawn Anderson XML sitemaps e outros links internos. Links para sites de teste parecem ser áreas onde você vê isso muito. Melhor bloquear sites de teste com login de senha ou listas de inclusão de IP definidas em arquivos de configuração. É claro que, se IPs dinâmicos são a mistura fica um pouco mais problemático

Mais relacionados com rastreamento e indexação de recursos

Compreensão robots e crawlers, e muitos dos detalhes de como estes rastreamento teoria funciona, pode dar a você uma vantagem como uma de SEO. Aqui estão alguns links para ótimos recursos para saber mais:

  • do Google meta tag Robots e X-Robots-Tag HTTP especificações de cabeçalho
  • Rastreamento Efficiencey no SEMrush ao Amanhecer Aderson
  • Google Webmasters hangouts

Pedro Mead acções mais de 20 anos de experiência em suporte Digital e como o WordPress SEO Consultor. Peter extrai mais conhecimento e experiência de seu envolvimento como apresentador de Webinar da SEMrush e co-organizador do Melbourne SEO Meetup. Escrevendo artigos com base em sua experiência analítica e estratégica prática. Peter é apaixonado por contribuir para o sucesso do cliente e a melhoria da comunidade de SEO mais ampla.

Pedro pode ser encontrado em alguns destes sites:

Hospedagem do SEMrush Australiano de Pesquisa de Marketing Academia Webinar: https://www.semrush.com/user/145846945/
WordPress SEO Consultor: Pedro Mead é https://petermead.com/
Co-Organizador: Melbourne SEO Meetup https://www.meetup.com/Melbourne-SEO/

Mais informações Sobre Peter Mead

Leave a comment

O seu endereço de email não será publicado.