du tror at å sette tillat regler i robotene dine.txt vil stoppe nettstedet ditt dukke opp i søkemotorene. Så du plasserer følgende i robotene dine.txt-fil for å blokkere web crawlere:

roboter txt forby

edderkoppen vil krype
Dette bør blokkere alle roboter fra å krype rett? … feile rett. Og så oppdager du på et senere tidspunkt at sidene dine fremdeles vises I Google eller Bing. Ikke bra, du var ikke klar med ditt nye nettsteddesign ennå, og nå er det oppført i Søkemotorene. Hva skjer her?

 indeksert av robotsøkeprogrammet blokk

det er noen begreper å forstå, og den første er forskjellen mellom å være oppført i søkemotorresultater og at faktisk blir indeksert. Siden vi ofte tror at vi trenger vår side for å bli indeksert før det vil blokkere søkeroboter, og ikke vises i søkeresultatene rett? Vel ikke akkurat.

Nish Stephen Nishanth Stephen Google kan fortsatt bestemme seg for å gjennomgå og til slutt indeksere nettstedet basert på ekstern informasjon som innkommende lenker, at det er relevant.

Husk At Det er mange Måter For Nettadresser å bli oppdaget og gjennomsøkt på internett. Inkludert selvfølgelig en av de mest åpenbare som er oppdagelse via lenker som peker TIL NETTADRESSEN din. Så selv om robotene.txt-filen har fortalt de robot edderkopper å adlyde Forby du putter i filen, KAN URL fortsatt bli indeksert. Google gjør dette punktet veldig klart, les mer her: http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449

Matt Cutts forklarer Uncrawled Nettadresser i søkeresultatene

Hvis det er følgekoblinger som peker PÅ NETTADRESSEN din, Følger Google disse koblingene. SÅ URL vises fortsatt i søkeresultatene. Så det kan dukke opp i Søkeresultatene, avhengig av hvilket søk du gjorde, men det kan faktisk ikke bli indeksert. Her er en flott guide Fra Joost De Valk, for å hjelpe deg med å sikre At Nettadressene dine ikke blir indeksert.

infographic raske tips hvordan å blokkere web crawlere

. blokker web crawlers roboter.txt

Tillat I roboter.txt å blokkere crawlere

hva som faktisk skjer når vi bruker robotene.txt-fil for å blokkere roboter. Som du kan se på dette bildet, forteller det deg hvorfor en beskrivelse ikke er tilgjengelig. Webadressen er fortsatt oppdaget, men den viser ikke beskrivelsen.

 google snippet blokkerte roboter txt

Barry Schwartz rapporterte om en beskrivende søkebit for når blokkert av robotene.txt-fil. Google begynte å vise disse beskrivende søkebitene for når det ikke kan vise et desciptivt resultat, tilbake i 2012.

det er ofte misforstått at bruk av denne tilnærmingen vil stoppe nettstedet ditt fra å komme inn i søkeresultatene. Men siden du faktisk blokkerer crawleren fra Å få TILGANG TIL NETTADRESSEN, betyr det bare at det ikke kan beskrive hva som er på den siden.

Sha Menz Sha Menz I et nøtteskall-Låse døra stopper ikke folk klatring i et åpent vindu 🙂

min favoritt innlegg av all-time ble skrevet Av Lindsay Wassell en veldig lenge siden, men fortsatt gjelder https://moz.com/blog/restricting-robot-access-for-improved-seo

**Vær forsiktig så du ikke bruker nofollow uten nøye tanke

det er også kjent at siden på nettstedet ditt blir indeksert når siden din deles, og Som Nevnt av Tony nedenfor Av g + – knapper

Tony McCreath Tony McCreath jeg husker På et tidspunkt Google uttalt At De ville overstyre disse forespørsler om andre signaler motsagt. Det var tilstedeværelsen Av En G + – knapp. Andre ting som kanonisering kan også forvirre ting.

Roboter.txt forbyr tilgang TIL EN URL, betyr det ikke stoppe det blir lagt til søkeindeksen. Det stopper bare innholdet som brukes. Noindex meta tag la oss en side bli gjennomsøkt og teknisk er den indeksert, men den skal ikke vises i søkeresultatene. Nofollow er en annen ting.

en mer pålitelig måte å sikre AT NETTADRESSEN din ikke vises i søkeresultatene, er ved å bruke meta robots noindex-taggen.

Meta robots tag å stoppe URL listing

for å sikre at sidene ikke vises søkemotorene må du tenke nøye indeksere dem. Så hindre oppføring DIN URL i søkeresultatene er å bruke meta robots tag. Som dette:

meta robots tag noindex nofollow

jeg bruker under taggen for å tillate søkemotorer å følge og passere link equity, men noindex sidene:

meta robots tag noindex følg

John S. Britsios John S. Britsios Den eneste forskjellen mellom roboter.txt og meta noindex, nofollow er at med roboter kan botsene ikke få tilgang til siden i det hele tatt, og med metaen kan de få tilgang til siden, men kan ikke passere egenkapital gjennom koblingene på siden. Og det andre alternativet skaper dangling sider (noder). Hvis du bruker metadirektivene, bør du bruke noindex, følg. Da vil du ha ting riktig.

hvis du ikke har noen meta robots tag angitt på nettstedet ditt, vil det som standard indeksere, følge. Som i hovedsak er det samme som å spesifisere denne taggen:

 meta robots tag index følg

danny sullivan Mer info finner du i detalj. Danny Sullivans Guide: Meta Robots Tag 101

Danny sa: meta robots-taggen var en åpen standard opprettet for over ti år siden og designet først for å tillate sideforfattere å forhindre sideindeksering. Gjennom årene har ulike søkemotorer lagt til ekstra støtte til taggen.

X-Robots-Tag HTTP header

En annen enklere måte å implementere dette på et nettstedsnivå er Å bruke X-Robots-Tag HTTP header. Du legger dette til din .htaccess-fil:

dette fungerer For Apache-servere med mod_headers aktivert. Når denne linjen er lagt til, vil den fungere for hele nettstedet.

Igjen, hva dette betyr er at nettstedet er effektivt indeksert, men vises ikke i søkeresultatene.

Passordbeskyttelse for å blokkere søkeroboter

hvis du virkelig vil blokkere søkeroboter fra å få tilgang til og indeksere nettstedet ditt og vises i resultatene i søkeresultatene, passordbeskytt nettstedet ditt. Det er ganske enkelt a implementere .htaccess passord slik at ingen crawler kan fortsette. Dette vil sørge for at ingenting som er passordbeskyttet vil bli gjennomsøkt, og aldri gjøre det inn i indeksen.

Dawn Anderson Dawn Anderson XML sitemaps og andre interne lenker. Lenker til testing nettsteder synes å være områder der du ser dette mye. Best å blokkere testsider med enten passordinnlogging eller IP-inkluderingslister definert i config-filer. Selvfølgelig, hvis dynamiske Ip-Er er i blandingen, blir det litt mer problematisk

Mer relaterte kravlesøkings-og indekseringsressurser

Forståelse av roboter og crawlere, og mange av de finere detaljene om hvordan disse gjennomsøkingsteoriene fungerer, kan gi deg en fordel som EN SEO. Her er noen linker til gode ressurser for å lære mer:

  • googles Roboter metatag og X-Robots-Tag HTTP header spesifikasjoner
  • Gjennomsøkingseffektivitet På SEMrush Av Dawn Aderson
  • google webmasters hangouts

Peter Mead deler over 20 års erfaring I Digital OG Som WordPress SEO Konsulent. Peter trekker videre kunnskap og erfaring fra sitt engasjement Som SEMrush Webinar vert og en medarrangør Av Melbourne SEO Meetup. Skrive artikler basert på hans praktiske analytiske og strategiske erfaring. Peter er lidenskapelig om å bidra til kundesuksess og forbedring av det bredere SEO-fellesskapet.

Peter kan bli funnet på noen av disse nettstedene:

Hosting Semrush Australian Search Marketing Academy Webinar: https://www.semrush.com/user/145846945/
WordPress SEO Konsulent: Peter Mead iThttps://petermead.com/
Medarrangør: Melbourne SEO Meetuphttps://www.meetup.com/Melbourne-SEO/

Mer informasjon Om Peter Mead

Leave a comment

Din e-postadresse vil ikke bli publisert.