credeți că punerea regulilor de interzicere în roboții voștri.txt va opri site-ul dvs. să apară în motoarele de căutare. Deci, plasați următoarele în roboții dvs.fișier txt pentru a bloca crawlerele web:

roboți txt interzice

păianjenul se va târî
acest lucru ar trebui să blocheze toți roboții să se târască corect? … ai dreptate. Și apoi descoperi într-o etapă ulterioară paginile dvs. sunt într-un fel încă apar în Google sau Bing. Nu este bine, nu ați fost încă pregătit cu noul dvs. design de site, iar acum este listat în motoarele de căutare. Ce se întâmplă aici?

indexate de crawlere bloc

există câteva concepte pentru a înțelege, și primul este diferența dintre fiind enumerate în rezultatele motorului de căutare și că de fapt fiind indexate. Deoarece de multe ori credem că avem nevoie ca site-ul nostru să fie indexat înainte ca acesta să blocheze crawlerele web și să nu apară în rezultatele căutării, nu? Ei bine, nu chiar.

Nish Stephen Nishanth Stephen Google poate decide în continuare să acceseze cu crawlere și în cele din urmă index site-ul pe baza informațiilor externe, cum ar fi link-uri de intrare, că este relevant.

amintiți-vă că există multe modalități prin care adresele URL pot fi descoperite și accesate cu crawlere pe internet. Inclusiv, desigur, una dintre cele mai evidente, care este descoperirea prin link-uri care indică adresa URL. Deci, chiar dacă roboții.fișierul txt le-a spus acelor păianjeni robot să se supună interzicerii pe care o puneți în fișier, adresa URL poate fi indexată în continuare. Google face acest punct foarte clar, citiți mai multe aici: http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449

Matt Cutts explică URL-urile Necrawled în rezultatele căutării

dacă există linkuri de urmărire care indică adresa URL, atunci Google urmează aceste linkuri. Deci, adresa URL apare încă în rezultatele căutării. Deci, s-ar putea să apară în rezultatele căutării dvs., în funcție de căutarea pe care ați făcut-o, dar este posibil să nu fie indexată. Iată un ghid excelent de la Joost De Valk, pentru a vă ajuta să vă asigurați că adresele URL nu sunt indexate.

Infographic sfaturi rapide cum de a bloca crawlerele web

.blocați roboții crawlerelor web.Txt

interzice în roboți.txt pentru a bloca crawlerele

ce se întâmplă de fapt atunci când folosim roboții.fișier txt pentru a bloca roboți. După cum puteți vedea în această imagine, vă spune de ce o descriere nu este disponibilă. Url-ul site-ului este încă descoperit, dar nu arată descrierea.

Google fragment blocat roboți txt

Barry Schwartz a raportat pe un fragment de căutare descriptiv pentru atunci când blocat de roboți.fișier txt. Google a început să afișeze aceste fragmente de căutare descriptive atunci când nu poate afișa un rezultat desciptiv, încă din 2012.

este de obicei înțeles greșit că utilizarea acestei abordări va împiedica site-ul dvs. să intre în rezultatele căutării. Cu toate acestea, deoarece blocați de fapt crawlerul să acceseze adresa URL, înseamnă doar că nu poate descrie ce se află pe acea pagină.

Sha Menz Sha Menz pe scurt-blocarea ușii din față nu oprește oamenii să urce într-o fereastră deschisă

postarea mea preferată din toate timpurile a fost scrisă de Lindsay Wassell cu foarte mult timp în urmă, dar este încă adevărată https://moz.com/blog/restricting-robot-access-for-improved-seo

**aveți grijă să nu utilizați nofollow fără o gândire atentă

este, de asemenea, cunoscut faptul că pagina de pe site-ul dvs. se indexează atunci când pagina dvs. este partajată și, după cum menționează Tony de mai jos, prin butoanele G+

Tony McCreath Tony McCreath îmi amintesc la un moment dat Google a declarat că acestea ar suprascrie aceste cereri în cazul în care alte semnale contrazise. A fost prezența unui buton G+. Alte lucruri, cum ar fi canonicalizarea, pot, de asemenea, să confunde lucrurile.

roboți.txt interzice accesul la o adresă URL, nu oprește adăugarea acesteia la indexul de căutare. Se oprește doar conținutul său fiind utilizat. Tag-ul meta noindex să o pagină obține crawled și punct de vedere tehnic este indexat, dar nu trebuie să fie afișate în rezultatele căutării. Nofollow este un lucru diferit.

o modalitate mai fiabilă de a vă asigura că adresa URL nu apare în rezultatele căutării este prin utilizarea etichetei meta robots noindex.

meta robots tag to stop url listing

pentru a vă asigura că paginile dvs. nu apar motoarele de căutare, va trebui să vă gândiți cu atenție la indexarea acestora. Deci, împiedicați listarea URL-ului dvs. în rezultatele căutării este să utilizați eticheta meta robots. Ca aceasta:

meta roboți tag noindex nofollow

voi folosi tag-ul de mai jos pentru a permite motoarelor de căutare să urmeze și să treacă link-ul de capital, dar noindex paginile:

meta roboți tag noindex urmați

John S. Britsios John S. Britsios singura diferență între roboți.txt și meta noindex, nofollow este că, cu roboți, roboții nu pot accesa deloc pagina și cu meta pot accesa pagina, dar nu pot trece echitatea prin linkurile paginii. Și a doua opțiune creează pagini suspendate (noduri). Dacă utilizați directivele meta,ar trebui să utilizați noindex, urmați. Atunci vei avea lucrurile bine.

dacă nu aveți nicio etichetă meta robots specificată pe site-ul dvs., atunci va fi implicit index, urmați. Ceea ce este în esență același lucru cu specificarea acestei etichete:

 meta robots tag index urmați

danny sullivanmai multe informații pot fi găsite în detaliu. Ghidul lui Danny Sullivan: Meta Robots Tag 101

Danny a spus: meta robots tag a fost un standard deschis creat în urmă cu peste un deceniu și conceput inițial pentru a permite autorilor de pagini să împiedice indexarea paginilor. De-a lungul anilor, diverse motoare de căutare au adăugat suport suplimentar etichetei.

antetul HTTP X-Robots-Tag

o altă modalitate mai ușoară de a implementa acest lucru la nivel de sitewide este utilizarea antetului HTTP X-Robots-Tag. Adăugați acest lucru la dvs.fișier htaccess:

aceasta funcționează pentru serverele Apache cu mod_headers activat. Odată ce această linie este adăugată, va funcționa pentru întregul site.

din nou, ceea ce înseamnă acest lucru este site-ul este indexat în mod eficient, dar nu apare în rezultatele căutării.

protecție prin parolă pentru a bloca crawlerele web

dacă doriți cu adevărat să blocați crawlerele web să acceseze și să indexeze site-ul dvs. și să apară în rezultate în rezultatele căutării, Protejați-vă prin parolă site-ul. Este destul de ușor să pună în aplicare o .htaccess parola, astfel încât nici un crawler poate continua. Acest lucru vă va asigura că nimic protejat prin parolă nu va fi accesat cu crawlere și nu va intra niciodată în index.

Dawn Anderson Dawn Anderson XML sitemap-uri și alte link-uri interne. Linkurile către site-urile de testare par a fi zone în care vedeți acest lucru foarte mult. Cel mai bun pentru a bloca site-uri de testare, fie cu login parola sau liste de includere IP definite în fișierele de configurare. Desigur, dacă IP-urile dinamice sunt în amestec, devine un pic mai problematic

mai multe resurse legate de crawling și indexare

înțelegerea roboților și a crawlerelor și multe dintre detaliile mai fine ale modului în care funcționează aceste teorii de crawlere, vă pot oferi un avantaj ca SEO. Iată câteva linkuri către resurse excelente pentru a afla mai multe:

  • meta tag-ul Google roboți și X-roboți-tag http antet specificații
  • Crawl Efficiencey pe SEMrush de Dawn Aderson
  • Google webmasteri hangouts

Peter Mead împărtășește peste 20 de ani de experiență în domeniul Digital și în calitate de consultant SEO WordPress. Peter atrage cunoștințe și experiență suplimentare din implicarea sa ca gazdă webinar SEMrush și co-organizator al Melbourne SEO Meetup. Scrierea articolelor bazate pe experiența sa analitică și strategică. Peter este pasionat să contribuie la succesul clienților și la îmbunătățirea comunității SEO mai largi.

Peter pot fi găsite pe unele dintre aceste site-uri:

gazduieste SEMrush Australian Search Marketing Academy Webinar: https://www.semrush.com/user/145846945/
WordPress SEO Consultant: Peter Mead it https://petermead.com/
Co-organizator: Melbourne SEO Meetup https://www.meetup.com/Melbourne-SEO/

mai multe informații despre Peter Mead

Leave a comment

Adresa ta de email nu va fi publicată.