luulet, että kieltosääntöjen laittaminen robotteihisi.txt lopettaa sivustosi näkymisen hakukoneissa. Joten laitat seuraavat teidän robotteja.txt-tiedosto, joka estää Web-telaketjut:

robots txt disallow

hämähäkki ryömii
tämän pitäisi estää kaikkia robotteja ryömimästä oikein? – aivan. Ja sitten huomaat myöhemmässä vaiheessa sivut ovat jotenkin vielä näy Google tai Bing. Ei hyvä, et ollut valmis uuden sivuston suunnittelu vielä, Ja nyt se on lueteltu hakukoneet. Mitä täällä tapahtuu?

indeksoitu telaketjulohko

on muutamia käsitteitä, jotka on ymmärrettävä, ja ensimmäinen on ero hakukoneen tuloksissa olevan listauksen ja varsinaisen indeksoinnin välillä. Koska olemme usein sitä mieltä, että tarvitsemme sivustomme indeksoidaan ennen kuin se estää web indeksoijat, eikä näy hakutuloksissa oikein? Ei oikeastaan.

Nish StephenNishanth Stephen Google voi vielä päättää ryömiä ja lopulta indeksoida sivuston ulkoisten tietojen, kuten saapuvien linkkien, perusteella, että sillä on merkitystä.

muista, että on monia tapoja löytää URL-osoitteita ja ryömiä internetissä. Mukaan lukien tietenkin yksi ilmeisin, joka on löytö kautta linkkejä osoittaa URL. Joten vaikka robotit.txt tiedosto on kertonut niille robotti hämähäkit totella Disallow laitat tiedoston, URL voidaan silti indeksoida. Google tekee tämän asian hyvin selväksi, Lue lisää täältä: http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449

Matt Cutts selittää Raaputtamattomat URL-osoitteet hakutuloksissa

jos on URL-osoitteesi osoittavia seurauslinkkejä, Google Seuraa näitä linkkejä. URL näkyy siis edelleen hakutuloksissa. Joten se saattaa näkyä hakutuloksissa, riippuen siitä, mitä hakua teit, mutta se ei välttämättä ole indeksoitu. Tässä on hyvä opas Joost de Valk, auttaa sinua varmistamaan, että URL eivät saa indeksoitu.

Infographic quick tips how to block web crawlers

.block web crawlers robots.txt

Disallow in robots.txt estää telaketjut

mitä oikeasti tapahtuu, kun käytämme robotteja.txt tiedosto estää robotteja. Kuten näette tässä kuvassa, se kertoo, miksi kuvaus ei ole saatavilla. Sivuston url-osoite on vielä löydetty, mutta se ei näytä kuvausta.

google snippet blocked robots txt

Barry Schwartz raportoi kuvaavasta hakupätkästä sille, milloin robotit estävät sen.txt-tiedosto. Google alkoi näyttää näitä kuvailevia hakupätkiä, kun se ei voi näyttää desciptive-tulosta, vuonna 2012.

on yleisesti ymmärretty väärin, että tämän lähestymistavan käyttäminen estää sivustoasi pääsemästä hakutuloksiin. Kuitenkin koska olet todella estää crawler pääsemästä URL, se vain tarkoittaa, että se ei voi kuvata, mitä on, että sivu.

Sha MenzSha Menz pähkinänkuoressa-etuoven lukitseminen ei estä ihmisiä kiipeämästä avoimeen ikkunaan 🙂

kaikkien aikojen suosikkipostaukseni kirjoitti Lindsay Wassell hyvin kauan sitten, mutta pitää silti paikkansa https://moz.com/blog/restricting-robot-access-for-improved-seo

**ole varovainen, ettet käytä nofollow ’ ta harkitsematta

on myös tunnettua, että sivustosi sivu indeksoidaan, kun sivu on jaettu, ja kuten Tony on maininnut alla g + – painikkeilla

Tony McCreathTony McCreath muistan jossain vaiheessa Google ilmoitti, että he ohittavat nämä pyynnöt, jos muut signaalit ovat ristiriidassa. Se oli g+ – painikkeen läsnäolo. Myös muut asiat, kuten kanonisointi, voivat sekoittaa asioita.

robotit.txt estää URL-osoitteen käytön, se ei estä sen lisäämistä hakuindeksiin. Se vain lopettaa sen sisällön käytön. Noindex meta tag let ’ s sivu saada indeksoitu ja teknisesti se on indeksoitu, mutta se ei näy hakutuloksissa. Nofollow on eri asia.

luotettavampi tapa varmistaa, ettei URL näy hakutuloksissa on meta robots noindex-tagin avulla.

Metarobotit tag lopettaa URL-listauksen

varmistaaksesi, että sivuillasi ei näy hakukoneita, sinun tulee miettiä tarkkaan niiden indeksointia. Joten estää listaus URL hakutuloksissa on käyttää meta robots tag. Näin:

meta robotit tag noindex nofollow

käytän alla olevaa tagia, jotta hakukoneet voivat seurata ja siirtää linkin osakkeita, mutta noindex sivut:

meta robots tag noindex seuraa

John S. BritsiosJohn S. Britsios ainoa ero robottien välillä.txt ja meta noindex, nofollow on, että roboteilla botit eivät pääse sivulle lainkaan ja metalla ne pääsevät sivulle, mutta eivät voi siirtää pääomaa sivun linkkien kautta. Ja toinen vaihtoehto Luo roikkuvat sivut (solmut). Jos käytät meta direktiivit, sinun pitäisi käyttää noindex, seuraa. Silloin asiat ovat kohdallaan.

jos sivustossasi ei ole määriteltyä metarobotit-tagia, oletusarvo on index, follow. Joka on olennaisesti sama kuin tägin määrittely:

 meta robots tag index follow

danny SullivanLisätietoja löytyy tarkemmin. Danny Sullivan ’ s Guide: Meta Robots Tag 101

Danny sanoi: meta robots tag oli yli vuosikymmen sitten luotu avoin standardi, joka suunniteltiin alun perin sallimaan sivun tekijöiden estää sivun indeksointi. Vuosien varrella eri hakukoneet ovat lisänneet tunnisteeseen lisätukea.

X-Robots-Tag HTTP-otsikko

toinen helpompi tapa toteuttaa tämä sitewide-tasolla on käyttää X-Robots-Tag HTTP-otsikkoa. Lisää tämä omaasi .htaccess-tiedosto:

tämä toimii Apache palvelimille mod_headers käytössä. Kun tämä rivi on lisätty, se toimii koko sivuston.

taas tämä tarkoittaa sitä, että sivusto on tehokkaasti indeksoitu, mutta ei näy hakutuloksissa.

salasanasuojaus estää web-indeksoijat

jos todella haluat estää web-indeksoijia pääsemästä sivustoosi ja indeksoimasta sitä ja näkymästä hakutuloksissa, suojaa sivustosi salasanalla. Se on melko helppo toteuttaa .htaccess salasana, jotta ei crawler voi edetä. Tämä varmistaa, että mitään, joka on suojattu salasanalla ryömitään, eikä koskaan tehdä sitä indeksiin.

Dawn AndersonDawn Anderson XML-sivukarttoja ja muita sisäisiä linkkejä. Linkit testaussivustoille näyttävät olevan alueita, joilla tätä näkee paljon. Paras estää testaus sivustoja joko salasanalla kirjautuminen Tai IP sisällyttäminen luettelot määritelty config tiedostoja. Tietenkin, jos dynaamiset IP: t ovat yhdistelmässä, se saa hieman ongelmallisemman

enemmän liittyvät indeksointi-ja indeksointiresurssit

robottien ja ryömintäteorian ymmärtäminen, ja monet hienoimmista yksityiskohdista, miten nämä ryömintäteoria toimii, voivat antaa sinulle edun SEO: na. Tässä muutamia linkkejä suuriin resursseihin lisätietoja:

  • Googlen robottien meta-tunniste ja X-robotit-Tag HTTP-otsikkoerittelyt
  • Crawl Efficiencey on SEMrush By Dawn Aderson
  • Google Webmasters hangouts

Peter Mead jakaa yli 20 vuoden kokemuksen digitaalisesta ja WordPress SEO konsultti. Peter ammentaa lisää tietoa ja kokemusta osallistumisestaan SEMrush-webinaarin isäntänä ja Melbourne SEO Meetupin järjestäjänä. Kirjoittaminen artikkeleita perustuu hänen käytännön analyyttinen ja strateginen kokemus. Peter haluaa intohimoisesti edistää asiakkaiden menestystä ja laajemman SEO-yhteisön parantamista.

Peter löytyy joiltain näiltä sivustoilta:

Hosting the SEMrush Australian Search Marketing Academy Webinar: https://www.semrush.com/user/145846945/
WordPress SEO Consultant: Peter Mead iT https://petermead.com/
Co-Organiser: Melbourne SEO Meatup https://www.meetup.com/Melbourne-SEO/

lisätietoja Peter meadista

Leave a comment

Sähköpostiosoitettasi ei julkaista.