úgy gondolja, hogy a tiltási Szabályokat a robotokba helyezi.a txt leállítja webhelyének megjelenését a keresőmotorokban. Tehát a következőket helyezi a robotjaiba.TXT fájl a webbejárók blokkolásához:

robotok txt disallow

a pók feltérképezi
ennek meg kell akadályoznia az összes robot mászását? … err jobb. Aztán egy későbbi szakaszban rájössz, hogy az oldalaid valahogy még mindig megjelennek a Google-ban vagy a Bingben. Nem jó, még nem voltál kész az új webhelytervezéssel, és most már szerepel a keresőmotorokban. Mi folyik itt?

robotok által indexelt blokk

néhány fogalmat meg kell érteni, és az első a különbség a keresőmotor eredményeiben való Felsorolás és a tényleges indexelés között. Mivel gyakran azt gondoljuk, hogy a webhelyünket indexelni kell, mielőtt blokkolja a webbejárókat, és nem jelenik meg a keresési eredmények között? Nos, nem egészen.

Nish Stephen Nishanth Stephen a Google továbbra is dönthet úgy, hogy feltérképezi és végül indexeli a webhelyet külső információk, például bejövő linkek alapján, hogy releváns.

ne feledje, hogy számos módja van az URL-ek felfedezésének és feltérképezésének az interneten. Beleértve természetesen az egyik legnyilvánvalóbb, amely a felfedezés az URL-re mutató linkeken keresztül. Még akkor is, ha a robotok.a txt fájl azt mondta azoknak a robotpókoknak, hogy engedelmeskedjenek a fájlba helyezett tiltásnak, az URL továbbra is indexelhető. A Google nagyon egyértelművé teszi ezt a pontot, itt olvashat bővebben: http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449

Matt Cutts elmagyarázza a nem beolvasott URL-eket a keresési eredmények között

ha vannak követési linkek, amelyek az Ön URL-jére mutatnak, akkor a Google követi ezeket a linkeket. Tehát az URL továbbra is megjelenik a keresési eredmények között. Tehát előfordulhat, hogy megjelenik a keresési eredmények között, attól függően, hogy milyen keresést végzett, de lehet, hogy valójában nincs indexelve. Itt van egy nagyszerű útmutató A Joost De Valk-tól, amely segít abban, hogy az URL-ek ne legyenek indexelve.

infografika gyors tippek a webbejárók blokkolásához

. blokkolja a webrobotok robotjait.txt

tiltsa le a robotokat.TXT a robotok blokkolásához

mi történik valójában, amikor a robotokat használjuk.TXT fájl a robotok blokkolásához. Mint látható ezen a képen, azt mondja, hogy miért nem áll rendelkezésre leírás. A webhely url-je még mindig megtalálható, de nem mutatja a leírást.

google kódrészlet blokkolt robotok txt

Barry Schwartz leíró Keresési kódrészletről számolt be, amikor a robotok blokkolták.txt fájl. A Google 2012-ben kezdte el megjeleníteni ezeket a leíró Keresési kivonatokat, amikor nem tud desciptív eredményt mutatni.

gyakran félreértik, hogy ennek a megközelítésnek a használata megakadályozza, hogy webhelye bekerüljön a keresési eredményekbe. Mivel azonban valójában blokkolja a bejáró hozzáférését az URL-hez, ez csak azt jelenti, hogy nem tudja leírni, mi található az oldalon.

Sha MenzSha Menz dióhéjban – a bejárati ajtó zárása nem akadályozza meg az embereket a nyitott ablakon mászásban ..

minden idők kedvenc bejegyzését Lindsay Wassell írta nagyon régen, de még mindig igazhttps://moz.com/blog/restricting-robot-access-for-improved-seo

**legyen óvatos, ne használja a nofollow-t gondos gondolkodás nélkül

az is ismert, hogy a webhelyén lévő oldal indexelésre kerül, amikor az oldalt megosztják, és amint azt Tony alább a G+ gombokkal említette

Tony McCreath Tony McCreath emlékszem egy bizonyos ponton a Google kijelentette, hogy felülírják ezeket kéri, ha más jelek ellentmondanak. Ez egy G+ gomb jelenléte volt. Más dolgok, mint például a kanonizálás, szintén megzavarhatják a dolgokat.

robotok.a txt letiltja az URL-hez való hozzáférést, nem akadályozza meg, hogy hozzáadják a keresési indexhez. Egyszerűen leállítja a tartalom használatát. A noindex meta tag let ‘ s a page get crawled és technikailag indexelve van, de nem jelenik meg a keresési eredmények között. A Nofollow egy másik dolog.

megbízhatóbb módja annak, hogy az URL ne jelenjen meg a keresési eredmények között a meta robots noindex címke használatával.

Meta robotok tag megállítani URL lista

annak érdekében, hogy az oldalak nem jelennek meg a keresőmotorok meg kell gondolni alaposan indexelés őket. Tehát ne adja meg URL-jét a keresési eredmények között, ha a meta robots címkét használja. Mint ez:

meta robotok címke noindex nofollow

az alábbi címkét használom, hogy lehetővé tegyem a keresőmotorok számára, hogy kövessék és átadják a link méltányosságát, de noindex az oldalakat:

meta robotok címke noindex kövesse

John S. Britsios John S. Britsios az egyetlen különbség a robotok között.a txt és a meta noindex,a nofollow az, hogy robotokkal a botok egyáltalán nem férnek hozzá az oldalhoz, a metával pedig hozzáférhetnek az oldalhoz, de nem tudják átadni a tőkét az oldal linkjein keresztül. A második lehetőség pedig lógó oldalakat (csomópontokat) hoz létre. Ha a meta irányelveket használja,akkor a noindex-et kell használnia, kövesse. Akkor minden rendben lesz.

ha nincs megadva meta robots címke a webhelyén, akkor alapértelmezés szerint index, kövesse. Ami lényegében megegyezik a címke megadásával:

 meta robotok tag index kövesse

danny sullivan További információ részletesen megtalálható. Danny Sullivan ‘ s Guide: Meta Robots Tag 101

Danny elmondta: a meta robots címke egy több mint egy évtizeddel ezelőtt létrehozott nyílt szabvány volt, amelyet eredetileg arra terveztek, hogy lehetővé tegye az oldalak szerzőinek az oldalak indexelésének megakadályozását. Az évek során a különféle keresőmotorok további támogatást nyújtottak a címkéhez.

az X-Robots-Tag HTTP fejléc

ennek egy másik egyszerűbb módja az X-Robots-Tag HTTP fejléc használata. Add hozzá ezt a .htaccess fájl:

ez működik az Apache szerverek mod_headers engedélyezve. Miután hozzáadta ezt a sort, az az egész webhelyen működni fog.

ez ismét azt jelenti, hogy a webhely hatékonyan indexelve van, de nem jelenik meg a keresési eredmények között.

jelszóvédelem a webbejárók blokkolásához

ha valóban meg szeretné akadályozni, hogy a webbejárók hozzáférjenek a webhelyéhez, indexeljék azt, és megjelenjenek a keresési eredmények között, jelszóval védje webhelyét. Ez elég egyszerű, hogy végre egy .htaccess jelszó, hogy egyetlen bejáró sem folytathassa. Ez biztosítja, hogy semmi jelszóval védett nem kerül feltérképezésre, és soha nem kerül be az indexbe.

Dawn Anderson Dawn Anderson XML webhelytérképek és egyéb belső linkek. Úgy tűnik, hogy a tesztelési webhelyekre mutató linkek olyan területek, ahol ezt sokat látja. A legjobb, ha blokkolja a tesztelési webhelyeket a konfigurációs fájlokban meghatározott jelszó-bejelentkezéssel vagy IP-felvételi listákkal. Természetesen, ha dinamikus IP-k vannak a keverékben, akkor egy kicsit problematikusabb lesz

további kapcsolódó feltérképezési és indexelési erőforrások

a robotok és a bejárók megértése, valamint a feltérképezési elmélet működésének számos finomabb részlete előnyt jelenthet SEO-ként. Íme néhány link a nagyszerű forrásokhoz, hogy többet megtudjon:

  • Google ‘ s Robots meta tag és X-Robots-Tag HTTP header SPECIFIKÁCIÓK
  • feltérképezési hatékonyság a SEMrush-on Dawn Aderson
  • Google webmesterek hangouts

Peter Mead több mint 20 éves tapasztalattal rendelkezik a digitális és a WordPress SEO tanácsadóként. Peter további ismereteket és tapasztalatokat szerez a SEMrush Webinar házigazdájaként és a Melbourne SEO Meetup társszervezőjeként való részvételéből. Cikkek írása gyakorlati analitikus és stratégiai tapasztalatai alapján. Peter szenvedélyesen hozzájárul az ügyfelek sikeréhez és a szélesebb SEO közösség fejlesztéséhez.

Peter megtalálható néhány ilyen oldalak:

tárhely a SEMrush Ausztrál Search Marketing Academy Webinar: https://www.semrush.com/user/145846945/
WordPress SEO tanácsadó: Peter Mead it https://petermead.com/
Társszervező: Melbourne SEO Meetup https://www.meetup.com/Melbourne-SEO/

További információ Peter Meadről

Leave a comment

Az e-mail-címet nem tesszük közzé.