Myslíte si, že vložení pravidel zákazu do robotů.txt zastaví váš web zobrazující se ve vyhledávačích. Takže do svých robotů umístíte následující.txt soubor pro blokování webových prohledávačů:

roboty txt zakázat

pavouk se bude plazit
to by mělo blokovat všechny roboty v procházení správně? … správně. A pak zjistíte, že v pozdější fázi se vaše stránky stále zobrazují v Google nebo Bing. Není to dobré, ještě jste nebyli připraveni na svůj nový design webu a nyní je uveden ve vyhledávačích. Co se to tu děje?

 indexováno prohledávacími moduly block

existuje několik konceptů, které je třeba pochopit, a první je rozdíl mezi uvedením ve výsledcích vyhledávače a tím, že je skutečně indexován. Protože si často myslíme, že potřebujeme, aby byl náš web indexován, než zablokuje webové prohledávače,a nezobrazí se ve výsledcích vyhledávání správně? No ne tak docela.

Nish StephenNishanth Stephen Google se stále může rozhodnout procházet a nakonec indexovat web na základě externích informací, jako jsou příchozí odkazy, že je relevantní.

nezapomeňte, že existuje mnoho způsobů, jak lze adresy URL objevit a procházet na internetu. Včetně samozřejmě jeden z nejviditelnějších, který je objev prostřednictvím odkazů směřujících na vaši adresu URL. Takže i když roboti.txt soubor řekl Ty robot pavouci poslouchat zakázat vložíte do souboru, vaše URL může být stále indexovány. Google dává tento bod velmi jasně najevo, přečtěte si více zde: http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449

Matt Cutts vysvětluje Uncrawled URL ve výsledcích vyhledávání

pokud existují odkazy, které odkazují na vaši adresu URL, Google tyto odkazy sleduje. URL se tedy stále zobrazuje ve výsledcích vyhledávání. Může se tedy zobrazit ve výsledcích vyhledávání v závislosti na tom, jaké vyhledávání jste provedli, ale nemusí být ve skutečnosti indexováno. Zde je skvělý průvodce od Joost de Valk, který vám pomůže zajistit, aby vaše adresy URL nebyly indexovány.

Infographic rychlé tipy, Jak blokovat webové prohledávače

.blokovat roboty pro webové prohledávače.txt

zakázat v robotech.txt blokovat prohledávače

co se vlastně stane, když používáme roboty.txt soubor pro blokování robotů. Jak vidíte na tomto obrázku, říká vám, proč popis není k dispozici. Adresa URL webu je stále objevena, ale nezobrazuje popis.

Google snippet blocked robots txt

Barry Schwartz informoval o popisném vyhledávacím úryvku, když byl roboti blokován.txt soubor. Google začal zobrazovat tyto popisné úryvky vyhledávání, když nemůže zobrazit popisný výsledek, již v roce 2012.

je často špatně pochopeno, že použití tohoto přístupu zabrání vašemu webu dostat se do výsledků vyhledávání. Protože však ve skutečnosti blokujete prohledávač v přístupu k adrese URL, znamená to, že nemůže popsat, co je na této stránce.

Sha MenzSha Menz v kostce-zamykání předních dveří nezastaví lidi lezení v otevřeném okně 🙂

Můj oblíbený příspěvek všech dob napsal Lindsay Wassell velmi dávno, ale stále platí https://moz.com/blog/restricting-robot-access-for-improved-seo

**dávejte pozor, abyste nepoužívali nofollow bez pečlivého přemýšlení

je také známo, že stránka na vašem webu se indexuje, když je vaše stránka sdílena, a jak uvádí Tony níže pomocí tlačítek G+

Tony McCreathTony McCreath vzpomínám si, že v určitém okamžiku Google uvedl, že by je přepsali požadavky, pokud jsou jiné signály v rozporu. Byla to přítomnost tlačítka G+. Jiné věci, jako je kanonizace, mohou také zmást věci.

roboti.txt zakazuje přístup k adrese URL, nezastaví ji přidávání do vyhledávacího indexu. Prostě přestane používat svůj obsah. Metaznačka noindex umožňuje procházení stránky a technicky je indexována, ale ve výsledcích vyhledávání se nezobrazuje. Nofollow je jiná věc.

spolehlivějším způsobem, jak zajistit, aby se vaše adresa URL neobjevila ve výsledcích vyhledávání, je použití značky meta robots noindex.

značka Meta robots pro zastavení výpisu URL

aby se vaše stránky neobjevily ve vyhledávačích, budete muset pečlivě přemýšlet o jejich indexování. Takže zabránit výpis URL ve výsledcích vyhledávání je použít značku meta roboty. Takhle:

meta robots tag noindex nofollow

použiji níže uvedenou značku, abych vyhledávačům umožnil sledovat a předávat vlastní odkaz, ale noindex stránky:

meta robots tag noindex sledovat

John s. BritsiosJohn s. Britsios jediný rozdíl mezi roboty.txt a meta noindex, nofollow je, že s roboty roboti nemají přístup na stránku vůbec a s meta mohou přistupovat na stránku, ale nemohou projít kapitál prostřednictvím odkazů na stránku. A druhá možnost vytvoří visící stránky (uzly). Pokud používáte meta direktivy, měli byste použít noindex, následovat. Pak budete mít věci správně.

pokud na vašem webu nemáte zadanou značku meta robotů, bude výchozí index, následovat. Což je v podstatě stejné jako zadání této značky:

meta robots tag index následovat

danny sullivanvíce informací lze nalézt v detailu. Danny Sullivan ‚ s Guide: Meta Robots Tag 101

Danny řekl: meta robots tag byl otevřený standard vytvořený před deseti lety a původně navržený tak, aby autorům stránek zabránil indexování stránek. V průběhu let přidaly různé vyhledávače ke značce další podporu.

hlavička X-Robots-Tag HTTP

dalším jednodušším způsobem, jak to implementovat na celostátní úrovni, je použití hlavičky X-Robots-Tag HTTP. Přidáte to do svého .soubor htaccess:

to funguje pro servery Apache s povolenými mod_headery. Jakmile je tento řádek přidán, bude fungovat pro celý web.

Opět platí, že to znamená, že web je efektivně indexován, ale neobjevuje se ve výsledcích vyhledávání.

Ochrana heslem Chcete-li blokovat webové prohledávače

pokud opravdu chcete blokovat webové prohledávače v přístupu a indexování vašich stránek a zobrazování ve výsledcích ve výsledcích vyhledávání, chránit vaše stránky heslem. Je to docela snadné realizovat .htaccess heslo, takže žádný crawler může pokračovat. Tím se ujistíte, že nic, co je chráněno heslem, nebude procházeno a nikdy se nedostane do indexu.

Dawn AndersonDawn Anderson XML Sitemap a další interní odkazy. Odkazy na testovací weby se zdají být oblasti, kde to vidíte hodně. Nejlepší je blokovat testovací weby buď pomocí přihlašovacích hesel nebo seznamů zahrnutí IP definovaných v konfiguračních souborech. Samozřejmě, pokud jsou dynamické IP adresy v mixu, je to trochu problematičtější

více souvisejících zdrojů pro procházení a indexování

pochopení robotů a prohledávačů a mnoho jemnějších podrobností o tom, jak tato teorie procházení funguje, vám může poskytnout výhodu jako SEO. Zde je několik odkazů na skvělé zdroje, kde se dozvíte více:

  • Google Robots meta tag a X-Robots-Tag HTTP header SPECIFIKACE
  • Crawl Efficiencey na SEMrush Dawn Aderson
  • Google Webmasters hangouts

Peter Mead sdílí více než 20 let zkušeností v oblasti digitální a jako WordPress SEO konzultant. Peter čerpá další znalosti a zkušenosti ze svého zapojení jako hostitel webináře SEMrush a spoluorganizátor Melbourne SEO Meetup. Psaní článků na základě jeho praktických analytických a strategických zkušeností. Peter je vášnivý přispívat k úspěchu klientů a zlepšování širší komunity SEO.

Peter lze nalézt na některých z těchto stránek:

Hosting SEMrush Australian Search Marketing Academy webinář: https://www.semrush.com/user/145846945/
WordPress SEO konzultant: Peter Mead it https://petermead.com/
spoluorganizátor: Melbourne SEO Meetup https://www.meetup.com/Melbourne-SEO/

více informací o Peter Mead

Leave a comment

Vaše e-mailová adresa nebude zveřejněna.