あなたはあなたのロボットに禁止ルールを置くことを考えています。txtは、検索エンジンに表示されるあなたのサイトを停止します。 だから、あなたはあなたのロボットに次のものを置きます。webクローラをブロックするtxtファイル:

ロボット-ロボット-ロボット-ロボット-ロボット-ロボット

蜘蛛は這う
これは全てのロボットが這うのをブロックするはずですよね? …右を誤る。 そして、あなたは後の段階であなたのページが何らかの形でまだGoogleやBingに表示されていることを発見します。 よくない、あなたの新しい場所の設計とまだ準備ができていなかったし、今調査エンジンにリストされている。 ここで何が起こってるの?

クローラーによるインデックスブロック

理解すべきいくつかの概念があり、最初は検索エンジンの結果にリストされているのと実際にインデ 私達は頻繁に私達が網のクローラーを妨げ、調査の結果の権利で示さない前に私達の場所が指示されることを必要とすると考えるのでか。 正確にはそうではありません。

Nishanth StephenNishanth Stephen Googleは、着信リンクなどの外部情報に基づいてサイトをクロールし、最終的にインデックス化することを決定することができます。

インターネット上でUrlを発見してクロールする方法はたくさんあることを覚えておいてください。 もちろん、あなたのURLを指すリンクを介した発見である最も明白なものの1つを含みます。 そうであってもロボット場合。txtファイルはあなたがファイルに置く不許可に従うようにそれらのロボットくもにあなたのURLまだ指示することができることを言った。 Googleはこの点を非常に明確にしています。: http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449

Matt Cuttsは、検索結果に未クロールのUrlを説明しています

あなたのURLを指すフォローリンクがある場合、Googleはそれらのリンクをたどります。 そのため、URLは検索結果に表示されます。 そのため、どの検索を行ったかによっては、検索結果に表示されることがありますが、実際には索引付けされていない可能性があります。 ここでは、あなたのUrlがインデックスされていないことを確認するために、Joost de Valkからの素晴らしいガイドです。

インフォグラフィック簡単なヒントwebクローラーをブロックする方法

ブロックウェブクローラーロボット。txt

ロボットでは許可しません。クローラーをブロックするtxt

ロボットを使用すると実際に何が起こりますか。ロボットをブロックするtxtファイル。 あなたがこの画像で見ることができるように、それは説明が利用できない理由をあなたに伝えています。 Webサイトのurlはまだ検出されていますが、説明は表示されません。

google snippetブロックされたロボットtxt

Barry Schwartzは、ロボットによってブロックされたときの説明的な検索スニペットについて報告しました。txtファイル。 Googleは、2012年に、説明的な結果を表示できない場合のために、これらの説明的な検索スニペットを表示し始めました。

このアプローチを使用すると、サイトが検索結果に入るのを止めることが一般的に誤解されています。 しかし、実際にクローラーがURLにアクセスするのをブロックしているので、そのページに何があるのかを記述できないことを意味します。

Sha Menzsha Menz一言で言えば–フロントドアをロックすると、開いた窓に登る人々を停止しません♥

すべての時間の私のお気に入りの投稿は、非常に長い時間前にLindsay Wassellhttps://moz.com/blog/restricting-robot-access-for-improved-seo

**nofollowを慎重に考えずに使用しないように注意してください

あなたのページが共有されると、サイト上のページがインデックス化されることも知られてい

Tony McCreathTony McCreath私はある時点でGoogleがこれらを上書きすると述べたことを思い出します 他の信号が矛盾している場合は要求します。 それはG+ボタンの存在でした。 正規化のような他のものも物事を混乱させる可能性があります。

txtはURLへのアクセスを許可せず、検索インデックスに追加されるのを停止しません。 それはちょうどそのコンテンツが使用されて停止します。 Noindexメタタグは、ページがクロールされ、技術的にはインデックスが作成されますが、検索結果には表示されません。 Nofollowは別のものです。

URLが検索結果に表示されないようにするより信頼性の高い方法は、meta robots noindexタグを使用することです。

メタロボットタグURLリストを停止する

あなたのページが検索エンジンに表示されないことを確認するには、それらのインデックス作成につ だから、検索結果にあなたのURLをリスト防ぐことは、メタロボットタグを使用することです。 このように:

meta robots tag noindex nofollow

以下のタグを使用して、検索エンジンがリンクエクイティをフォローして渡すことができますが、ページをnoindexします:

メタロボットタグnoindexフォロー

John S.Britsiosjohn S.Britsiosロボット間の唯一の違い。txtとmeta noindex、nofollowは、ロボットではボットはページにまったくアクセスできず、メタではページにアクセスできますが、ページのリンクを介して株式を渡すことは そして、第二のオプションは、ダングリングページ(ノード)を作成します。 メタディレクティブを使う場合は、noindex,followを使うべきです。 その後、あなたは正しいことを持つことになります。

サイトにmeta robotsタグが指定されていない場合は、デフォルトでindex,followになります。 これは基本的にこのタグを指定するのと同じです:

メタロボットタグインデックスフォロー

danny sullivan詳細はこちらをご覧ください。 Danny Sullivan’s Guide:Meta Robots Tag101

Danny said:meta robots tagは、10年以上前に作成されたオープンスタンダードであり、最初はページ作成者がページインデックスを防ぐことを可能にするように設計されていました。 長年にわたって、さまざまな調査エンジンは札に付加的なサポートを加えた。

X-Robots-Tag HTTPヘッダー

これをサイト全体レベルで実装するもう一つの簡単な方法は、X-Robots-Tag HTTPヘッダーを使用することです。 あなたはあなたにこれを追加します。htaccessファイル:

これはmod_headersが有効になっているApacheサーバーで動作します。 この行が追加されると、サイト全体で機能します。

ここでも、これが意味することは、サイトが効果的にインデックス化されているが、検索結果には表示されないことです。

Webクローラーをブロックするパスワード保護

webクローラーがサイトにアクセスしてインデックスを作成し、検索結果の結果に表示されないようにするには、サイトをパスワードで保護します。 Aを実装するのは非常に簡単です。htaccessのパスワードは、クローラーが続行できないようにします。 これにより、パスワードで保護されているものはクロールされず、インデックスには書き込まれません。

Dawn AndersonDawn Anderson XMLサイトマップおよびその他の内部リンク。 テストサイトへのリンクは、あなたがこれをたくさん見る領域のようです。 設定ファイルで定義されたパスワードログインまたはIP包含リストのいずれかを使用してテストサイトをブロックするのに最適です。 もちろん、動的Ipが混在している場合、もう少し問題が発生します

より関連するクロールとインデックス作成リソース

ロボットとクローラ、およびこれらのクロール理論がどのように機能するかの詳細な詳細の多くを理解することは、SEOとしての利点を与えることができます。 ここでは、より多くを学ぶための素晴らしいリソースへのいくつかのリンクがあります:

  • GoogleのロボットのメタタグとX-Robots-Tag HTTPヘッダー仕様
  • Dawn AdersonによるSEMrush上のクロール効率
  • Googleウェブマスターズハングアウト

ピーター*ミードは、デジタルで、WordPressのSEOコンサルタントとして20年以上の経験を共有しています。 ピーターはSEMrushのウェビナーのホストおよびメルボルンSEOのMeetupの共同オーガナイザーとして彼の介入からそれ以上の知識そして経験を引く。 彼の実践的な分析と戦略的な経験に基づいて記事を書く。 Peterは、クライアントの成功とより広範なSEOコミュニティの改善に貢献することに情熱を持っています。

Peterは、これらのサイトのいくつかで見つけることができます:

SEMrush Australian Search Marketing Academyウェビナーをホスト:https://www.semrush.com/user/145846945/
WordPress SEOコンサルタント:Peter Mead iThttps://petermead.com/
共同オーガナイザー:Melbourne SEO Meetuphttps://www.meetup.com/Melbourne-SEO/

Peter Mead

Leave a comment

メールアドレスが公開されることはありません。