公式テキスト著者コラム

　検索エンジン対策は、外部サイトの被リンク獲得を目指す『外部施工』と、HTMLなどのサイトの内部に対して行う『内部施工』に分けられます。内部施工の１つに、サイトのクローリングを促すという対策があり、クローリングの仕組みを知るためには、まずクローラーについて理解する必要があります。

・クローラーとは

クローラーとは、インターネット上を巡回してWebサイトの検索順位を決める要素を収集するロボットのことです。英語の「crawl（這う）」を語源としています。自分のサイトを検索エンジンの検索結果に表示させたい場合、このクローラーに訪問してもらう必要があり、クローラーがインターネット上を巡回して情報を収集することをクローリングと呼びます。

・クローラーにはどんな種類があるのか

GoogleのGooglebot、BingのBingbot、百度（バイドゥ）のBaiduspiderなどがあります。

・検索順位が決まる仕組み

Googlebotを例にとって説明します。検索エンジンの検索順位は、主に以下の３つのプロセスを経て決定されます。

①クロール、クローリング

クローラーがインターネット上のWebページを収集・蓄積する工程です。クローラーが巡回するのは、HTMLファイルだけでなく、CSSファイル、テキストファイル、JavaScriptファイル、画像ファイル、音声ファイル、動画ファイル、PDFファイルなどが該当します。

②インデックス

クローラーが発見したWebページを検索エンジンのデータベースに登録する工程です。

③ランキング

収集してきた情報を元に、サイトの検索順位が決められ、検索結果に表示される工程です。クエリプロセスとも呼ばれます。

・クローラビリティ向上のためにするべきこと

クローラーの巡回しやすさを表す指標をクローラビリティと呼びます。いくら良いサイトを作ったとしても、クローラーに巡回してもらえないとサイトが検索上位に表示されません。クローラビリティを向上させるためには以下のような対策があります。

①XMLサイトマップを作成する

XMLサイトマップとは、サイト内にどのようなコンテンツがあるのかが記してある、サイトの設計図のようなものです。Google Serch Consoleを使ってサイトマップを送信します。

②robots.txtを設置する

robots.txtとは、サイトのURLを記載することで、クローラーの巡回を制御するためのファイルです。クローリングされるページ数が多いサイトを運営している場合は、robots.txtを設置してクローリングの効率化を図りましょう。

③パンくずリストを設置する

パンくずリストとは、Webサイト上でのユーザーの現在地を表すものです。パンくずリストを設置することでクローラーの回遊率を上げることができます。

④URLを見直す

「wwwのありなし」、「https://~とhttp://~」などURLの差異は、たとえ同じ内容のサイトだとしても、クローラーは別のサイトであると認識します。クローラーの巡回は上限があるので、無駄なクロールを防ぐためにもURLを統一しましょう。

⑤内部リンクを掲載する

クローラーは内部リンクを辿ってサイト内を巡回します。関連するコンテンツに内部リンクを掲載するなどの対策をとることによって、クローラーによるインデックス漏れを防いだり、ページ同士の関連性が高くなることによりリンク先ページの評価の向上などに繋がります。

⑥クロールの巡回申請を行う

Google Serch Console内で、該当URLに対して「インデックス登録リクエスト」を行うことで、巡回申請ができます。

・クローラーがサイト巡回をしたかどうか確認する方法

クローラーが巡回したかどうかを確認するには、Webブラウザ上で「site:自社サイトのURL」で検索するか、もしくはGoogle Serch Consoleのツール内検索で調べる方法があります。

　クローラビリティの向上はサイトの検索順位を上昇させるためにとても重要になります。そのためには、クローリングの仕組みを正しく理解し、サイトに必要な対策を見極めて実践すると良いでしょう。また、Google Serch Consoleを用いてクローラーの動向を定期的に確認し、適切にクローリングされているかをチェックすることをおすすめします。