検索エンジンのクローリングについて疑問に思われる方は多いでしょう。クローリングの概念を理解することでSEO対策を有効に勧められるようになるはずです。

そこで本記事では、SEO対策におけるクローリングの概念やクローラリビリティを向上させる方法について解説していきます。

検索エンジンのクローラーとは

検索エンジンのクローラーは検索エンジンが自社サイトを認識する過程の中で重要な役割を担っています。

クローラーの役割や重要性

クローラーはインターネット上に存在するWebサイトや画像、PDFなどのさまざまなデータを検知して自動的に収集していき、検索データベースを作成する巡回プログラムのことです。

検索ユーザーが検索エンジンを活用し、あらゆる情報を得られるようになったのはクローラーがあったからといっても過言ではありません。

クローラーが検索に必要なデータベースを蓄積していくことにより有益な情報と悪質サイトに切り分けられ、検索ユーザーが検索エンジンを快適に利用することができるのです。

また同じサイトを繰り返し訪れてデータベースにある情報を更新しています。そのため検索順位は常に変動され、ユーザーが常に最新情報にアクセスできようになったのはクローラーが適切に働いているからです。

このようにクローラーは快適な検索体験をする上で、重要な役割を担っています。

クローラーの仕組み

クローラーは、既にデータベース化されているWebサイトからリンクを辿り自動的に巡回をします。巡回先でページの「解析（パーシング）」を行い、ファイル収集をして検索アルゴリズムが扱いやすいデータに変換します。その結果をデータベースに登録していきます。

ファイル収集では

• HTML
• テキストファイル
• CSSファイル
• JavaScriptファイル
• 画像
• Flash
• PDF

などがあります。

クローラーが一度も巡回に来ず、上記のファイルが収集されないWebサイトは検索上位表示されません。この場合、いくらSEO対策をしても無意味になってしまいます。まずは、クローラーに検索されやすいサイト作りを意識しましょう。

このようにクローラーの仕組みを理解することで、SEO対策に有利になります。

クローラビリティを向上する方法

クローラビリティとは、クローラーがWebサイト内を巡回しやすいようにすることです。クローラビリティを高めるためには、主に次の3つの方法があります。

内部リンク対策の実施

内部リンクとは、Webサイト内で自社のページ同士を繋ぐリンクのことです。

主に

• 本文中に挿入する関連記事
• サイトナビゲーション
• パンくずリスト

などです。

クローラーはリンクからリンクを巡りコンテンツの内容を理解していきます。ページ同士をつなげていくことで、サイト構造や中身を理解しやすくなるため、内部リンクを設置することはクローラビリティ向上にとって重要な対策の1つです。

内部リンクを設置する際のコツとして

• リンクはaタグで設置
• リンクの階層は浅くする
• グローバルナビゲーションやサイドバーを活用する

などがあります。
自社のサイト設計に合う内部リンク対策を取りましょう。

パンくずリストの設定

パンくずリストとは、Webサイトを訪れたユーザーが閲覧ページがサイト全体のどの位置、またはどの階層にあるのかを理解するための案内図のようなものです。

パンくずリストを設置することでユーザーが「自分がいるページはサイト内のどこにいるのか」や「サイトの構造」を認識しやすくなります。結果としてユーザービリティが向上し、クローラーにサイト理解をしてもらいやすくなります。

また、Google公式の「検索エンジン最適化（SEO）スターターガイド」では、パンくずリストの使用を推奨しています。

サイトマップの送信

サイトマップとは、サイト内にどのようなコンテンツがあるのか一覧でまとめてみれるファイルを用意しておくことです。ユーザーやクローラーにサイトの内容をわかりやすく伝える役割があります。

クローラーが1つ1つのページのサイトを理解するには時間がかかります。そのためサイト構造やコンテンツを1つのファイルにまとめておくことでクローラーのサイト理解を助けてくれます。

サイトマップは、クローラビリティの向上において特に効果が高いと言われているので必ず対策しましょう。

ディレクトリ構造の最適化

ディレクトリ構造とは、TOPページ→カテゴリーページ→記事ページへと階層が下がっていくツリー構造のことです。

ディレクトリ構造を最適化することにより、サイトの管理がしやすくなります。またユーザーやクローラーがページを見つけやすく、分析もしやすくなるのがメリットです。

注意すべきディレクトリ構造のNG例ですが、

• 階層が深すぎる
• 空っぽの階層が存在する
• 特定の階層が多く、ツリー構造になっていない

などが挙げられます。

まんべんなくフォルダ分けされた綺麗なツリー構造を目指しましょう。

被リンクを獲得する

被リンクとは、外部サイトから自社サイトへ向けられたリンクのことです。クローラーはWebサイトを評価する際に、この被リンクの質と量を重視しています。

「Googleが掲げる10の事実」にも記載されていますが、被リンクをユーザーによる「投票」と解釈し、どのサイトが最高の情報源として投票されているのか分析しています。

ユーザーにとって有益なコンテンツを作成することで自然に被リンクをもらえるように施策を行っていきましょう。これらを行うことでWebサイトのクローラビリティを改善することが可能となります。

クローリングされているか確認する方法

自社サイトの個別ページがクローリングされているかを確認する方法には主に次の2つがあります。

「site：」で検索する

「site：クローラーが来ているか調べたいURL」にてGoogle検索をすると、そのサイトにクローラーが来ているかどうかが分かります。

ページが表示されない場合に

• Fetch as Googleでクロール申請をかける
• インデックスを防ぐ「noindex」の記述がある

など確認して対策を取りましょう。

また「site：」には自社サイトがクローリングされているか調べられる以外にも使い道はあります。

それは競合サイトのインデックス数を調べることができる点です。「site：」で検索することにより競合の総ページ数なども知れるのでサイト運営の計画を練るときにも有効です。

Googleサーチコンソールで確認する

Googleサーチコンソール内の「クロール」→「クロールの統計情報」で、クローラーがどのくらいWebサイト情報を読み込んでいるかチェックすることができます。

クロールされたページ数が「なぜ上がったのか」「なぜ下がったのか」という視点を持っておくと、サイト運営の施策に非常に役立つのでおすすめです。

たとえば、あなたのサイトの画像が重く、読み込みに時間を要してしまっていると仮定します。その場合、クローラーがページの途中で離脱してしまってインデックスが新鮮に保たれない可能性が出てきます。

対策として、画像を圧縮しクローラーに画像を読みやすくすることで、改善を期待できます。結果、クローラーがページに再訪するようになり、ページの情報をよく理解されるようになります。いずれかを行い、クローリングされたかどうかを判断するようにしていきましょう。

まとめ

検索エンジンのクローラーについて正しく理解することにより、自社サイトのSEO対策に活かすことが可能です。もし今適切なクローラー対策ができていない場合には、早急に対策を行うようにしましょう。

SEO対策に困ったらこちら