クローラビリティとは？検索上位を狙うならおさえておきたい対策

検索エンジンの検索上位を狙うのであれば、「クローラビリティ」の向上が必要不可欠です。 本記事では、クローラビリティは何かといった基本や、重要とされている理由を解説します。併せて、クローラビリティの改善方法についても紹介しますので、ぜひ参考にしてください。

クローラビリティとは

クローラーの基礎知識

クローラビリティの意味

クローラビリティとは、検索エンジンのクローラーがWebサイトの情報をどれくらい集めやすいか、理解しやすいかを意味するSEO用語です。

多くのWebサイト制作者や運営者は、SEO 対策の一環として自社サイトのクローラビリティを重視しています。 なぜクローラビリティが重要なのか、次項で詳しく見ていきましょう。

クローラビリティがSEOで重要な理由

クローラビリティがSEO的に重視されるおもな理由は、Webサイトの集客に大きく影響するためです。クローラビリティが高ければ、クローラーがWebサイトの情報をスムーズに収集してくれるので、検索結果にも表示されやすくなります。

逆にクローラビリティが低ければ、クローラーがWebサイトの情報を集めにくくなり、検索結果に掲載されづらくなってしまうのです。 Googleなどの検索エンジンにWebサイトの情報が掲載されなければ、いうまでもなく集客は望めません。

そのため、SEO対策の一つとして、クローラビリティの向上や改善が必要とされているのです。 また、クローラビリティが高ければ、クローラーがWebサイトの情報をより正確に把握できるため、サイト更新時も更新内容が検索エンジンに反映されやくなります。

クローラビリティを上げる方法

シンプルでわかりやすいURLを心掛ける

クローラビリティ改善の方法として、「階層を深くしない」ということがよく挙げられていると思いますが、その1点だけで理解しないようにしてください。

まず「階層の深さ」とは、以下のようにURLで「/」がいくつ続くかを指します。

2015年ごろに、階層が浅いほどクローラーに巡回してもらいやすいが、URLの階層が深いと重要度が低いページと認識され、クローラーが巡回してくれない可能性があるという考えがありました。しかし、2017年にはGoogleのジョン・ミューラー氏が、フォルダ構造内のURLの深さに関する質問に対して、「URL要素の階層はグーグル検索にとってそれほど重要ではない」と回答しています。

ページの階層はwebページに当然必要な要素ですので、無理に階層を減らしたりする必要はありません。ただ、Googleは「シンプルなURL構造を維持する」ことを推奨していますので、無意味に階層をたくさん作るのはやめましょう。階層だけにとらわれず、ユーザーにとってもシンプルでわかりやすいURL構造にすれば、Googleからも評価されるでしょう。

sitemap.xml（サイトマップ）を送信する

「sitemap.xml（サイトマップ）」とは、Webサイトにどのようなページがあるかを一覧化した、見取り図のようなファイルのことです。サイト上に作成する、主にユーザーが利用する「サイトマップHTML」とは別物です。

sitemap.xml（を送信することで、Googleのクローラーが巡回しやすくなるため、クローラビリティが向上します。 サイトのページが多い場合や新しいサイトの場合は特に重要なので、サイトマップの送信を忘れないようにしましょう。

サイトマップの送信は、Googleサーチコンソールから以下の操作でできます。

なおサイトマップは、インターネットで公開されているサイトマップ作成ツールを使えば簡単に用意できます（WordPressならプラグインで作成可能）。作成したサイトマップをサーバーにアップロードし、上記の手順でGoogleサーチコンソールから登録しましょう。

効果的に内部リンクを設置する

「内部リンク」とは、自社サイト内の他ページへアクセスするためのリンクです。これに対して、他サイトへのリンクを「外部リンク」と呼びます。

Googleクローラーはリンクを使ってWebサイト内を巡回するため、内部リンクがきちんと整備されていないWebサイトは、クローラーが巡回しづらいため、インデックスが遅れる可能性があります。クローラビリティを向上させるためには、しっかりと内部リンクを設置することが推奨されます。

ただし、やみくもに設置すればよいというわけではありません。Googleはリンク元のWebページとの関連性や、専門性の高さを評価します。言い換えれば、関連性が低いと判断される内部リンクは、評価が下がる可能性があるのです。

そもそもGoogleは「ユーザーの利便性を第一に考えています」ので、ユーザービリティ―の高いサイト、つまり、いかにユーザーが迷ったりストレスを感じたりすることなく目的を果たせるかという観点で、過不足のないリンク設置ができていればよいです。

パンくずリストを設定する

パンくずリストとは、Webサイトの現在地（どの階層にいるか）を一目でわかるようにしたもので、一般的にWebサイトの上部もしくは下部に設置されています。劇中でパンくずを道しるべにした童話「ヘンゼルとグレーテル」に由来しており、モチーフ通りサイト内の道案内役として機能します。

上図はこのブログのある記事のパンくずリストです。今現在のページがどの階層の下にあるのかが表示されています。上図の場合この記事は、トップページの下のマーケティングブログの一覧ページの下にあるということがわかります。

パンくずリストを設置することでクローラーが巡回しやすくなり、クローラビリティ向上に役立ちます。また、ユーザーにとってもパンくずリストがあれば、「自分が今Webサイトのどこを見ているか」がわかりやすくなるといったメリットがあります。

パンくずリストは「構造化データ」がありますので、パンくずリストの内容をクローラーに理解しやすくするために使用してください。「構造化データ」とは、クローラーが理解できる専用のタグのことです。構造化データの詳細について知りたい方は、下記URLも併せてご覧ください。

Google検索セントラル『構造化データの仕組みについて』

なお、WordPressでホームページを作成している場合は、プラグインを使えばより簡単にパンくずリストを設置できます。CMSによってはその機能がある可能性があるので、調べてみてください。

重複ページをなくす

重複ページ（重複コンテンツ）とは、同じ内容のWebページのことです。自社サイト Googleは重複ページを「低品質なコンテンツ」と判断するため、検索結果順位やクローラビリティの低下を招く原因となるのです。

自社サイト内で内容が似通ったWebページを複数公開するのも避けるべきです。例えば以下のようにURLに「www」を含む/含まないWebページが混在する場合も、重複ページと判断されてしまいます。

この場合、「301リダイレクト」という設定を行い、一方のWebページからもう一方へ転送するようにすれば、問題を解決できます。301リダイレクトを設定するには、「.htaccessファイル」を利用します。 

ただサイトの性質上、内容が似たページが発生してしまうこともあるかと思います。たとえばECサイトの色違いの商品ページなどです。その場合は、canonicalタグを使用するなどの対策方法がありますので、調べてみてください。

ファイルのサイズを減らす

クローラーはWebページを訪れ、必要なデータを記録します。
ファイルサイズが大きい場合、クローラーの負荷が高くなり、巡回ページ数が少なくなってしまいます。 Webページは画像やCSS、JavaScriptなどのファイルで容量が重くなることがあります。そこでファイルを圧縮したり、不要なソースコードを削除したりすることで、ファイルサイズを軽減しましょう。

これはページの表示スピードにも関係してきます。表示されるのに時間がかかるWebページは、ユーザーにとってストレスになることは言うまでもないでしょう。 Googleも表示速度が遅いページはあまり評価しません。検索結果の順位にも影響するため、Webページが重いと感じるときは表示速度の最適化を図ってみましょう。

クロールを促す

「Google サーチコンソール」の「URL検査ツール」を使うと、クローラーの巡回（クロール）を強制的に促すことができます。

操作方法は簡単で、まずGoogleサーチコンソールで「URL検査」メニューへアクセスし、検索窓にホームページのURLを打ち込みます。GoogleにそのURLがインデックスされていない場合、「URLがGoogleに登録されていない」と表示されるので、「インデックス登録をリクエスト」をクリックします。

インデックス済みの場合は、「URLはGoogleに登録されています」と表示されますが、この場合も「インデックス登録をリクエスト」をクリックしてください。これでホームページに新規ページを追加した際や、ページを大幅に更新した際などに、クローラーの再巡回を促すことが可能です。

ただ、これは強制的に行うクローリングなので根本的なクローラビリティ改善にはつながりません。これまで紹介した対応をして、根本的な解決を行ってください。

クローラーが来ているかチェックする方法

site:（ページURL）で検索する

Google検索で「site:」という文字列を使い、「site:（新たに公開したページURL）」と検索するとGoogleクローラーが来て、そのサイトがGoogleに登録（インデックス）されているかどうか確認できます。Googleに登録されていれば、対象のWebページが検索結果に表示され、クローラーが来ていないようであれば、サーチコンソールのURL検査で巡回を促しましょう。

サーチコンソールを利用する

キャッシュを確認する

すでにGoogleの検索結果に掲載済みのページについて、「いつインデックスされたか」を確認する方法です。具体的には、以下の手順で操作します。

（1）Googleの検索結果で自社サイトの検索結果を確認する
（2）掲載されたURLの右側にあるの□の部分をクリックする （3)「キャッシュ」という文字が表示されるので、その文字をクリックする

これで、Googleがキャッシュ（保存）したWebページのデータが表示されます。

ページ上部にはキャッシュを取得した日時が表示されるので、確認してみましょう。その日時がWebページの更新（作成）後であれば、最新の情報がGoogleの検索結果に表示されていると判断できます。

最後に

クローラビリティとは、検索エンジンのクローラーが「どのくらい巡回しやすいか」を表す専門用語です。クローラビリティが高ければ、クローラーに巡回してもらいやすくなり、検索結果の上位化にもつながります。

クローラビリティは、Webサイトのコンテンツや作り方を見直すなどして改善できます。また、自社サイトにおけるクローラーの活動状況は、検索エンジンやGoogleサーチコンソールから確認可能です。

今回紹介した内容をクローラビリティの改善に役立て、より多くのユーザーにWebページへ訪れてもらえるよう努めましょう。