クロールバジェットとは、SEOの重要な要素ですが、なぜ重要なのかを理解していないと見過ごしがちになります。
企業は、Googleのクローラーが自社のウェブサイトを完全に閲覧し、すべてのページを調査してくれることを当然と考えているかもしれません。しかし、大規模な企業サイトではそうはいきません。クロールバジェットの最適化を怠ると、皆さんのサイトは期待通りのオンラインの可視性を得られない可能性があります。
今回の投稿では、次のことを探ります：
- クロールバジェットとは何か、なぜそれが重要なのか
- パフォーマンスの高いURLを見つける方法
- URLのパフォーマンスを測定する方法
- URLの重要性を向上させる方法
クロールバジェットとは何か、なぜそれが重要なのか
クロールバジェットとは、検索エンジンのクローラーがお客様のサイトをクロールするのに費やす時間とリソースのことです。具体的には、クローラーがお客様のドメインを探索する頻度と、一定期間内にインデックスされるページ数のことです。信じられないかもしれませんが、Googleのような大企業でもリソースには限りがあります。膨大な数のウェブサイトに対応しなければなりません。2021年1月時点で約20億ものウェブサイトが存在しており、アクティブなものはそのうちの4億以下です。
クロールバジェット（Googleのスパイダーからサイトが注目される量）は、スパイダーがどのくらいの頻度でサイトをクロールしたいかと、どのくらいの頻度でクロールできるかによって決まります。
クロールバジェットとは、検索エンジンがクロールプロセスの優先順位を論理的かつ組織的に決めるための値です。クロールバジェットは非常に重要です。簡単に言えば、Googleがそもそもページを見つけられなかった場合、そのページは検索結果に表示されません。ウェブサイトの規模が大きければ大きいほど、戦略的に不可欠なページなのに、見られていない可能性が高くなります。
検索エンジンが価値の高いページを見落とし、価値の低いページに多くアクセスしてしまうと、みなさんが本当にアクセスして欲しいコンテンツをターゲット顧客に表示できません。
パフォーマンスの高いURLを見つけるには？
ページの需要はでクロールバジェットが増減します。ユーザーは質の高いコンテンツを見つけたいと思っているので、ページの人気度によって割り当てられるバジェット、つまり予算が決まるのです。
クローラーは、オンラインストアで最も収益性の高い商品ページなど、サイト内で最も重要なコンテンツを掲載しているページを中心にクロールする必要があります。
では、自社のサイトでトップパフォーマンスを発揮しているURLをどのようにして特定すればよいのでしょうか？
Botify Analyticsでは、クロールデータ、ウェブサーバーのログデータ、ウェブサイトの分析データ、ユーザークエリデータなど、数多くのデータセットを統合し、ウェブサイトの健全性や、検索エンジンおよびユーザーの視点から見たウェブサイトの状態を最も包括的に見ることができます。 .
特にSiteCrawlerは、時間やリソースの制限を受けずに、検索エンジンが行うようにサイトの構造やコンテンツを探索することができます。1回のクロールで最大5,000万件のURLを250 URL/秒でクロールし、JavaScriptを100 URL/秒でレンダリングすることができます。
Botify Analyticsは、URL毎に1,100以上のデータポイントを取得し、お客様のドメイン、そしてトップパフォーマンスのURLをお客様が包括的に把握できるようにします。
URLのパフォーマンスを測定する方法
URLのパフォーマンスは、以下の5つの指標を使って分析して測定します。
- 直帰率：直帰率が高いということは、ユーザーが、読み込みに時間がかかった、ナビゲーションが不十分だった、問い合わせの意図にそぐわない内容だった、などの理由でページから離脱していることを示しています。
- タイトル表示時間：ユーザーがサイトのページをリクエストしてから、そのページのタイトルがユーザーのブラウザタブに表示されるまでの時間。
- レンダリング開始時間：ユーザーがリクエストしてから、ページのコンテンツがユーザーのブラウザに表示されるまでの時間。
- インタラクション可能時間：ユーザーがリクエストしてから、ページを操作できるようになるまでの時間（例：フォームへの入力など）。
- 第一バイト到達時間：サーバーに接続してから、ユーザーのブラウザに情報の最初のバイトが到達するまでの時間。
ページのパフォーマンスが良く、コンテンツの価値が高ければ高いほど、ユーザーの関心を引き、検索エンジンにクロールされる可能性が高くなります。
URLのパフォーマンスを向上させる方法
以下の簡単なヒントを参考にして、URLのパフォーマンスを高めましょう。
- 壊れたURLに対処する：URLが壊れていると、サイトのクロールバジェットが無駄になり、クローラーが重要なページを見つけられなくなるため、サイトのメンテナンスに欠陥があるとみなされます。
- 重複するコンテンツを除去する：これにより、クローラーは個々のURLではなく、独自コンテンツに集中できるようになります。
- ページの読み込み時間を改善する：読み込み時間が遅いと、クローラーがサイトのコンテンツを一定時間内に多く読み込むことができなくなります ― ウェブサイトのスピードがSEOを高める理由について詳しくはこちらをご覧ください。
- 内部リンクを活用する：内部リンクは、クローラーにインデックスさせたいページに誘導するもので、重要なページから別の重要なページへの論理的なつながりをもたらします。
- インデックスさせたくないURLからクローラーをブロック：優先度の低いページがクロールされないようにすることで、クロールバジェットが無駄になるリスクを軽減することができます。
留意点
クロールバジェットを最適化する際には、以下の点に留意してください：
- 明確でバグのないサイトマップは、クローラーがサイトのページを1つの場所で見るのに役立ちます。
- リダイレクトチェーンは、クロール上限に悪影響を与え、クローラーが価値のあるページに到達する前にサイトを探索するのを止めてしまう可能性があります。
- 無駄な無限スペースがあるとクローバジェットを浪費してしまいます。
- クローラーのリソース浪費につながる404エラーページへのリンクは避けましょう。
パフォーマンスの高いURLのクロールバジェットを改善することで、SERPでの視認性が向上し、より多くの顧客にリーチすることができます。
Botifyの一連のツールは、パフォーマンスの問題を特定し、改善の機会を認識し、クロールバジェットを最適化することで、検索エンジンに適切なコンテンツを確実に配信することを可能にします。
