クロールバジェットとは、SEOの重要な要素ですが、なぜ重要なのかを理解していないと見過ごしがちになります。
企業は、Googleのクローラーが自社のウェブサイトを完全に閲覧し、すべてのページを調査してくれることを当然と考えているかもしれません。しかし、大規模な企業サイトではそうはいきません。クロールバジェットの最適化を怠ると、皆さんのサイトは期待通りのオンラインの可視性を得られない可能性があります。
今回の投稿では、次のことを探ります：
クロールバジェットとは、検索エンジンのクローラーがお客様のサイトをクロールするのに費やす時間とリソースのことです。具体的には、クローラーがお客様のドメインを探索する頻度と、一定期間内にインデックスされるページ数のことです。信じられないかもしれませんが、Googleのような大企業でもリソースには限りがあります。膨大な数のウェブサイトに対応しなければなりません。2021年1月時点で約20億ものウェブサイトが存在しており、アクティブなものはそのうちの4億以下です。
クロールバジェット（Googleのスパイダーからサイトが注目される量）は、スパイダーがどのくらいの頻度でサイトをクロールしたいかと、どのくらいの頻度でクロールできるかによって決まります。
クロールバジェットとは、検索エンジンがクロールプロセスの優先順位を論理的かつ組織的に決めるための値です。クロールバジェットは非常に重要です。簡単に言えば、Googleがそもそもページを見つけられなかった場合、そのページは検索結果に表示されません。ウェブサイトの規模が大きければ大きいほど、戦略的に不可欠なページなのに、見られていない可能性が高くなります。
検索エンジンが価値の高いページを見落とし、価値の低いページに多くアクセスしてしまうと、みなさんが本当にアクセスして欲しいコンテンツをターゲット顧客に表示できません。
ページの需要はでクロールバジェットが増減します。ユーザーは質の高いコンテンツを見つけたいと思っているので、ページの人気度によって割り当てられるバジェット、つまり予算が決まるのです。
クローラーは、オンラインストアで最も収益性の高い商品ページなど、サイト内で最も重要なコンテンツを掲載しているページを中心にクロールする必要があります。
では、自社のサイトでトップパフォーマンスを発揮しているURLをどのようにして特定すればよいのでしょうか？
Botify Analyticsでは、クロールデータ、ウェブサーバーのログデータ、ウェブサイトの分析データ、ユーザークエリデータなど、数多くのデータセットを統合し、ウェブサイトの健全性や、検索エンジンおよびユーザーの視点から見たウェブサイトの状態を最も包括的に見ることができます。 .
特にSiteCrawlerは、時間やリソースの制限を受けずに、検索エンジンが行うようにサイトの構造やコンテンツを探索することができます。1回のクロールで最大5,000万件のURLを250 URL/秒でクロールし、JavaScriptを100 URL/秒でレンダリングすることができます。
Botify Analyticsは、URL毎に1,100以上のデータポイントを取得し、お客様のドメイン、そしてトップパフォーマンスのURLをお客様が包括的に把握できるようにします。
URLのパフォーマンスは、以下の5つの指標を使って分析して測定します。
ページのパフォーマンスが良く、コンテンツの価値が高ければ高いほど、ユーザーの関心を引き、検索エンジンにクロールされる可能性が高くなります。
以下の簡単なヒントを参考にして、URLのパフォーマンスを高めましょう。
クロールバジェットを最適化する際には、以下の点に留意してください：
パフォーマンスの高いURLのクロールバジェットを改善することで、SERPでの視認性が向上し、より多くの顧客にリーチすることができます。
Botifyの一連のツールは、パフォーマンスの問題を特定し、改善の機会を認識し、クロールバジェットを最適化することで、検索エンジンに適切なコンテンツを確実に配信することを可能にします。
