robots.txt生成ツール
SEOに必要なrobots.txtを無料で生成できるツールです。サイトURL、サイト種別、ブロックしたいディレクトリ、XMLサイトマップURLを入力するだけで、WordPress・ECサイト・一般サイト向けのrobots.txtを作成できます。
1. サイト情報を入力
robots.txtは検索エンジンのクローラーに、クロールしてよい場所・避けてほしい場所を伝えるためのファイルです。通常はサイトのルート直下に設置します。
1行に1つずつ入力してください。先頭の / は自動補正されます。
Disallow配下でも例外的にクロールを許可したいパスがある場合に入力します。
robots.txtチェック
入力後に「robots.txtを生成」を押してください。
生成されたrobots.txt
下記内容を robots.txt として保存し、サイトのルート直下に設置してください。例：https://example.com/robots.txt
robots.txt生成ツールとは
robots.txt生成ツールは、検索エンジンのクローラーにクロール制御の方針を伝えるrobots.txtを作成できる無料ツールです。サイトURL、サイト種別、ブロックしたいディレクトリ、XMLサイトマップURLを入力することで、Webサイトに設置しやすいrobots.txtを生成できます。
robots.txtは、管理画面、カート、検索結果ページ、重複しやすいパラメータURLなど、検索結果に出す必要が低いページのクロールを抑制したい場合に使われます。SEOでは、重要なページにクロールを集めるための補助的な設定として活用できます。
ただし、robots.txtは検索結果への表示を完全に防ぐためのものではありません。検索結果に出したくないページは、noindexタグや認証制御など、目的に合った方法と組み合わせて使うことが重要です。
robots.txtの基本的な書き方
robots.txtでは、User-agentで対象のクローラーを指定し、Disallowでクロールしてほしくないパス、Allowでクロールを許可したいパスを指定します。XMLサイトマップがある場合は、Sitemap行でURLを記載しておくとクローラーにサイトマップの場所を伝えられます。
一般的なサイトでは、すべてのクローラーを対象にする User-agent: * を使い、必要なディレクトリだけをDisallowにします。サイト全体をブロックする Disallow: / は、開発環境やテスト環境以外では慎重に扱ってください。
よくある質問
robots.txtとは何ですか？
robots.txtとは、検索エンジンのクローラーに対して、クロールしてよい場所・避けてほしい場所を伝えるためのテキストファイルです。通常はサイトのルート直下に設置します。
robots.txtでnoindexはできますか？
robots.txtだけでは、ページのインデックス登録を確実に防ぐことはできません。検索結果に出したくないページは、noindexタグや認証制御などを検討してください。
robots.txtはどこに設置しますか？
robots.txtはサイトのルート直下に設置します。例えば https://example.com/ の場合は、https://example.com/robots.txt でアクセスできる場所に設置します。
ECサイトでブロックした方がよいページはありますか？
カート、購入手続き、会員ページ、サイト内検索結果、重複しやすいパラメータURLなどは、クロール対象から外す候補になります。ただし必要な商品ページやカテゴリページを誤ってブロックしないよう注意してください。