サイトマップとrobots.txtの役割を分ける
サイトマップは「読んでほしいページの一覧」、robots.txtは「読まないでほしい場所の案内」です。役割を混同すると、思わぬ事故につながります。
検索エンジンへの案内として、「サイトマップ」と「robots.txt」があります。名前はよく知られていますが、役割をきちんと分けて運用できているサイトは多くありません。
サイトマップ
検索エンジンに「このページを読んでください」と伝えるための一覧です。
robots.txt
検索エンジンに「この場所は読まないでください」と伝えるための案内です。サイトマップとは、真逆の役割を持っています。
よくある事故
- サイトマップに、在庫切れのページや重複したページまですべて入っている
- robots.txtで、うっかり商品画像やCSSファイルの読み込みを禁止している
- サイトのリニューアル時に、テスト環境用の「すべて読まないでください」という設定が本番に残る
ポイント
最後の例は、検索からの流入が一晩でほぼなくなる重大な事故につながります。リニューアルの際には、公開直後に必ず確認すべき項目です。
読んでほしい入口だけを、自動で載せる
ROCでは、サイトマップを「読んでほしい入口」だけに絞り、商品データと連動してコードで自動生成します。在庫切れや統合したページは自動的に外れ、新しく作った入口ページは自動的に加わります。
案内が整っているサイトは、検索エンジンにとっても読みやすいサイトです。
この記事を書いた人