robots.txtからTRPL 1関連のDisallowなどのエントリーを削除する。

• TRPL 1関連のページをGoogleなどのサーチエンジンのインデックスから外すために robots.txt の記述でクローリングの対象外にしていたが、すでにサーチエンジンに登録済みのページには効果がないことがわかった。
• 正しい方法は meta noindexタグを使うこと。rustbookリポジトリの変更 でタグを追加し、 the-rust-programming-language-jaリポジトリの この変更 でHTMLに反映する。
• robots.txtのDisallowの記述は不要なうえ、それがあると、サーチエンジンのクローリングが行われず、noindexタグが認知されなくなってしまう。