ロボットテキストとは、ウェブ上の文章や画像を周期的に取得するクローラーを特定のページにアクセスを禁止するファイルを指します。ロボットテキストにクローラーを巡回を禁止する構文を記載することでページごとのクロール頻度をコントロールできます。クロール頻度を制御することで重要でなコンテンツを優先してクロールできます。
