robots.txtでクローリングを全拒否

ドキュメントルート直下でrobots.txtを作成

User-agent: *
Disallow: /