- 2007年11月13日 01:33
- General TIPS
■すべてを巡回
robots.txtには、すべてのディレクトリを巡回し、ファイルをGETされたい場合は、
User-agent: *
Disallow: のように記述する。
■Googleだけ拒否
Googleのロボット（Googlebot）だけ、すべてのディレクトリ巡回やファイルGETを拒否する場合は、
User-agent: Googlebot
Disallow: /* と記述する。
■Yahoo!だけ拒否
Yahoo!のロボット（Yahoo! Slurp）だけ、すべてのディレクトリ巡回やファイルGETを拒否する場合は、
User-agent: Slurp
Disallow: /* と記述する。
■すべてのロボットを拒否
すべてのロボットを拒否する場合は、
User-agent: *
Disallow: /* と記述する。
- Newer: オリジナルEventクラスの作り方
- Older: www 付き・なし の URL への統一
