「自分のサイトの文章を、AIの学習に使わないでほしい」。
その希望をrobots.txtで伝える書き方の案が、10月30日に出ました。
Google、OpenAI、Microsoft、Anthropicの4社が、対応する考えを示しました。
では、robots.txtのどこに何と書けばよいのでしょうか。
robots.txtはクローラーに向けた貼り紙
AIの会社などは、クローラーというプログラムでWebページを集めます。
robots.txtは、そのクローラーに向けてサイトに置く小さなファイルです。
たとえるなら、玄関の「入らないで」という貼り紙です。
ただし貼り紙なので、読まずに入る相手は止められません。
robots.txtを書くときは、まずUser-Agent行に相手の名前を書きます。
その下の行のDisallowは入らないで、Allowは入ってよいの意味です。
つまり相手の行と指示の行で、ひとまとまりです。
場所は/news/のように、URLのサイト名より後ろの部分で書きます。
この部分をパスと呼びます。
学習を断るには実在しないロボット名をUser-Agent行に書く
これまでは、AIの学習を断る相手を会社ごとに書き分けていました。
たとえばOpenAIはGPTBot、GoogleはGoogle-Extendedです。
今回の案は、AnthropicのKevin Kelley氏が個人の草案としてIETFに出しました。
IETFは、インターネットの技術の決まりを話し合う団体です。
案では、次の3行で希望を伝えます。
User-Agent: __usage_ai-trainingDisallow: /Allow: /press-kit/
1行目は、クローラーの名前ではありません。
「AIの学習」という使い道を表す語で、案ではポリシートークンと呼びます。
頭の「__」は、ほかのロボット名とうっかり重なりにくくする印です。
たとえるなら、貼り紙の宛名の欄に、人ではなく用件を書くようなものです。
ただし読む側の会社が対応していなければ、用件は伝わりません。
この宛名の下では、Disallowは学習に使わないで、Allowは使ってよいの意味です。
新しい命令の言葉も、新しい書き方の決まりも足していません。
だから案を知らないソフトは、知らないロボット宛てとして読み飛ばすだけです。
いちばん長く当てはまる行が/press-kit/だけを許す
ページのパスの頭が、行に書いた並びと同じなら、その行に当てはまります。
パスはどれも「/」で始まるので、2行目の「/」はサイト全体に当てはまります。
では、/press-kit/の下のページは、どちらの行に従うのでしょうか。
このパスは「/」にも「/press-kit/」にも当てはまります。
robots.txtでは、当てはまった行のうち、いちばん長いものを使う決まりです。
「/」は1文字、「/press-kit/」は11文字なので、Allowの行が勝ちます。
反対に、ほかのページは「/」にしか当てはまらず、学習を断る扱いです。
たとえるなら、宛先の細かい方の貼り紙に従うようなものです。
「東京都の人へ」より「東京都港区の人へ」が勝ちます。
ただし実際のrobots.txtでは、意味ではなく長さの勝負です。
今あるUser-Agent: *の書き方は学習の拒否として読まない
User-Agent行の「*」は、名前の書かれていないクローラー全員を指します。
その下に「Disallow: /」と書けば、全員に全体を断る指示です。
しかし案は、「*」をポリシートークンに当てはめてはいけないと決めています。
そのため今あるrobots.txtは、ポリシートークンの行が無い限り、案の上では学習について何も示さない扱いです。
たとえるなら、「全員入室禁止」の貼り紙が、後から「学習もお断り」の意味に変わることはありません。
学習を断るには、__usage_ai-trainingのまとまりを書き足すのが案の形です。
4社の対応の時期はそれぞれ違う
| 会社 | 示した内容 | 時期 |
|---|---|---|
| Google-Extendedの行が無ければ、共通の合図の拒否をGoogle-Extendedの拒否として扱う予定 | 2027年の対応を目指す | |
| OpenAI | 共通の合図を尊重する方針 | 10月30日の時点で今後数か月以内 |
| Microsoft | 巡回するときに新しい希望を尊重 | 2027年2月1日から |
| Anthropic | 実装を始めたとKelley氏が投稿 | 全サービスでの時期は示していない |
GPTBotなど会社ごとの書き方も続けて使えると、Google、OpenAI、Anthropicは説明しています。
守らせる仕組みは無く従うかは受け取る側しだい
robots.txtの決まりの文書RFC 9309も、入る許可を管理する仕組みではないと書いています。
OpenAI自身の言葉でも、今回の対応は「自主的な取り組み」です。
つまり断る行を書いても、守らないクローラーを技術で止めることはできません。
また案はIETFが認めた規格ではなく、2027年5月3日に期限が切れる草案です。
IETFの草案は、最長6か月だけ有効な下書きです。
まとめ
- AIの学習の希望を伝える共通の書き方の案が、10月30日にIETFへ出された
- User-Agent行に__usage_ai-trainingと書き、その下のDisallowとAllowで希望を示す
- どの行に従うかは、いちばん長く当てはまる行で決まる
- 今ある「User-Agent: *」は、学習の希望として読まない
- 対応の時期は会社ごとに違い、守らせる仕組みは無い
学習の希望は、宛名のまとまりと、いちばん長く当てはまる行で決まります。
どちらもrobots.txtに前からある仕組みで、案はそこに使い道の名前を1つ載せました。
守らせる力は無く、運営者の希望を機械が読める形にそろえた合図です。
書き方はKevin Kelley氏のIETF草案（2026年10月30日付）と同氏の投稿によります。
各社の対応はGoogle、OpenAI、Microsoftの同日の発表と同氏の投稿です。
決まりの説明はRFC 9309によります。
クローラーやパスの一般的な説明は、各発表に書かれていない内容です。
