AnthropicのClaudeBotがウェブサイトのAIスクレイピング禁止規則に違反

AnthropicのClaudeBotウェブクローラーを巡る論争

AnthropicがAIモデルのトレーニングデータを収集するために使用するClaudeBotウェブクローラーは、iFixitのウェブサイトに1日でほぼ100万件のリクエストを送ったとされ、大きな論争を引き起こしています。この行動は、クローラーがiFixitの利用規約に従っているかどうかについて深刻な疑問を提起します。

無許可のスクレイピングに対するiFixit CEOの反応

iFixitのCEOカイル・ウィーンズは、強い反応を示し、この違反を強調するためにX（旧Twitter）に投稿しました。そこには、ClaudeBotがiFixitのコンテンツにアクセスすることを制限することを認める関連画像が含まれています。ウィーンズは、この状況に対する会社の不満を表明し、「もしそのリクエストのいくつかが私たちのサービス利用規約にアクセスしていたら、私たちのコンテンツの使用は明示的に禁止されていると伝えられていたでしょう。しかし、私に聞くのではなく、Claudeに聞いてください！」と述べました。さらに、「あなたは私たちのコンテンツを無償で取得しているだけでなく、私たちの開発運用リソースを占有しています。」と強調しました。

過剰なクロールの技術的影響

ウィーンズは、これらの過剰なリクエストの重大な影響について詳しく説明し、彼らのインフラを保護するためのアラームシステムを作動させたと述べました。「クロールの速度があまりにも高いため、すべてのアラームが作動し、私たちの開発運用チームが動員されました。」とThe Vergeに説明しました。インターネットで最も訪問されるサイトの一つであるiFixitは、ウェブクローラーの管理に慣れていますが、ClaudeBotが示したアクティビティレベルは異常で過剰でした。

利用規約とコンプライアンスの問題

iFixitの利用規約によると、彼らのウェブサイトからのコンテンツの再生、コピー、配布は、事前の書面による許可なしには厳しく禁止されています。この制限はAIモデルのトレーニングを明示的に含みます。それにもかかわらず、404メディアからの問い合わせに対し、Anthropicはそのクローラーがrobots.txtファイル拡張を介してのみ遮断できると主張するFAQページを参照しました。

クロール遅延の実装

これらの出来事の後、iFixitはrobots.txtファイルにクロール遅延の拡張を追加しました。「私たちのログに基づくと、彼らはrobots.txtに追加した後に停止しました。」とウィーンズは主張しました。Anthropicの広報担当者はこのコンプライアンスを確認し、「私たちはrobots.txtを尊重しており、iFixitがそれを実装したとき、私たちのクローラーはその合図を尊重しました。」と述べました。この展開は、iFixitとAnthropicの間の問題に対する一時的な解決を示唆しています。

より広範な問題：他のウェブサイトの経験

この事件は孤立したケースではなく、Read the Docs共同創設者のエリック・ホルシャーやFreelancer.comのCEOマット・バリーのような他のウェブサイト運営者も、Anthropicのウェブクローラーによる同様の問題を報告しています。Redditなどのプラットフォームのユーザーも、今年初めにClaudeBotに起因するスクレイピング活動の顕著な増加を指摘して懸念を示しています。たとえば、Linux Mintのウェブフォーラムは、ClaudeBotからの過剰な負荷によりサイトが一時的にダウンしたと述べています。

ウェブスクレイピング制御としてのrobots.txtの限界

ウェブクローラーの動作を制御するためのrobots.txtファイルへの依存は、業界内での物議を醸すトピックです。OpenAIを含む多くのAI企業がこの方法を採用していますが、異なるスクレイピング条件を定義するための柔軟性はほとんど提供されません。さらに、Perplexityのような企業はこれらの除外を完全に無視したと報告されています。それにもかかわらず、Redditのような一部の組織は、自社のデータの整合性を保護するためにウェブクローラーに対して厳格な制御を実施し始めています。

結論：AnthropicのClaudeBotによるiFixitのスクレイピングに関する事件は、AIトレーニングの実践とウェブサイトオーナーのコンテンツ保護に関する権利の間の緊張を浮き彫りにしています。この状況はデータ利用のベストプラクティスと倫理的なAIトレーニングに関するさらなる議論を促します。