Anthropic'in ClaudeBot'u Web Sitelerinin Anti-AI Kazıma Kurallarını İhlal Ediyor

Anthropic'in ClaudeBot Web Tarayıcısı Üzerindeki Tartışma

Anthropic tarafından AI modelleri için eğitim verisi toplamak amacıyla kullanılan ClaudeBot web tarayıcısı, bir günde neredeyse bir milyon istekte bulunarak iFixit’in web sitesini bombaladığı iddialarının ardından önemli bir tartışma başlattı. Bu davranış, tarayıcının iFixit’in Kullanım Koşulları ile uyumu hakkında ciddi sorular ortaya çıkarıyor.

iFixit CEO'sunun Yetkisiz Tarama ile İlgili Yanıtı

iFixit CEO'su Kyle Wiens, bu ihlali vurgulamak için X (eski adıyla Twitter) platformuna giderek, ClaudeBot’ın iFixit’in içeriğine erişim kısıtlamalarını kabul ettiğini gösteren ilgili görüntüleri paylaştı. Wiens, şirketin bu durum karşısındaki hayal kırıklığını ifade ederek, "Bu isteklerin herhangi biri hizmet şartlarımıza eriştiyse, içeriğimizi kullanmanın açıkça yasak olduğunu size söylemiş olurlardı. Ama bana sormayın, Claude'a sorun!" şeklinde konuştu. Ayrıca, "Sadece içeriğimizi bedava alıyorsunuz, aynı zamanda devops kaynaklarımızı da meşgul ediyorsunuz" ifadesini vurguladı.

Aşırı Taramanın Teknik Etkileri

Wiens, bu aşırı isteklerin altyapılarını korumak için tasarlanmış alarm sistemlerini aktive ettiğini belirtti. "Tarama oranı o kadar yüksekti ki, tüm alarmlarımızı devreye soktu ve devops ekibimizi harekete geçirdi," dedi The Verge'ye. İnternette en çok ziyaret edilen sitelerden biri olan iFixit, web tarayıcılarıyla başa çıkmaya alışkındır; ancak ClaudeBot tarafından sergilenen faaliyet düzeyi alışılmadık ve aşırıydı.

Kullanım Koşulları ve Uyumluluk Sorunları

iFixit’in Kullanım Koşullarına göre, web sitelerinden içeriklerin herhangi bir yeniden üretimi, kopyalanması veya dağıtımı, önceden yazılı izin olmadan kesinlikle yasaktır. Bu kısıtlama, AI modellerinin eğitilmesini açıkça içermektedir. Buna rağmen, 404 Media'dan gelen sorgulara yanıt olarak, Anthropic, tarayıcısının sadece robots.txt dosyası uzantısı aracılığıyla engellenebileceğini savunan bir SSS sayfasına atıfta bulundu.

Crawl-Delay Uygulaması

Bu olayların ardından, iFixit robots.txt dosyasına bir crawl-delay uzantısı ekledi. "Loglarımıza dayanarak, bunu robots.txt'ye ekledikten sonra durdular," diye iddia etti Wiens. Bir Anthropic sözcüsü bu uyumu onaylayarak, "Biz robots.txt'ye saygı gösteriyoruz ve tarayıcımız, iFixit bunu uyguladığında bu sinyali dikkate aldı" dedi. Bu gelişme, iFixit ve Anthropic arasındaki soruna geçici bir çözüm önerdiğini göstermektedir.

Daha Geniş Bir Sorun: Diğer Web Sitelerinden Gelen Deneyimler

Bu olay tekil bir durum değildir; Read the Docs'un kurucu ortağı Eric Holscher ve Freelancer.com CEO'su Matt Barrie gibi diğer web site operatörleri de Anthropic'in web tarayıcısıyla benzer sorunlar bildirmiştir. Reddit gibi platformlardaki kullanıcılar da, bu yılın başlarında ClaudeBot'a atfedilen tarama faaliyetlerinde dikkate değer bir artış olduğuna dair endişelerini dile getirmiştir. Örneğin, Linux Mint web forumu, sitelerinin ClaudeBot'tan gelen aşırı yük nedeniyle kesinti yaşadığını belirtmiştir.

Web Tarayıcı Kontrolü için Robots.txt'nin Sınırlamaları

Web tarayıcı davranışını kontrol etmek için robots.txt dosyalarına reliance, sektör içinde tartışmalı bir konudur. OpenAI de dahil olmak üzere birçok AI şirketi bu yöntemi kullanırken, farklı tarama koşullarını tanımlamak için minimal esneklik sunmaktadır. Üstelik, Perplexity gibi şirketlerin bu hariç tutmaları tamamen göz ardı ettikleri kaydedilmiştir. Zorluklara rağmen, Reddit gibi bazı kuruluşlar, veri bütünlüklerini korumak için web tarayıcıları üzerinde daha sıkı kontroller uygulamaya başlamıştır.

Sonuç: Anthropic'in ClaudeBot'ının iFixit'i tarama olayı, AI eğitim uygulamaları ile web site sahiplerinin içeriğini koruma hakları arasındaki devam eden gerginlikleri vurgulamaktadır. Bu durum, veri kullanımı ve etik AI eğitimi için en iyi uygulamalar hakkında daha fazla tartışmayı teşvik etmektedir.