روبوت كلود من أنتروبيك ينتهك قواعد مكافحة سحب الذكاء الاصطناعي للمواقع

الجدل المحيط بعنكبوت الويب ClaudeBot من Anthropic

عنكبوت الويب ClaudeBot، الذي تستخدمه شركة Anthropic لجمع بيانات التدريب لنماذج الذكاء الاصطناعي الخاصة بها، قد أثار جدلاً كبيراً بعد أن أفيد بأنه قصف موقع iFixit بحوالي مليون طلب في يوم واحد. تشكل هذه السلوكيات تساؤلات جدية حول امتثال العنكبوت لشروط استخدام iFixit.

رد الرئيس التنفيذي لـiFixit على جمع البيانات غير المصرح به

في رد قوي، استخدم الرئيس التنفيذي لـiFixit، كايل وينز، منصة X (سابقاً تويتر) لتسليط الضوء على هذا الانتهاك، حيث نشر صوراً ذات صلة توضح اعتراف ClaudeBot بالقيود المفروضة على الوصول إلى محتوى iFixit. عبر وينز عن إحباط الشركة بشأن الوضع، قائلاً: "إذا كانت أي من تلك الطلبات قد وصلت إلى شروط الخدمة الخاصة بنا، كانوا سيخبرونك بأن استخدام محتوى لدينا ممنوع صراحة. لكن لا تسألني، اسأل Claude!" كما أكد قائلاً: "أنت لا تأخذ محتوى لدينا دون دفع فقط، بل أنت تشغل موارد تطوير البرامج لدينا أيضاً."

الآثار التقنية للإفراط في الزحف

أوضح وينز التأثير الكبير لهذه الطلبات المفرطة، التي نشطت أنظمة الإنذار المصممة لحماية بنيتهم التحتية. "معدل الزحف كان عالياً لدرجة أنه أثار جميع إنذاراتنا وأدى إلى تنشيط فريق تطوير البرمجيات لدينا،" شرح لوكالة The Verge. باعتبارها واحدة من أكثر المواقع زيارة على الإنترنت، فإن iFixit معتادة على التعامل مع زواحف الويب؛ ومع ذلك، كانت مستوى النشاط الذي أظهره ClaudeBot غير عادي ومفرط.

شروط الاستخدام وقضايا الامتثال

وفقاً لشروط استخدام iFixit، فإن أي نسخ أو إعادة إنتاج أو توزيع لمحتوى من موقعهم محظور بشكل صارم دون إذن كتابي مسبق. تشمل هذه القيود تدريب نماذج الذكاء الاصطناعي بشكل صريح. على الرغم من ذلك، في رد على استفسارات من 404 Media، أشارت Anthropic إلى صفحة أسئلة شائعة مؤيدة لقرارها بأن زاحفها لا يمكن تعطيله إلا من خلال ملف robots.txt.

تنفيذ تأخير الزحف

بعد هذه الأحداث، أضافت iFixit ملحقاً لتأخير الزحف إلى ملف robots.txt الخاص بها. "بناءً على سجلاتنا، توقفوا بعد أن قمنا بإضافته إلى robots.txt،" حسبما ادعى وينز. أكد متحدث باسم Anthropic هذا الامتثال، قائلاً: "نحن نحترم robots.txt واحترم زاحفنا تلك الإشارة عندما نفذته iFixit." تشير هذه التطورات إلى حل مؤقت للمشكلة بين iFixit وAnthropic.

مشكلة أوسع: تجارب من مواقع ويب أخرى

ليس هذا الحادث حالة معزولة، حيث أبلغ مشغلو مواقع أخرى، مثل إريك هولشر، المؤسس المشارك لـRead the Docs، ومات باري، الرئيس التنفيذي لـFreelancer.com، عن مشاكل مماثلة مع زاحف الويب من Anthropic. كما عبر المستخدمون على منصات مثل Reddit عن مخاوفهم، مشيرين إلى زيادة ملحوظة في نشاط الزحف المنسوب إلى ClaudeBot في وقت سابق من هذا العام. على سبيل المثال، لاحظ منتدى Linux Mint أنه عانى من انقطاع بسبب تحميل مفرط من ClaudeBot.

قيود robots.txt في التحكم في زحف الويب

الاعتماد على ملفات robots.txt للتحكم في سلوك زواحف الويب هو موضوع جدلي ضمن الصناعة. بينما تستخدم العديد من شركات الذكاء الاصطناعي، بما في ذلك OpenAI، هذه الطريقة، فإنها توفر مرونة محدودة لتحديد ظروف الزحف المختلفة. علاوة على ذلك، أفيد أن شركات مثل Perplexity قد تجاهلت هذه الاستثناءات بشكل مباشر. على الرغم من التحديات، بدأت بعض المنظمات، مثل Reddit، في تنفيذ ضوابط أكثر صرامة على زواحف الويب لحماية نزاهة بياناتهم.

الخاتمة: يبرز الحادث الذي يتضمن عنكبوت ClaudeBot من Anthropic الذي يقوم بزحف بيانات iFixit التوترات المستمرة بين ممارسات تدريب الذكاء الاصطناعي وحقوق مالكي المواقع في حماية محتواهم. هذه الحالة تحث على مزيد من المناقشات حول أفضل الممارسات لاستخدام البيانات وتدريب الذكاء الاصطناعي بشكل أخلاقي.